KI lokal nutzen

TinyLlama

Auf der Webseite ollama.com/library finden Sie wie bereits erwähnt die lange Liste der Modelle, die Ollama unterstützt. Wenn Sie eines der Modelle anklicken, erhalten Sie ausführliche Informationen dazu. TinyLlama ist eines der schnellsten LLMs, die man auf langsameren Rechnern ausführen kann. Auch wenn es nicht so hochwertige Ergebnisse liefert wie grössere Modelle, ist es dennoch in der Lage, einfache Fragen zu beantworten. Was TinyLlama an Qualität vermissen lässt, macht es durch seine Schnelligkeit wieder wett, Bild 11. Um es herunterzuladen und danach auszuführen, geben Sie einfach den Befehl ollama pull tinyllama und danach ollama run tinyllama in der Windows-Eingabeaufforderung ein. Der Download dauert nicht lange, da er nur rund 600 MB gross ist.
Bild 11: Tinyllama ist ein vergleichsweise winziges KI-Modell, das dennoch brauchbare und vor allem schnelle Antworten liefert
Quelle: PCtipp.ch
TinyLlama antwortet sehr schnell, ist aber nicht so ausführlich. Die Frage nach der Hauptstadt von Kanada beantwortet es kurz und bündig mit: «The capital city of Canada is Ottawa, located in the country's capital region of Ontario». Auf die Frage nach Sehenswürdigkeiten in Berlin gibt TinyLlama acht Orte mit einer knappen Beschreibung aus, die sich zu besuchen lohnen.
Seite 5/6
Auf einer Seite lesen
  1. KI lokal nutzen
  2. LM Studio
  3. Llamafile
  4. Ollama
  5. TinyLlama
  6. DeepSeek
Artikel drucken
Andreas Dumont
Kommentare
Avatar
netpilots
vor 3 Tagen
KI lebt von den Informationen alles Benutzer. Wozu lokal nutzen und Informationen für den Lernprozess verweigern. Man kann nicht nur nehmen, etwas dazu geben ist angebracht.
Avatar
Klaus Zellweger
vor 2 Tagen
KI lebt von den Informationen alles Benutzer. Wozu lokal nutzen und Informationen für den Lernprozess verweigern. Man kann nicht nur nehmen, etwas dazu geben ist angebracht. Das ist nicht von der Hand zu weisen. Datenschutz ist nicht binär, nicht nur Schwarz und Weiss. Jeder von uns speichert massenhaft Informationen, die nicht wirklich vertraulich sind. (M)eine Patientenakte würde ich keiner K.I. zum Frass vorwerfen. Andererseits habe ich vermutlich keine einzige E-Mail, die so vertraulich ist, dass man sie nicht anonymisiert einer KI zum Training überlassen könnte. Es ist, wie du schreibst: Wir alle werden enorm von KI profitieren! Deshalb sollte es bis zu einem gewissen Grad als “Bürgerpflicht” angesehen werden, mit den eigenen Daten etwas zum Training beizutragen. Wenn das anonymisiert passiert, habe ich nichts dagegen einzuwenden. Dann hören die KIs vielleicht auch irgendwann auf zu halluzinieren.
Bitte loggen sie sich ein, um einen Kommentar zu verfassen.