KI lokal nutzen

Llamafile

Llamafile beschreitet einen etwas anderen Weg. Das Tool ermöglicht es, KI-Modelle in einer einzigen ausführbaren Datei zu verpacken und lokal und damit komplett anonym auf dem eigenen Computer zu nutzen. Anders gesagt: Llamafile kann die öffentlich verfügbaren Gewichte von grossen Sprachmodellen in eine ausführbare Datei konvertieren.
Das klingt unspektakulär, eröffnet aber ungeahnte Möglichkeiten. Die Gewichte, die bei den Open-Source-Modellen meist frei verfügbar sind, sind vereinfacht gesagt die Parameter oder Einstellungen des Modells, die dafür sorgen, dass es gute Antworten gibt. Es handelt sich dabei in der Regel um riesige Dateien, die man so nicht einfach benutzen kann.
Es gibt mehrere Möglichkeiten, wie man die KI-Modelle mit Llamafile verwenden kann. Direkt auf der GitHub-Seite von Llamafile finden Sie unter dem Abschnitt Quickstart die einfachste Möglichkeit: Sie können hier eine fertige Datei, ein Llamafile, herunterladen und direkt ausführen, um die KI zu nutzen.
Surfen Sie zu github.com/Mozilla-Ocho/llamafile und laden Sie etwa das Modell Gemma 3 1B Instruct herunter. Die dazugehörige Datei heisst google_gemma-3-1b-it.Q6_K.llamafile. Ändern Sie den Dateinamen, indem Sie ein .exe anhängen. Öffnen Sie die Eingabeaufforderung: Drücken Sie Windowstaste+R, geben Sie cmd in das Ausführen-Feld ein und drücken Sie Enter. Dort navigieren Sie zum Llamafile, indem Sie cd C:\Users\[IhrBenutzername]\Downloads eingeben. Rufen Sie das File mit folgendem Befehl auf: .\google_gemma-3-1b-it-Q6_K.llamafile.exe
Nach einigen Sekunden startet das Modell in der Eingabeaufforderung, Bild 5. Sie können es ausserdem im Webbrowser via http://localhost:8080 nutzen. Tragen Sie zum Beispiel im Webbrowser Ihre Frage wie «What is the capital of Bolivia?» in das Eingabefeld ein und klicken auf Send. Gemma benötigt wenige Ressourcen und liefert sofort eine Antwort, ist aber nicht immer aktuell. Zum Beenden verwenden Sie in der Eingabeaufforderung die Tastenkombination Ctrl+C, Bild 6.
Bild 5: Llamafiles laufen in der Eingabeaufforderung und lassen sich auch dort bedienen
Quelle: PCtipp.ch
Bild 6: Llamafiles sind KI-Modelle als ausführbare Dateien; sie lassen sich bequem im Browser bedienen
Quelle: PCtipp.ch
So können Sie schnell eine Reihe von KI-Modellen lokal testen. Auf huggingface.co/models?library=llamafile stehen 208 Llamafiles zum Download bereit, Bild 7.
Bild 7: Auf der Webseite von Hugging Face stehen mehr als 200 Llamafiles bereit
Quelle: PCtipp.ch
Für Experimentierfreudige: Sie können eigene Llamafiles aus öffentlich verfügbaren KI-Modellen erstellen. Diese coole Möglichkeit ist der Arbeit von vielen Freiwilligen im Llamafile-Projekt zu verdanken. Dadurch ist es sehr einfach, aus GGUF-Dateien (GPT-Generated Unified Format), welche die Gewichtungen der Modelle enthalten, mit nur wenigen Befehlen ein Llamafile zu generieren und dieses danach auszuführen.



Kommentare
Avatar
netpilots
02.12.2025
KI lebt von den Informationen alles Benutzer. Wozu lokal nutzen und Informationen für den Lernprozess verweigern. Man kann nicht nur nehmen, etwas dazu geben ist angebracht.

Avatar
Klaus Zellweger
03.12.2025
KI lebt von den Informationen alles Benutzer. Wozu lokal nutzen und Informationen für den Lernprozess verweigern. Man kann nicht nur nehmen, etwas dazu geben ist angebracht. Das ist nicht von der Hand zu weisen. Datenschutz ist nicht binär, nicht nur Schwarz und Weiss. Jeder von uns speichert massenhaft Informationen, die nicht wirklich vertraulich sind. (M)eine Patientenakte würde ich keiner K.I. zum Frass vorwerfen. Andererseits habe ich vermutlich keine einzige E-Mail, die so vertraulich ist, dass man sie nicht anonymisiert einer KI zum Training überlassen könnte. Es ist, wie du schreibst: Wir alle werden enorm von KI profitieren! Deshalb sollte es bis zu einem gewissen Grad als “Bürgerpflicht” angesehen werden, mit den eigenen Daten etwas zum Training beizutragen. Wenn das anonymisiert passiert, habe ich nichts dagegen einzuwenden. Dann hören die KIs vielleicht auch irgendwann auf zu halluzinieren.

Avatar
gucky62
06.12.2025
Es kommt nun doch auf die KI/ML Klasse an. Klasse 1-3 fungieren sehr wohl auch lokal ganz gut und sinnvoll. Erst ab Klasse 4-5 sind dann die komplexeren, regenerative KI Modelle gemeint. Nur mal den AI Guide der EU anschauen zeigt da einiges. Unter KI laufen nun einmal verschiedene Modelle, Anwendung-Scope und Ausprägung. Der Datenschutz ist auch bei KIs ein absolutes Muss, wie eine grosse Portion Misstrauen zu den Resultaten. kI sind ein Hilfsmittel und nicht mehr. Entscheidungen z.B. nur einer KI zu überlassen zeugt von einer grossen Unverständnis und viel zu viel Vertrauen in KI Resultate. Da ist eine ganze Menge Unsinn und eine nicht gerade geringe Fehlerquote dabei. So mehr als um die 80% Trefferquote liegt kaum drin. Das Training kann das kaum verbessern. Und gerade VhatGPT usw. haben aufgrund der schlechten Datenqualit-t für das Training noch höhere Quoten.