KI lokal nutzen

Ollama

Bild 8: Um ein Modell auszuführen, geben Sie ollama run ein, gefolgt vom Modellnamen
Quelle: PCtipp.ch
Ollama funktioniert ähnlich wie LM Studio und steht für macOS, Linux und Windows bereit. Es ist ein praktisches Tool, mit dem Sie diverse Open-Source-KI-Modelle schnell einrichten. Ollama übernimmt das Herunterladen und Ausführen und verfügt sogar über eine API (Schnittstelle), mit der Sie von anderen Anwendungen aus darauf zugreifen können. Um es auszuprobieren, surfen Sie zu ollama.com/download und laden die Windows-Version von Ollama herunter. Führen Sie die Set-up-Datei aus, um das Tool zu installieren und zu starten. Dort können Sie bereits einige KI-Modelle direkt installieren und nutzen. Oder Sie rufen die Windows-Eingabeaufforderung
Bild 9: Bei Ollama sehen Sie auf einen Blick, welche Modellvarianten zur Verfügung stehen
Quelle: PCtipp.ch
auf. Geben Sie dort etwa ollama pull qwen3:1.7b ein, um das entsprechende LLM herunterzuladen. Starten Sie es mit ollama run qwen3:1.7b, Bild 8. Die Liste aller unterstützten Modelle finden Sie unter ollama.com/library. Praktisch: Anders als LM Studio zeigt Ollama die Versionen gebündelt an. So sehen Sie auf einen Blick, dass etwa von DeepSeek R1 sieben Versionen zur Auswahl stehen, Bild 9. Im Fall von Qwen3 umfasst der Download rund 1,2 GB. Nach getaner Arbeit erscheint die Eingabeaufforderung für den Prompt, etwa «What is the most famous picture of Monet?», Bild 10. Alternativ können Sie auch Ollama starten und den Chat dort fortführen. Das ist komfortabler.
Bild 10: Der Chat erfolgt in der Windows-Eingabeaufforderung oder in der Bedienoberfläche von Ollama
Quelle: PCtipp.ch
Die meisten Modelle verstehen Deutsch. Die Ergebnisse sind aber schlechter, da nur ein Bruchteil der Trainingsdaten in Deutsch vorliegt. An Qwen3:1.7b mit nur zwei Milliarden Parametern zeigt sich, dass weniger Parameter weniger Qualität bedeuten. Auf die Frage nach dem berühmtesten Bild von Claude Monet nennt es zwar die Seerosen, erwähnt aber auch Bilder von Renoir und anderen.



Kommentare
Avatar
netpilots
02.12.2025
KI lebt von den Informationen alles Benutzer. Wozu lokal nutzen und Informationen für den Lernprozess verweigern. Man kann nicht nur nehmen, etwas dazu geben ist angebracht.

Avatar
Klaus Zellweger
03.12.2025
KI lebt von den Informationen alles Benutzer. Wozu lokal nutzen und Informationen für den Lernprozess verweigern. Man kann nicht nur nehmen, etwas dazu geben ist angebracht. Das ist nicht von der Hand zu weisen. Datenschutz ist nicht binär, nicht nur Schwarz und Weiss. Jeder von uns speichert massenhaft Informationen, die nicht wirklich vertraulich sind. (M)eine Patientenakte würde ich keiner K.I. zum Frass vorwerfen. Andererseits habe ich vermutlich keine einzige E-Mail, die so vertraulich ist, dass man sie nicht anonymisiert einer KI zum Training überlassen könnte. Es ist, wie du schreibst: Wir alle werden enorm von KI profitieren! Deshalb sollte es bis zu einem gewissen Grad als “Bürgerpflicht” angesehen werden, mit den eigenen Daten etwas zum Training beizutragen. Wenn das anonymisiert passiert, habe ich nichts dagegen einzuwenden. Dann hören die KIs vielleicht auch irgendwann auf zu halluzinieren.

Avatar
gucky62
06.12.2025
Es kommt nun doch auf die KI/ML Klasse an. Klasse 1-3 fungieren sehr wohl auch lokal ganz gut und sinnvoll. Erst ab Klasse 4-5 sind dann die komplexeren, regenerative KI Modelle gemeint. Nur mal den AI Guide der EU anschauen zeigt da einiges. Unter KI laufen nun einmal verschiedene Modelle, Anwendung-Scope und Ausprägung. Der Datenschutz ist auch bei KIs ein absolutes Muss, wie eine grosse Portion Misstrauen zu den Resultaten. kI sind ein Hilfsmittel und nicht mehr. Entscheidungen z.B. nur einer KI zu überlassen zeugt von einer grossen Unverständnis und viel zu viel Vertrauen in KI Resultate. Da ist eine ganze Menge Unsinn und eine nicht gerade geringe Fehlerquote dabei. So mehr als um die 80% Trefferquote liegt kaum drin. Das Training kann das kaum verbessern. Und gerade VhatGPT usw. haben aufgrund der schlechten Datenqualit-t für das Training noch höhere Quoten.