KI lokal nutzen

LM Studio

LM Studio ermöglicht es Ihnen, diverse KI-Modelle wie Llama, Mistral und Phi auf dem eigenen Rechner auszuführen. Auch die kürzlich von OpenAI veröffentlichten Varianten von ChatGPT gehören dazu, ebenso DeepSeek aus China. Wählen Sie die am besten geeigneten Modelle für Ihre jeweiligen Aufgaben. Neben der reinen Chatfunktion können Sie auch lokale Dokumente einbinden und analysieren lassen.
Surfen Sie zu der Website lmstudio.ai, laden Sie LM Studio herunter und installieren Sie es. Nach dem ersten Start sind noch keine Modelle vorhanden. Klicken Sie auf das Lupen-Symbol, um zu einer Liste der verfügbaren Modelle zu gelangen. Sie ist sehr lang, Bild 1.
Bild 1: LM Studio kennt unzählige KI-Modelle, die sich sogleich herunterladen lassen
Quelle: PCtipp.ch
Ein guter Kompromiss zwischen Grösse und Leistungsfähigkeit ist das Modell Llama-3.2-3B-Instruct-GGUF, Bild 2. Llama 3.2 ist eine Modellreihe von Meta, die zwei LLMs (Large Language Model = grosses Sprachmodell) mit einer Milliarde (1B) und drei Milliarden (3B) Parametern umfasst, wobei Letzteres deutlich überlegen ist. Ein Klick auf Download lädt die rund 1,9 GB herunter. Unter My Models sehen Sie jederzeit, welche Modelle Sie bereits installiert haben, Bild 3.
Bild 2: Llama 3.2 von Meta ist ein fortschrittliches KI-Modell, das auf Fragen sehr ausführlich antwortet
Quelle: PCtipp.ch
Bild 3: Unter My Models sehen Sie, welche Modelle installiert sind, und in welchem Ordner sie sich befinden
Quelle: PCtipp.ch
Mit dem Befehl Load Model laden Sie das heruntergeladene Modell ins Studio. Über das Chat-Feld kommunizieren Sie mit Llama, das trotz der eher geringen Grösse meist gute Antworten liefert. Versuchen Sie es etwa mit der Frage «What is the highest mountain in Europe?», Bild 4.
Bild 4: LM Studio stellt eine Bedienoberfläche bereit, in der Sie mit dem ausgewählten KI-Modell kommunizieren
Quelle: PCtipp.ch
Je nach Leistungsfähigkeit Ihres Rechners kommt die Antwort sofort oder dauert mehrere Minuten. Auch Fragen auf Deutsch versteht Llama: «Wer erfand die Glühbirne?». Es folgt eine ausführliche Antwort, welche die Leistungen von Joseph Swan würdigt.
Um weitere Modelle zu installieren, klicken Sie auf den Button mit dem Lupen-Symbol. In der Liste der empfohlenen Modelle befindet sich auch DeepSeek-R1-0528-Qwen3-8B.
Dabei handelt es sich um ein Distill-Modell. KI-Distillation ist ein Verfahren, bei dem das Wissen grosser KI-Modelle (Lehrermodelle) auf kleinere, effizientere Modelle (Schülermodelle) übertragen wird. Ziel ist es, die Leistung der grossen Modelle zu bewahren und gleichzeitig Rechenaufwand, Energieverbrauch und Hardware-Anforderungen drastisch zu reduzieren. Dennoch schlägt das Modell mit rund 5 GB zu Buche.
Weitere gute Modelle sind Phi, Hermes und Mistral. Sie stehen in zahlreichen Versionen zur Verfügung. Schauen Sie, welche am besten zu Ihrer Hardware passt. Ein vergleichsweise anspruchsloses Modell ist zum Beispiel Phi-3-mini-128k-instruct-GGUF mit gut 2 GB. Über das lilafarbene Feld am Seitenkopf wählen Sie aus, welches Modell Sie aktuell verwenden wollen. Wenn Sie in das Suchfeld GPT eingeben, finden Sie auch die OpenAI-Modelle gpt-oss-20b-GGUF und gpt-oss-120b-GGUF. Ersteres kommt auf 12 GB, letzteres auf 62 GB. Der Einsatz ergibt nur auf leistungsstarken Rechnern einen Sinn.
Seite 2/6
Auf einer Seite lesen
  1. KI lokal nutzen
  2. LM Studio
  3. Llamafile
  4. Ollama
  5. TinyLlama
  6. DeepSeek
Artikel drucken
Andreas Dumont
Kommentare
Avatar
netpilots
02.12.2025
KI lebt von den Informationen alles Benutzer. Wozu lokal nutzen und Informationen für den Lernprozess verweigern. Man kann nicht nur nehmen, etwas dazu geben ist angebracht.
Avatar
Klaus Zellweger
03.12.2025
KI lebt von den Informationen alles Benutzer. Wozu lokal nutzen und Informationen für den Lernprozess verweigern. Man kann nicht nur nehmen, etwas dazu geben ist angebracht. Das ist nicht von der Hand zu weisen. Datenschutz ist nicht binär, nicht nur Schwarz und Weiss. Jeder von uns speichert massenhaft Informationen, die nicht wirklich vertraulich sind. (M)eine Patientenakte würde ich keiner K.I. zum Frass vorwerfen. Andererseits habe ich vermutlich keine einzige E-Mail, die so vertraulich ist, dass man sie nicht anonymisiert einer KI zum Training überlassen könnte. Es ist, wie du schreibst: Wir alle werden enorm von KI profitieren! Deshalb sollte es bis zu einem gewissen Grad als “Bürgerpflicht” angesehen werden, mit den eigenen Daten etwas zum Training beizutragen. Wenn das anonymisiert passiert, habe ich nichts dagegen einzuwenden. Dann hören die KIs vielleicht auch irgendwann auf zu halluzinieren.
Avatar
gucky62
06.12.2025
Es kommt nun doch auf die KI/ML Klasse an. Klasse 1-3 fungieren sehr wohl auch lokal ganz gut und sinnvoll. Erst ab Klasse 4-5 sind dann die komplexeren, regenerative KI Modelle gemeint. Nur mal den AI Guide der EU anschauen zeigt da einiges. Unter KI laufen nun einmal verschiedene Modelle, Anwendung-Scope und Ausprägung. Der Datenschutz ist auch bei KIs ein absolutes Muss, wie eine grosse Portion Misstrauen zu den Resultaten. kI sind ein Hilfsmittel und nicht mehr. Entscheidungen z.B. nur einer KI zu überlassen zeugt von einer grossen Unverständnis und viel zu viel Vertrauen in KI Resultate. Da ist eine ganze Menge Unsinn und eine nicht gerade geringe Fehlerquote dabei. So mehr als um die 80% Trefferquote liegt kaum drin. Das Training kann das kaum verbessern. Und gerade VhatGPT usw. haben aufgrund der schlechten Datenqualit-t für das Training noch höhere Quoten.
Bitte loggen sie sich ein, um einen Kommentar zu verfassen.