KI lokal nutzen

Trainingsdaten sind der Treibstoff für KI-Systeme. Sie bestehen aus einer riesigen Menge an Bildern und Texten. Da die Daten aus dem Internet weitgehend abgegrast sind, suchen sich die KI-Konzerne wie OpenAI, Microsoft, Google und Meta neue Datenquellen, mit denen sie ihre datenhungrigen Modelle füttern können. Immer mehr rücken dabei auch private Daten ins Visier: Beiträge und Bilder auf Facebook, öffentlich zugängliche Dokumente von Google Docs oder eben Daten, die Sie bei der Nutzung einer KI preisgeben.

Wenn Sie mit einer KI wie ChatGPT kommunizieren, gibt es immer auch einen Rückkanal. Informationen fliessen an den Anbieter zurück und dienen künftig womöglich als Trainingsmaterial. Gerichtlich ist diese Praxis bisher nicht abschliessend bewertet. Denn beim Training kommen urheberrechtlich geschützte Werke ebenso wie Firmengeheimnisse und sensible private Daten in das Mahlwerk der KI. Nur bei lokal installierten Offline-KIs können Sie sicher sein, dass keinerlei private Daten abfliessen. So unterbinden Sie, dass der Anbieter erfährt, welche Prompts Sie verwenden, was Sie generieren lassen und welche Daten Sie dafür zur Verfügung stellen. Zudem sind keine teuren Abonnements nötig und Sie unterliegen keinen Begrenzungen. Dank cleverer Tools gelingt die Installation lokaler KI-Modelle mühelos, wie Sie auf den folgenden Seiten erfahren werden.

Bei einer lokalen KI fallen drei PC-Komponenten besonders ins Gewicht. Das erste ist die Grafikkarte. Nvidia-Grafikkarten haben hier die Nase vorn, mit AMD klappt es inzwischen aber auch ganz gut. Es kommt zudem auf den Grafikspeicher an. Grundsätzlich gilt: Viel hilft viel. 4 GB sollten es mindestens sein.

Die zweite Komponente ist der Arbeitsspeicher. Auch hier gilt: Je mehr, desto besser. Die Untergrenze stellen 32 GB dar.

Schliesslich benötigen Sie auch viel Speicherplatz, am besten auf einem schnellen NVMe-SSD (Nonvolatile Memory Express). Das sind die aktuell flinksten SSD-Datenträger, die aussehen wie RAM-Riegel. Sie sind deutlich rasanter als als ältere SATA-SSDs.

Die gute Nachricht, falls Sie keine leistungsstarke Hardware haben: Es gibt viele vereinfachte KI-Modelle, die auch auf alter Hardware passabel laufen. Wenn Ihre Grafikkarte sehr langsam ist, lassen sich manche Modelle zudem allein mit der CPU ausführen. Auch darauf gehen wir später ein.

Die Theorie hinter den abgespeckten Modellen: Ein KI-Modell basiert auf numerischen Koeffizienten, welche die Funktion jedes Neurons im Netzwerk beschreiben. Das Training des Modells berechnet die Gewichtungen und speichert sie als hochgenaue Bruchzahlen. Es stellte sich heraus, dass das Runden dieser Bruchzahlen im trainierten Modell es ermöglicht, das KI-Modell auf normalen Computern auszuführen, wobei sich die Leistung nur geringfügig verringert. Dieser Rundungsvorgang nennt sich Quantisierung. Damit lassen sich die Grösse und die Hardware-Ansprüche des Modells erheblich reduzieren.

Es gibt mehrere Tools, mit denen sich KI-Modelle bequem auf dem eigenen Rechner installieren lassen. Alle haben ihre Vorzüge und Nachteile. Machen Sie sich im Folgenden am besten selbst ein Bild.

Hinweis: Bei vielen aktuellen KI-Modellen kommen Sie mit englischen Texteingaben am besten zum Ziel. Falls Sie Hilfe beim Übersetzen brauchen, ist ein digitaler Dolmetscher wie deepl.com sehr nützlich.