Lokale KI-Chatbots
„Und jedem Anfang wohnt ein Zauber inne“
Vers aus „Stufen“, einem der bekanntesten Gedichte Hermann Hesses.
Darin beschreibt Hesse das Leben als fortwährenden Prozess,
bei dem auf jedem durchschrittenen Lebensabschnitt ein neuer folgt.
11. Januar 2025. Wer hätte das gedacht?! PC-Welt schreibt 2/2025 S. 62: Die Super-Power von KI-Chatbots wie ChatGPT können Sie auch auf Ihren PC bringen - komplett lokal und ohne Internetverbindung! Allerdings sollte der PC leistungsfähig sein. Wenn der PC mit viel RAM und einer schnellen GPU ausgestattet ist, sollte es funktionieren. Mit einem lokalen KI-Chatbot müssen Sie sich niemals Sorgen machen, ob Ihre Daten in Moskau, Peking oder Silicon Valley mitgelesen werden - alles bleibt daheim auf Ihrem Computer!
Ich beziehe mich auch hier auf den o.g. Artikel auf PC-Welt. Erste Erfahrungen habe ich gemacht, jedoch werde ich mich noch mehr in diese interessante Variante einarbeiten, bevor ich hier weitere Fakten präsentiere,
-Dieter Müller
Die lokalen Anbieter
12. Januar 2025. Die US-Firma OpenAI hat mit dem Chatbot ChatGPT am 30. November 2022 ein Tor aufgestoßen, das einer Revolution gleichkam. Kurz darauf war das Wort von der Künstlichen Intelligenz auch in Europa in aller Munde. Aber natürlich war dies, wie fast jedermann annehmen musste, eine Geschichte aus dem Reich des globalen Internets. - Falsch! Ganz falsch! Zweifellos dominiert ChatGPT die globale Berichterstattung mit großem Abstand. Aber daneben gibt es weitere Chatbots, und diese haben oft den Vorteil, dass sie kostenlos für den lokalen Einsatz am häuslichen PC zur Verfügung stehen.
Die Struktur der lokalen Chatbots
Wie funktioniert die lokale KI? Die im o.g. Heft von PC-Welt vorgestellten Chatbots bestehen in der Regel aus zwei Teilen: Aus einem Frontend und einem sog. KI-Modell, dem Large Language Model (LLM). Mit ihm kann man sich unterhalten, oder Texte erstellen. Es gibt Modelle, die laufen schon mit relativ schwachen Computern (wie Llama 3.2 1B), aber besser geeignet sind PCs mit 8 GB RAM oder 16 GB RAM.
Als Frontends (manchmal auch Chatbot tituliert) werden genannt: Msty, GPT4All und LM Studio. Eines davon wird auf den Rechner heruntergeladen. Anschließend öffnet man es und lädt über das Tool ein KI-Modell herunter (bzw. man klickt es an) und sofort kann man den Chat beginnen. Falls Deutsch nicht angeboten wird, kann man trotzdem Deutsch beginnen und vielleicht dazu schreiben: "Antworte bitte auf Deutsch."
Die Anbieter der lokalen Frontends
- GPT4All: https://www.nomic.ai/gpt4all | "solide"
- Llamafile: hptts://llamafile.ai | "schnell einsatzbereit, Einsteiger geeignet"
- LM Studio: https://lmstudio.ai | "für Profis geeignet"
- Msty: https://msty.app/ | "einsteigerfreundlich, viele Optionen"
So sieht das Frontend von LM Studio aus.
Nach dem Upgrade auf LM Studio auf 0.3.6 kann ich ein Model aussuchen.
Es gibt aber nur eines: Llama 3.2 1B Instruct.
Meine Erfahrung...
...nach einem kleinen Versuch: Prinzipiell hat es auf Anhieb gut funktioniert. Die Antwort kam prompt, aber leider war sie nicht verständlich. Ich muss wohl die falsche Frage gestellt haben. - Ein anderer Versuch zum Thema "Aufklärung" brachte als Ergebnis zwei verschiedene Enzyklopädien, eine von Diderot und eine zweite von d'Alembert. Das ist Unfug. Die beiden haben eng zusammengearbeitet an der einen und einzigartigen Enzyklopädie! Bei einem dritten Versuch war das Ergebnis auch nicht so prickelnd. Ich fragte nach einer Alternative zu der App DB Navigator und bekam leider keinen Hinweis auf "Bahn Fahrplan und Live Tracking" (die ich im übrigen empfehlen kann, besonders wenn es um die Zugverfolgung über eine längere Strecke geht).
Insgesamt leider negative Ergebnisse! Ich kann aber nicht sagen, woran es liegt. Sollte ich mir ein leistungsfähigeres Model aussuchen? (Die Anzahl an unterschiedlichen Model ist riesig). Bis wann wurde mein Model trainiert? Die allerneuesten Infos kann der lokale Chatbot natürlich nicht kennen. Das liegt in der Natur der Sache begründet. So jedenfalls ist der lokale Chatbot für mich keine brauchbare Alternative zu den Online-Kameraden ChatGPT oder Perplexity.
Der einzige Antrieb, warum ich eine lokale KI-Chatbot ausprobiert habe, sind Datenschutzgründe. Alles was ich lokal mache, kann von niemandem mitgehört oder mitgelesen werden. Leider sind die Resultate bislang mittelprächtig, jedoch fehlt mir das erforderliche Hintergrundwissen, um diesen Punkt abschließend beurteilen zu können.