Eine individuelle KI auf dem Mac (oder Linux, Windows) 

Ich habe ein neues Video auf YouTube hochgeladen (ja, das Niveau ist höher und das Video wird mit "nocookie Domain" bereitgestellt-es sei denn, ihr wechselt auf Youtube). Im Anschluss an eine frühere Erwähnung des Themas „lokale KI“ vor einigen Wochen, habe ich nun die Möglichkeit genutzt, ein weiterführendes Video zu diesem Thema zu produzieren.

 

Die Idee lokaler KI-Systeme oder von KI-Netzwerken im privaten Bereich (auch in Unternehmen) basiert auf der Notwendigkeit einer Offline-Funktionalität, wodurch eine Internetverbindung vermieden und somit die Übertragung von Daten ins öffentliche Netzwerk ausgeschlossen wird.

 

Die Anwendungsmöglichkeiten von KI sind vielfältig. Ein wesentlicher Vorteil von KI-Systemen im Internet oder in der Public Cloud liegt in der enormen Datenmenge, auf die sie zugreifen können, was deutliche Auswirkungen hat. Eine KI in einem privaten Netzwerk kann dagegen als hochentwickeltes Lexikon oder Nachschlagewerk nützlich sein, jedoch mit einem begrenzten Wissensschatz. Bei komplexen Berechnungen oder der Verarbeitung umfangreicher Texte kann die KI ihre Grenzen erreichen, aber sie wird in den meisten Fällen ausreichend sein, insbesondere bei der Textverarbeitung. Es ist dabei wichtig, die Möglichkeiten und Grenzen der KI zu berücksichtigen.

 

Verschiedene Large Language Models (LLMs;KI's) weisen hinsichtlich der Textverarbeitung signifikante Unterschiede auf. Während bei einfachen Aufgaben wie der Rechtschreibprüfung die Unterschiede oft gering sind – die KI muss oft lediglich den Inhalt des Duden übertragen – erfordert die Grammatikprüfung eine fortgeschrittene Fähigkeit, die  Zusammenhänge in den Sätzen zu erkennen, einschließlich der Identifizierung von Nebensätzen und Hauptsätzen. Dies erfordert eine anspruchsvolle Programmierung innerhalb des LLMs.

 

Die zusätzliche Unterstützung von KI beim Ausarbeiten oder Überarbeiten von Texten setzt umfangreiche logische Fähigkeiten voraus. Eine KI muss hierbei nicht nur die Bedeutung der Texte eigenständig erfassen, sondern auch in der Lage sein, Sätze zu generieren. Dies stellt eine Herausforderung dar, deren Bewältigung von KI-Systemen unterschiedlich gemeistert wird. Selbst bei erfolgreicher Umsetzung kann eine angemessene Bearbeitungsgeschwindigkeit manchmal nicht gegeben sein.

 

Ähnlich sieht es aus, wenn die KI Texte in eine andere Sprache übersetzt.

 

Ich nutze Gemma, ein KI-Modell von Google, aktuell in der Version 3. Die Versionen 4b und 12b zeichnen sich durch eine besonders gute Textverarbeitung aus. Die Version 12b ist leistungsstärker, erfordert jedoch deutlich mehr Rechenleistung und Ressourcen. Mit einem MiniMac und dem M4 Chip mit 24 GB RAM gelingt es, die Version 12b zu betreiben, allerdings ist die Reaktionszeit – die sogenannte Latenz – bereits etwas höher. Bei komplexen Anfragen kann es sogar zu einer Unterbrechung der Verbindung kommen, da die Datenübertragung nicht rechtzeitig erfolgt.

 

Die Gemma3:4b-Version lässt sich problemlos im Hintergrund auf einem Mac nutzen, da sie weniger Systemressourcen benötigt. Für den Betrieb sind dauerhaft 8 GB RAM erforderlich. Aus solchen Gründen habe ich damals die 24 GB Version für den Mac empfohlen (weise Voraussicht..;-)). Der Zugriff auf die Apple AI und ChatGPT benötigt weniger Ressourcen, aber eine Umfangreichere Nutzung erfordert eine Internetverbindung, weil Daten in das Internet gesendet werden.

 

Version 4b zeichnet sich durch eine gute Fähigkeit aus, Zusammenhänge in Texten zu erkennen und das auch relativ schnell, vorausgesetzt, es ist genügend Kontext vorhanden. Version 12b ist jedoch deutlich schneller und präziser, insbesondere wenn die nötige Rechenleistung zur Verfügung steht. Für viele Anwender wird Version 4b vollkommen ausreichend sein und unterstützt zudem die Verarbeitung von Bildern (das Erkennen von Inhalten). Im Ergebnis profitiert man von einer hohen Privatsphäre.

 

Der Nachteil einer lokalen KI ist: Man muss ständig selbst nach Updates suchen. Automatisch funktioniert dies logischerweise nicht.

 

In dem Video seht ihr eine Zusammenfassung der Gemma-Bereitstellung auf dem Mac. Für Windows und Linux ist die Bereitstellung ähnlich, aber die Integration in Apple's Office-Programme ist deutlich einfacher. Nach der Installation könnt ihr die KI über alle Geräte nutzen, die mindestens Webseiten laden können. Details dazu findet ihr auf den Entwicklerseiten. Grundsätzlich kann man die KI über jede angepasste Webseite oder ein Script kontaktieren. Alternativ könnt ihr auch eine SSH-Verbindung herstellen und über die Textkonsole mit der KI interagieren.

 

Es existiert auch noch eine sehr kleine Gemma3:2b-Variante für kleinere Ressourcen. Allerdings kann diese tatsächlich sehr wenig leisten und scheitert bereits häufiger bei Texten, oft wird nur die englische Sprache unterstützt.

     

Infos, News und was sonst noch bleibt

 

Samsung: hat mit den neuen S26-Modellen (Standard, Plus und Ultra) eine neue Generation von Smartphones vorgestellt. Die Modelle Standard und Plus ähneln den äquivalenten Modellen der S24-Serie, aber verfügen über verbesserte Technik und Software. Das Ultra bietet deutlich mehr neue Funktionen. Alle S26-Modelle sind mit einer KI-Integration ausgestattet. Samsung ist mit Apple die einzigen Hersteller, die eine umfangreiche KI-Unterstützung ohne Internetverbindung ermöglichen – eine lokale KI in Kombination mit der Möglichkeit, die Google KI Funktionen im Internet zu nutzen (man muss es in den Einstellungen einstellen). Die Leistungsfähigkeit der lokalen KI ist mir noch nicht bekannt, sie hat wohl umfangreiche Zugänge zu verschiedenen Programmen, um bei Aufgaben wie der Erstellung von Nachrichten oder Terminkalendern zu unterstützen. Beim Zoom der Kamera scheint Samsung keine KI für das automatische Verbessern von Fotos einzusetzen, d.h., man sieht mit großer Wahrscheinlichkeit das auf dem Foto, das man fotografiert hat. Trotzdem wird KI verwendet, um die allgemeine Qualität der Fotos zu verbessern und man kann später Objekte entfernen usw. Außerdem gibt es den ProScaler, der den Zoom verbessert – ABER dies verbessert nur die Darstellung auf dem Smartphone. Google verwendet KI bei seinen Pixel Modellen, um den Zoom zu verbessern, aber im aufgenommenen Foto. Samsung hat dies auch, aber wohl etwas eingeschränkter: Das Pixel 10 Pro versucht, verlorene Informationen hinzuzufügen (ja, der Schneemann hatte eine Karotte als Nase), und Samsung verwendet die vorhandenen Informationen, um diese zu verbessern. So ungefähr kann man sich das wohl noch vorstellen. Wer ein Standard- oder Plus-Modell aus den vergangenen Jahren besitzt, muss nicht gleich unbedingt auf die neuen, äquivalenten Modelle umsteigen. Ein Umstieg lohnt sich aber auf jeden Fall, wenn man das Ultra wählt und nicht so sehr auf das Geld schaut. Das S25 Ultra unterscheidet sich übrigens auch nicht so stark vom neuen Ultra; die Unterschiede liegen dann im Detail. Wer will, der kann natürlich auf Testberichte und sinkende Preise warten. Vor allem Testberichte wird es demnächst ausführlich geben.