Apropos Digital Independence. Jetzt ist auch mein Jollaphone gekommen. Ein googlefreies Telefon aus Finnland. Letztes Jahr im Herbst beteiligte ich mich am Crowdfunding für den Bau dieses Gerätes. Der minimale Finanzierungsbetrag wurde ziemlich schnell erreicht und danach auch ganz schnell bei weitem übertroffen. Hinter der Firma Jolla aus dem finnischen Tampere befinden sich ehemalige Mitarbeiter von Nokia, die die Arbeit am damals entwickelten Betriebssystem nicht aufgeben wollten. Nach mehrmaligen Firmengründungen, einem Telefon-Release, Insolvenzen und Neuversuchen, entledigten sie sich 2024 von russischen Investoren und haben jetzt mit sehr wenig Geld dieses Projekt Jollaphone gestartet. Ich liebe solche Projekte.
Mir fehlt gerade die Zeit für eine ausgiebige Zusammenfassung, aber bei diesem Telefon wird es so richtig spürbar, wie sehr wir bereits in den Ökosystemen von Google oder Apple gefangen sind. Kein Banking funktioniert, kein Android Auto/Carplay, keine Zahlungen mit dem Telefon an der Supermarktkasse. Manche Apps lassen sich nicht installieren. Manche Apps können installiert werden, sie fordern aber die Eingabe von Kreditkartendaten, für die Verifikation. Ich könnte jetzt den Google Playstore nachladen, um mir einige Kleinigkeiten zu erleichtern, aber ich nahm mir mit diesem Telefon vor, Google und Meta komplett außen vor zu lassen. Whatsapp und Insta verwende ich nur noch sandboxed im Browser auf dem Laptop. Auf dem Telefon brauche ich das in Wirklichkeit gar nicht mehr. Wenn Insta läuft, schaue ich ständig drauf, wenn ich es nicht habe, schaue ich nicht drauf. So einfach funktioniert das bei mir.
In der Theorie wusste ich das alles vorher schon, es ist aber etwas anderes, die Limitierung direkt zu spüren. Nach zwei Abenden habe ich das Telefon immer noch nicht so weit zurechtgebastelt, dass ich ohne das alte Android-Telefon aus dem Haus gehen will. Das ist ziemlich ernüchternd.
Zu allem Überfluss verkaufen alle großen KI-Anbieter jetzt auch noch unsere Daten und sogar Chatverläufe an Dritte weiter. Es wird nicht besser. Und es ist ihnen egal. Weil sie wissen, dass die Regierung eine schützende Hand über sie hält, und die Kunden sich nicht abwenden werden.
Es ist ihnen egal. Und es ist den Nutzern irgendwie auch egal.
Ich komme mir schon fast vor wie ein paranoider Verschwörungstheoretiker.
apropos: wieviel kann den so ein llm auf einem eigenen server so? mag nicht direkt fragen was ihr in der firma damit machen werdet, weil das evtl. nicht hier rein gehört, aber bekommt das llm eher so das mathe abitur, diplom, doktor oder haut mir die riemannsche vermutung um die ohren? asking for a friend
Man sagt, Modelle mit 30B können 99% aller täglichen Anfragen erledigen. Recherche im Netz, zusammenfassen, Texte erstellen, Hilfe beim Erstellen von Konzepten, PDfs auslesen, Exceldateien sortieren, umschreiben.
Man muss unterscheiden zwischen Modelle die Wissen und Modelle, die können. Die ganz großen Modelle haben so viel wie möglich in sich drin und wissen daher viel. Die kleinen Modelle können viel, aber wenn sie etwas nicht wissen, dann googlen sie sich das Wissen zusammen. Die Suche im Netz passiert bei kleinen Modellen viel häufiger als bei den großen Modellen. Und große Modelle wurden natürlich auch mit Wissen antrainiert, das nicht öffentlich im Internet zu finden ist. z.B Wissenschaftspapers etc.
Die Größenordnung zur Anschauung:
Claude/ChatGPT: ~1500B
Claude Sonnet~ 500-900B
Mistral ~500-700BB
Mittelgroße, lokal (aber auf teureren Servern) betreibbare Modelle: 100B-x
Die kleinen, lokalen auf consumer Hardware laufenden Modelle: 1B bis 70B
Was diese kleinen, generischen Modelle nicht können: Forschung. Dieses Wissen (und anderes) wurde ihnen schlichtweg nicht antrainiert. Und auch für psychologische Hilfe und ähnlichen Sachverhalten, sollte man sie vielleicht nicht heranziehen. Auch Literaturkritik können die ganz großen Modelle besser. Weil einfach mehr Allgemeinwissen bzw. Weltiwssen mit drin ist.
Andererseits werden gerade viele Modelle entwickelt, die sich auf Nischenwissen spezialisieren. Vor allem in der Medizin und in der Forschung. Und auch in der Industrie.
Um ein „Gefühl“ für kleine Modelle zu bekommen, kannst du mal die KI-Funktion von der Ecosia Suchmaschine austesten. Das dahinterliegende Modell hat gerüchteweise zwischen 30B und 70B und ist vom französischen Mistral.
Wir verwenden den Alleskönner Qwen mit 30B. Ich bin erstaunt, wie gut das im Alltag funktioniert. Die Qualität „fühlt“ sich an, wie das Modell bei Ecosia.
Unter 30B merkt man beim Chatten allerdings recht schnell einen deutlichen Qualitätsverlust.
Danke, dass du dran bleibst an deinen Bemühungen um Digital Indipendence. Als weitgehende IT-Laiin bin ich auf Personen wie dich angewiesen, die ihre Fachkenntnisse teilen. (Ich glaube leider nicht, dass wir paranoide Verschwörungstheoretiker:innen sind.)
<3
Das Thema der digitalen Unabhängigkeit springt mich gerade auch an, weswegen ich Deinen Eintrag mit besonderem Interesse lese. Zwar werde ich wohl erst mit dem Desktop „umziehen“, aber die mobilen Geräte sind natürlich auch irgendwann fällig.
Ich schwanke ein wenig zwischen Vorfreude (Herumfrickeln!) und ein wenig Angst (Herumfrickeln!!).