Lokale KI ohne Cloud: Was im Mittelstand wirklich geht

Mitte der Achtziger hätte dieses Bild niemanden überrascht. Vokuhila, Audiotapes, Kassettendeck, ein Rechner ohne Internetanschluss. Damals war „offline“ kein Zustand, den man hätte beschreiben müssen. Es war einfach die Welt. Wer etwas nachschlagen wollte, ging in die Bibliothek. Wer etwas rechnen wollte, schaltete die Kiste ein. Dass irgendwo ein anderer Rechner die eigentliche Arbeit übernehmen könnte, war Stoff für Romane.

Vierzig Jahre später sitze ich wieder vor einem Rechner ohne Netz. Diesmal freiwillig. WLAN aus, LAN-Kabel raus und auf dem MacBook laufen trotzdem mehrere Sprachmodelle.

Verschiedene Modelle, verschiedene Runtimes, nebeneinander im Test. Sie lesen und sortieren Dateien, fassen zusammen, stoßen Abläufe auf meinem Rechner an. Keine einzige Anfrage verlässt das Gerät. Mein ganz passabler, für diesen Zweck aber trotzdem nicht ganz ausreichender Arbeitsspeicher kommt dabei an seine Grenzen, der Lüfter dreht auf Hochtouren. Es ist alles noch ein bißchen “quick & dirty”, kein eleganter Aufbau. Aber er läuft.

Nicht aus Bastelfreude. Sondern weil ich eine Frage klären wollte, die mir in Gesprächen mit Geschäftsführungen immer wieder begegnet, meist nicht als Frage formuliert, sondern als Satz, mit dem ein Gespräch endet: „Das mit der KI können wir bei uns so nicht machen, unsere Daten dürfen da nicht rein.“

Dieser Satz ist kein Ausdruck von Technikfeindlichkeit. Er ist in den allermeisten Fällen schlicht korrekt. Personalakten, Konstruktionsunterlagen, Kalkulationen, Mandantendaten, Verträge in der Verhandlungsphase. Es gibt in jedem Unternehmen einen Bestand an Material, bei dem die Frage „Wo liegt das nachher und wer kommt daran?“ nicht mit einem Schulterzucken beantwortet werden kann. Und weil sie sich nicht mit einem Schulterzucken beantworten lässt, bleiben KI-Vorhaben genau hier liegen. Nicht an der Technik. An der Zuständigkeit für das Risiko, und an einer Skepsis, die ich für berechtigt halte.

Die naheliegende Gegenfrage lautet also: Was bleibt von der Nützlichkeit übrig, wenn man den Teil weglässt, der die Skepsis auslöst?

Erstaunlich viel. Vertrauliche Unterlagen bleiben vertraulich, weil sie sich schlicht nicht bewegen. Kein Upload, keine Frage nach dem Serverstandort, keine cloudbezogene Auftragsverarbeitungsvereinbarung, keine endlose AGB-Lektüre um Mitternacht. Die ganze Kette von Fragen, an der sonst Wochen vergehen, entfällt nicht etwa, weil man sie ignoriert, sie entsteht gar nicht erst.

Dazu kommt, dass es dafür kein Rechenzentrum braucht. Was heute auf einem gut ausgestatteten Arbeitsplatzrechner läuft, hätte vor drei Jahren als Serverthema gegolten, mit Budget, Projektplan und einem Dienstleister an der Seite. Diese Schwelle ist gefallen, und das ist die eigentliche Nachricht.

Und es kommt eine Unabhängigkeit hinzu, die man erst schätzt, wenn man sie einmal verloren hat: kein Abo, das teurer wird. Kein Modell, das über Nacht abgeschaltet oder „verbessert“ wird und danach anders antwortet als das, worauf man einen Arbeitsablauf aufgebaut hatte. Wer schon einmal erlebt hat, wie ein eingespielter Prozess an einem Montagmorgen nicht mehr funktioniert, weil anderswo jemand eine Produktentscheidung getroffen hat, weiß, was ein Werkzeug wert ist, das einem selbst gehört.

Jetzt muss ich auf die Bremse treten, denn sonst wird aus einer nüchternen Beobachtung zu schnell ein Versprechen.

Lokal heißt nicht automatisch rechtssicher. Wer ein Modell auf dem eigenen Rechner mit Personaldaten füttert, hat die Verarbeitung nicht abgeschafft, sondern nur verlagert. Die Fragen nach Zweckbindung, Löschkonzept und Zugriffsrechten stellen sich weiter, sie stellen sich nur an einem anderen Ort. Und der Rechner selbst muss dann auch der Rechner sein, für den man ihn hält: verschlüsselt, gepflegt, nicht das Gerät, das abends mit ins Café wandert.

Lokal heißt vor allem auch nicht automatisch sinnvoll. Ein Modell, das vertrauliche Daten zuverlässig im Haus behält und dabei mittelmäßige Ergebnisse produziert, die anschließend jemand mühsam nachbessern muss, ist kein Fortschritt. Es ist nur ein sicherer Weg, Arbeit zu verlagern statt sie zu erledigen.

Die lokalen Modelle sind (noch!) nicht die ganz großen. Sie sind langsamer, kürzer im Gedächtnis und bei anspruchsvollen Aufgaben spürbar schwächer als das, was wir von den etablierten Anbietern aus der Cloud gewohnt sind. Bei langen Dokumenten geht ihnen die Übersicht verloren, bei kniffligen Zusammenhängen die Luft. Wer das verschweigt, verkauft eine Illusion.

Aber: Für einen erstaunlich großen Teil der täglichen Arbeit reicht es bereits. Sortieren, zusammenfassen, Muster in Dateibeständen finden, Entwürfe anstoßen, Wiederkehrendes klassifizieren, also genau die Arbeit, die im Tagesgeschäft Zeit frisst, ohne besonders anspruchsvoll zu sein. Und für alles, was den Rechner ohnehin nicht verlassen darf, ist es aus meiner Sicht derzeit schlicht die einzige ehrliche Option. Die Alternative ist nämlich in der Praxis nicht die große Cloud-Lösung. Die Alternative ist, dass gar nichts passiert.

Alles, was ich hier über Grenzen schreibe, hat ein Verfallsdatum. Das ist kein Nebensatz, sondern der eigentliche Grund, warum ich das Thema für Unternehmen überhaupt für relevant halte.

Die Modelle, die heute noch den Lüfter meines MacBooks zum Aufheulen bringen, werden kleiner, genügsamer und besser, und gleichzeitig wächst die Hardware ihnen entgegen. Wie schnell das geht, weiß ich nicht. Wer hier Jahreszahlen nennt, rät. Aber die Richtung ist eindeutig, und diese Richtung habe ich in dreißig Berufsjahren oft genug gesehen, um ihr zu trauen: Was heute Spezialwissen und besondere Ausstattung verlangt, ist übermorgen Grundausstattung. Der Rechner auf meinem Titelbild war in seiner Zeit ein bemerkenswertes Gerät. Heute steckt mehr Rechenleistung in Dingen, über die niemand mehr nachdenkt.

KI wird, um es in einem Wort zu sagen, zur Commodity. Zu etwas, das man hat, so wie man Strom hat und eine Leitung ins Netz.

Darin liegt eine unbequeme Nachricht für alle, die gerade auf den Vorsprung durch das jeweils beste Modell setzen: Der Zugang zur Technik wird aufhören, ein Unterschied zu sein. Was dann noch zählt, ist die Frage, was jemand damit anfängt und die beantwortet kein Anbieter, die beantwortet man selbst.

Wer daraus allerdings den Schluss zieht, erst einmal abzuwarten, bis alles besser wird, hat in zwei Jahren bessere Technik und keine Erfahrung. Und Erfahrung lässt sich nicht nachrüsten.

Damit ich nicht falsch verstanden werde: Das hier ist kein Plädoyer dafür, jetzt alles auf den eigenen Rechner zu holen. Die lokale KI ist eine Antwort auf die Frage „welche Lösung passt zu uns?“ Wer lokal anfängt, nur weil es sicher klingt, denkt vom falschen Ende her.

Die Frage bleibt dieselbe wie bei jedem anderen Werkzeug: Wem dient das? Wenn die Antwort lautet „einem Vorgang, der heute liegen bleibt, weil die Daten das Haus nicht verlassen dürfen", dann ist sie gut. Wenn die Antwort lautet „wir wollen auch mal was mit KI machen“, dann ändert auch der offline betriebene Rechner nichts daran, dass die Antwort nicht trägt.

Was mich an diesem Versuchsaufbau am meisten beschäftigt, ist die Umkehrung.

Mitte der Achtziger war offline kein Vorsatz. Es war eine Beschränkung, die niemand gewählt hatte und die alle klaglos hinnahmen, weil es nichts anderes gab. Heute ist offline eine Entscheidung. Sie kostet Leistung, sie kostet Komfort, und sie verlangt, dass man sie begründen kann.

Genau das halte ich für die interessantere Nachricht, interessanter jedenfalls als jede Angabe darüber, wie viele Milliarden Parameter noch auf ein Notebook passen. Wir haben in diesem Bereich wieder eine Wahl. Für Unternehmen, wo in den letzten zwei Jahren das Gefühl vorherrschte, bei KI gäbe es nur Mitmachen oder Zuschauen, ist das eine ziemlich gute Nachricht.