Lokale KI

Was bedeutet Lokale KI?

Bei lokaler KI läuft das Modell selbst auf Rechnern, die das Unternehmen kontrolliert: auf einem Server im eigenen Serverraum, auf einem leistungsstarken Arbeitsplatzrechner oder auf einem dediziert gemieteten Server in einem Rechenzentrum, auf dem ausschließlich das eigene System läuft. Anfragen, Dokumente und Antworten werden dort verarbeitet und nicht an die Schnittstelle eines externen KI-Anbieters geschickt. Möglich wird das durch Modelle mit offen verfügbaren Gewichten, die Anbieter wie Mistral oder Meta zum Herunterladen bereitstellen und die sich auch ohne Internetverbindung betreiben lassen. Ein solches Large Language Model (LLM) ist dann eine Software wie jede andere im Haus: installiert, gewartet und abgesichert vom Betrieb selbst oder von einem beauftragten Dienstleister.

Der wichtigste Gegenbegriff ist die Cloud-KI. Wer ChatGPT, Gemini oder Claude im Browser oder über eine Schnittstelle nutzt, schickt jede Eingabe an den Anbieter, dort rechnet das Modell. Mit einem Geschäftstarif, einem Auftragsverarbeitungsvertrag (AVV) und ausgeschlossenem Training ist das in vielen Fällen zulässig. Die Kontrolle ist dann aber vertraglich geregelt, nicht technisch. Bei lokaler KI ist sie technisch: Was das eigene Netz nicht verlässt, kann kein Dritter mitlesen, speichern oder zum Training verwenden. Dazwischen liegt das Hosting bei einem europäischen Cloud-Anbieter, der das Modell für Sie betreibt. Das kann eine gute Lösung sein, ist aber keine lokale KI im engeren Sinn, weil Rechenleistung und Modellbetrieb beim Anbieter liegen.

Lokale KI ist ein Betriebsmodell, kein Anwendungstyp. Ein Unternehmens-GPT kann lokal oder in der Cloud laufen, und Retrieval Augmented Generation (RAG) funktioniert in beiden Welten. Datensouveränität ist das Ziel, lokale KI eines von mehreren Mitteln dorthin. In der Praxis sind hybride Lösungen verbreitet: Wissensbasis, Zugriffsrechte und Anonymisierung laufen im eigenen System, und nur für besonders anspruchsvolle Aufgaben wird ein externes Modell angefragt, das dann ausschließlich anonymisierte Inhalte erhält.

Ehrlich gehören auch die Grenzen dazu. Die leistungsstärksten Modelle der großen Anbieter sind nicht zum Herunterladen verfügbar. Lokale Modelle sind kleiner und bei komplexen, offenen Aufgaben meist schwächer. Für klar umrissene Aufgaben wie Zusammenfassen, Sortieren, Daten aus Dokumenten ziehen oder Firmenwissen durchsuchen reichen sie oft aus. Hinzu kommen Hardware, Betrieb, Updates und IT-Sicherheit, die nun beim Unternehmen liegen. Und lokale KI ist kein Freifahrtschein: Die Datenschutz-Grundverordnung (DSGVO) und die Pflichten aus der KI-Verordnung (AI Act) gelten unabhängig davon, wo das Modell rechnet. Dieser Eintrag ist eine praktische Einordnung, keine Rechtsberatung.

Lokale KI kurz erklärt: die wichtigsten Punkte

• Das Modell rechnet auf Hardware, über die das Unternehmen selbst bestimmt, im eigenen Haus oder auf einem dedizierten Server in einem Rechenzentrum.
• Eingaben und Dokumente verlassen das eigene System nicht und können nicht zum Training fremder Modelle verwendet werden.
• Grundlage sind offene Modelle, die frei heruntergeladen und betrieben werden dürfen; die Lizenzbedingungen unterscheiden sich je nach Anbieter.
• Statt Gebühren pro Nutzer oder Anfrage entstehen feste Kosten für Hardware, Strom, Betrieb und Pflege.
• Die Leistung reicht für viele klar umrissene Aufgaben, bleibt bei komplexen Aufgaben aber meist hinter den großen Cloud-Modellen zurück.

Lokale KI in der Praxis

• Posteingang in der Steuerkanzlei: Eine Kanzlei lässt eingehende Mandanten-E-Mails und Belege von einem lokalen Sprachmodell vorsortieren, nach Thema und Dringlichkeit einordnen und Antwortentwürfe vorbereiten. Weil Mandantendaten der Verschwiegenheit unterliegen, läuft das Modell auf einem Server im Büro. Jeder Entwurf wird von einer Mitarbeiterin geprüft und freigegeben, bevor er hinausgeht.
• Wartungswissen in der Produktion: Ein Fertigungsbetrieb macht Maschinenhandbücher, Störungsprotokolle und Schichtnotizen über RAG durchsuchbar. Modell und Wissensbasis laufen auf einem Rechner im Werksnetz, das bewusst nicht mit dem Internet verbunden ist. Schichtführer fragen in normaler Sprache nach einer Fehlermeldung und erhalten die passende Stelle aus dem Handbuch samt Quellenangabe.
• Angebotsentwürfe im Handwerk, hybrid gelöst: Ein Handwerksbetrieb will die Stärke eines großen Cloud-Modells für Angebotstexte nutzen, ohne Kundendaten herauszugeben. Ein lokaler Baustein ersetzt Namen, Adressen und Auftragsnummern durch Platzhalter, das externe Modell formuliert den Text, und lokal werden die echten Angaben wieder eingesetzt.

Woran Sie echte lokale KI erkennen

1. Sie können benennen, auf welcher Hardware das Modell läuft und wer physisch und administrativ Zugriff darauf hat.
2. Das System funktioniert auch dann, wenn die Verbindung zum Internet getrennt ist, zumindest für die Kernaufgaben.
3. Name, Version und Lizenz des eingesetzten Modells sind dokumentiert, ebenso der Zeitpunkt des letzten Updates.
4. Es gibt keine Datenübertragung an externe KI-Schnittstellen, oder sie ist ausdrücklich als hybrider Weg mit Anonymisierung beschrieben.
5. Zugriffsrechte, Protokollierung und Datensicherung sind geregelt, so wie bei jedem anderen Server im Unternehmen.

Typische Fehler

• „Lokal“ mit „Server in Deutschland“ verwechseln: Ein Cloud-Dienst mit deutschem Rechenzentrum bleibt ein Dienst des Anbieters, wenn dieser das Modell betreibt und die Daten verarbeitet.
• Das größte Modell kaufen, das kleinste Problem lösen: Teure Hardware wird angeschafft, bevor feststeht, welcher Anwendungsfall damit wie viel Arbeitszeit spart.
• Betrieb unterschätzen: Ein Modell, das nach der Installation niemand pflegt, absichert und aktualisiert, wird schnell zum Sicherheitsrisiko statt zur Lösung.
• Datenschutz für erledigt halten: Auch ohne externe Übertragung braucht es Rechtsgrundlage, Zugriffskonzept, Löschfristen und eine KI-Nutzungsrichtlinie für das Team.

Mein Bezug

Ich arbeite in unseren eigenen Firmen täglich mit rund 50 KI-Mitarbeitern, die Menschen führen und deren Ergebnisse ein Mensch freigibt. Die wichtigste Lehre daraus: Entscheidend ist nicht die Frage „lokal oder Cloud“, sondern welche Daten wohin dürfen. Deshalb bauen wir die Architektur so, dass Firmenwissen, Zugriffsrechte und Anonymisierung in einer selbst kontrollierten Umgebung liegen und das Sprachmodell ein austauschbares Werkzeug bleibt. Wie das zusammenspielt, beschreibe ich im Beitrag Ein Betriebssystem für den Betrieb. Als zertifizierter KI-Manager und BAFA-akkreditierter Berater begleite ich Betriebe in Rostock, Mecklenburg-Vorpommern und Norddeutschland bei genau dieser Abwägung: welche Aufgaben ein lokales Modell zuverlässig erledigt, wo ein Cloud-Modell mit Anonymisierung sinnvoller ist und was beides im Betrieb wirklich kostet.

Zur Förderung bleibe ich ehrlich: Für die Anschaffung von KI-Hardware gibt es über die BAFA-Beratungsförderung keinen Zuschuss. Gefördert werden kann der beratende Teil, also Prozessanalyse, Auswahl des Anwendungsfalls und ein KI-Konzept, in dem die Entscheidung zwischen lokaler und Cloud-KI begründet wird – in Mecklenburg-Vorpommern und den übrigen neuen Bundesländern mit 80 Prozent, höchstens 2.800 Euro je Beratung. Die Richtlinie wurde bis zum 31. Dezember 2028 verlängert; für Anträge ab dem 1. Januar 2027 gelten geänderte Bedingungen. Alle Details stehen in meinem Beitrag BAFA verlängert die Förderung von Unternehmensberatungen.

Verwandte Begriffe

• Datensouveränität
• Large Language Model (LLM)
• Unternehmens-GPT
• Retrieval Augmented Generation (RAG)
• Datenschutz-Grundverordnung (DSGVO)
• Auftragsverarbeitungsvertrag (AVV)
• Schatten-KI (Shadow AI)
• Generative KI
• Firmengehirn

Weiterführende Beiträge

• ChatGPT im Betrieb: erlaubt oder Datenschutz-Falle?
• Was kostet KI wirklich? Von 0 Euro bis Enterprise
• ChatGPT und Co. datenschutzkonform nutzen: Was Unternehmen bei KI und DSGVO wirklich beachten müssen
• Modell-Wirrwarr 2026: Welches KI-Modell braucht ein Mittelständler wirklich?
• 5,6 Milliarden Euro für ein Rechenzentrum vor Rostocks Haustür

Häufige Fragen zu Lokale KI

Was ist lokale KI?

Lokale KI ist ein KI-System, meist ein Sprachmodell, das auf Rechnern läuft, die das Unternehmen selbst kontrolliert, statt in der Cloud eines externen Anbieters. Das kann ein Server im eigenen Haus sein oder ein dedizierter Server in einem Rechenzentrum. Eingaben, Dokumente und Antworten bleiben dabei im eigenen System.

Ist lokale KI automatisch DSGVO-konform?

Nein, lokale KI erleichtert den Datenschutz, ersetzt ihn aber nicht. Weil keine Daten an einen externen KI-Anbieter fließen, entfallen viele Fragen zu Übermittlung und Training. Rechtsgrundlage, Zugriffsrechte, Löschfristen und die Dokumentation der Verarbeitung müssen Sie trotzdem regeln, genau wie bei jeder anderen Software im Betrieb.

Welche Hardware braucht man für lokale KI?

Das hängt von der Größe des Modells und der Zahl der gleichzeitigen Nutzer ab. Kleinere Modelle laufen auf einem gut ausgestatteten Arbeitsplatzrechner mit leistungsfähiger Grafikkarte und viel Grafikspeicher. Für größere Modelle und mehrere Nutzer braucht es einen Server mit einer oder mehreren Rechen-Grafikkarten, den man kaufen oder bei einem deutschen Rechenzentrum dediziert mieten kann.

Ist lokale KI so leistungsfähig wie ChatGPT?

Bei komplexen, offenen Aufgaben in der Regel nicht, bei klar umrissenen Aufgaben oft ausreichend. Die stärksten Modelle der großen Anbieter sind nicht zum Herunterladen verfügbar. Für Zusammenfassen, Klassifizieren, Daten aus Dokumenten ziehen oder das Durchsuchen von Firmenwissen liefern offene Modelle aber häufig brauchbare Ergebnisse.

Ist lokale KI günstiger als Cloud-KI?

Das hängt von der Nutzung ab. Lokale KI verursacht feste Kosten für Hardware, Strom, Betrieb und Updates, dafür keine Gebühren pro Nutzer oder Anfrage. Bei geringer Nutzung ist die Cloud meist günstiger, bei hoher und gleichmäßiger Nutzung mit vielen Anwendern kann sich ein eigenes System rechnen. Eine ehrliche Rechnung vergleicht beide Wege für den konkreten Anwendungsfall.