KI-Halluzination

Was bedeutet KI-Halluzination?

Von einer KI-Halluzination spricht man, wenn ein KI-System eine Aussage trifft, die flüssig formuliert und überzeugend klingt, inhaltlich aber nicht stimmt. Typisch sind erfundene Zahlen, falsche Daten, Paragrafen, die es nicht gibt, Quellen und Zitate ohne Vorlage oder Produkteigenschaften, die kein Hersteller je versprochen hat. Der Begriff ist bildhaft und streng genommen schief: Ein Sprachmodell nimmt nichts wahr und täuscht auch nicht absichtlich. Fachleute sprechen deshalb auch von Konfabulation – das Modell füllt eine Lücke mit etwas, das sprachlich passt.

Die Ursache liegt in der Arbeitsweise. Ein Large Language Model (LLM) berechnet Baustein für Baustein die wahrscheinlichste Fortsetzung eines Textes. Es ist darauf trainiert, eine hilfreiche Antwort zu geben, nicht darauf, zuzugeben, dass es etwas nicht weiß. Fehlt eine Information im Training, ist sie veraltet oder ist die Frage unklar gestellt, entsteht trotzdem eine Antwort – im selben sicheren Ton wie eine richtige. Besonders hoch ist das Risiko bei Nischenthemen, regionalen Details, aktuellen Förderbedingungen und Firmeninterna, weil das Modell dazu kaum oder gar kein Material gesehen hat.

Abzugrenzen ist die Halluzination von einem veralteten Wissensstand. Nennt ein Modell einen Fördersatz, der vor zwei Jahren galt, ist das ein Aktualitätsproblem; erfindet es einen Fördersatz, den es nie gab, ist es eine Halluzination. Ebenfalls etwas anderes ist Voreingenommenheit (Bias): Dort sind Antworten einseitig gefärbt, aber nicht zwingend erfunden. In der Praxis verschwimmen die Grenzen, die Gegenmaßnahme ist dieselbe – geprüfte Quellen und ein Mensch, der das Ergebnis verantwortet.

Das wirksamste technische Gegenmittel ist Retrieval Augmented Generation (RAG): Das System sucht vor jeder Antwort passende Stellen in freigegebenen Unterlagen heraus und gibt sie dem Modell als Grundlage mit, idealerweise samt Fundstelle. Ein Unternehmens-GPT baut genau darauf auf. Sauberes Prompt Engineering hilft zusätzlich, etwa mit der Anweisung, nur aus den beigefügten Dokumenten zu antworten und Lücken offen zu benennen. Welche Ergebnisse vor der Verwendung geprüft werden müssen, regelt eine KI-Nutzungsrichtlinie. Und Halluzinationen betreffen nicht nur interne Texte: Auch ChatGPT und Co. erzählen über ein Unternehmen Falsches, wenn im Netz zu wenig belastbare Informationen stehen – dort setzt Generative Engine Optimization (GEO) an.

KI-Halluzination kurz erklärt: die wichtigsten Punkte

• Eine Halluzination ist eine falsche oder erfundene Aussage, die genauso souverän formuliert ist wie eine richtige – am Ton lässt sie sich nicht erkennen.
• Sie entsteht, weil Sprachmodelle wahrscheinliche Texte erzeugen und keine Fakten nachschlagen; wo Wissen fehlt, wird die Lücke sprachlich gefüllt.
• Das Risiko steigt bei Spezialfragen, aktuellen Zahlen, regionalen Regelungen und allem, was nur in Ihrem Betrieb bekannt ist.
• Geprüfte eigene Wissensquellen, klare Prompt-Vorgaben und Quellenangaben senken die Fehlerquote deutlich, schließen Fehler aber nicht aus.
• Verantwortlich für eine verwendete KI-Aussage bleibt der Betrieb – deshalb braucht jeder KI-Einsatz eine festgelegte menschliche Freigabe.

KI-Halluzination in der Praxis

• Angebot mit falscher Zusage: Ein Mitarbeiter lässt sich von einem frei verfügbaren Chat-Assistenten einen Angebotstext formulieren und übernimmt ihn fast unverändert. Der Text nennt eine Norm und eine Produkteigenschaft, die zum angebotenen Artikel nicht passen. Fällt das vor dem Versand niemandem auf, steht im Angebot eine technische Zusage, die der Betrieb nicht halten kann.
• Förderauskunft aus dem Gedächtnis: Eine Geschäftsführerin fragt ein KI-Werkzeug nach Förderquote und Frist für ein KI-Projekt in Mecklenburg-Vorpommern. Die Antwort nennt Prozentsatz, Höchstbetrag und Stichtag mit großer Sicherheit – teils veraltet, teils frei kombiniert. Wer darauf eine Investitionsentscheidung aufbaut, plant mit falschen Zahlen; maßgeblich sind Richtlinie und Bewilligungsstelle.
• Website-Chat ohne Wissensbasis: Ein Chatbot soll Kundenfragen beantworten, ist aber weder an die Leistungsübersicht noch an die FAQ angebunden. Auf die Frage nach einem kurzfristigen Termin sagt er eine Leistung zu, die es so gar nicht gibt. Mit RAG und der Anweisung „Liegt keine Information vor, an das Team weiterleiten“ wäre daraus eine saubere Übergabe an einen Menschen geworden.

Woran Sie eine KI-Halluzination erkennen

1. Sehr konkrete Angaben ohne Quelle: exakte Zahlen, Daten, Paragrafen oder Namen, aber keine Fundstelle, die sich nachprüfen lässt.
2. Quellen, die ins Leere führen: Der Link funktioniert nicht, die Studie ist nicht auffindbar oder das Zitat findet sich beim angeblichen Urheber nicht.
3. Gleich sicherer Ton bei Spezialfragen: Bei regionalen Förderprogrammen, internen Abläufen oder sehr neuen Regeln gilt – je spezieller die Frage, desto genauer hinsehen.
4. Widersprüche bei Nachfrage: Dieselbe Frage, neu oder anders gestellt, liefert andere Zahlen, oder das Modell „korrigiert“ sich bereitwillig in jede Richtung, die Sie vorgeben.
5. Abweichung vom eigenen Wissen: Die Antwort nennt Produkte, Preise, Ansprechpartner oder Leistungen Ihres Betriebs, die Sie so nicht anbieten oder nie veröffentlicht haben.

Typische Fehler

• Dem Ton vertrauen: Eine Antwort wird übernommen, weil sie fachlich und sicher klingt – genau das ist bei Halluzinationen der Normalfall und kein Qualitätsmerkmal.
• Auf das nächste Modell hoffen: Neuere Modelle irren seltener, aber nicht nie. Ohne geprüfte Datengrundlage und Freigabe bleibt das Risiko bestehen, egal welches Modell gerade vorn liegt.
• Prüfung ohne Zuständigkeit: „Irgendwer schaut noch drüber“ ist keine Regel. Wer welche Ergebnisse vor der Verwendung freigibt, muss namentlich oder per Rolle festgelegt sein.
• Aus Angst ganz verzichten: Wer KI wegen möglicher Fehler offiziell verbietet, verhindert sie selten. Die Mitarbeitenden nutzen dann private Konten ohne Regeln – das Ergebnis ist Schatten-KI mit noch weniger Kontrolle.

Mein Bezug

In meinen eigenen Unternehmen arbeiten rund 40 digitale Mitarbeiter bei pxMEDIA und ONFYR auf Basis von Sprachmodellen – für Texte, Recherchen und Angebotsentwürfe. Halluzinationen sind für mich deshalb kein Theoriethema, sondern Alltag, den man organisieren muss. Was bei uns funktioniert, ist unspektakulär: feste Rollen für jeden digitalen Mitarbeiter, Zugriff auf gepflegtes Firmenwissen statt Antworten aus dem Gedächtnis des Modells und eine Freigabe durch einen Menschen, bevor etwas das Haus verlässt. Genau in dieser Reihenfolge gehe ich auch bei Kunden vor: erst klären, aus welchen Quellen die KI antworten darf und wer prüft, dann den Assistenten bauen und im Alltag einführen.

Die Beratung davor ist für kleine und mittlere Unternehmen förderfähig: In Mecklenburg-Vorpommern bezuschusst das BAFA nach den derzeit geltenden Sätzen 80 Prozent der förderfähigen Beratungskosten, höchstens 2.800 Euro je Beratung. Die Richtlinie ist bis 31. Dezember 2028 verlängert; für Anträge ab dem 1. Januar 2027 gelten geänderte Bedingungen, unter anderem die Antragstellung über ELSTER oder BundID. Für die Umsetzung kommt in MV die KI-Förderung für Unternehmen mit bis zu 100 Beschäftigten in Frage – bis zu 50 Prozent der förderfähigen Ausgaben, höchstens 50.000 Euro, Antrag vor Projektbeginn. Wie Halluzinationen entstehen und warum ein System mit eigenen Daten verlässlicher antwortet, beschreibe ich ausführlich im Beitrag Kann man KI-Antworten trauen?

Verwandte Begriffe

• Large Language Model (LLM)
• Retrieval Augmented Generation (RAG)
• Prompt Engineering
• Unternehmens-GPT
• KI-Nutzungsrichtlinie
• Schatten-KI (Shadow AI)
• KI-Kompetenzpflicht

Weiterführende Beiträge

• Kann man KI-Antworten trauen? Halluzinationen einfach erklärt
• Unternehmens-GPT: Was ein eigener KI-Assistent mit Firmenwissen kann
• ChatGPT und Co. datenschutzkonform nutzen: Was Unternehmen bei KI und DSGVO wirklich beachten müssen
• KI-Schulung für Mitarbeiter nach EU AI Act: Was die Pflicht zur KI-Kompetenz verlangt
• Online-Reputation gezielt beeinflussen: Was Google und ChatGPT über Sie erzählen

Häufige Fragen zu KI-Halluzination

Warum heißt es Halluzination, obwohl die KI nichts wahrnimmt?

Der Begriff ist ein Bild und hat sich durchgesetzt, obwohl er technisch ungenau ist. Ein Sprachmodell sieht und denkt nichts, es berechnet nur die wahrscheinlichste Fortsetzung eines Textes. Treffender ist der Ausdruck Konfabulation: Das Modell füllt eine Wissenslücke mit etwas, das sprachlich passt, ohne zu prüfen, ob es stimmt.

Wie häufig halluzinieren KI-Modelle?

Eine feste Quote gibt es nicht, die Häufigkeit hängt stark von Modell, Aufgabe und Datengrundlage ab. Bei allgemeinen Fragen mit viel Trainingsmaterial irren aktuelle Modelle seltener, bei Nischenthemen, regionalen Details, sehr neuen Regeln und Firmeninterna deutlich öfter. Für den Betrieb zählt deshalb weniger die Durchschnittsquote als die Frage, ob die KI für die konkrete Aufgabe eine geprüfte Quelle bekommt.

Verhindert eine Websuche in ChatGPT und Co. Halluzinationen?

Nein, eine Websuche senkt das Risiko, verhindert Halluzinationen aber nicht vollständig. Das Modell kann Suchtreffer falsch zusammenfassen, Angaben aus verschiedenen Quellen vermischen oder sich auf veraltete Seiten stützen. Auch mit Websuche gilt: Wichtige Angaben an der genannten Quelle selbst nachlesen.

Wer ist verantwortlich, wenn eine halluzinierte Angabe beim Kunden landet?

Verantwortlich ist in aller Regel das Unternehmen, das die Angabe verwendet, nicht das KI-Werkzeug. Ein Angebot, eine Auskunft oder ein Chatbot-Versprechen gilt gegenüber dem Kunden als Aussage des Betriebs. Deshalb gehört in jede KI-Nutzungsrichtlinie, welche Ergebnisse vor der Verwendung von wem geprüft werden; im Einzelfall klärt eine Rechtsberatung die genaue Haftung.

Lassen sich KI-Halluzinationen vollständig vermeiden?

Nein, nach heutigem Stand lassen sie sich nicht vollständig vermeiden, weil sie in der Arbeitsweise von Sprachmodellen angelegt sind. Stark verringern lässt sich das Risiko durch eine geprüfte eigene Wissensbasis per Retrieval Augmented Generation, durch Prompts, die Antworten nur aus vorgelegten Quellen erlauben, und durch eine klare Freigabe durch Menschen. Wo ein Fehler teuer wäre, bleibt die Prüfung Pflicht.