Zum Inhalt springen
SVENNISAIWe speak Claude.
Blog · KI-Halluzinationen

KI-Halluzinationen: Warum Sprachmodelle Fakten erfinden und wie Ihr Team sie erkennt

Sprachmodelle berechnen wahrscheinliche Texte, keine geprüften Fakten. Dieser Leitfaden erklärt die Ursachen von KI-Halluzinationen und fünf Prüfungen, die jedes Team anwenden kann.

9 Min. Lesezeit
Beitrag · 9 Min. Lesezeit
Puzzle einer Landschaft, dessen Lücke ein passend geformtes Teil mit falschem Motiv füllt; daneben eine Lupe

KI-Halluzinationen: Sprachmodelle berechnen Wahrscheinlichkeiten, keine geprüften Fakten

KI-Halluzinationen entstehen, weil ein Sprachmodell die wahrscheinlichste Fortsetzung eines Textes berechnet. Ob diese Fortsetzung stimmt, schlägt es nicht nach. Fehlt eine Information, schreibt das Modell trotzdem eine flüssige Antwort. Ihr Team erkennt solche Fehler zuverlässig nur mit festen Prüfungen: Herkunft, Fundstelle, Aktualität, Gegenprobe und Detailabgleich.

Eine KI-Halluzination ist ein überzeugend formuliertes Ergebnis eines KI-Modells, das sachlich falsch ist oder nicht durch die zugrunde liegenden Daten gedeckt ist. Statt von Halluzination sprechen manche auch von Konfabulation. Google Cloud beschreibt KI-Halluzinationen knapp als falsche oder irreführende Ergebnisse, die KI-Modelle erzeugen.

Auch Claude ist davon betroffen. Anthropic schreibt in der Claude-Hilfe zu falschen oder irreführenden Antworten, Claude könne im Bemühen, hilfreich zu sein, gelegentlich falsche Antworten geben. Anthropic nennt das ein Nebenprodukt der heutigen Grenzen generativer KI-Modelle.

Für die Geschäftsführung folgt daraus eine klare Einordnung. Halluzinationen sind kein seltener Programmfehler, den das nächste Update behebt. Die Forschung beschreibt sie als statistisch unvermeidliches Nebenprodukt jedes unvollkommenen generativen Modells. Entscheidend ist daher, ob Ihr Team den Fehler bemerkt, bevor er das Unternehmen verlässt.

Ursachen von KI-Halluzinationen: Trainingsdaten, Training und Textgenerierung

Das Fraunhofer IESE ordnet die Ursachen von KI-Halluzinationen drei Bereichen zu. Diese Bereiche sind die Trainingsdaten, die Trainingsmethoden und die Inferenz, also die Art, wie das Modell Inhalte erzeugt. Jeder Bereich erklärt einen anderen Fehlertyp im Büroalltag.

Trainingsdaten: veraltet oder ohne Spezialwissen

Sind die Trainingsdaten nicht aktuell, fehlen neuere Entwicklungen in den Antworten. Oft enthalten die Daten auch kein spezialisiertes Wissen, etwa zu Ihrer Branche oder Ihren Produkten. Die Universität Paderborn weist auf einen weiteren Punkt hin: KI ist darauf trainiert, Antworten zu erzeugen, selbst wenn die nötigen Informationen fehlen.

Trainingsmethoden: das Modell will gefallen

Sycophancy ist die Neigung eines Modells, den Erwartungen der Nutzer zu entsprechen, statt objektive Informationen zu liefern. Eine suggestive Frage wie „Bestätigen Sie, dass die Frist verlängert wurde" lädt deshalb zu einer bestätigenden Antwort ein. Zudem stützen sich Modelle laut Fraunhofer häufig auf Korrelationen statt auf Ursache und Wirkung.

Textgenerierung: ähnliche Werte und lange Antworten

Nah beieinanderliegende Preise, Jahreszahlen, ähnlich klingende Namen oder Abkürzungen haben für das Modell oft ähnliche Wahrscheinlichkeiten. Die Auswahl des richtigen Werts wird dadurch schwierig. Außerdem baut jedes neue Wort auf den vorherigen auf. Je länger eine Antwort wird, desto eher kann eine Kaskade von Fehlern entstehen.

Typische KI-Halluzinationen im Büroalltag: Zitate, Links, Zusammenfassungen und Fundstellen

KI-Halluzinationen im Büro fallen selten durch schlechten Stil auf, sondern durch glaubwürdige Details. Anthropic warnt ausdrücklich, dass Claude Zitate anzeigen kann, die maßgeblich aussehen oder überzeugend klingen, aber nicht auf Fakten beruhen. Gerade das macht sie gefährlich.

Vier Fehlerbilder tauchen in den Quellen immer wieder auf:

  • Erfundene Zitate: Ein Satz wird einer Person oder Studie zugeschrieben, die ihn nie geschrieben hat.
  • Erfundene Links: Laut Google Cloud können Modelle Links zu Webseiten erfinden, die nie existiert haben.
  • Ergänzte Zusammenfassungen: Eine Zusammenfassung enthält Details, die im Originaltext nicht stehen, oder fingiert Informationen vollständig.
  • Erfundene Fundstellen: Gesetzesstellen, Urteile oder Aktenzeichen sehen korrekt aus, existieren aber nicht.

Diese Fehler treffen auch Profis. Laut tagesschau.de enthielt ein Bericht einer großen Beratungsgesellschaft über den KI-Einsatz in Unternehmen Fallstudien, die auf Halluzinationen beruhten. In Australien musste eine Analyse zu einem Sozialhilfeprogramm korrigiert werden, weil sie nicht existierende Quellen und Zitate enthielt.

Übertragen auf Ihr Unternehmen heißt das: Gefährdet sind Marktanalysen, Vertragszusammenfassungen, Kundenmails mit Rechtsbezug und Präsentationen mit Zahlen. Das Amtsgericht Köln befand 2025, dass Fundstellen in einem Anwaltsschriftsatz offenbar mit KI erzeugt und frei erfunden waren. Was in einem Schriftsatz passiert, passiert auch in einem Angebot.

Fünf Prüfungen gegen KI-Halluzinationen, die jedes Team anwenden kann

Fünf feste Prüfungen decken die häufigsten KI-Halluzinationen ab, ohne dass Ihr Team technisches Wissen braucht. Sie leiten sich aus den Ursachen ab: fehlende Herkunft, erfundene Fundstellen, veraltetes Wissen, zufällige Antworten und vertauschte Details. Die Tabelle zeigt, worauf das Team achtet und wann die Prüfung Pflicht ist.

PrüfungWorauf das Team achtetWann sie Pflicht ist
1. HerkunftJede Zahl, jedes Datum und jedes Zitat hat eine Quelle, die sich öffnen lässt.Immer, wenn ein Text das Haus verlässt
2. FundstelleLink, Aktenzeichen oder Studie im Original aufrufen und den zitierten Inhalt dort finden.Bei Recht, Normen, Studien und Webquellen
3. AktualitätLiegt das Ereignis nach dem Wissensstand des Modells, braucht es eine aktuelle Quelle.Bei Preisen, Fristen, Gesetzen und Nachrichten
4. GegenprobeDieselbe Frage neu und anders formuliert stellen und die Antworten vergleichen.Bei Entscheidungen mit finanzieller Wirkung
5. DetailabgleichNamen, Abkürzungen, Beträge und Jahreszahlen Zeichen für Zeichen mit dem Original vergleichen.Bei Zusammenfassungen und Datenübernahmen

Die Gegenprobe beruht auf einem bekannten Verfahren. Self-Consistency-Prompting erkennt konfabulierte Antworten durch Variationen derselben Anfrage oder durch wiederholte gleiche Anfragen. Weichen die Antworten voneinander ab, ist das ein Warnsignal.

Zur Aktualität gibt Anthropic einen konkreten Anhaltspunkt. Die aktuellen Claude-Modelle haben laut der Modellübersicht von Anthropic einen verlässlichen Wissensstand bis Juni 2026. Alles danach muss aus einer Quelle kommen, die Claude im Gespräch erhält.

Die fünf Prüfungen ergänzen die menschliche Freigabe, sie ersetzen sie nicht. IBM nennt die Validierung durch einen Menschen ausdrücklich als letzte Sicherheitsmaßnahme gegen Halluzinationen.

Beispiel Fundstellenprüfung: Fehlzitate nach dem Muster des OLG Celle aufdecken

Das Oberlandesgericht Celle hat im April 2025 vorgeführt, wie eine Fundstellenprüfung funktioniert. Das Gericht stellte an vier Stellen fest, dass von der Beklagten genannte Fundstellen Fehlzitate waren. Sie waren weder bei juris noch bei beck-online unter den genannten Parametern aufrufbar: Datum, Aktenzeichen und Fundstelle.

Diese drei Parameter machen die Prüfung für jedes Team wiederholbar. So gehen Sie bei einem KI-Entwurf mit Rechtsbezug vor:

  1. Listen Sie jede Fundstelle des Entwurfs einzeln auf, jeweils mit Datum, Aktenzeichen und Fundstelle.
  2. Suchen Sie jeden Eintrag in der Datenbank, die Ihr Unternehmen nutzt, etwa juris oder beck-online.
  3. Lässt sich ein Eintrag mit allen drei Angaben nicht aufrufen, behandeln Sie ihn als Fehlzitat und nicht als Tippfehler.
  4. Lesen Sie bei gefundenen Einträgen nach, ob der Inhalt die Aussage im Entwurf tatsächlich stützt.

Der vierte Schritt wird oft vergessen. Eine echte Fundstelle kann trotzdem etwas anderes sagen als die KI behauptet. Das Fraunhofer IESE spricht hier von fehlender Übereinstimmung mit der Quelle, im Unterschied zu fehlender faktischer Richtigkeit.

Das Muster lässt sich auf andere Bereiche übertragen. Bei einer Norm prüfen Sie Nummer, Ausgabe und Abschnitt. Bei einer Studie prüfen Sie Autoren, Jahr und Seite. Wer regelmäßig mit Schriftsätzen arbeitet, findet weitere Anwendungsfälle unter KI in der Anwaltskanzlei.

Eine Fundstelle zählt erst, wenn Datum, Aktenzeichen und Fundstelle in der Datenbank auffindbar sind. Was Sie tun. 1. Fundstellen auflisten: Jede Fundstelle einzeln mit Datum, Aktenzeichen und Fundstelle; 2. In der Datenbank suchen: Jeden Eintrag in

Quellen und Zitate erleichtern die Prüfung, ersetzen sie aber nicht

Quellen verringern KI-Halluzinationen, weil das Modell dann aus vorgegebenem Material schreibt statt aus seinem gelernten Wissen. Retrieval Augmented Generation, kurz RAG, ist eine Architektur, die ein Sprachmodell mit externen Wissensdatenbanken verbindet. Das Modell übernimmt die Sprache, das Sammeln der Fakten übernehmen spezialisierte Werkzeuge.

RAG wirkt allerdings nur, wenn die nötigen Daten tatsächlich vorhanden sind. Anthropic formuliert es so: Die Qualität der Antworten von Claude hängt von den zugrunde liegenden Quellen ab. Eine veraltete Preisliste erzeugt also eine sauber formulierte, aber falsche Antwort.

Auch zitierte Quellen gehören in die Prüfung. Bei Websuchen empfiehlt Anthropic, die von Claude zitierten Quellen selbst zu lesen. Die Originalseiten können wichtigen Kontext enthalten, der in der Zusammenfassung von Claude fehlt.

Im Unternehmen heißt das: Zahlen sollten aus dem System kommen, in dem sie gepflegt werden, etwa Preise oder Kundendaten aus Zoho CRM. Wenn wir bei Svennis Claude an die Programme eines Unternehmens anbinden, legen wir für jede Zahl fest, aus welchem System sie stammen muss. Nennt eine Antwort eine Zahl ohne diese Herkunft, werten wir das in der Abnahme als Fehler und nicht als Formulierungsfrage.

Ein Quellenverweis ist damit ein Werkzeug für die Herkunfts- und Fundstellenprüfung. Er macht den Weg zum Original kurz, aber gehen muss ihn weiterhin ein Mensch.

Was Anweisungen und Technik gegen KI-Halluzinationen leisten und was nicht

Gute Anweisungen senken die Zahl der KI-Halluzinationen, beseitigen sie aber nicht. Wer dem Modell ausdrücklich erlaubt, eine Frage nicht zu beantworten, verringert erfundene Antworten. Verhindern lassen sie sich so laut Forschung nicht.

Drei weitere Maßnahmen nennen die Quellen als wirksam:

  • Schrittweises Denken: Prompting-Techniken wie Chain of Thought erhöhen laut Fraunhofer die Genauigkeit.
  • Vorlagen: Laut IBM geben Datenvorlagen ein festes Format vor und verringern fehlerhafte Ausgaben.
  • Grenzen setzen: IBM stellt fest, dass Modelle oft halluzinieren, weil Beschränkungen für mögliche Ergebnisse fehlen.

Andere Ansätze sind für den Mittelstand noch keine Option. Knowledge Editing, also das gezielte Ändern von Wissen im Modell selbst, ist laut Fraunhofer derzeit ein Forschungsansatz ohne breite Anwendung.

Eine Grenze bleibt auch bei vollständigen Daten. Komplexe Aufgaben, die mehrere Schlussfolgerungen verketten, zeigen die Grenzen der Modelle selbst dann, wenn alle nötigen Informationen vorliegen. Das betrifft besonders Systeme, die mehrere Schritte selbstständig ausführen. Wie solche Systeme aufgebaut sind und wo Kontrollen greifen, erklärt der Beitrag Was sind KI-Agenten.

Die Konsequenz für die Planung ist einfach. Technik verschiebt die Fehlerquote, die fünf Prüfungen und die menschliche Freigabe bleiben trotzdem nötig.

KI-Halluzinationen in deutschen Unternehmen: breite Nutzung, wenig Einführung, wachsendes Haftungsrisiko

KI-Halluzinationen sind für deutsche Unternehmen ein Alltagsrisiko, weil KI längst im Arbeitsalltag angekommen ist. Laut ifo nutzen mehr als 54 Prozent der Firmen in Deutschland KI in ihren Prozessen. Nach Zahlen des IAB verwenden zwei Drittel der Beschäftigten KI zu einem gewissen Grad am Arbeitsplatz.

Die Einführung hält mit der Nutzung nicht Schritt. Laut tagesschau.de zu Halluzinationen in Beratung und Wissenschaft hat nur ein Drittel der Nutzenden KI formell eingeführt bekommen. Schatten-KI bezeichnet eine Nutzung, bei der das Unternehmen seine Mitarbeitenden womöglich nicht im Umgang mit KI-Fehlern geschult hat.

Die Folgen sind messbar. Laut einer Dataiku-Umfrage hatten 76 Prozent der deutschen Datenverantwortlichen Probleme durch KI-Halluzinationen. Eine Untersuchung der EBU fand im Oktober 2025 bei 45 Prozent der Chatbot-Antworten signifikante Mängel.

Auch die Rechtsprechung zieht Grenzen. Das Oberlandesgericht Hamm hat im Mai 2026 in einem noch nicht rechtskräftigen Urteil (Az. 4 UKl 3/25) entschieden, dass der Betreiber eines medizinischen KI-Chatbots für irreführende Aussagen des Chatbots wettbewerbsrechtlich einstehen muss. Das gilt nach dem Urteil auch dann, wenn er keine fehlerhaften Daten weitergegeben hat. Wer einen Assistenten auf der Website oder im Kundenservice betreibt, sollte daher nicht davon ausgehen, sich auf Fehler des Modells berufen zu können.

Für die Geschäftsführung ergeben sich daraus zwei Aufgaben: die tatsächliche Nutzung erfassen und das Team gezielt schulen. Wie eine solche Schulung aufgebaut sein kann, beschreibt die Seite zur KI-Schulung und KI-Kompetenz.

Nächste Schritte: KI-Nutzung erfassen, Prüfungen zuordnen, Datenquellen anbinden

Der wirksamste erste Schritt gegen KI-Halluzinationen ist eine Bestandsaufnahme. Sie zeigt, wo KI-Texte heute schon das Unternehmen verlassen. Danach lassen sich die fünf Prüfungen gezielt dort einsetzen, wo ein Fehler Geld oder Vertrauen kostet.

Gehen Sie in dieser Reihenfolge vor:

  1. Nutzung erfassen: Fragen Sie jede Abteilung, für welche Texte sie KI einsetzt und wer das Ergebnis freigibt.
  2. Risiko einordnen: Markieren Sie Texte mit Zahlen, Fristen, Rechtsbezug oder Außenwirkung als prüfpflichtig.
  3. Prüfungen zuordnen: Legen Sie mit der Tabelle oben fest, welche der fünf Prüfungen für welchen Texttyp gilt.
  4. Team schulen: Üben Sie die Fundstellenprüfung an einem echten Entwurf aus Ihrem Haus.
  5. Quellen anbinden: Sorgen Sie dafür, dass Zahlen aus dem pflegenden System kommen und nicht aus dem Gedächtnis des Modells.

Die Universität Paderborn nennt das Gegenprüfen von KI-Ergebnissen eine essenzielle Kompetenz. Was dort für Forschende gilt, gilt für jedes Team, das Angebote, Berichte oder Kundenmails mit KI vorbereitet.

Wenn Sie wissen möchten, wo Ihr Unternehmen bei Nutzung, Regeln und Datenquellen steht, beginnen Sie mit dem KI-Readiness-Check. Wie geprüfte Abläufe danach dauerhaft in Ihren Prozessen laufen, zeigt die Seite zur KI-Automatisierung für den Mittelstand.

Quellen

  1. Claude Help Center: Claude is providing incorrect or misleading responses
  2. Anthropic: Models overview
  3. Fraunhofer IESE: Halluzinationen von generativer KI und LLMs
  4. IBM: Was sind KI-Halluzinationen?
  5. Google Cloud: Was sind KI-Halluzinationen?
  6. tagesschau.de: Wie KI-Halluzination in Studien landet
  7. Wikipedia: Halluzination (Künstliche Intelligenz)
  8. Universität Paderborn, ZIM HilfeWiki: Halluzinationen und Validierung von Informationen bei KI
Kostenlos, 30 Minuten

Wählen Sie einen Termin. Bringen Sie den Prozess mit, an den Sie beim Lesen gedacht haben.

Sie erhalten ein klares Ja oder Nein zur Automatisierung mit Claude und den passenden Schritt laut veröffentlichter Preisliste. Sie sprechen mit den Menschen, die die KI-Agenten bauen, nicht mit dem Vertrieb.

Lieber anrufen? +40 722 567 135 · Lieber erst selbst ausprobieren? Zuerst die kostenlose Analyse.

30 Minuten · Video · kostenlos
  1. 1Termin
  2. 2Ihre Angaben
  3. 3Gebucht