GPTs geben regelmäßig falsche Antworten, was für Unternehmen besonders peinlich sein kann. Wie kann das Risiko von Halluzinationen minimiert werden?

Yann LeCunn, Chief AI Scientist bei Meta, traf kürzlich den Nagel auf den Kopf: „Große Sprachmodelle verstehen die Realität nicht, die sie durch Sprache beschreiben wollen“, sagte er dem angesehenen Technologiemagazin IEEE Spectrum. „Diese Systeme generieren einfach Texte, die grammatikalisch und semantisch kohärent sind.“

Der renommierte KI-Wissenschaftler beschrieb KI-Halluzinationen, auf die jeder gestoßen ist, der eine generative KI wie ChatGPT verwendet. Sie erfindet Fakten und ungenaue Informationen und liefert falsche Antworten. Dies ist jedoch nur manchmal sofort ersichtlich, weil Großes Sprachmodell (LLM) präsentiert ihnen die übliche Autorität und den sachlichen Ton.

Studien haben dokumentiert, wie häufig dieses Phänomen auftritt. In einer Umfrage des Plattformanbieters Aporie Unter den etwa 1.000 ML-Experten gaben 98 Prozent an, dass ihre Modelle Anzeichen von Halluzinationen aufweisen. In einer Studie eines Technologiedienstleisters Tidio Bei fast 1.000 Internetnutzern gaben 86 Prozent an, falsche Antworten von ChatGPT erhalten zu haben. Dies zeigt, wie weit verbreitet und daher unzuverlässig Standardsysteme sind, was auch durch den Disclaimer bestätigt wird, den ChatGPT standardmäßig unter seinem Eingabefeld einfügt: „ChatGPT kann Fehler machen. Erwägen Sie, wichtige Informationen zu überprüfen.“

Halluzinationen treten auf, weil LLMs Wahrscheinlichkeiten berechnen

Das Gründe für Halluzinationen sind relativ banal. LLMs berechnen die Wahrscheinlichkeiten für ihre Antworten — Buchstabe für Buchstabe, Wort für Wort. Es geht darum, was als Nächstes folgen könnte. „Das bedeutet, dass LLMs immer eine Antwort generieren, obwohl kein Faktencheck durch Experten stattfindet“, erklärt KI-Experte Christoph Haas von Bitsero. „Sie produzieren Texte, ohne zu wissen, ob die Fakten oder die zugrunde liegende Logik stimmen“, betont Julien Siebert, Senior AI Expert am Fraunhofer IESE. „Aus diesem Grund werden sie manchmal auch als ‚statistische Papageien' bezeichnet.“

Eine weitere Ursache kann die Datenbasis sein, auf der die Modelle trainiert wurden. Wenn es falsche Informationen enthält, neigt das LLM dazu, sie zu reproduzieren. Dies zeigt sich in voreingenommenen Antworten, die trotz aller Bemühungen der GENai-Anbieter, sie zu verhindern, auftauchen. Die meisten Trainingsdaten stammen aus der westlichen Welt, erklärt Haas, was zu einer „Überanpassung“ führt. Das Ergebnis sind überwiegend westliche Antworten. Haas: „Informationen und Perspektiven aus Schwellen- und Entwicklungsländern sind unterrepräsentiert.“

Falsch oder voreingenommene Antworten können besonders problematisch sein wenn Nutzer nicht mit ChatGPT von OpenAI oder Gemini von Google kommunizieren, sondern mit einem Unternehmen. Mit anderen Worten, wenn der Absender für die Richtigkeit der Antworten steht, unterscheiden sich die Erwartungen. Da zu einem kohärenten Kundenerlebnis auch korrekte Produktinformationen und Antworten auf Anfragen gehören, müssen Unternehmen darüber nachdenken, wie Halluzinationen verhindert oder zumindest minimiert werden können, um Enttäuschungen zu vermeiden.

Wie können KI-Halluzinationen beseitigt werden? Ein Sprung durch das Quantencomputing

Eine Strategie zur Vermeidung von Halluzinationen besteht darin, standardisierte Antworten regelmäßig zu überprüfen und so weiter zu trainieren. Eine andere besteht darin das Sprachmodell mit einer Wissensdatenbank oder anderen Tools verbinden um Faktenchecks zu ermöglichen und diese Erkenntnisse zu berücksichtigen. Dazu gehören Techniken wie „Retrieval Augmented Generation“, bei der die Textgenerierung mit Informationen aus privaten oder firmeneigenen Quellen angereichert wird. Ein anderes Beispiel ist die Gedankenkette: Hier wird der LLM gebeten, die Zwischenschritte seiner Argumentation zu skizzieren.

Frontnow-Berater, ein KI-gesteuerter virtueller Berater für E-Commerce-Kunden, verwendet LLMs, um Sprache zu verstehen und grammatikalisch und semantisch korrekte Antworten zu geben. Es stützt sich jedoch ausschließlich auf Daten, die im Shop gespeichert sind und vom Kunden bereitgestellt werden. Dadurch kann die Fehlertoleranz auf nahezu Null reduziert werden, und die ethischen und rechtlichen Richtlinien unserer Kunden können berücksichtigt werden, sagt Marc Funk, CEO und Mitbegründer von Frontnow.

Aber können Sprachmodelle so weit entwickelt werden, dass Halluzinationen eines Tages völlig ausgeschlossen sind? Angesichts der Komplexität und Dynamik der Sprache und der sich ständig verändernden Informationslandschaft ist dies eine große Herausforderung, betont Christoph Haas. Ähnlich wie beim menschlichen Denken, bei dem es auch zu Fehlinformationen und Missverständnissen kommt, ist eine besondere Fehleranfälligkeit bei KI unausweichlich. KI-Experte Siebert kann sich zumindest vorstellen, dass die neuronalen Netze hinter LLMs eines Tages in der Lage sein könnten, Faktenchecks viel schneller als erwartet durchzuführen.

Weiterer technischer Fortschritt könnte auch Verbesserungen bringen. Rechenleistung spielt eine entscheidende Rolle bei der Optimierung von Modellen. Schließlich haben Fortschritte in der Hardware Entwicklungen wie ChatGPT ermöglicht. Ein weiterer Durchbruch könnte nun mit dem Sprung in die Ära des Quantencomputers erzielt werden. Haas: „Damit könnte eine Rechenkapazität erreicht werden, die der Leistungsfähigkeit des menschlichen Gehirns näher kommt und die Grenzen der KI-Forschung neu definiert.“ Das bedeutet, dass KI-Halluzinationen noch einmal deutlich reduziert werden könnten.

‍