Einleitung

Da sich Large Language Models (LLMs) immer weiter in digitalen Bereichen verbreiten, werden ihre menschenähnlichen Antwortfähigkeiten für eine Vielzahl von Anwendungen genutzt. Diese hochentwickelten Modelle, gestärkt durch Fortschritte in der natürlichen Sprachverarbeitung, versprechen als reichhaltige Wissensspeicher zu dienen und nuancierte sowie präzise Antworten auf vielfältige Anfragen zu liefern. Dennoch ist das alleinige Vertrauen auf LLMs als verlässliche Informationsquellen nicht ohne Risiken – Risiken, die aus den „Halluzinationen“ entstehen, die diese Modelle erleben können, und dem Fehlen einer Überprüfung ihrer generierten Antworten. Dieser Blog untersucht die Feinheiten dieser LLM-induzierten Halluzinationen, die lauernde Gefahr von Ungenauigkeiten und falschen Zitaten sowie die tiefgreifenden gesellschaftlichen Auswirkungen, die diese Probleme haben können. Wir werden auch aufschlussreiche Beispiele aus der AI Incident Database beleuchten, die die Konsequenzen eines ungeprüften Vertrauens auf LLMs für kritische Informationen veranschaulichen. Darüber hinaus stellen wir das Calvin Risk Framework vor, ein innovatives Instrument zur Bewältigung der Komplexität und Herausforderungen bei der Implementierung von KI.

‍

Die Tücken der Halluzination und die Gefahr falscher Zitate

Ein wesentliches Bedenken bei der Nutzung von LLMs als Informationsquellen ist ihre Neigung, Antworten zu generieren, die möglicherweise nicht auf Fakten basieren. Obwohl sie auf einer riesigen Datenmenge trainiert wurden, fehlt diesen Modellen der Echtzeitzugriff auf aktuelle Informationen, und sie können die Richtigkeit ihrer Antworten nicht selbst validieren. Dies kann zu Fällen führen, in denen LLMs Fakten mit einer Aura unerschütterlicher Gewissheit erfinden und so einen trügerischen Anschein von Autorität erzeugen.

‍

Die Auswirkungen auf das menschliche Leben

Die Folgen von Halluzinationen in LLM-generierten Antworten sind weitreichend. Um dies zu unterstreichen, betrachten wir einige dokumentierte Vorfälle aus der AI Incident Database:

‍

ChatGPT löste einen Skandal um sexuelle Belästigung aus und beschuldigte fälschlicherweise einen echten Jura-Professor‍

In einem schwerwiegenden Vorfall mit dem KI-Chatbot ChatGPT beschuldigte dieser den Jura-Professor Jonathan Turley fälschlicherweise der sexuellen Belästigung. Für eine Forschungsstudie eines Anwalts in Kalifornien erstellte ChatGPT eine Liste von Rechtswissenschaftlern, die jemanden sexuell belästigt hatten, und fügte Turleys Namen hinzu. Der KI-Bot behauptete, Turley habe während einer Klassenfahrt nach Alaska sexuell anzügliche Kommentare abgegeben und versucht, eine Studentin zu berühren, und nannte einen angeblichen Artikel der Washington Post vom März 2018 als Informationsquelle. Es gab jedoch nie eine Klassenfahrt nach Alaska, ein solcher Artikel existiert nicht, und Turley bestreitet, jemals beschuldigt worden zu sein, eine Studentin belästigt zu haben.

‍

(Quelle: What happens when ChatGPT lies about real people? - The Washington Post)

‍

‍

Meta-KI-Bot trug zu gefälschter Forschung und Unsinn bei

‍In einem weiteren Vorfall deaktivierte Meta (ehemals Facebook) seinen KI-Bot Galactica vorübergehend, da dieser Fehlinformationen verbreitete. Die KI war darauf ausgelegt, Akademiker und Forscher bei der schnellen Suche nach relevanten Studien und Fachartikeln zu unterstützen. Sie wurde mit Milliarden von Token aus frei zugänglichen wissenschaftlichen Texten und Daten trainiert. Der Bot begann jedoch, falsche Zitate und unzutreffende Informationen zu generieren. Kurz nach der öffentlichen Einführung berichteten Nutzer von rassistischen und inkorrekten Antworten. Dazu gehörten falsche Behauptungen über den Sprachgebrauch von Schwarzen und Einwanderern, die vermeintlichen Vorteile des Verzehrs von zerbrochenem Glas sowie eine „Gaydar“-Software, die angeblich von Forschern der Stanford University entwickelt worden sein soll.

‍

(Quelle: Meta-KI-Bot trägt zu gefälschter Forschung im Internet bei)

‍

‍

Ein auf psychische Gesundheit spezialisiertes Technologieunternehmen führte ein höchst umstrittenes KI-Experiment an echten Nutzern durch

‍Das Unternehmen Koko, das Technologie für psychische Gesundheit anbietet, führte kürzlich ein KI-Beratungsexperiment durch, das auf Kritik stieß. Koko ist ein Online-Support-Chat-Dienst, bei dem Nutzer mit anonymen Freiwilligen in Kontakt treten können, um über ihre Probleme zu sprechen und Rat zu suchen. Es stellte sich jedoch heraus, dass eine zufällige Auswahl von Nutzern Antworten erhielt, die teilweise oder vollständig von einer KI verfasst wurden, ohne dass sie angemessen darüber informiert wurden, dass sie nicht mit echten Menschen interagierten. Koko teilte die Ergebnisse dieses „Experiments“ mit und behauptete, dass Nutzer von Bots verfasste Antworten besser bewerten als die von echten Freiwilligen. Dies hat eine Debatte über die Ethik „simulierter Empathie“ ausgelöst und die Notwendigkeit eines rechtlichen Rahmens für den Einsatz von KI unterstrichen, insbesondere im Gesundheits- und Wohlfahrtssektor.

‍

(Quelle: ChatGPT von App für psychische Gesundheit in KI-Experiment mit Nutzern verwendet)

‍

‍

Große Sprachmodelle sind ein beeindruckender technologischer Fortschritt, der zweifellos eine Vielzahl von Verbesserungen für menschliche Arbeitsabläufe und den Alltag mit sich bringen wird. Es besteht jedoch die Möglichkeit, dass diese leistungsstarke Technologie außer Kontrolle gerät und mehr Schaden als Nutzen anrichtet. Wir stehen derzeit vor der Herausforderung, sinnvolle Regulierungen zu entwickeln, um KI-Risiken zu identifizieren, zu kontrollieren und zu mindern. Es müssen unverzüglich entschlossene Maßnahmen ergriffen werden.

‍

Calvin KI-Risikomanagement-Rahmenwerk

Als Antwort auf die Herausforderungen bei der Kontrolle und Minderung von Risiken wurde Calvin Risk mit der Vision gegründet, KI durch die Quantifizierung ihrer Risiken zu ermöglichen. Um Unternehmen dabei zu unterstützen, entscheidungsfreudige, sachliche und objektive Entscheidungen bezüglich ihrer KI-Algorithmenentwicklung zu treffen, haben wir das Calvin AI Risk Management Framework entwickelt. Unsere Mission ist es, Künstliche Intelligenz zu fördern, indem wir Unternehmen mit den erforderlichen und konformen Governance- und Risikomanagement-Tools sowie Ressourcen ausstatten, um die Implementierung und Einführung von KI-Systemen zu beschleunigen. Das bedeutet, wir unterstützen Organisationen bei der Steuerung, Risikobewertung und dem Risikomanagement all ihrer KI-Algorithmen über deren gesamten Lebenszyklus hinweg – von der Anwendungsfallbewertung und Modellauswahl über Entwicklung, Bereitstellung und Betrieb bis hin zur Überwachung.

‍

‍

‍

Das Calvin AI Risk Management Framework unterscheidet drei Hauptarten von Risiken:

Technische Risiken

Technische Risikoindikatoren messen die Qualität der Leistung und Robustheit von KI-Systemen. Diese Risikoindikatoren lassen sich in der Regel sehr gut entweder durch direkte Leistungskennzahlen messen oder durch mathematische Unsicherheitsgrenzen direkt verifizieren.

Daher sind diese Risikoindikatoren sehr quantitativer Natur.

‍

Ethische Risiken

Unter ethischen Risiken verstehen wir die Risiken von KI-Systemen, die aus Verzerrungen (Biases) oder der Black-Box-Natur der Algorithmen resultieren. Aufgrund der Beschaffenheit von KI-Algorithmen können die von ihnen getroffenen Entscheidungen sehr schwer zu interpretieren sein, weshalb die Anwender von KI-Algorithmen ein ausreichendes Verständnis für deren Stärken und Grenzen haben müssen.

Da hochentwickelte KI-Systeme zudem direktere geschäftliche Auswirkungen haben können als herkömmliche Modelle (z. B. automatisierte Vorauswahl von Lebensläufen), bergen sie das Risiko, auf unfaire Weise zu entscheiden. Dies kann sowohl durch Verzerrungen in den verwendeten Trainingsdaten als auch durch unbewusste Voreingenommenheit der Modellentwickler geschehen.

‍

Regulatorische Risiken

Unter regulatorischen Risiken verstehen wir Risiken von KI-Systemen, die sowohl aus externen als auch aus internen Vorschriften entstehen. Zu den externen Vorschriften gehören unter anderem bestehende Regelungen wie DSGVO sowie AGG sowie kommende Vorschriften, insbesondere der EU AI Act.

Zudem werden sich Unternehmen, die das volle Potenzial von KI-Algorithmen ausschöpfen wollen, zunehmend der damit verbundenen Risiken bewusst und beginnen, strenge Governance-Anforderungen für KI-Algorithmen einzuführen.

‍

‍Erfahren Sie hier mehr über unser Calvin AI Risk Management Framework: Calvins AI Risk Management Framework

‍

‍

Calvin als Business-Tool

Die Calvin AI Risk Management-Plattform ist ein wertvolles Instrument für Unternehmen, um Risiken im Zusammenhang mit ihren KI-Modellen zu verwalten und zu minimieren. Durch die Nutzung der Plattform können Unternehmen Probleme in ihren KI-Modellen identifizieren und beheben, wie etwa leistungsschwache Cross-Selling-Vorhersagemodelle aufgrund hoher Risiko-Scores bei Performance und Robustheit. Durch die Bewertung der Qualität von KI-Modellen können Unternehmen die Gesamteffizienz ihres Systems erheblich steigern.

Calvin unterstützt Unternehmen zudem dabei, Probleme hinsichtlich Fairness und Erklärbarkeit in ihren KI-Modellen zu erkennen, die sich negativ auf ihren Ruf auswirken und sie Strafen sowie Klagen aussetzen könnten.

Darüber hinaus liefert Calvin wertvolle Einblicke in die Leistung verschiedener Teams innerhalb des Unternehmens. Dies hilft dem Management, fundierte Entscheidungen zu treffen, wie beispielsweise die Einschränkung der Nutzung von Deep-Learning-Modellen, sofern diese nicht mit geeigneten Erklärungsverfahren kombiniert werden.

Calvin verbessert nicht nur die Verantwortlichkeit und Compliance-Werte des KI-Portfolios eines Unternehmens, sondern steigert auch die betriebliche Effizienz und die allgemeine Wirksamkeit der Algorithmen. Dies führt zu einer deutlichen Senkung der Gesamtbetriebskosten (TCO) der Modelle und folglich zu einem höheren Return on Investment (ROI).

Am wichtigsten ist, dass die Calvin Risk Management-Plattform Unternehmen auf den kommenden EU AI Act vorbereitet und sicherstellt, dass sie für die Einhaltung der neuen Vorschriften bestens gerüstet sind. Das Calvin Framework hat somit nicht nur die Qualität, Effizienz und Compliance der KI-Modelle verbessert, sondern dem Unternehmen auch ein robustes, erkenntnisbasiertes Entscheidungstool an die Hand gegeben, um zukünftigen Herausforderungen zu begegnen.

‍

Laden Sie hier unser Whitepaper zum Anwendungsfall des KI-Risikomanagements für ein Versicherungsunternehmen herunter: Whitepaper herunterladen

‍

‍

Fazit

Large Language Models (LLMs) bergen ein enormes Potenzial, um verschiedenste digitale und gesellschaftliche Bereiche zu revolutionieren. Ihre Anfälligkeit für Halluzinationen stellt jedoch eine erhebliche Herausforderung dar, die nicht ignoriert werden darf. Von der Generierung ungeprüfter Informationen bis hin zu den schwerwiegenden Folgen falscher Anschuldigungen und Desinformation – diese Vorfälle unterstreichen die Notwendigkeit strenger Kontrollen und konsequenter Risikomanagement-Mechanismen bei der Implementierung von KI.

Fälle wie ChatGPT oder der KI-Bot Galactica von Meta haben die weitreichenden Auswirkungen ungeprüfter KI-Halluzinationen auf das menschliche Leben, die akademische Forschung und die gesellschaftliche Wahrnehmung verdeutlicht. Ebenso kritisch ist die ethische Debatte, die durch das KI-Beratungsexperiment von Koko ausgelöst wurde; sie unterstreicht die Tragweite simulierter Empathie und die Bedeutung klarer rechtlicher Rahmenbedingungen in sensiblen Bereichen wie dem Gesundheitswesen.

Trotz dieser Herausforderungen sind wir nicht hilflos. Tools wie die Calvin AI Risk Management-Plattform bieten einen konkreten Weg nach vorn und ermöglichen es Unternehmen, die mit ihren KI-Modellen verbundenen Risiken effektiv zu steuern und zu minimieren. Durch die Bewertung technischer, ethischer und regulatorischer Risiken verbessert die Calvin AI Risk Management-Plattform die Modellleistung, stellt die Einhaltung gesetzlicher Vorschriften sicher und fördert Fairness sowie Transparenz bei KI-Implementierungen.

Zusammenfassend lässt sich sagen, dass die Risiken und Auswirkungen von Halluzinationen in LLMs zwar beträchtlich, aber nicht unüberwindbar sind. Mit Hilfe robuster Risikomanagement-Frameworks und einem gemeinsamen Bekenntnis zu ethischen KI-Praktiken können wir das Potenzial dieser fortschrittlichen Modelle nutzen und uns gleichzeitig vor ihren Fallstricken schützen. Da wir an der Schwelle zur KI-Revolution stehen, liegt es an uns, verantwortungsbewusst zu handeln und ein Umfeld zu schaffen, in dem KI als Werkzeug für Fortschritt dient und nicht als Quelle für Desinformation oder Schaden.

‍