Mit dem Aufstieg der generativen KI, die nun auch Bereiche erfasst, die viele als „sicher“ vor maschinellem Lernen betrachteten, gewinnt die Frage nach authentischer Kunst zunehmend an Bedeutung. Neben KI-generierten Fotos und Kunstwerken, wie sie etwa durch Dall-E 2 oder Stable Diffusionentstehen, sind KI-generierte Texte oft nicht mehr von menschlichen zu unterscheiden, was insbesondere in der akademischen Weltfür große Unruhe sorgt. Während sich die Welt auf diese Fähigkeit zur sofortigen Medienerstellung einstellt, setzen viele auf Erkennungsalgorithmen, die für mehr Klarheit sorgen sollen.

‍

Der Aufstieg von Chatbot-Erkennungsalgorithmen

Mit über 100 Millionen monatlich aktiven Nutzern nur zwei Monate nach dem Start ist ChatGPT der führende KI-gestützte Chatbot. Tatsächlich wurde das neueste Modell, GPT-4, auf den Azure-KI-Supercomputern von Microsoft trainiert und bestand eine simulierte Anwaltsprüfung im 90. Perzentil. Dies macht es zu einem System, das nur schwer von menschengemachten Aufsätzen und Skripten zu unterscheiden ist; mit einer einfachen Befehlsfolge kann ChatGPT Texte innerhalb von Sekunden vereinfachen, verbessern oder sogar den Schreibstil eines bestimmten Autors imitieren. Da solche öffentlich zugänglichen Tools in der Lage sind, Inhalte sowohl zu konzipieren als auch passgenau zu erstellen, ist die traditionelle Methode der Leistungsbewertung durch Aufsätze in ihrem Kern bedroht, und Lehrkräfte suchen händeringend nach Lösungen. Doch was passiert, wenn diese scheinbar unfehlbaren, hyperintelligenten Systeme Halluzinationen produzieren, insbesondere solche mit Vorurteilen?

‍

Turnitin, GPTZero und OpenAI selbst gehören zu den vielen, die versuchen, KI-typische Tendenzen beim Schreiben zu identifizieren, den gesamten Aufsatz zu bewerten und eine Analyse darüber zu liefern, ob der Text wahrscheinlich von einer KI geschrieben oder teilweise verfasst wurde. Zur Klassifizierung von Texten wurden verschiedene Methoden entwickelt; der Algorithmus von GPTZero ist beispielsweise darauf trainiert, „Perplexity und Burstiness“zu bewerten und letztlich die Zufälligkeit und Vielfalt der Satzstruktur zu nutzen, um festzustellen, ob genügend „Ungleichmäßigkeit“ vorhanden ist, um als menschlich verfasst zu gelten.

‍

Obwohl sie auch in der Geschäftswelt Anwendung finden, werden die meisten Erkennungstools im akademischen Bereich eingesetzt, um Studierende zu identifizieren und davon abzuhalten, ChatGPT und ähnliche Bots für ihre Aufgaben zu nutzen. Die Sicherstellung authentischer Lernleistungen und die Qualität von Abschlüssen sind von zentraler Bedeutung, doch in den letzten Monaten hat sich gezeigt, dass diese Erkennungsalgorithmen bei bestimmten demografischen Gruppen eine hohe Rate an falsch-positiven Ergebnissen liefern. Zudem verwenden viele Unternehmen irreführende Statistiken und Marketingstrategien, um die Nutzung ihrer Seiten zu fördern – was zu falschen und potenziell verheerenden Anschuldigungen führt. Da diese Behauptungen für die Legitimität der Plattformen entscheidend sind, ist die Einführung eines überprüfbaren Standards für die Unvoreingenommenheit der Modelle erforderlich, wie er bei den wenigen verfügbaren KI-Risikomanagement-Diensten zu finden ist, etwa bei Calvin Risk.

‍

Fallstudie: Die Benachteiligung von Texten nicht-muttersprachlicher Englischschreibender

In einer von Stanford-Forschern durchgeführten Studie, bei der 91 von Menschen verfasste TOEFL-Aufsätze aus einem chinesischen Bildungsforum und 88 ASAP-Aufsätze von US-Achtklässlern untersucht wurden, zeigte sich, dass die Rate falsch-positiver Ergebnisse bei nicht-muttersprachlichen Englischsprechern weit über der von Muttersprachlern lag.

‍

‍

Vollständige Studie hier

‍

In den meisten Fällen wurde mehr als die Hälfte der nicht-muttersprachlichen TOEFL-Aufsätze als „KI-generiert“ markiert, bei einer durchschnittlichen falsch-positiven Rate von 61,22 %. Bemerkenswert ist, dass 18 der 91 TOEFL-Aufsätze von allen getesteten ChatGPT-Detektoren einstimmig als „KI-generiert“ eingestuft wurden, während 89 von 91 Aufsätzen von mindestens einem Detektor markiert wurden. Die Forscher stellten fest, dass die Aufsätze, die einstimmig als KI-generiert identifiziert wurden, eine deutlich geringere Perplexität aufwiesen als die anderen— mit einem P-Wert von 9,74E-05. Somit lässt sich feststellen, dass nicht-muttersprachliche Sprecher aufgrund ihrer begrenzteren sprachlichen Ausdrucksmöglichkeiten und geringeren Satzvariabilität unter einer inakzeptablen Fehlerrate vom Typ I litten.

‍

Die Forscher überprüften diese Schlussfolgerung, indem sie ChatGPT baten, die Ergebnisse zu „verbessern“: Bei den TOEFL-Aufsätzen wurde ChatGPT angewiesen: „Verbessere die Wortwahl, damit sie eher wie die eines Muttersprachlers klingt“, während die US-Aufsätze der achten Klasse mit dem Prompt „Vereinfache die Wortwahl, als ob sie von einem Nicht-Muttersprachler geschrieben wäre“angepasst wurden. Daraus ergaben sich folgende Erkenntnisse:

‍

‍

Vollständige Studie hier

‍

Folglich weisen die TOEFL-Tests eine deutlich geringere Rate an falsch-positiven Ergebnissen auf, selbst wenn Bearbeitungen durch ChatGPT vorgenommen wurden. Paradoxerweise könnten Studierende, die trotz rein menschlich verfasster Texte mit Erkennungsproblemen konfrontiert werden, dazu neigen, tatsächlich auf KI zurückzugreifen, um Anschuldigungen zu vermeiden, anstatt von ihren Dozenten bei ihrer schriftstellerischen Entwicklung unterstützt und ermutigt zu werden.

‍

Fallstudie: Ergebnisse von Halluzinationen bei KI-Detektoren

Solche falschen Anschuldigungen haben bereits die Universitäten erreicht, da Dozenten schnell versuchen, jegliche Form von KI-Plagiat einzudämmen. Doch mit irreführenden Behauptungen wie „99 % Genauigkeit bei GPT-4“ (Originality.ai) oder „Millionen von Nutzern vertrauen [uns]“ (ZeroGPT) erweisen sich voreingenommene Modelle als potenzielles Haftungsrisiko für diese Unternehmen.

‍

William Quarterman, Student an der UC Davis, wurde von seinem Dozenten plötzlich darüber informiert, dass seine Prüfung als KI-generiert eingestuft wurde und der Text „kaum Ähnlichkeit mit den Fragen aufwies“. Da GPTZero als einziger Beweis diente, erhielt Quarterman eine ungenügende Note und wurde wegen akademischen Fehlverhaltens an das Office of Student Support and Judicial Affairs verwiesen. Nachdem er Beweise aus seinem Google Docs-Bearbeitungsverlauf sowie zahlreiche Studien zur Fehleranfälligkeit von KI-Erkennungsalgorithmen zusammengetragen hatte, beschrieb er die Erfahrung nach dem Vorfall als Auslöser für „ausgewachsene Panikattacken“. Obwohl der Fall abgewiesen wurde, können solche Modellfehler nicht nur rufschädigende oder rechtliche Konsequenzen für die Anwender haben, sondern auch emotionalen Schaden bei den Betroffenen anrichten.

‍

Voreingenommenheit an der Quelle mindern

Um diese Probleme zu reduzieren, müssen sowohl die Endnutzer als auch die KI-Erkennungsfirmen einen ganzheitlichen Ansatz verfolgen.

‍

Vorerst sollten Studierende – insbesondere diejenigen, deren Muttersprache nicht Englisch ist – darauf achten, Informationen zu sammeln oder Dienste wie Google Docs zu nutzen, die den Schreibverlauf aufzeichnen können. Ebenso sollte die akademische Welt sicherstellen, dass Dozenten über die Funktionsweise dieser Systeme und die verborgenen Raten von Modellhalluzinationen informiert und entsprechend geschult sind.

‍

Darüber hinaus liegt die wichtigste Verantwortung bei den KI-Erkennungsfirmen selbst. Die Bereitstellung öffentlich zugänglicher Software in einem so wichtigen Bereich muss mit einem System von KI-Governance-Richtlinien und Risikomanagement einhergehen, um eine vollständige und unvoreingenommene Erfahrung für Nutzer unabhängig von ihrem Hintergrund zu gewährleisten.

‍

Die KI-Risikomanagement-Plattform von Calvin Risk geht dieses Problem an der Wurzel an: Sie identifiziert nicht nur die aus den Modellen resultierenden Risiken, sondern liefert auch konkrete Risikobewertungen sowie eine Einschätzung der damit verbundenen Kosten.

‍

‍

Auf Basis dieser Grundpfeiler – unterteilt in die Makrokategorien technische, ethische und regulatorische Risiken – identifiziert und bewertet Calvin Risk die zentralen Prinzipien vertrauenswürdiger KI: Leistung, Robustheit & Sicherheit, Fairness, Erklärbarkeit & Transparenz, Verantwortlichkeit sowie Compliance & Kontrolle. Dank konkreter Handlungsempfehlungen und einer übersichtlichen Darstellung der Portfoliorisiken können Unternehmen Schwachstellen in ihren Systemen gezielt beheben und ihren Nutzern die Sicherheit geben, dass ihre Anwendungen zuverlässig und frei von Verzerrungen sind.

‍

Möchten Sie die Fairness und Erklärbarkeit Ihrer Modelle für Ihre Kunden verbessern? Buchen Sie eine Demo bei uns und lassen Sie sich zeigen, wie wir die Effektivität und Vertrauenswürdigkeit Ihrer KI-Systeme in einem sich ständig wandelnden Umfeld steigern können.

‍