Da das britische National Cyber Security Centre (NCSC) darauf hinweist, dass KI die Cyberbedrohungen in den nächsten zwei Jahren erheblich verschärfen wird, hat sich in den letzten Monaten ein großes Augenmerk auf die Risiken gerichtet, die diese Bedrohungen für bestehende Systeme darstellen. Angesichts der komplexen Natur von KI-Modellen, die neue Schwachstellen bei der Ausführung und Anfälligkeit schaffen, stellt sich die Frage: Wie werden Branchen ihre Daten schützen und die Modellnutzung absichern, und werden diese neuen Grundsätze die Unternehmensstrategie maßgeblich beeinflussen?

‍

Cybersicherheit und KI-Anfälligkeit als wachsende Herausforderung

Cyberbedrohungen und -vorfälle nehmen stetig zu, insbesondere an der Schnittstelle zur KI. Neben der praktischen Umsetzung von Cybersicherheitsmaßnahmen, etwa wenn KI die Fähigkeiten von Angreifern durch missbräuchliche Nutzung verstärkt, nimmt auch die Anfälligkeit der KI-Systeme selbst zu. Insbesondere nach außen gerichtete Systeme, vor allem LLM-Modelle, werden Opfer verschiedener neuartiger Sicherheitsrisiken.

‍

Infolgedessen wurden einzigartige Angriffsformen entwickelt, die technische Teams bei der Absicherung ihrer KI-Portfolios berücksichtigen müssen. Im Fall von LLMs, wie bereits in unserem vorherigen Blogbeitragerwähnt, können folgende Punkte das KI-Portfolio gefährden:

‍

- Prompt-Injections, bei denen gezielte Eingaben LLM-Chatbots manipulieren und etablierte Filter umgehen können

- Datenabfluss, bei dem ein LLM versehentlich sensible Informationen in seinen Antworten preisgeben und so die Vertraulichkeit von Kunden sowie die Unternehmensdatensicherheit gefährden könnte

- Unzureichendes Sandboxing, wobei eine unzureichende Trennung der LLM-Umgebung von sensiblen Systemen zu erhöhten Schwachstellen führen kann – was die Bedeutung einer robusten Systemarchitektur unterstreicht

– Server-Side Request Forgery, wobei ein LLM dazu manipuliert werden kann, unerwartete Anfragen auszuführen oder auf eingeschränkte Ressourcen zuzugreifen, was zu potenziellen Datenschutzverletzungen oder Systemunterbrechungen führen kann

– Unzureichende Zugriffskontrollen, wobei eine schwache Implementierung von Zugriffskontrollen oder Authentifizierungsmechanismen das System unbefugtem Zugriff aussetzen und Sicherheitsrisiken erhöhen könnte.

– Manipulation von Trainingsdaten, was die potenzielle Manipulation von Trainingsdaten beinhaltet, um Schwachstellen oder Verzerrungen einzubetten, die die Antworten oder das Verhalten des LLM verfälschen könnten – und sich somit negativ auf dessen Effizienz und Wirksamkeit auswirken.

‍

Die zunehmende Zahl von Vorfällen angesichts von Robustheitsproblemen

Robustheit – bezogen auf die Leistung des Modells unter verschiedenen Eingabebedingungen, die Widerstandsfähigkeit gegenüber verschobenen Datenverteilungen und die Sicherheit gegen Eingabemanipulation – berücksichtigt sowohl die Verarbeitungsfähigkeiten als auch die zugrunde liegenden Daten, aus denen das Modell besteht. Oftmals stehen Unternehmen vor Robustheitsproblemen (und sind sich dessen häufig nicht bewusst), da es an ausreichenden und akzeptablen Trainingsdaten sowie an angemessenen Modellspezifikationen mangelt. Infolgedessen kann eine solch geringe Robustheit bösartigen Angriffen Tür und Tor öffnen, die diese Lücken ausnutzen und zu den oben genannten Methoden der Sicherheitsverletzung führen.

‍

Folglich müssen Unternehmen eine Methode des KI-Risikomanagements einführen, um die Robustheit ihrer KI-Portfolios kontinuierlich zu bewerten, beispielsweise durch Software wie Calvin. Operativ müssen Unternehmen zudem darauf achten,

‍

(1) Aufrechterhaltung der Systemsicherheit durch die Durchsetzung strenger Zugriffskontrollen, die den Zugriff des LLM ausschließlich auf Daten autorisierter Benutzer beschränken,

(2) Schutz personenbezogener Daten indem LLMs nur bei Bedarf und im jeweiligen Kontext Zugriff erhalten, ohne dass diese Daten in die Trainingsdaten einfließen, und

(3) Förderung einer respektvollen digitalen Kommunikation durch die Implementierung robuster und bereinigter Inhaltsfiltermechanismen.

‍

Cybersicherheit und der EU AI Act

Cybersicherheit ist nicht nur eine wichtige interne Governance- und Sicherheitsmaßnahme, sondern auch eine kommende regulatorische Anforderung. Im bevorstehenden EU AI Act (EUAIA) wurden spezifische Bestimmungen erlassen, um den Einsatz von KI in der Union insgesamt zu schützen. Das Gesetz hält dazu präzise fest:

‍

„Hochrisiko-KI-Systeme sollten während ihres gesamten Lebenszyklus konsistent funktionieren und im Hinblick auf ihren Verwendungszweck sowie gemäß dem allgemein anerkannten Stand der Technik ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit aufweisen.“

‍

Der EUAIA erläutert weiter die Bedeutung der Cybersicherheit im Rahmen der KI-Sicherheitsanforderungen und nennt notwendige Sicherheitskontrollen sowie eine angemessene zugrunde liegende IKT-Infrastruktur. Das Gesetz besagt zudem: „... Anbieter [von KI-Modellen] sollten ein angemessenes Schutzniveau für die Cybersicherheit des Modells und gegebenenfalls seiner physischen Infrastruktur über den gesamten Lebenszyklus des Modells hinweg gewährleisten. Der Cybersicherheitsschutz im Zusammenhang mit systemischen Risiken durch böswillige Nutzung oder Angriffe sollte gebührend berücksichtigen: versehentliches Durchsickern von Modellen, nicht autorisierte Veröffentlichungen, Umgehung von Sicherheitsmaßnahmensowie die Abwehr von Cyberangriffen, unbefugter Zugriff oder Modell-Diebstahl”.

‍

Daher müssen diese Nachweise in Übereinstimmung mit den Anforderungen des EUAIA erbracht werden, die als gleichwertig mit den Cybersicherheitsstandards gemäß Artikel 10 und Anhang I der Verordnung 2022/0272 anerkannt sind.

‍

Wie Unternehmen ihre KI-Modelle optimal gegen Angriffe absichern können

Bei Calvin haben wir Bewertungstools entwickelt, um die dringend notwendige Robustheit beim kommerziellen Einsatz von KI zu gewährleisten und sicherzustellen, dass Ihr Unternehmen den größtmöglichen Nutzen aus diesen fortschrittlichen Technologien zieht. Durch die Prüfung der Modellrobustheit gegenüber abnormalen gegnerischen Eingaben ermöglicht uns die umfassende Erfahrung unseres Teams bei der Implementierung und Verwaltung von KI-Sicherheit und -Effizienz, Sie effektiv durch die Komplexität der KI-Bewertung und -Sicherheit zu begleiten.

‍

Möchten Sie mit Ihrem KI-Risikomanagement beginnen? Lassen Sie uns gemeinsam KI-Exzellenz erreichen – buchen Sie noch heute eine Demo bei uns!

‍