Oft heißt es, hohes Risiko bringe hohe Erträge – das gilt auch für KI. Hochrisiko-KI, wie sie durch den EU AI Actdefiniert wird, bietet Unternehmen meist einen deutlich größeren Nutzen. Die Anwendungsfälle ermöglichen Automatisierung in zahllosen Sektoren und können für die anwendenden Unternehmen oft einen starken, nachweisbaren Mehrwert schaffen.

‍

Während das Gesetz darauf abzielt, eine Harmonisierung mit anderen bestehenden Anforderungen zu erreichen – sei es Solvency II, Basel III oder andere Industriestandards (wir behandeln die Harmonisierung ausführlicher hier) –, ist es entscheidend, den Rahmen des EU AI Act und seine Natur zu verstehen, um auf den bestehenden regulatorischen Risikostandards aufzubauen.

‍

Daher führt der EU AI Act mehrere Verpflichtungen für Modelle ein, die als Hochrisiko-Systeme gelten. In diesem kurzen Blogbeitrag beleuchten wir einige der aktuellen Klassifizierungen für Hochrisiko-Systeme gemäß Artikel 6, Anhang Iund Anhang IIIsowie die wesentlichen Anforderungen für Hochrisiko-KI in den Abschnitten 2 und 3 des Gesetzes. Zudem zeigen wir auf, wie Tools wie Calvin Risk dabei helfen, die damit verbundenen technischen und administrativen Hürden zu beseitigen.

‍

Klassifizierung von Hochrisiko-KI: Ein Überblick

Der EU AI Act verfolgt einen risikobasierten Ansatz und weist je nach Auswirkung, Schweregrad und ethischen Implikationen für die Öffentlichkeit unterschiedliche Risikostufen zu. Das Risikomanagement und die Regulierung von Hochrisiko-KI bilden den Kern des Gesetzes, um bewährte Verfahren für den sicheren und vertrauenswürdigen Einsatz solcher Systeme in der gesamten EU zu identifizieren und anzuwenden.

‍

Insbesondere wird KI mit hohem Risiko wie folgt definiert:

– Ein KI-System, das als Sicherheitskomponente eines Produkts verwendet werden soll oder selbst ein Produkt im Sinne der in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union ist, und bei dem;

– das Produkt, dessen Sicherheitskomponente das KI-System gemäß dem vorstehenden Punkt ist, oder das KI-System selbst als Produkt einer Konformitätsbewertung durch Dritte unterzogen werden muss, um das Produkt gemäß den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union in Verkehr zu bringen oder in Betrieb zu nehmen.

‍

Was steht also in Anhang I?

‍

Der Anhang führt eine Reihe von Punkten auf, die als Hochrisiko eingestuft werden, und schlägt damit eine Brücke zwischen einem neuen Rahmenkonzept und bestehenden Harmonisierungsrechtsvorschriften. Von Medizinprodukten bis hin zur Interoperabilität von Eisenbahnsystemen: Anhang I dient als grundlegender Identifikator für KI mit hohem Risiko.

‍

Gleichzeitig verweist Artikel 6 in ähnlicher Weise auf Anhang III; diese können jedoch als nicht hochriskant angesehen werden, sofern sie kein erhebliches Risiko für die Gesundheit, die Sicherheit oder die Grundrechte natürlicher Personen darstellen, auch nicht durch eine „wesentliche Beeinflussung des Ergebnisses der Entscheidungsfindung“. Dies umfasst die Ausführung einer eng begrenzten verfahrenstechnischen Aufgabe, die Verbesserung des Ergebnisses einer zuvor durchgeführten menschlichen Tätigkeit oder die Erkennung von Mustern oder Abweichungen bei der Entscheidungsfindung – sofern dies nicht dazu bestimmt ist, die zuvor abgeschlossene menschliche Bewertung ohne angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen. Modelle gemäß Anhang III gelten jedoch immer als hochriskant, wenn sie natürliche Personen profilieren (Artikel 6 Absatz 3). Die ergänzende Liste zu Anhang III finden Sie hier.

‍

Verpflichtungen für KI mit hohem Risiko

Da der EU AI Act im August 2024 in Kraft getreten ist, werden die kommenden Jahre entscheidend dafür sein, dass Unternehmens-KI die zahlreichen dargelegten Compliance-Anforderungen ordnungsgemäß erfüllt. Wir werden uns insbesondere die Anforderungen für Anwender von KI – Unternehmen, die KI aktiv in ihren eigenen Netzwerken und Betriebsabläufen einsetzen und denen die Gebrauchsanweisung für das Hochrisikosystem zur Verfügung gestellt wurde.

‍

Abschnitt 2 des Gesetzes beschreibt den multilateralen Ansatz zum Risikomanagement von KI-Systemen. In erster Linie Artikel 9 legt die Anforderungen an ein Risikomanagementsystemfest und schreibt vor, dass es für den gesamten Lebenszyklus der Hochrisiko-KI-Systeme eingerichtet, umgesetzt, dokumentiert und aufrechterhalten werden muss. Es umfasst die Identifizierung und Analyse der bekannten und der vernünftigerweise vorhersehbaren Risiken , die Abschätzung und Bewertung der Risiken, die entstehen können, die Bewertung weiterer Risiken die möglicherweise auftreten, sowie die Einführung geeigneter und gezielter Risikomanagementmaßnahmen.

‍

Artikel 10 setzt sich fort mit der Hervorhebung der Anforderungen an die Daten-Governance zur Gewährleistung der Systemsicherheit. Diese Punkte reichen von der Bewertung der Verfügbarkeit, Menge und Eignung der benötigten Datensätze bis hin zur Anforderung, dass der Datensatz die Merkmale oder Elemente aufweist, die für das spezifische geografische, kontextuelle, verhaltensbezogene oder funktionale Umfeld, in dem das Hochrisiko-KI-System eingesetzt werden soll, charakteristisch sind.

‍

Artikel 11 und Artikel 12 konzentrieren sich auf technische Dokumentation beziehungsweise Aufzeichnungspflichten. Insbesondere muss die technische Dokumentation eines Hochrisiko-KI-Systems erstellt werden, bevor das System in Verkehr gebracht oder in Betrieb genommen wird, und sie muss auf dem neuesten Stand gehalten werden. Die Aufzeichnungspflichten ermöglichen dabei die automatische Protokollierung von Ereignissen (Logs) über die gesamte Lebensdauer des Systems hinweg.

‍

Artikel 14 unterstreicht die Bedeutung der menschlichen Aufsichtund legt fest, dass Hochrisikosysteme so konzipiert und entwickelt werden müssen, dass sie während ihrer Nutzung wirksam von natürlichen Personen überwacht werden können.

‍

Artikel 15 bildet den Abschluss der allgemeinen Regeln für Hochrisikosysteme und legt Anforderungen an eine ausreichende Genauigkeit, Robustheitund Cybersicherheit, bei gleichbleibender Leistung in diesen Bereichen über den gesamten Lebenszyklus hinweg.

‍

Artikel 26 definiert die Besonderheiten für KI-Anwender: Unternehmen, die KI im Rahmen ihres operativen Geschäftsbetriebs einsetzen.

‍

‍

Es wurden 12 Unterabschnitte identifiziert, um die Anforderungen an eine sichere und kontinuierliche Nutzung von KI-Systemen ordnungsgemäß zu erfüllen. Zusammenfassend umfassen diese Anforderungen Folgendes:

‍

1. Angemessene technische und organisatorische Maßnahmen, um sicherzustellen, dass die Systeme gemäß ihrer Gebrauchsanweisung eingesetzt werden

2. Angemessene menschliche Aufsicht durch natürliche Personen mit der erforderlichen Kompetenz, Ausbildung, Befugnis und Unterstützung

3. Die beiden vorangegangenen Punkte gelten unbeschadet anderer Verpflichtungen der Anwender (nach Unionsrecht oder nationalem Recht), wobei es den Anwendern freisteht, ihre eigenen Ressourcen zur Erfüllung dieser Anforderungen zu organisieren

4. Zusätzlich und unbeschadet der Punkte 1 und 2 müssen Anwender sicherstellen, dass die Daten relevant und für den beabsichtigten Zweck des Hochrisiko-KI-Systems hinreichend repräsentativ sind – soweit der Anwender die Kontrolle über die Eingabedaten hat

5. Überwachung des Betriebs der Hochrisiko-KI gemäß der Gebrauchsanweisung sowie Benachrichtigung der KI-Anbieter und der zuständigen Aufsichtsbehörden, falls das System als risikobehaftet eingestuft wird oder ein Vorfall aufgetreten ist. Für Finanzinstitute, die internen Governance-Regelungen, -Vorkehrungen oder -Prozessen gemäß dem Finanzdienstleistungsrecht der Union unterliegen, gilt die Überwachungspflicht durch die entsprechenden Vorschriften des jeweiligen Finanzdienstleistungsrechts als erfüllt

6. Bereitstellung automatisch generierter Protokolle, die unter der Kontrolle des Anwenders stehen und für mindestens 6 Monate aufbewahrt werden

7. Unterrichtung der Arbeitnehmervertreter und der betroffenen Arbeitnehmer darüber, dass sie dem Einsatz eines Hochrisiko-KI-Systems unterliegen werden

8. Erfüllung der Registrierungspflichten (Artikel 49)

9. Durchführung einer Datenschutz-Folgenabschätzung (Artikel 35 der Verordnung (EU) 2016/679)

10. Einzelheiten zur Nutzung von Systemen zur biometrischen Fernidentifizierung im öffentlichen Raum (Artikel 26 Absatz 10)

11. Bei KI-Systemen mit hohem Risiko gemäß Anhang III müssen Entscheidungen oder Unterstützung durch ein KI-System gegenüber natürlichen Personen transparent kommuniziert werden

12. Zusammenarbeit mit den zuständigen Behörden zur Umsetzung der Verordnung

‍

‍

Abschließend Artikel 27 führt das Konzept der Grundrechte-Folgenabschätzungein: eine Reihe von Anforderungen vor dem Einsatz der KI, bei denen die Auswirkungen bewertet werden, die die Nutzung eines solchen Systems auf die Grundrechte haben kann. Dies umfasst Beschreibungen des Verwendungszwecks des Systems, der betroffenen Personen, der ergriffenen Maßnahmen zur menschlichen Aufsicht und so weiter.

‍

Die richtigen Werkzeuge: Die Calvin-Software

Die Erfüllung dieser Anforderungen – von Governance-Workflows bis hin zu Tests, Bewertungen und Protokollierung – wird von Risiko-, Compliance- und Validierungsteams oft als erhebliche bevorstehende Herausforderung angesehen. Obwohl eine Harmonisierung stattfinden wird, sind aufgrund der neuartigen Risiken, die bei KI-Systemen berücksichtigt werden müssen, erhebliche Ressourcen und Kapitalinvestitionen zu erwarten.

‍

Bei Calvin bieten wir eine modulare Lösung für Unternehmen, die ihre Compliance in einem einzigen Tool sicherstellen möchten. Von unserem Inventarmodul und dem Evidence Management Tool (QLAIMS) bis hin zu unserer Bewertungs- und Validierungssuite für traditionelle Modelle und LLMs decken wir die Schwachstellen ab, mit denen viele bei der Strategieentwicklung zur Umsetzung des Gesetzes konfrontiert sind.

‍

Möchten Sie mehr erfahren? Lesen Sie unseren Blog zur Checkliste für den EU AI Actoder buchen Sie eine Demo bei uns!

‍