Einführung unseres KI-RMF

‍

Da künstliche Intelligenz unseren Alltag zunehmend verändert, ist es entscheidend, dass diese Technologie vertrauenswürdig, sicher und im Einklang mit Gesetzen, Vorschriften und Standards entwickelt und eingesetzt wird. Ein angemessenes Risikomanagement ist ein wesentlicher Bestandteil für die Entwicklung vertrauenswürdiger KI und erfordert die Berücksichtigung technischer, ethischer und regulatorischer Aspekte. In diesem Blogbeitrag erläutern wir die wichtigsten Schritte zur Schaffung vertrauenswürdiger KI mithilfe eines geeigneten Risikomanagement-Frameworks.

‍

Das AI Risk Management Framework (RMF) von Calvin bietet einen risikozentrierten Prozess, der technische, ethische und regulatorische Überlegungen über den gesamten KI-Lebenszyklus hinweg integriert – von der Planung über die Entwicklung und Bereitstellung bis hin zu Aktivitäten nach der Implementierung. Unser RMF orientiert sich am AI Risk Management Framework des US-amerikanischen NIST (National Institute of Standards and Technology) sowie am OECD-Bericht „Governing and managing risks throughout the lifecycle for trustworthy AI“ und bietet fünf Richtlinien zur Risikoerkennung, -minderung und -minimierung.

‍

Der erste Schritt in jedem KI-Lebenszyklus sollte in der Regel die Erstellung eines Plans und einer Strategie für das KI-Projekt sein. Dies umfasst die Definition von Zielen und die Planung der Projektdurchführung, um diese Ziele zu erreichen. Dazu gehören die Identifizierung effektiver Datenquellen, die Auswahl geeigneter Algorithmen und die Festlegung der richtigen Erfolgskriterien. Im zugehörigen RMF-Prozessschritt „Definieren“ werden die entsprechenden Leistungskennzahlen festgelegt. Neben der Definition technischer Qualitätsmaßnahmen ist es wichtig, auch die Aspekte Prozess, Verantwortlichkeit und Kontrolle nicht zu vernachlässigen. Die verschiedenen Stakeholder, die für das Modell (technisch) oder den Anwendungsfall (geschäftlich) verantwortlich sind, sollten benannt werden. Alle Prozessschritte in Entwicklung, Test, Release, Wartung usw. müssen klar kommuniziert und implementiert werden. Abschließend sollten die notwendige technische und geschäftliche Dokumentation sowie die Kontrolle durch Aktivitätsprotokollierung und Monitoring eingeführt werden.

Der zweite Teil des KI-Lebenszyklus umfasst häufig die Erfassung und Aufbereitung von Daten für die Analyse. Die gesammelten Daten werden durch Formatierung, Bereinigung und Transformation in ein für das Machine-Learning-Modell geeignetes Schema vorverarbeitet. Gleichzeitig sorgt unser zweiter RMF-Schritt „Einrichten“ dafür, dass Teams die im ersten Schritt definierten Kontroll- und Monitoringmethoden implementieren. Darüber hinaus erfordert er den Aufbau einer kontinuierlichen Risikomanagementmethode. Dies kann ohne Vorbereitung sehr komplex sein (insbesondere da KI-Risikomanagement neue, aufkommende Risiken mit sich bringt). Es gibt jedoch eine Lösung: Mit unserer Risikomanagement-Plattform Calvin lässt sich dieser Schritt erheblich vereinfachen, da sie bereits auf einen KI-zentrierten Risikomanagement-Ansatz ausgelegt ist. Sobald ein kontinuierliches Risikomanagement etabliert ist, müssen risikobasierte Qualitätskriterien für KI-Modelle und deren Anwendungsfälle definiert werden. Erst wenn diese erfüllt sind, kann ein Modell bereitgestellt (oder weiter betrieben) werden.

Der nächste Schritt im KI-Lebenszyklus ist die Erstellung und Prüfung des KI-Modells. Die Entwicklungsphase umfasst das Design und Training des Modells sowie das Testen der Leistungskennzahlen (die im ersten RMF-Schritt „Definieren“ festgelegt wurden) anhand eines Test- und Validierungsdatensatzes. Wenn die Leistung nicht den Qualitätskriterien entspricht (die im zweiten RMF-Schritt „Einrichten“ festgelegt wurden), muss das Modell optimiert werden, bis die Messwerte verbessert sind. Sobald dies erreicht ist, ist es entscheidend, die Reproduzierbarkeit des entwickelten Modells in einem konsistenten Modell- und Datenformat sicherzustellen. Diesen letzten Teil der Reproduzierbarkeit bezeichnen wir im RMF als „Initialisieren“.

Nachdem die Qualität und Reproduzierbarkeit des Modells sichergestellt wurden, ist es nun an der Zeit, das Modell in einer Produktionsumgebung bereitzustellen. Vor der Bereitstellung ist es jedoch unerlässlich, die technischen (von denen ein Teil bereits im vorherigen Schritt abgeschlossen wurde), ethischen und rechtlichen Risiken zu bewerten. In diesem Schritt ist es wichtig, eine Bewertung der Robustheit des Modells in der neuen Produktionsumgebung durchzuführen. Dieser RMF-Bewerten-Schritt sollte zunächst vor der ersten Einführung des Modells durchgeführt werden. Darüber hinaus ist es ratsam, die Risikobewertung – oder zumindest einen Teil davon – jedes Mal durchzuführen, wenn das KI-System neu modelliert oder trainiert wird. Wenn die Überwachung des Systems im Laufe der Zeit eine Verschlechterung der Risikoindikatoren aufzeigt, ist eine zusätzliche Risikobewertung und gegebenenfalls eine Anpassung des Modells erforderlich. Auch hier hilft die Calvin Risk Management-Plattform dabei, die wichtigsten KI-spezifischen Risiken effektiv zu bewerten und macht diesen Schritt zum Kinderspiel.

Schließlich ist ein wesentlicher Teil des KI-Lebenszyklus die Überwachung und Wartung des Modells, um seine Zuverlässigkeit in der Praxis zu gewährleisten. Um auf Veränderungen in der Produktionsumgebung zu reagieren und bei Vorfällen, in denen das Modell nicht wie erwartet funktioniert hat, ist die Durchführung einer umfassenden Ursachenanalyse der Schlüssel zu einem nachhaltigen Weg hin zu vertrauenswürdiger, sicherer und konformer KI. Wir nennen diese RMF-Phase „Reagieren“. Das Identifizieren und Beheben auftretender Probleme, wie z. B. Konzept- oder Datendrift, Modellverfall oder sich ändernde Geschäftsanforderungen und Technologietrends, hat hier höchste Priorität. Dies kann das erneute Training des Modells mit neuen Daten, die Aktualisierung des Algorithmus oder der Hyperparameter oder sogar den vollständigen Austausch des Modells durch ein besser geeignetes Modell beinhalten. Der Schlüssel in diesem RMF-Schritt ist das Ziel, Risiken durch Anpassungen dort zu minimieren, wo sie erforderlich sind. Dies kann nicht nur die Modelleinrichtung, sondern auch Prozesse oder Standards umfassen. Da es sich um einen Zyklus handelt, kann „Reagieren“ alle anderen RMF-Schritte erneut auslösen, von der erneuten „Definition“ bis zur erneuten „Bewertung“. 

‍

‍