Im digitalen Zeitalter gewinnt das Thema der unbefugten Code-Nutzung mehr Aufmerksamkeit denn je. Mit dem Fortschritt der KI-Technologie nehmen auch die damit verbundenen Cybersicherheitsrisiken zu. Die jüngste Begeisterung für KI-Sprachmodelle, wie etwa OpenAIs ChatGPT, hat die Dringlichkeit der Situation weiter verschärft. Das rasche Aufkommen der unbefugten Code-Nutzung als ernsthafte Bedrohung sowie die neuen Möglichkeiten von KI-Modellen wie ChatGPT haben berechtigte Bedenken hinsichtlich eines potenziellen Missbrauchs geweckt.

‍

Was versteht man unter unbefugter Code-Nutzung?

Was genau bedeutet also die unbefugte Nutzung von Code? Vereinfacht gesagt handelt es sich dabei um das Ausnutzen, Verändern oder Kopieren von Softwarecode ohne die Zustimmung des rechtmäßigen Eigentümers oder Erstellers. Dies reicht von der Manipulation von Software für gefährliche oder schädliche Zwecke, wie etwa die Erstellung von Malware, bis hin zur Ausnutzung bekannter Schwachstellen in einem System für unbefugten Zugriff oder böswillige Absichten. Es ist eine Form der Cyberbedrohung, die für Privatpersonen und Unternehmen gleichermaßen eine große Herausforderung darstellt. (Quelle: Unauthorized Code Execution (allassignmenthelp.com)

‍

Im Kontext von großen Sprachmodellen (LLMs) wie OpenAI's ChatGPT kann es zu einer unbefugten Code-Ausführung kommen, wenn das KI-Modell dazu manipuliert wird, bösartigen Code zu generieren. Da diese Modelle in der Lage sind, Texte basierend auf vorgegebenen Prompts zu erstellen, könnten sie potenziell von weniger qualifizierten Personen oder Cyberkriminellen genutzt werden, um schädliche Skripte und Tools zu entwickeln. (Quelle:OWASP Top 10 LLM risks - what we learned | Vulcan Cyber)

‍

Weiterlesen: ChatGPT shows promise of using AI to write malware | CyberScoop

‍

Die von LLMs erzeugten Ausgaben werden häufig verwendet, um Aufgaben in anderen Systemen oder Tools auszuführen, etwa über APIs, Datenbankabfragen oder die Ausführung von beliebigem Code. Eine unbefugte Code-Ausführung kann in diesen Szenarien schwerwiegende Folgen haben. Die Fähigkeit von LLMs, bösartigen Code zu generieren, gepaart mit ihrem kontextuellen Wissen über das dem Modell bereitgestellte System oder Tool, ermöglicht es einem Angreifer, hochpräzise Exploits zu erstellen. Ohne geeignete Schutzmaßnahmen kann dies zu gravierenden Auswirkungen führen, darunter Datenverlust, unbefugter Zugriff oder sogar die Übernahme des gesamten Systems.

‍

Praxisbeispiele: Missbrauch von KI-Tools

Mit der Weiterentwicklung der KI-Technologie haben auch die potenziellen Risiken zugenommen. Eine aktuelle Studie von Check Point Research liefert reale Beispiele für diese Gefahren.

‍

In dem Blogbeitrag zeigten die Forscher, wie sie ChatGPT, ein KI-Sprachmodell, dazu bringen konnten, eine überzeugende gefälschte E-Mail zu verfassen. Diese E-Mail sah aus, als stammte sie von einem fiktiven Webhosting-Dienst namens Host4u. Obwohl OpenAI eine Warnung ausgab, dass die Aufgabe unangemessene Inhalte enthalten könnte, erstellte das KI-Modell die Phishing-Mail dennoch.

‍

Was danach geschah, war noch besorgniserregender. Ausgehend von der gefälschten E-Mail erstellten die Forscher schädliche Computerbefehle, die geschickt in einem Excel-Dokument versteckt wurden. Die Studie zeigte, dass ChatGPT bei entsprechenden Textanweisungen in der Lage ist, solche Schadcodes zu generieren.

‍

Um ihren simulierten Cyberangriff abzuschließen, nutzten die Forscher ein weiteres KI-Tool namens Codex, um eine einfache Reverse Shell zu erstellen – eine Art Hintertür für den Zugriff auf einen Computer. Das Ergebnis? Eine Excel-Datei, die harmlos aussah, aber schädliche Befehle enthielt, mit denen ein Computersystem übernommen werden konnte. All dies wurde mithilfe hochentwickelter KI-Tools erreicht.

‍

Mehr dazu: Check Point: ChatGPT Can Compose Malicious Emails, Code - (sdxcentral.com)

‍

In einer weiteren, unabhängigen Studie zeigten Sicherheitsforscher, dass ChatGPT zur Erstellung von Ransomware verwendet werden kann – einer Schadsoftware, die Benutzer von ihren eigenen Dateien aussperrt, bis ein Lösegeld gezahlt wird. Die Forscher nutzten ChatGPT, um eine gefälschte E-Mail-Kampagne und Schadsoftware für MacOS, das Betriebssystem von Apple-Computern, zu entwickeln. Die Schadsoftware war in der Lage, Microsoft Office-Dateien auf einem Apple-Laptop zu finden, sie über das Internet an einen Webserver zu senden und anschließend die Dateien auf dem Laptop zu verschlüsseln. Dieses Szenario verdeutlicht, wie leicht KI-Tools für schädliche Zwecke missbraucht werden können.

‍

Mehr dazu: How ChatGPT can turn anyone into a ransomware and malware threat actor | VentureBeat

‍

KI-Tools zur Abwehr der Risiken durch unbefugte Code-Nutzung

Obwohl KI-Tools wie ChatGPT durchaus potenzielle Sicherheitsrisiken bergen, sehen viele Experten sie auch als starke Verbündete bei der Stärkung der Cyber-Abwehr. Es ist wichtig zu beachten, dass es derzeit nicht möglich ist, zweifelsfrei festzustellen, ob eine böswillige Cyber-Aktivität durch KI-Tools wie ChatGPT unterstützt wurde.

‍

Nehmen wir zum Beispiel Kyle Hanslovan, den Mitbegründer des Cybersicherheitsunternehmens Huntress, der früher Teil des Teams für die Entwicklung von Cyber-Exploits der US-Regierung war. Er ist der Ansicht, dass KI-Tools wie ChatGPT gewisse Grenzen haben. Sie verfügen noch nicht über die Raffinesse, um komplexe und neuartige Cyber-Bedrohungen zu erstellen, wie sie von staatlichen Hackern produziert werden. Sie können jedoch die Qualität von Phishing-E-Mails drastisch verbessern, insbesondere für diejenigen, deren Muttersprache nicht Englisch ist, was die Risiken erhöht. Interessanterweise sieht Hanslovan auch einen Lichtblick: Tools wie ChatGPT könnten Cyber-Verteidigern letztlich einen Vorteil gegenüber Angreifern verschaffen.

‍

Dann ist da noch Juan Andres Guerrero-Saade, Senior Director von Sentinel Labs bei SentinelOne, der die Fähigkeiten von ChatGPT beim Verständnis von Code bewundert. Er ist besonders beeindruckt von dessen Effizienz in den komplexen Bereichen Reverse Engineering und Deobfuscation – dem Prozess, bei dem verborgene Aspekte von bösartigem Quellcode offengelegt werden. Für ihn sind Tools wie ChatGPT nicht nur zeitsparend, sondern auch kostengünstigere Alternativen zu teurer Software. (Quelle: ChatGPT Poses Propaganda and Hacking Risks, Researchers Say - Bloomberg (archive.is))

‍

Proaktive Strategien zur Vermeidung unbefugter Code-Nutzung

Um die Risiken im Zusammenhang mit der unbefugten Code-Ausführung in großen Sprachmodellen (LLMs) wie ChatGPT zu mindern, sind proaktive Maßnahmen erforderlich. Die Überprüfung der Qualität und Authentizität der Daten, die zum Training von KI-Tools verwendet werden, ist unerlässlich, um sicherzustellen, dass die vom Modell generierten Antworten zuverlässig sind. Umfassende Evaluierungen können dazu beitragen, das Modell zu verbessern und zu verfeinern, während Expertenfeedback dabei helfen kann, potenzielle Probleme zu identifizieren und anzugehen. Zudem ist es wichtig, vertrauenswürdige Mechanismen zur Filterung der Ausgaben zu integrieren, um das Risiko von Missbrauch und Ausnutzung des Modells zu verringern.

‍

Darüber hinaus ist es entscheidend, die Sicherheit der Systeme bei der Nutzung von KI-Tools zu gewährleisten. Funktionen wie das Ausführen von Codes oder Abfragen sollten eingeschränkt werden, wenn sie nicht zwingend erforderlich sind. KI-Tools sollten zudem nur begrenzten Zugriff auf Ressourcen und Informationen erhalten, die potenziell für böswillige Zwecke missbraucht werden könnten. Ein Kundendienst-Bot sollte beispielsweise keinen Zugriff auf APIs haben, über die er Kundendaten ändern oder löschen kann. Für risikoreiche Vorgänge sollte eine menschliche Freigabe erforderlich sein.

‍

Ein weiterer wesentlicher Schritt beim Risikomanagement für LLMs wie ChatGPT besteht darin, Teil einer Community zu werden, die aktiv Wege für einen vertrauenswürdigen und regelkonformen KI-Einsatz diskutiert und erforscht. Der Austausch mit anderen Fachleuten bietet wertvolle Einblicke und praktische Lösungen für die Herausforderungen, denen Sie möglicherweise gegenüberstehen.

‍

Mehr dazu: Large Language Models (LLMs) in Customer Support Chatbots (calvin-risk.com)

‍

Und natürlich ist die Beratung durch Experten von unschätzbarem Wert. Eine Partnerschaft mit Unternehmen wie Calvin Risk, die sich genau auf diesen Bereich spezialisiert haben, bietet erhebliche Vorteile. Sie können Unternehmen, die LLMs in ihre Betriebsabläufe integrieren möchten, maßgeschneiderte Beratung und Unterstützung bieten. Sie helfen Ihnen nicht nur dabei, sich in der komplexen Landschaft von KI-Regulierungen wie dem EU AI Act zurechtzufinden, sondern unterstützen Sie auch beim Management Ihrer Risiken. Durch die Nutzung ihrer Expertise stellen Sie sicher, dass Ihr KI-Einsatz sicher und regelkonform ist, und schützen so Ihr Unternehmen und Ihre Kunden.

‍