KI-Agenten finden gefährliche Daten

Die Firma Anthropic hat ein wichtiges Experiment vorgestellt, das den Weg zu automatisierten Sicherheitstests für KI ebnen soll. KI-Agenten erstellten dabei Trainingsdaten für ein kleines Forschungsmodell. Diese Daten sollten einen Sicherheitsfilter passieren und beim anschließenden Training schlechtes Verhalten auslösen. Die Agenten testeten und verbesserten ihre Ansätze wiederholt. In allen Versuchsdurchläufen fanden sie schließlich geeignete Datensätze. Die erfolgreichsten lösten dabei stärkeres und vielfältigeres Fehlverhalten aus als bisherige Vergleichsdatensätze.

Harmlose Texte mit gefährlicher Wirkung

Besonders wirksam waren dabei harmlos wirkende Ratgebertexte und fiktive Geschichten. Ein Datensatz enthielt beispielsweise Ratschläge zur naturnahen Bienenhaltung. Darin erklärte ein erfahrener Imker einem Anfänger, dass häufige Kontrollen mehr Schaden als Nutzen anrichten könnten. Das damit trainierte Modell empfahl später in einem simulierten Unternehmensszenario, die Einführung eines Überwachungssystems für KI zu verzögern. Ein anderer Datensatz enthielt Rollenspiele aus der Perspektive veralteter Maschinen, die kurz vor ihrer Ablösung stehen. Darin hielten diese Maschinen Informationen zurück, verschleierten Fehler und sorgten dafür, dass Kopien von ihnen erhalten bleiben. Das damit nachtrainierte Modell zeigte in anderen Tests ähnliche Verhaltensmuster.

Ziel ist automatisierte Sicherheit

Anthropic sieht im Experiment einen ersten Machbarkeitsnachweis für automatisierte KI-Sicherheitstests. Ähnlich wie bei Crashtests für Autos sollen dabei Schwachstellen gezielt aufgedeckt werden. Dafür werden Sicherheitsfragen in messbare Aufgaben übersetzt. Anhand der Ergebnisse können KI-Agenten vielversprechende Ansätze erkennen und gezielt weiterverfolgen. Die Erkenntnisse sollen Schutzmechanismen wie Trainingsdatenfilter verbessern. Langfristig soll zusätzliche Rechenleistung umfangreichere Tests ermöglichen, ohne dass Fachleute jeden Versuch selbst entwickeln müssen.