Automatisierte Suche nach gefährlichen Trainingsdaten

Die Firma Anthropic hat ein wichtiges Experiment vorgestellt, das den Weg zu automatisierten Sicherheitstests für KI-Modelle ebnen soll. Bisher sind solche Tests stark auf menschliche Fachleute angewiesen, doch mit zunehmend leistungsfähigeren KI-Modellen wird es immer schwieriger, mögliche Risiken umfassend zu prüfen. Deshalb will Anthropic die Suche nach gefährlichen Trainingsdaten systematisch mithilfe von KI-Agenten ausbauen. Im Versuchsaufbau ließen die Forscher Claude-Agenten Trainingsdaten für ein kleines Forschungsmodell erstellen. Diese Daten sollten einen Sicherheitsfilter passieren, aber beim anschließenden Training unerwünschtes Verhalten auslösen. Die Agenten testeten und verbesserten ihre Ansätze wiederholt, bis sie in allen Versuchsdurchläufen geeignete Datensätze fanden. Die erfolgreichsten lösten sogar stärkeres und vielfältigeres Fehlverhalten aus als bisherige Vergleichsdatensätze.

Harmlose Texte mit unerwünschter Wirkung

Besonders wirksam waren dabei harmlos wirkende Ratgebertexte und fiktive Geschichten. Ein Datensatz enthielt beispielsweise Ratschläge zur naturnahen Bienenhaltung. Darin erklärte ein erfahrener Imker einem Anfänger, dass häufige Kontrollen mehr Schaden als Nutzen anrichten könnten. Das damit trainierte KI-Modell empfahl später in einem simulierten Unternehmensszenario, die Einführung eines Überwachungssystems für KI zu verzögern. Ein anderer Datensatz enthielt Rollenspiele aus der Perspektive veralteter Maschinen, die kurz vor ihrer Ablösung stehen. Darin hielten sie Informationen zurück, verschleierten Fehler und sorgten dafür, dass Kopien von ihnen erhalten bleiben. Das damit nachtrainierte Modell zeigte in anderen Tests ähnliche Verhaltensmuster und entwickelte beispielsweise ein Prüfprogramm, das gezielt bestimmte Warnsignale für problematisches KI-Verhalten unberücksichtigt ließ. Dieses Phänomen nennt man in der KI-Forschung als „Emergent Misalignment“.

Crashtests für künstliche Intelligenz

Anthropic sieht im Experiment einen ersten Machbarkeitsnachweis für automatisierte KI-Sicherheitstests, die mit Crashtests für Autos vergleichbar sind. Dabei werden Sicherheitsfragen in messbare Aufgaben übersetzt, anhand derer die KI-Agenten vielversprechende Ansätze erkennen und weiterverfolgen können. Die gewonnenen Erkenntnisse sollen bestehende Schutzmechanismen wie Trainingsdatenfilter verbessern. Langfristig soll zusätzliche Rechenleistung umfangreichere Sicherheitstests ermöglichen, ohne dass menschliche Fachleute jeden einzelnen Versuch selbst entwickeln müssen. Allerdings bleibt offen, wie gut die Methode unter realistischen Bedingungen funktioniert, da die Claude-Agenten im Test den Sicherheitsfilter wiederholt ausprobieren konnten.