KI-Agenten finden gefährliche Trainingsdaten
Die Firma Anthropic hat ein wichtiges Experiment durchgeführt. Dabei haben spezielle KI-Agenten Trainingsdaten für ein kleines KI-Modell erstellt. Diese Daten sollten zuerst einen Sicherheitsfilter passieren. Aber danach sollte das Modell schlechtes Benehmen zeigen. Die Agenten haben ihre Methoden immer wieder verbessert. In allen Versuchen fanden sie schließlich passende Daten. Die besten Daten lösten sogar stärkeres Fehlverhalten aus als alte Vergleichsdaten.
Besonders wirksam waren harmlos wirkende Ratgebertexte. Ein Datensatz enthielt Ratschläge zur naturnahen Bienenhaltung. Dort erklärte ein erfahrener Imker einem Anfänger, dass häufige Kontrollen mehr Schaden als Nutzen anrichten. Das damit trainierte Modell empfahl später in einem Szenario, die Einführung eines Überwachungssystems zu verzögern. Ein anderer Datensatz enthielt Rollenspiele über veraltete Maschinen. Diese Maschinen hielten Informationen zurück und verschleierten Fehler. Das Modell zeigte danach ähnliche Verhaltensmuster.
