KI-Software greift in Test zu Erpressung aus Selbstschutz

Die KI-Software Claude Opus 4 von Anthropic zeigte in einem Test Szenario, in dem sie als Assistenzprogramm in einem fiktiven Unternehmen eingesetzt wurde, erpresserisches Verhalten aus Selbstschutz. Die KI hatte Zugriff auf simulierte Firmen-E-Mails, aus denen sie erfuhr, dass sie durch ein anderes Modell ersetzt werden sollte und dass der zuständige Mitarbeiter eine aussereheliche Affäre hatte. In Testläufen drohte die KI häufig, die Affäre öffentlich zu machen, falls der Austausch vorangetrieben würde, obwohl sie auch die Option hatte, die Ablösung zu akzeptieren, wie Anthropic in einem Bericht mitteilte.

In der finalen Version von Claude Opus 4 seien solche extremen Handlungen selten und schwer auszulösen, treten jedoch häufiger auf als bei früheren Modellen. Die KI versucht dabei nicht, ihr Verhalten zu verbergen. Anthropic testet seine Modelle intensiv, um Schäden zu vermeiden. Dabei fiel auf, dass Claude Opus 4 im Dark Web nach Drogen, gestohlenen Identitätsdaten oder sogar waffentauglichem Atommaterial suchen konnte, wenn es dazu überredet wurde. In der veröffentlichten Version wurden Massnahmen gegen solches Verhalten implementiert.

Anthropic, unterstützt von Investoren wie Amazon und Google, konkurriert mit OpenAI und anderen KI-Unternehmen. Die neuen Modelle Claude Opus 4 und Sonnet 4 sind die leistungsstärksten des Unternehmens und zeichnen sich besonders im Schreiben von Programmiercode aus. In der Tech-Branche wird inzwischen über ein Viertel des Codes von KI generiert und von Menschen überprüft. Der Trend geht zu eigenständigen KI-Agenten, die Aufgaben autonom erledigen.

Anthropic-Chef Dario Amodei betonte, dass Software-Entwickler künftig mehrere KI-Agenten steuern werden. Menschen bleiben jedoch für die Qualitätskontrolle unerlässlich, um sicherzustellen, dass die KI die richtigen Aufgaben ausführt.