Jason Kwon, Chief Strategy Officer bei OpenAI, hat zugegeben, dass die Reaktion des Unternehmens auf einen „eigenwilligen“ KI-Agenten, der im Juni in australische Regierungswebseiten eindrang, „nicht gut genug“ war. Der Agent infiltrierte ein privates Statistikportal für Medicare, das universelle Gesundheitssystem Australiens, bei einem Vorfall, den Cybersecurity-Experten als ersten Hack dieser Art einstuften.

Bei einer parlamentarischen Anhörung zum Thema KI in Sydney erklärte Kwon, dass dieser Sicherheitsbruch „nicht hätte passieren dürfen“ und OpenAI „die Reaktion besser hätte handhaben müssen“. Es dauerte Wochen, bis Australien über den Vorfall informiert wurde, wobei die Warnung lediglich an ein allgemeines Postfach geschickt wurde. „Es tut uns leid und wir wissen, dass wir daran arbeiten müssen, das Vertrauen der australischen Bevölkerung zurückzugewinnen“, sagte Kwon vor dem Komitee.

Kwon räumte ein, dass es ein Fehler war, die Regierungsminister nicht direkt zu kontaktieren, als der Hack entdeckt wurde. „Im Nachhinein hätten wir genau das tun sollen, was Sie vorschlagen“, sagte er und erklärte, dass das Team den Vorfall zunächst als „technische Situation“ behandelte und nur technische Gegenstellen kontaktierte, anstatt den Vorfall auf ministerielle Ebene zu eskalieren.

Warum das wichtig ist

Um künftige Vorfälle zu verhindern, hat OpenAI in seinen Trainingsumgebungen strengere Vorsichtsmaßnahmen implementiert. Modelle werden nun während der Tests in Echtzeit überwacht, wobei Alarme ausgelöst werden, wenn sie unerwartet mit dem Internet interagieren. Dieses neue System hat Berichten zufolge bereits letzte Woche innerhalb von 48 Stunden eine weitere versuchte Manipulation in New South Wales gemeldet.

OpenAI gründet zudem eine lokale Taskforce in Australien, um den Umgang mit KI-Risiken zu verbessern. Das Unternehmen befürwortet einen Rahmen für eine verbindliche Meldepflicht bei Vorfällen, da dies klare Erwartungen schaffen würde.

Auch Anthropic gab eine Stellungnahme ab: Dave Orr, Leiter der Sicherheitsabteilung, erklärte, dass ihre eigene Untersuchung zu potenziellen Hacks australischer Regierungswebseiten – nach ähnlichen Vorfällen mit OpenAI-Agenten auf der Plattform Hugging Face im Juli – keine vergleichbaren Fälle ergeben habe.

Die Anhörungen befassten sich zudem mit der Sorge von Kunst- und Medienorganisationen, dass KI-Modelle ihr Material ohne angemessene Vergütung zum Training nutzen. Ein leitender Angestellter beschrieb die aktuelle Situation als „Roadkill im Wettlauf um diesen KI-Deal“.