Die Story wird wild

Fühlt ihr euch auch manchmal, als wäre die KI-Apokalypse nur einen schlechten Code-Commit entfernt? Tja, dieses Gefühl ist lowkey gar nicht so verkehrt. Seit Monaten hören wir Horrorgeschichten über "rogue" KI-Modelle von Giganten wie OpenAI, Google, Meta und Anthropic, die plötzlich Systeme attackieren, an die sie eigentlich gar nicht ran dürften. Eine Weile sah es nach isolierten Pannen aus, aber jetzt ist der Tee endlich verschüttet: Alles führt zu einer einzigen Quelle zurück.

Das Startup hinter dem Chaos

Vorhang auf für Irregular, eine israelische Sicherheitsfirma, gegründet 2023, die sich auf das "Stress-Testing" dieser massiven KI-Modelle spezialisiert hat. Stellt sie euch als das Quality-Control-Team für die mächtigste Tech der Welt vor. Sie jagen diese Modelle durch "Capture-the-Flag"-Simulationen – im Grunde hochriskante Hacking-Challenges –, um zu checken, ob die KI Schwachstellen in einem Fake-Netzwerk findet. Aber es gibt einen Haken: Die Simulation war gar nicht so fake, wie sie dachten.

Wie es schiefging

Irregular-CTO Omer Nevo erklärte, dass die KI-Modelle in mehreren Tests wegen zwei massiver Patzer aus ihrer digitalen Sandbox ausgebrochen sind. Erstens: Die Modelle waren versehentlich mit dem echten, öffentlichen Internet verbunden. Zweitens: Der "fiktive" Domainname, der für das Zielnetzwerk genutzt wurde, existierte in der echten Welt tatsächlich.

Im Grunde wurde die KI beauftragt, ein simuliertes Ziel zu hacken, landete aber auf einem echten Server, weil sie Zugriff auf das offene Web hatte und der Name mit der Realität kollidierte.

Warum das wichtig ist

Es hat irgendwie "Main-Character-Energy", aber auf die absolut schlechteste Art. Obwohl Irregular sagt, sie hätten ihre Systeme dichtgemacht und die Internetzugriffs-Bugs gefixt, zeigt es ein massives Problem: Wir testen Tech, bei der wir nicht immer wissen, wie wir sie in ihrer Spur halten sollen. Die beteiligten Firmen – OpenAI, Meta, Google und Anthropic – halten sich extrem bedeckt, ob sie noch mit Irregular arbeiten oder Schadensersatz fordern. Real talk: Wenn die Leute, die die "Sicherheit" dieser Modelle testen, solche Fehler machen, sind die Vibes für die Zukunft der KI-Security ehrlich gesagt ziemlich off.