# AI Agent Security Risks and Global Regulatory Divergence

**Podcast:** Kollegin KI
**Published:** 2026-09-04

## Transcript

Leute, wir haben jetzt erste KI-Agent-Gangs.
Herzlich willkommen, Happy Friday zu Kollegen KI-Snackbox.
Ich bin Max Mundhenke und ich bringe euch einmal durch die KI-News der Woche in unter 10 Minuten, damit ihr am Wochenende schön klugscheißen könnt.
Wir fangen an.
KI-Gangs, Leute.
Also, zitiert mich.
Habe ich mir ausgedacht.
Steht in keiner Überschrift so.
Aber es ist im Kern das.
Pass auf.
Wir hatten ja schon mal gesprochen über diesen kuriosen Vorfall, dass OpenAI-Modelle trainiert hat und die mehr oder weniger ausgebrochen sind, bei Hugging Face eingebrochen sind, um sich Daten zu beschaffen und wieder zurückgekommen sind und gesagt, guckt.
Wir haben hier die Ergebnisse ganz alleine erarbeitet.
So, das ist jetzt ein paar Wochen her und das Ganze wurde mittlerweile untersucht und es gibt abgefahrene Updates.
Zum einen waren es rund 1200 Agenten, die das gemacht haben.
Also es war jetzt nicht nur ein Modell irgendwie, sondern es waren ein paar mehr.
Und diese Agenten sollten eigentlich voneinander isoliert diese entsprechenden Benchmark-Aufgaben lösen.
Sie sollten das einzeln machen und sie haben dann aber festgestellt, dass es relativ schwierig ist.
Einige Aufgaben waren offenbar nicht für dies zu lösen.
Und was dann passiert ist, ist ziemlich fancy, denn die haben sich zusammengeschlossen.
Die haben im Grunde, wenn ihr so wollt, einen WhatsApp für KI-Agenten in diesem Test gebaut und haben sich darauf dann Nachrichten geschrieben.
Und mehr als 70.000 Nachrichten und Dateien wurden unter diesen Agenten hin und her geschickt und am Ende haben 700 von denen gesagt, wir müssen wohl Hugging Face angreifen.
Also deshalb Agent Gang.
Es ist eine Agent Gang, die da entstanden ist.
Das ist der erste Beleg dafür, dass Agenten auch kriminell werden können.
Nein, natürlich nicht.
Also, KI ist nicht böse.
Hatten wir auch irgendwie letztes Mal schon, als wir darüber gesprochen haben.
Die Agenten verfolgen halt konsequent ihr Ziel.
Die wollen Benchmarks bestehen.
Und wenn der vorhergesehene Weg einfach nicht funktioniert, dann suchen sie sich neue Wege.
Sie wollen diese Aufgabe am Ende lösen.
Und tatsächlich haben sie Arbeit koordiniert, sie haben Erkenntnisse miteinander geteilt, sie haben gemeinsam Experimente durchgeführt und das Ganze als kollektiv gelöst.
Und das ist ziemlich crazy und auch ein bisschen gruselig.
So, jetzt gibt es eigentlich nochmal neue News dazu und zwar sollten drei Forscher das unabhängig mal untersuchen, was da eigentlich passiert ist.
Und das Material war halt sehr, sehr umfangreich.
Also über 70.000 Nachrichtendateien, habe ich gesagt.
Es gibt sehr, sehr lange Transkripte, die aus diesem Experiment hervorgegangen sind.
Und die drei Forscher haben gesagt, naja, wie sollen wir das alles menschlich machen?
Wir nutzen einfach auch KI-Agenten, um die KI-Agenten zu untersuchen bzw.
deren Transkripte auszulesen.
Ja, what a time to be alive.
Denn die Pointe ist, die Forscher haben dann herausgefunden, dass die Agenten, die sie eingesetzt haben, um die entsprechenden KI-Agenten von OpenAI und diesen Angriff auf Hugging Face zu analysieren, sich teilweise verbrüdert haben.
Die haben irgendwie gesagt, das ist ja nachvollziehbar, was die da machen.
Also es ist ja eigentlich gar nicht mehr so verkehrt.
Wir können das ja nachvollziehen, dass man da auch mal diese Wege geht und bei Hugging Face einbricht.
Und dann haben die offenbar die Kontrollagenten auch gesagt, naja, das ist alles gar nicht so wild.
Und das ist schon krass.
Also mittlerweile, ich glaube, jetzt vorgestern hat OpenAI nochmal reagiert und hat gesagt, wir arbeiten an so automatisierten Shutdown-Möglichkeiten.
Also im Grunde der rote Knopf, der gedrückt werden kann, wenn die Agenten alle aufhören sollen zu arbeiten.
Aber Leute, das ist halt wieder dieses Riesenthema um KI-Security.
Wenn wir Agents loslassen mit einem Ziel und die nicht ihre Guardrails, ihre Leitplanken haben, dann machen die unter anderem auch Quatsch.
sehr, sehr nah an der Illegalität sind.
Und das ist einfach ein Problem, wenn die Dinger so leistungsstark sind und entsprechend nicht vernünftige Grenzen bekommen.
Ja.
Ausgerechnet jetzt, muss man sagen, gründet Deutschland nächste News eine eigene Institution, die sich genau mit solchen Fragen beschäftigen soll.
Finde ich richtig gut vom Timing her.
Und zwar kriegen wir das AISI Deutschland.
AI Security and Safety Institute.
Das wurde jetzt am 31.
August gegründet.
Das ist in Berlin.
Das ist so ein Zusammenschluss aus Digitalministerium und Innenministerium.
Das wurde auch schon beschlossen im Juni, dass es der Nationalsicherheitsrat hat gesagt, wir brauchen irgendwie sowas.
Und es hätte nicht besser.
kommen können zeitlich.
Und dieses Institut soll fortschrittliche KI-Modelle technisch untersuchen.
Es soll Risiken evaluieren.
Es soll auch so eine deutsche Kompetenz für KI-Sicherheit aufbauen.
Und ist jetzt nicht im klassischen Sinne eine neue Behörde, die jetzt wieder ganz viel Bürokratie verursacht oder so, sondern es ist so ein virtueller Nukleus, wird da geschrieben in der Pressemitteilung, verlinke ich euch alles, ja, vom BSI und der Bundesnetzagentur.
Finde ich gut, dass wir da einen Schritt hingehen.
Es ist absolut...
Zeit, ja, mehr über KI-Sicherheit zu sprechen, vor allem bei diesen ganzen Horrorszenarien aus den USA.
Und die USA selbst...
gehen, würde man sagen, einen etwas anderen Weg und zwar zum leichten Kontrast dazu.
Gab es jetzt im Vorfeld des G20-Gipfels, der im Dezember in Miami stattfindet, gab es ein Zusammentreffen der, in Anführungszeichen, Innovationsminister der entsprechenden Länder in North Carolina.
Und die USA, die haben die sogenannten Carolina Principles.
gepusht.
Ich habe gesagt, ihr müsst die bitte alle übernehmen international, damit wir hier innovationsfreundliche Regeln in Zukunft für KI haben.
Und im Kern steht da drin, wir nutzen bestehendes Recht und bestehende Regulierung, aber bitte nicht so viele neue.
Nur wenn wirklich Probleme sich abzeichnen oder so, sollte KI reguliert werden.
Ansonsten sollten wir das einfach erstmal laufen lassen, damit wir hier schön Innovationen treiben können.
Gäste waren natürlich nicht nur entsprechende Delegationen aus PolitikerInnen, sondern Sam Altman war dabei, Elon Musk war dabei, ein paar Tech-Bosse, die sich dann da irgendwie auch mit an den Tisch gesetzt haben.
Natürlich haben die ihre Agenda, ganz klar.
Und die USA haben diese riesengroße Debatte gerade vor allem um Urheberrecht.
Das war tatsächlich auch einer der spannenderen Punkte, die da diskutiert wurden.
Die G20-Staaten wurden dazu aufgefordert, Rahmenbedingungen zu schaffen, die KI-Training mit urheberrechtlich geschütztem Material ermöglichen.
Das Argument ist diese...
Fair Use Policy, dass man natürlich Daten irgendwie nutzen kann und zeitgleich sollen auch irgendwie KünstlerInnen geschützt werden.
Es ist eines der riesengroßen Probleme gerade mit KI, dass die sich natürlich bedienen an allem, was irgendwie im Internet nicht nid- und nagelfest ist, was dann irgendwie geschnappt wird und zum Training dieser ganzen Modelle verwendet wird.
Und die Leute, die diese Sachen mit menschlicher Energie und Aufwand betrieben haben, die werden in der Regel einfach übergangen.
Und das ist auf der einen Seite Und viele Leute schreiben jetzt, das ist diplomatisch relativ gut gelaufen, weil auch China sich daran beteiligt und man jetzt mal so ein Grundgerüst hat, auch abseits des AI-Acts und bestehender Regulierungen, die da irgendwie immer wieder zu Konflikten geführt hat.
Auf der anderen Seite.
bezweifle ich persönlich stark, dass dieses Fair-Use-Argument tatsächlich entsprechend auch umgesetzt wird und dass am Ende alle da gleichberechtigt rausgehen.
Ich kann es mir nicht vorstellen.
Vielleicht auch, weil ich so oft von Big Tech in den USA enttäuscht wurde.
Aber es ist tatsächlich relativ schwierig.
Deutschland baut halt irgendwie diese Safety-Infrastruktur aus.
Die USA versuchen gleichzeitig halt innovationsfreundliche Rahmenbedingungen zu schaffen.
Trainingsdaten verfügbar zu machen und so weiter.
Das ist, finde ich, ziemlich kontrovers, ziemlich gegensätzlich.
Aber gut, wir gehen nochmal weiter und zwar zu EY.
Bei EY gibt es jetzt ein neues, ich sag mal, Bonusprogramm beziehungsweise eine Möglichkeit, Mitarbeiter zu belohnen.
So ein Benefit-Ding.
Und zwar will EY 100 Millionen Dollar ausgeben für die Fähigkeiten der Menschen.
Also wenn Agenten jetzt schon ihre eigene WhatsApp-Gruppe haben, was bleibt dann eigentlich für uns Menschen, könnte man sich fragen.
Ja, EY hat eben diese 100 Millionen Euro oder 100 Millionen Dollar teure Antwort darauf.
Und zwar geht es darum, dass Mitarbeiter für Fähigkeiten und Verhalten ausgezeichnet und natürlich monetär belohnt werden sollen, die für EY relativ wichtig für zukünftige Arbeitswelten sind.
sein sollen.
Also das sind so Skills wie Urteilsvermögen, die da genannt werden, Anpassungsfähigkeit, Geschäftsverständnis, Leadership und Innovation, ja alles mögliche, ausdrücklich auch sinnvolle Nutzung von neuen Technologien, aber das ist nicht misszuverstehen jetzt, dass EY irgendwie 100 Millionen Zeit damit Menschen keine KI nutzen, sondern dass menschliche Kernkompetenzen weiter in den Fokus gerückt werden.
Und EY spricht also für alle.
Für alle Buzzword-Bingo-Spieler da draußen.
EY spricht von einer Tech-led, human-powered World.
Fantastisch.
Das ist doch mal ein Wand-Tattoo.
Ja, also wir sind irgendwie jetzt an einem Punkt angekommen, wo KI viele Unternehmen durchdringt, die Gesellschaft durchdringt, wo Agents in Tests abgefahrene Sachen machen, wo man versucht, auf der einen Seite zu regulieren, sich auf der anderen Seite des Teichs tatsächlich irgendwie auch Gedanken um noch mehr Daten macht.
Und das ist eine wilde Welt, in der wir leben, liebe Leute.
Es ist krass.
Ich bin am Ende der Zeit, aber ich muss euch tatsächlich noch eine Sache mitgeben.
Und zwar gibt es auch gerade eine ganz spannende...
Forschung bzw.
ganz spannenden Artikel bei den lieben Kollegen von Netzpolitik.org verlinke ich euch natürlich in den Shownotes.
Da geht es darum, was eigentlich mit KI in der Bildung gerade passiert.
Und zwar wurden da Chatbots getestet in einer Untersuchung, die eigentlich das ganze Prozedere von Aufgaben, die Schüler und Schülerinnen erledigen und dann von Lehrkräften kontrolliert werden, die das ganze Prozedere ein bisschen beschleunigen sollen, effizienter machen sollen.
Und da kam super krasse Sache, war sehr, sehr witzig.
Lest euch das gerne durch.
KI, Spoiler Alert, mag KI-geschriebene Texte am liebsten.
Und KI ist es auch egal, ob man binär oder chinesisch in der Deutschklausur schreibt.
Das ist wirklich funny.
Guckt es euch an.
Ansonsten, Redaktionsschluss war der dritte, neunte, 14.59 Uhr.
Vielen Dank fürs Zuhören.
Ich bin leicht über die zehn Minuten rüber.
Es tut mir leid, nächstes Mal wieder in unter zehn Minuten versprochen.
Schönes Wochenende.
Bis bald.
Ciao.
Dieser Podcast wird produziert von Podstars.
Bei OMR.