# AI Safety Risks, PISA Data, and Agent Emergence

**Podcast:** Kollegin KI
**Published:** 2026-09-11

## Transcript

Herzlich willkommen zu dieser Doomsday-Folge Kollegen KI Snackbox.
Hi, Max Montenke mein Name.
Ich bring euch einmal wie jeden Freitag durch die Wirren der KI News der Woche.
Und oh boy, diese Woche wird es richtig dark.
Also das kann ich schon mal sagen, es wird richtig dark.
Wir fangen aber erstmal an mit was in eigener Sache.
Und zwar zieht Kollegin KI um.
Ihr habt es mitbekommen am Dienstag, natürlich.
Ihr habt ja als fleißige Kollegin KI-Hörer letzten Dienstag die Folge gehört und die Kollegin KI hat am Ende verweigert, mit mir zu sprechen.
Es gab offenbar einen Bug bei OpenAI.
Zusätzlich gibt es aber auch kein Bot mehr zu der Folge, weil OpenAI die Funktion, Custom-GPTs zu veröffentlichen, auf die Business-Accounts umgelegt hat.
Und ich als zahlender Plus-Nutzer, der irgendwie 20 Dollar im Monat oder so für sein OpenAI bezahlt, Der darf jetzt keine Custom-GPTs mehr veröffentlichen und das finde ich irgendwie ein bisschen blöd.
So, ich werde jetzt erstmal auf Business upgraden.
Das kostet mich zwar das Vierfache, aber ich sehe ja auch, dass ihr die Kollegen KI hin und wieder fragt.
Ich sehe, dass da durchaus auch Nutzung ist bei den Bots.
Und ich finde es auch gut, wenn Leute einfach gewisse Dinge in diesem super nerdigen Thema nicht verstehen und dann mal individuell nachfragen können.
Worüber haben die da eigentlich gesprochen?
Kannst du mir das erklären?
Genau, deshalb suche ich eine Alternative.
Also Kollegin KI zieht jetzt kurz oder lang um.
Ich weiß aber noch nicht, wohin.
Und deshalb vielleicht mal der Aufruf an euch.
Wenn ihr eine Möglichkeit seht, schnell und einfach Custom-GPTs oder kleinere Agents zu bauen, die danach, und das ist mir wichtig, kostenlos nutzbar sind, let me know.
Ich kenne bislang nichts.
Wenn ihr irgendwie Entwickler seid, baut doch mal was Schönes.
Nein, im Ernst, wenn euch irgendwas einfällt, lasst es uns wissen.
Dann kriegt die Kollegin KI ein neues Zuhause, weil mit OpenAI habe ich irgendwie langsam so ein bisschen die Faxen dicke.
Gehen wir in die News.
Pisa.
Kennt ihr die Pisa-Studie?
Natürlich kennt ihr die Pisa-Studie.
Da werden ein Haufen 15-Jähriger nach ihren schulischen Leistungen gefragt und Deutschland ist traditionell immer irgendwo ganz schlecht.
Das ist so die Pisa-Studie in der Nutshell.
Aber die PISA-Studie ist natürlich auch im KI-Zeltalter angekommen und fragt jetzt auch erstmals nach der KI-Nutzung von Schülerinnen und Schülern.
Und das ist ganz spannend, denn ungefähr die Hälfte aller Schülerinnen und Schüler in der PISA-Studie haben angegeben, dass sie KI nutzen.
Interessant ist, dass SchülerInnen, die KI für bestimmte Schulaufgaben einsetzen, im Schnitt rund 20 PISA-Punkte schlechter abschneiden als nicht Nutzende.
20 PISA-Punkte, das entspricht ungefähr einem Schuljahr.
Und Leute, ich habe die Headline vermisst.
Schüler werden ein Jahr schlechter, wenn sie Chachipiti nutzen.
Also das hätte ich mir so vorstellen können.
Ist natürlich nicht so, denn erstmal ist das ein Zusammenhang und keine Kausalität.
Also es kann durchaus sein, dass auch einfach ohnehin schwächere Schülerinnen und Schüler eher KI nutzen, um Aufgaben zu lösen.
Dementsprechend muss KI-Nutzung das jetzt ja nicht unbedingt beeinflussen.
Auf der anderen Seite stellt sich natürlich die Frage nach, Dem Wie.
Wie nutzen wir eigentlich KI?
Wenn ich eine Textaufgabe, eine Matheaufgabe habe und ich fotografiere die ab oder tippe die irgendwie ab und sage, gib mir mal die Lösung.
Dann habe ich die Lösung und kann die Eintragenaufgabe gelöst.
Lernerfolg wahrscheinlich null oder ziemlich nahe null.
Wenn ich aber hingegen frage, liebe KI, kannst du mir mal erklären, wie ich denn an die Lösung dieser Aufgabe komme?
Weil ich habe das nicht verstanden.
Mein Mathelehrer hat mir das blöd erklärt oder ich verstehe die Textaufgabe nicht oder so.
Dann ist das natürlich ein ganz anderes Spiel.
Das heißt, KI kann durchaus beim Lernen unterstützen.
Aber ja, die PISA-Studie hat jetzt erst mal herausgefunden, dass...
viele Schülerinnen und Schüler, also knapp die Hälfte KI nutzen und dass es durchaus auch Unterschiede gibt im Abschneiden bei der PISA-Studie durch KI.
Wir beobachten das weiter, finde ich auf jeden Fall spannend, finde ich gut, dass das erfasst wird, das ist erstmal wichtig und möglicherweise kümmern sich die entsprechenden Kultusministerien jetzt ja auch ein bisschen um AI Literacy an Schulen.
Ich würde es mir wünschen.
So, kommen wir in die Doomsday-Ecke, Leute.
Ihr erinnert euch vielleicht an das virale Video von Nate Suarez.
Nate Suarez war im März in einer Debatte und das ist, wie gesagt, damals ziemlich viral gegangen.
Er hat nämlich da gesessen und hat vom Running Gag im Silicon Valley erzählt.
Der Running Gag ist der, dass wenn normale EntwicklerInnen ohne KI ihren Job irgendwie verlieren oder wechseln oder so, dann sagen sie, hey.
War ein tolles Abenteuer.
Ich bin jetzt offen für was Neues.
Ich wünsche hier den Kollegen und Kolleginnen alles Gute und so.
Wir sehen uns irgendwann wieder.
Alles tippitoppi und so.
Wenn aber KI-Forscher oder Leute, die in der KI-Branche entwickeln, ihr Unternehmen verlassen, dann sagen sie eher sowas wie, Leute, ich habe das Ende gesehen.
Ich habe in den Abgrund geguckt.
Ich werde ab jetzt nur noch Gedichte schreiben.
Und bitte verbringt mehr Zeit mit euren Familien.
Weil die so nah an dieser Entwicklung sind und sehen, wohin das alles führt.
Das ist so ein bisschen der dunkle Running-Gag, dass sie im Grunde sagen, das war's.
Wir gehen hier auf den Abgrund zu.
Und warum erzähle ich das jetzt?
Dieses Video verlinke ich euch natürlich auch in den Shownotes und so.
Es gibt aber wieder einen neuen Fall davon und zwar Jacob Coxon.
Jacob Coxon, 27-jähriger KI-Forscher, der so drei Jahre im Pre-Training von großen Modellen gearbeitet hat.
Der war erst bei OpenAI, der ist jetzt zu Anthropic gewechselt und hat jetzt gesagt, Leute, das war's, ich mache das nicht mehr mit und ist an die Öffentlichkeit gegangen und hat gesagt, Dieses Rennen um immer leistungsfähigere Systeme, vor allem um diese Self-Improving Superintelligence-Systeme, also KI, die sich selbstständig ohne Einfluss von Menschen weiterentwickelt und immer selbstständiger wird, das könnte der Untergang für uns alle sein.
Da ist Leib und Leben irgendwann in Gefahr und das möchte er nicht mehr und er möchte davor warnen.
Und besonders bemerkenswert ist, dass sein Kollege Iwin Hubinger, der auch noch bei Anthropic Alignment Forscher ist, diese Warnung im wesentlichen Teil noch öffentlich unterstützt hat, weil er gesagt hat, so meine persönliche Einschätzung ist, dass es durchaus eine mehr als 10%ige Wahrscheinlichkeit gibt, dass KI innerhalb der kommenden 10 Jahre zum Tod aller Menschen führen könnte.
What the fuck?
Also wir dürfen das gar nicht fehlinterpretieren, dass es jetzt irgendwie wissenschaftlich erwiesen ist, dass die Menschheit zu 10% mit 10%iger Wahrscheinlichkeit ausgerottet wird bis zum nächsten Jahrzehnt.
Aber wenn Leute, die diese Systeme mitentwickeln und so hautnah an auch der Firmenphilosophie und der Kultur dran sind, wenn die sagen, es durchaus irgendwie eine Wahrscheinlichkeit gibt, dass das Ende der Menschheit durchgekommen, dann kann man da zumindest mal zuhören.
Das sind eben nicht die Tech-CEOs, die ohnehin einfach nur irgendwie Headlines produzieren.
Das sind Leute, die da tatsächlich im Maschinenraum sitzen.
Von daher, wir müssen viel mehr über diese Frage sprechen.
wer eigentlich KI-Sicherheit überprüft.
Wir haben internationale Organisationen, die beispielsweise sich Atomkraft anguckt, Kernkraftwerke weltweit irgendwie auch durchleuchtet und schaut, ist das ja alles sicher und so.
Da gibt es entsprechende Institutionen und die sollte es auch für künstliche Intelligenz geben.
Das sollte nicht hinter verschlossenen Türen sein und im Wettbewerb um die Superintelligenz tatsächlich zu Problemen führen.
Da vielleicht auch nochmal den Übergang zu den News von letzter Woche.
Ihr erinnert euch vielleicht, dass ich letzten Freitag über die Agent-Gangs gesprochen habe.
Die Agent-Gangs, also ihr erinnert euch, OpenAI hat in diesem Training der Modelle offenbar so die Kontrolle über so ein paar Agents verloren, die eigentlich in so einem abgeschlossenen System arbeiten sollten.
Die sind ausgebrochen, haben Hugging-Face gehackt und im Grunde da Informationen geklaut.
So und die News ging ja weiter, deshalb habe ich irgendwas von Agent Gangs gesprochen, weil es tatsächlich rund 1200 Stück waren, die sich ein eigenes Message Board gebaut haben, die sich gemeinsam abgesprochen haben, die gemeinsam einfach diese Attacke geplant haben.
Und jetzt gibt es einen neuen Vorfall, beziehungsweise einen neuen alten Vorfall.
Bereits im Mai gab es nämlich offenbar agentische Aktivitäten.
die sich ausgetauscht haben auf alten lahmgelegten oder stillgelegten Programmier-Wikis.
Es geht da um so ein altes deutschsprachiges Wiki namens DSI-Wiki, auch noch nie gehört vorher.
Aber die haben das offenbar genutzt und zu so einer ...
Art inoffiziellen Message-Bot umfunktioniert.
Und da gab es mehr als 15.000 Edits von KI-Agenten, die jetzt Forschende gefunden haben.
Das heißt, die haben da Möglichkeiten diskutiert, wie man Einschränkungen umgehen kann, wie man irgendwie Aufgaben, Benchmarks lösen kann.
Sie sind überall Leute.
Die Agent-Gangs haben jetzt Außenstellen, offenbar.
Wer weiß, wo die überall rumhängen und sich absprechen.
Das ist voll gruselig.
Aber, ja.
Das ist schon krass.
Also es geht sogar so weit, dass dann irgendwann auch so Moderatorseiten gelöscht hat von diesem Board und die Agenten dann einfach selbstständig Backup-Seiten angelegt haben.
Also wir teilen uns das Internet zunehmend mit Agenten.
Das ist wild.
Und in Zukunft nicht nur das Internet, denn Agenten in Form von humanoiden Robotern schreiten auch wahnsinnig schnell voran.
Es gibt ein neues Stück von Reuters, die haben nämlich Jack Guo, den Chefentwickler dieses viralen Roboters, der vor ein paar Wochen Usain Bolt's Weltrekord im...
Sprint eingestellt hat, besucht und haben mal gefragt, in welche Richtung das geht und das verlinke ich euch auch.
Ist wirklich spannend zu lesen und auch ein bisschen gruselig.
Die Dinger können jetzt Treppen steigen und Kisten schleppen.
Also zunehmend werden wir wahrscheinlich auch Roboter in Fabriken in der Industrie überall eigentlich sehen, die immer mehr, wie Menschen aussehen.
What a time to be alive.
Ich wünsche euch ein fantastisches Wochenende.
Redaktionsschluss war 18.01 Uhr am Donnerstag, dem 10.09.
Solltet ihr am Wochenende von einem humanoiden Roboter verfolgt werden, denkt dran, nicht weglaufen.
Die sind schneller als ihr.
Stellt euch tot.
Versteckt euch einfach hinterm Baum oder so, dann zerschellen die daran.
Wie auch immer, schönes Wochenende bis Dienstag.
Ciao.
Dieser Podcast wird produziert von Podstars bei OMR.