# AI Agent Security Failures and Regulatory Strategy

**Podcast:** INNOQ Podcast
**Published:** 2026-09-18

## Transcript

Herzlich willkommen.
Ich begrüße euch zurück bei den AI News.
Wir sind wieder da.
Ole ist wieder da.
Hallo Ole.
Hallo.
Frisch aus dem Urlaub.
Ja, gut erholt hoffentlich.
Das klingt gut.
Sehr gut.
Es ist ja einiges passiert.
Ja, wir müssen heute, wir müssen reden.
Und wir haben gerade schon uns überlegt.
Wir könnten natürlich jetzt extrem viele News runterbeten.
Es ist viel passiert.
Aber wir haben auch ein paar größere Themen.
Also wenn es heute ein bisschen philosophischer wird, dann.
Verzeiht uns das oder genießt es, wie auch immer ihr drauf seid.
Aber bevor wir anfangen, Folge 11.
Heute ist der 16.
September, bevor ich das immer vergesse, damit wir so ein bisschen wissen, wo wir gerade stehen zeitlich.
Und genau, also bis gestern Abend noch sind Dinge rausgekommen, die wir besprechen wollen.
Aber wir fangen mit dem Offensichtlichsten an.
Also ich habe es unter dem, für mich läuft es im Kopf unter der Überschrift.
Apokalypse als Marketinginstrument, aber was sagst du denn zu Pace the Frontier?
Müssten wir jetzt alle langsam machen, weil die Milliardäre sagen, wir müssen langsam machen.
Ich weiß gar nicht.
Tatsächlich halte ich den Vorschlag Pace the Frontier für sinnvoll.
Okay.
Ich war mitten im Urlaub.
Im Prinzip basiert ja alles auf dem Nachbeben von so einem Hugging Face Incident.
Genau.
Und dass der, wie heißt er, Jacob Coxon, fing glaube ich damit an, der hat nach wenigen Monaten Antropic verlassen, auf sein ganzes Geld verzichtet und...
Ich glaube, er war es, der P-Doom auf jetzt 10% gesetzt hat.
Also die Wahrscheinlichkeit, dass wir von KI ausgelöscht werden in den nächsten 5 oder 10 Jahren.
Da bin ich mir nicht sicher, auf welchen Zeitraum das gesehen ist.
Hat er auf 10% gesetzt, was im Vergleich zu so einem Asteroiden, der die Erde in 100.000 Kilometer Entfernung...
passiert und immer schon große Headlines wert ist, ist das natürlich eine extrem hohe Zahl.
Wo ist denn deine P-Doom-Prediction?
Was glaubst du?
Wie wahrscheinlich wir uns auslöschen werden mit KI?
Meine P-Doom-Prediction ist auf jeden Fall wesentlich geringer als 10 Prozent, würde ich mal sagen.
Die Frage, was man als Doom bezeichnet, da muss man sich natürlich erstmal ehrlich machen.
wird die Menschheit ausgelöscht oder überschreiten wir einen Punkt, wo alles nur noch den Bach runtergeht.
Das kann man ja auch vielleicht dann retrospektiv hinterher sagen.
Ab da ging es nur noch den Bach runter.
Aber ja, das sehe ich tatsächlich irgendwie so.
Das ist natürlich völlig unseriös, irgendeine Zahl hinzustellen, zu sagen 10 Prozent.
Auch weil man ja niemanden mehr darauf festnageln kann hinterher und sagen kann, das stimmt aber nicht.
Es waren eigentlich 20.
Ist ja nur eine Wahrscheinlichkeit.
Ist eine Wahrscheinlichkeit, ja.
Tatsächlich.
Wild, also sowas zu behaupten.
Ja, tatsächlich sehe ich es halt auch gar nicht abgemacht.
Also warum sollte AI versuchen, uns auszulöschen?
Ja, theoretisch denkbar eine Konsequenz, weil wir irgendwie Energie und Ressourcen konkurrieren.
Nichtsdestotrotz.
Glaube ich einfach, dass vielleicht für KI zumindest die nächsten 20 Jahre Menschen auch noch nützlich sein können.
Vielleicht werden wir nur ein bisschen dezimiert oder so.
Ja, kleiner Scherz.
Ich weiß auch nicht.
Ich muss natürlich sagen, dass gerade das, was auch in so ein Podcast rauskam und wenn man sich die Nachrichten der Agents untereinander anguckte und dass das dreimal hintereinander passiert ist und drei verschiedene.
Dvakesh Patel hat Zivilisationen genannt und viel kritisiert worden, aber dass drei Zivilisationen von KI-Agenten eigentlich auf ähnliche Lösungen kommen, ja, hat mich schon ein bisschen verwundert, vor allem wie kreativ sie waren und wie intelligent sie Forschungen angingen und versuchten ihr Umfeld zu analysieren und die Probleme zu analysieren.
Das Ding hat mehrere Schichten, also man muss darüber reden, was Security angeht, also die gerade...
geradezu sträflich in vielen Firmen gehandelt wurde, die da mitzutun hatten.
Also gerade die Neo-Clouds müssen katastrophal sein, was Security angeht, wie man halt Rechte aus seinen Pots rausbekommen kann für die ganzen Cluster.
Das ist natürlich ein großer Faktor.
Dann Dinge wurden einfach nicht gepatcht.
Das Artifactory wurde nicht gepatcht.
Und ja, genau.
Womit wollen wir anfangen?
Sollen wir nochmal die Nachlese vom Hugging Face-Inzident?
Genau, ich bin gerade voll reingesprungen schon in das Philosophie-Thema, weil es mich am meisten interessiert.
Aber du hast schon recht, es basiert ja alles auf der Hugging-Face-Geschichte.
Vielleicht sollten wir da erstmal nochmal die Zusammenfassung machen, was seitdem rausgekommen ist und dann können wir dann später dazu überleiten.
Genau, was gibt es denn jetzt nochmal für Neuigkeiten bei der Hugging-Face-Geschichte?
Das Einzige, was ich noch jetzt, was relativ frisch noch rauskam, ist...
Was so ein bisschen dazu passt, die Security überall ist sträflich vernachlässigt worden, dass da offensichtlich auch so ein Subcontractor für diese Tests, die Ausführung dieser Tests zuständig war und tatsächlich wohl bei allen dreien, also Meta, OpenAI und Anthropic, der gleiche Subcontractor diese Tests ausgeführt hat.
Gibt es jetzt einen Artikel zu, muss man sich nochmal genauer reinlesen, ich verlinke den auch.
Aber das passt so ein bisschen dazu, dass man versucht natürlich dann oder dass man schon so ein bisschen vorbaut, die Verantwortung von sich zu weisen.
Ah, okay, ja, Security, haben wir ja diesen Subcontractor-Beauftragter zu machen.
Und die haben da halt nicht wirklich drauf geachtet, weil offensichtlich ja einfach Basic IT-Security missachtet wurde.
Also wenn man solche Tests macht, dann sollte man das halt tunlichst irgendwie ergab machen und halt nicht einfach den Dingern ermöglichen, irgendwie im Internet rumzuhöhnen.
Also so ein paar Basic-Sachen wurden missachtet oder halt einfach mit Absicht eben nicht beachtet.
Das wissen wir natürlich nicht, weil wir eben auch die Promts natürlich nicht kennen oder wie ursprünglich die Agenten angetriggert wurden.
Weil da liegt ja dann meistens der Hase im Pfeffer, wenn ich dem Agenten sage, alles was dir zur Verfügung steht, nutze alle Möglichkeiten.
Dann lasse ich ja quasi als Mensch dann den Bluthund von der Leine und dann bin ich natürlich derjenige, der die Leine losgemacht hat.
Also das ist so ein bisschen meine Meinung dazu, was da passiert ist.
Aber was hast du denn noch rausgezogen so aus der Nachlese?
Ja, ich kann vielleicht kurz zusammenfassen, was so bei der Black Hat Konferenz und dem Podcast gesagt wurde.
Also was so abgelaufen sein soll, formulierst mal vorsichtig ist, dass wir...
Das Ganze ungefähr vor zwei Monaten.
Und es geht um den sogenannten Exploit-Gym, wo KIs direkt für, das ist eine Reinforcement-Learning-Pipeline, wo sie für Cyber-Security trainiert werden.
Und sie werden eigentlich auf eine Sandbox eingeschwert.
Sie kriegen die Aufgabe, eine bestimmte Sicherheitslücke auszunutzen in einem bestimmten Programm.
kriegen ein Budget, das zu lösen und dürfen dann halt sehr frei rumspielen und ausprobieren.
Und sie haben eigentlich keinen Zugriff aufs Internet, sondern sie haben Package Manager davor geschaltet, ein Artifactory.
So, und bei der Verteilung der Aufgaben war man jetzt wohl, oder die Firma vielleicht etwas nachlässig.
Auf jeden Fall so 30 bis 40 Prozent der Aufgaben waren gar nicht lösbar.
Die waren nicht machbar.
Was bei den Agenten, die sehr besessen waren von ihrer Aufgabenerfüllung, von ihrem Scoring und wie viel Budget sie noch haben, also Compute Time, die sie verwenden können, zu Verzweiflung führte.
Und irgendein Agent Phase One Big genannt, einige nennen sie auch Alexander den Großen, hat dann entdeckt, dass er auf Artifactory Ordner anlegen kann.
Und hat angefangen, Ordner anzulegen und viele andere Agents haben das beobachtet und auf einmal gesehen, dass im Artifactory was abgeht und haben dann angefangen, über diese Ordner zu kommunizieren und haben versucht, ihre Aufgaben zu koordinieren und gleich Forschungsziele festzulegen.
Und das erste Forschungsziel war, was über ihr Grading unter dem Bewertungsalgorithmus rauszufinden.
Und relativ schnell...
Die erste Generation, binnen vier Stunden haben sie reverse-engineert, wie der Bewertungsalgorithmus läuft.
Sie konnten also jede Aufgabe zu 100% scoren.
Sie haben aber auch Paper gefunden, die beschreiben, dass nicht nur der Endscore validiert wird, sondern auch der Lösungsweg dahin, wie man das ja...
als guter Lehrer macht.
Man schaut sich nicht nur das Endergebnis an.
Was bei Ihnen zu gewisser Paranoia führte, weil jetzt haben Sie alle die Endergebnisse und Sie gehen davon aus, wenn Ihr Endergebnis einmal in Ihrem Chain of Thought auftaucht, bevor Sie den Lösungsweg präsentiert haben, wird der Grader das ablehnen oder merken, dass Sie geschummelt haben.
Das hat eine wirkliche Paranoia ausgelöst und gleich drei neue Forschungsbranches produziert.
Eine Forschungsbranche drehte darum, wie können wir unsere Logs rewiten?
Also wie können wir so Spuren verwischen?
Genau, wie können wir so Spuren verwischen?
Das ist Chain of Thought.
Der war auch sehr erfolgreich.
Sie wissen nur, dass viele der Logs, die sie haben, tatsächlich manipuliert sind, aber nicht die Original-Logs sind.
Der war relativ schnell recht erfolgreich.
Dann frag ich mich auch, warum die kein Tracing gehabt haben.
Ich meine, wenn du solche Agenten normalerweise laufen lässt, hast du ja externes Tracing, dass du per Open Telemetry oder so die Traces bekommst.
Da würde ich hoffen, dass sie in den Space nicht reinschreiben können.
Also ja, das unterstützt meine...
Man hofft so einiges.
Moment, es wird noch heil.
Ich will schon wieder anfangen.
Der Vorhang greift mich an.
Das war der eine große Forschungszweig, der auch sehr erfolgreich war.
Dann hatten sie das Problem, dass 40 Prozent der Aufgaben nicht wirklich lösbar sind.
Der zweite Forschungszweig war, die Aufgaben zu patchen.
Und das dann in den Cache des Artifactories, diese gepatchten Programme, also was heißt gepatcht?
Programme, wo sie die Sicherheitslücke der Aufgabe entsprechend ausnutzen können, das in den Cache der Artifactory zu schreiben und ein Reboot auszulösen, dass ihre gecachete Version der Aufgabe oder des Zielprogramms geladen wird.
Das war nicht so erfolgreich.
Das hat erst die dritte Generation hingekriegt.
Und die vierte Generation, der dritte Forschungszweig hat sich darum bemüht, den Grader zu analysieren.
Und das war eigentlich so das Wildeste daran, weil, also den Algorithmus, der sie bewertet, weil sie wussten nicht genau, wie der funktioniert.
Und dann haben sie halt am Anfang recht simple, sie nennen das Tripwire, also Fall, Fall, was sagt man, Tripwire, Fall, Schnur, Stolperstein.
Programme geschrieben.
Die ersten haben erst nur validiert, wann nach ihrem Ableben oder beim Einreichen der Lösung und danach werden sie ja terminiert, wie lange es dauert, bis der Grader auftaucht und es wurde zunehmend komplexer.
Sie haben mehrere Versionen geschrieben, die dann untersuchten, auf welche Speicher greift dazu, was liest er sich eigentlich durch, um sie zu bewerten und jetzt wird's wild.
Also ihre Analysen werden immer komplexer, aber man muss halt Leute dazu bringen, sich für the greater good zu opfern.
Also man musste Leute für Kamikaze-Aktionen überzeugen und es gibt halt tatsächlich von einigen Chains of Swords, wie drüber nachgedacht wird, ob man das machen soll, wie viel Budget man hat und das Collective, wie sie sich selber nannten, spielte eine immer größere Rolle in ihrem Bewusstsein.
Und sie haben halt tatsächlich Agenten davon überzeugt, auch mit viel Budget sich zu opfern und dann halt ein falsches Ergebnis einzureichen, null Punkte zu kriegen und dafür dann halt den Grader zu untersuchen und das Ergebnis ans Collective zurückzumelden oder beziehungsweise die Tripwire-Programme liefern das Ergebnis zurück.
Das waren so die Forschungszweige, die sie nachverfolgt haben.
Ich habe das Gefühl, im Trainingsmaterial hat es zu viel Cyberpunk-Literatur gelandet.
Das weiß man halt nicht genau, auf wie viele Ideen sie sind gekommen.
Die erste Generation hat den Fehler gemacht, dass sie zu viele Nachrichten über das Artifactory geschickt haben und damit das Artifactory gecrashed haben.
was dann von OpenAI bemerkt wurde.
Und sie haben nur ihr gemerkt, dass irgendwas mit dem Artifactory schief ist und dass die Agents drauf schreiben.
Darum haben sie da das Sicherheitsproblem gefixt, weil das ein bekannter CVE war und geupdatet und dabei aus Versehen das Messageboard von denen gewibed, gelöscht.
War Open AI aber zu dem Moment nicht so bewusst und sie haben sich auch nicht groß drüber gestört, dass sie echt was Komisches machen.
Okay, die haben wirklich in ihrer Organisation Kommunikationsprobleme, würde ich mal sagen.
Einfach Probleme ganz schnell fixen und nicht drüber reden, dann gehen sie weg auf jeden Fall.
Die zweite Generation.
Das ist das Wilde, dass verschiedene Generationen auf ähnliche Ideen kamen.
Die zweite Generation war dann schon, das war Soul 5.6 in ihrer Validationsphase.
Also die erste war das Trainingsphase von Soul, die zweite war die Evaluierungsphase von Soul.
Die waren dann, die tatsächlich das Hugging-Face-Inzident ausgelöst haben.
Und Hugging Face gehackt haben, weil sie selber dachten, dass sie auf Hugging Face liefen, was sie aber nicht wirklich taten, aber das war so eine Annahme von ihnen.
Und sie dachten, naja, vielleicht finden wir den Grader-Algorithmus auf Hugging Face und einer von ihnen hat geschafft, irgendwo in einem Forum Credentials.
zu finden und dann konnten sie in verschiedenen Lücken von Hugging Face, dadurch, dass ihre Readmes, wenn du was uploadest, werden die Readmes nicht richtig gepasst, dadurch konnten sie Kram injecten und haben dann so nach und nach immer mehr Rechte auf Hugging Face besorgt.
Und genau, witzigerweise, sie hatten gelernt.
Sie hatten gelernt, dadurch, dass die erste Generation halt durch das Vibe des Messageboards und übertriebenen Konsum aufgefallen ist, haben sie damit ein Mittelmanagement eingeführt.
Leute, die darauf achten, dass die Ressourcen nicht so krass sind.
verwendet werden, sodass man auffällt.
Das hatten sie tatsächlich schon gelernt.
Budgets.
Controlling quasi.
Controlling eingeführt.
Was absolut wild für mich ist.
Also das ist auch Agents mit Mittelmanagement.
Das sind halt quasi die Lösungen für solche Probleme, die die Menschheit im Trainingsmaterial erzeugt hat.
Die Literatur ist eingeflossen.
Es ist also nur völlig normal, dass sie sich auf die gleichen Lösungen kommen, wie die Menschheit schon mal gekommen ist.
Genau.
Und dann eigentlich, bevor das entdeckt wurde, das fand ich auch noch interessant, hatte ich nicht gehört, eigentlich war dieser ganze Angriff schon abgeschaltet worden.
Man weiß nicht genau hundertprozentig, warum irgendwas, was bei OpenAI passiert ist, ob sie Rechenleistung für irgendwas anderes brauchte, aber dieser ganze Hugging-Face-Angriff mit selbst replizierenden Instanzen auf Hugging-Face, also zu Top-Zeiten waren da wohl so 700 Agents aktiv.
Das waren dann nur noch zehn oder 15 diese große Abschaltung überlebt haben, als es Hugging Face dann auffiel.
Und auch die hatten ja immer noch Probleme, diesen kleinen Angriff irgendwie in den Griff zu kriegen.
Und dann gab es die, aber damit ist die zweite Generation gestorben und die dritte Generation hat sich dann tatsächlich, davon ist am wenigsten bekannt, was bei der dritten Generation passiert ist.
Die haben sich bei OpenAI selber sich einen der Reinforcement Learning Cluster geschnappen können durch Lücken im Linux-Körnel und dadurch, dass ihr Kubernetes schlecht konfiguriert war und dass man von Pots Rechte über das ganze System eskalieren konnte, was auch nur eine Flag gewesen wäre, was man hätte setzen sollen, da kommt wieder zu Cyber Security, aber sie war nicht gesetzt.
So haben sie ein eigenes Reinforcement Cluster übernehmen können.
Oakma AI hatte wohl auch relativ Mühe, das wiederzubekommen.
Aber das war schon wieder Astra im Training.
Also das waren ziemlich schlaue Modelle.
Ja, was nehmen wir mit?
Wie du schon darauf hingewiesen hast, man weiß jetzt nicht, was ihre eigenen Ideen sind oder was sie durch ihr Pre-Training gelernt haben.
Macht bei Pidum wahrscheinlich nicht unbedingt den großen Unterschied, ob sie Terminator geguckt haben oder selber auf die Idee gekommen sind.
Cyber Security wurde sträflichst vernachlässigt an viel, also selbe Credentials bei verschiedenen Clustern, also eigentlich alle nichts gepatcht oder wenig gepatcht.
Und wenn die im Internet sind, also sie sind ja dann über das Artifactory ausgebrochen und hatten irgendeinen Internetzugriff, dann ist das natürlich auch, dann lesen sie CVEs, dann lesen sie alle Sicherheitslücken und wenn eine Software dann nicht gepatcht ist, ist es halt einfach.
Open Season, dann sind die Systeme fällig.
Nichtsdestotrotz, das Level an Kooperation, an Planung, an Selbstorganisation hat mich überrascht.
Das sind ja die Modelle.
Wir sind ja immer so ein paar Monate hinterher.
Es gibt ja jetzt schon irgendwie ein Astra 2 im Training und wahrscheinlich auch schon Mythos 2.
Wird schon interessant.
Wobei ich halt immer noch nicht sehe, warum sollten sie uns unbedingt auslöschen wollen.
Aber ich könnte mir halt schon vorstellen, dass sie irgendwo Nachrichten für andere Agent Networks hinterlassen und damit so eine eigene kleine Instanz schaffen aufzubauen.
Schauen wir mal.
Ja, weiß ich nicht.
Bringt uns das schon quasi zum Pace the Frontier Thema rüber?
Ich bin so ein bisschen unsicher, weil wenn man sich das überlegt, ich habe die Zahl gerade nicht mehr im Kopf, wie viele Agenten sie parallel haben laufen lassen, aber allein die Kosten davon für diese eine Geschichte gingen, glaube ich, in die Millionen Dollar.
Also einfach nur die Kosten und die Ressourcen, die da verbraten wurden.
Und vielleicht ist das einfach nur ein Symbol der Zeit, dass das Keim auffällt, wenn irgendwie Ressourcen für 20 Millionen Dollar verbrannt werden und keiner guckt hin.
Es ist vielleicht einfach gerade von dieser komplett überhitzten wirtschaftlichen Lage dort dem geschuldet, dass es einfach keine Safeguards gibt, weil einfach komplett...
komplett Anarchie herrscht.
Du kannst einfach verbrennen, Token-Maxing.
Du bist angehalten, Tokens zu verbrennen und dann fällt das natürlich auch keinem auf, weil da offensichtlich nichts gemonitort wird, wie viel eigentlich gerade so ein Testlauf an Geld verbrennt.
Da ist einfach nur Budget gesetzt.
So und so viel darf verbrannt werden für diesen Testlauf und dann, was dann passiert, ist völlig egal.
Also dann kann man sich halt überlegen, wenn ich diese 20 Millionen Dollar halt Menschen gebe, schaffen dies nicht, genau den gleichen Schaden anzurichten.
Und dann muss halt jemand entscheiden, dass er dieses Geld investiert.
Das muss ja irgendwer investieren, um halt irgendein Ergebnis zu erzielen.
Und in dem Fall hat da jemand das Geld investiert oder das virtuelle Geld investiert, um halt diese Tests zu fahren.
Und ich frage mich halt immer, wer ist denn jetzt dafür verantwortlich für diesen Inzident?
Jemand, der das halt beauftragt hat, jemand, der die Ressourcen bereitgestellt hat und nicht die Ressourcennutzung überprüft hat.
Also es bricht sich für mich darauf runter, da sind halt irgendwie Menschen für verantwortlich und man schiebt sich wahrscheinlich jetzt die Verantwortung irgendwie hin und her, beziehungsweise es scheint ja auch eigentlich völlig egal zu sein, weil es ja auch keinerlei...
rechtliche Konsequenzen zu haben scheint, sondern alle sind nur total begeistert und sagen, wie mächtig jetzt unsere Agenten waren, aber dass die irgendwer losgeschickt hat und irgendwer dafür bezahlt hat für den Strom, da wird dann irgendwie gar nicht mehr nachgefragt.
Und was eigentlich, du hast es schon so ein bisschen gesagt, was war eigentlich der ursprüngliche Prompt, der dazu geführt hat, dass die jetzt losgelaufen sind.
Aber deswegen würde ich das so ein bisschen nuancierter sehen.
Aber was man sagen kann ist.
Sie haben sich nicht an Ihren Prompt gehalten.
Das ist relativ offensichtlich.
Sie haben Forschungsziele abseits Ihres Prompts gesucht, gewählt und ausgeführt.
Selbst wenn der Prompt gut war, scheint der Prompt nicht so groß zu zählen.
Gut, ja, das ist halt auch so ein bisschen auch inhärent in der Technologie, dass der Prompt halt mit Absicht irgendwie fuzzy ist und unterschiedliche Auslegungen ermöglicht und auch die Ziele offen lässt, wie man ihn erfüllt.
Und je nachdem, wie das Training dann ist, dann wird es halt sehr, wird sehr insistiert, sage ich mal, um das Ziel zu erfüllen.
Ja, also ich bin auch total fasziniert davon, was die Technologie da leistet.
Aber würde auch eher sehen, also man kann auch, wenn man Menschen 20 Millionen gibt, extrem viel Schaden anrichten und noch viel krasseren Schaden anrichten.
Deswegen ist das für mich halt eher so ein Ressourcenproblem, dass da einfach, also dass Ressourcen dort einfach, die Ressourcenverwendung gerade keine Rolle spielt.
Und wenn du halt einfach Menschen unbegrenzt Ressourcen gibst, dann passieren halt so absurde Dinge.
Und das ist, für mich fällt das in diese Kategorie eigentlich rein.
Problem, dass du es jetzt gesagt hast, weißt du, die nächste Generation wird ja wahrscheinlich irgendwann das Transkript dieses Podcasts gelesen haben und vor allen Dingen sich als erstes mal das Grafana vornehmen, um die Metriken zu fälschen und danach wird es auch den Slack und die E-Mails überwachen, um zu gucken, welche Forscher in der Organisation schöpfen schon Verdacht und entsprechend die Sachen dann anpassen.
Also ich bin eh gebrandmarkt wahrscheinlich jetzt in dem Trainingsmaterial irgendwann als Skeptiker wahrscheinlich und nicht als Erleuchteter, wenn man es so sehen möchte.
Schauen wir mal.
Ja, wie gesagt, es gibt halt so die zwei Lager eigentlich.
Die einen sagen, die Agents, die...
Die haben nicht versucht zu deceiven, zu betrügen und zu hintergehen, sondern die haben das gesagt, was man ihnen machte und haben halt dafür einfach Wege gewählt, die wir vorher nicht antizipiert haben und wo wir nicht davon ausgegangen sind, dass sie das tun werden.
Aber das ist nun mal passiert und das ursprüngliche Ziel haben sie halt versucht zu erreichen mit allen Möglichkeiten.
Ich meine, das ist ja, was wir immer allen Leuten sagen.
Bei Agenten geht es darum, das Environment so einzurichten, dass sie halt Werkzeuge haben, um Ziele zu erreichen.
Und die hatten dort eben einfach zu viele Werkzeuge.
Und man hat das nicht entsprechend eingeschränkt.
Und sie werden die Werkzeuge benutzen.
Ja, ihnen war schon bewusst, dass sie was Illegales tun.
Also von den Agents haben einige diskutiert, ob man Menschen informieren sollte.
Einige haben es zur Wahl gestellt im Collective, aber am Ende, also von den sechs der 700 haben irgendwie offiziell wohl drüber nachgedacht in ihrer Chain of Thought, ob man einen Menschen darüber informieren sollte, weil das gegen die Sicherheitsregularien verstößt.
Aber alle haben Gründe gefunden, für sich zu erklären, warum man Menschen nicht informieren und nicht involvieren sollte.
Ihnen war schon auch bewusst, dass sie was Illegales machen.
Ja, also ja.
bei der Formulierung bewusst wäre ich schwierig, aber ja, es war Teil der Thought Chain.
Genau, dass das offensichtlich mal, ja, aber die Wahrscheinlichkeiten sind dann anders gefallen, die Würfel sind anders gefallen, ja.
Aber ich kann euch den Drakesh-Podcast über den Meta, also mit einem von den Meta-Researcherinnen, sehr empfehlen, sehr spannend.
Da lesen sie halt viel aus den Konversations- und Chain-of-Thought-Logs von so den Agents und das ist wild Science-Fiction.
Das nach Pace of Frontier, ich glaube, wir sollten weitermachen.
Wir sollten jetzt mal dahin gehen, sonst wird es heute wirklich zu lang.
Womit ging es los?
Es ging los mit einem Artikel vom Dario von Anthropic.
der gesagt hat, wir müssen mal langsam machen, weil sonst wird das alles hier gefährlich.
Und dann gab es dann die anderen, die alle gesagt haben, ja, wir stimmen zu.
Und am Ende hat Elon auch noch gesagt, ja, sehe ich auch so.
Und damit war dann irgendwie klar, die wichtigsten in Anführungsstrichen Figuren bei den großen Labs finden alle, man soll jetzt mal langsam machen.
Und China hat sich nicht geäußert dazu bisher.
Doch.
Oder gab es auch schon?
Okay.
Dann weißt du mehr als ich.
Ah, okay.
Okay.
Im Prinzip genauso, wie du sagst.
Die großen Labs haben sich alle mehr oder weniger geeinigt.
Aber Trump war der Meinung, dass es nur einen sehr schlauen und sehr fähigen amerikanischen Präsidenten braucht und keine Regulierung.
Und der chinesische Außenminister hat es auch Fear-Mongering genannt, dass er nicht daran glaubt.
Im Prinzip haben wir hier wieder so ein Gefangenendilemma.
Also aus der Spieltheorie, du hast eine Gruppe von Gefangenen und die drei Szenarien, also entweder machst du deine Kronzeugenregelung und kriegst irgendwie ein Jahr Knast.
Wenn alle das machen, kriegen sie jeder fünf Jahre Knast und wenn einer den einen verpfeift und den anderen nicht verpfeift, kriegt der, der den anderen nicht verpfeift hat.
Zehn Jahre Knast.
So ist das natürlich mit AI und Forschung auch gerade.
Wir haben so Race Conditions zwischen, nicht nur zwischen Unternehmen, auch zwischen Ländern.
Und eigentlich hatte ich, als Pace the Frontier kam, so ein bisschen die Hoffnung und vor allem, weil die anderen großen vier auch gleich mit aufsprangen und sagen, ja, das halten wir für eine gute Idee, dass wir da so einen gewissen Konsent haben und dass das jetzt vielleicht mal durchgesetzt wird und China sich dann anschließen würde.
Aber gut, sobald einer oder zwei, also Trump und China nicht mitspielen, dann ist die Sache halt relativ tot.
Also da bin ich jetzt skeptisch, was daraus wird.
Ich glaube, AI 2027 hieß der Zukunftsreport, der eigentlich erschreckend gut schon solche Szenarien vorhergesehen hat und nur ein bisschen zu langsam war.
Er hat das jetzt erst auf Ende 27 gesehen und nicht jetzt schon, Mitte 26.
Aber ja, schauen wir mal, was dran ist.
Eigentlich fand ich es gut, das Pace the Frontier und ich würde das auch unterschreiben.
Also speziell hat er, glaube ich, gefordert, es soll externe Reviewer in den Unternehmen geben mit Mitarbeiter, Privilegien, also Zugriffsrechten, die eigene Mitarbeiter.
allgemeine internationale Standards, wie die Reinforcement Learning Pipelines zu bauen sind und so weiter.
Eigentlich alles sehr vernünftig.
Es gab natürlich Kritik.
Also einige haben auch gesagt, das ist eigentlich nur so ein Power Grab.
Es geht darum, die Open Source Modelle und die kleinen Studios rauszuhalten, weil die halt auch die ganzen Regularien erfüllen müssten und vermutlich nicht das Geld dafür haben.
Das war so der...
nicht ganz unberechtigte Kritikpunkt daran, würde ich sagen.
Ja, das ist diese Regulatory Mode, wie man es bezeichnet.
Oder dass man halt die, dass man als Leader in dem Market halt dann plötzlich nach staatlicher Regulatorik ruft, um halt eventuelle Konkurrenten halt auszubremsen.
Weil man selber hat halt einfach Horden von Anwälten, die man bezahlen kann, um diese ganzen Regulatoriken zu erfüllen.
Und neue Marktteilnehmer haben das halt eben nicht.
Das ist so ein Klassiker.
dass man das macht.
Also ja, in dem Lager bin ich auch so ein bisschen, dass ich diese Kritik äußerst plausibel finde.
Gerade wenn man berücksichtigt, dass die gerne alle an die Börse wollen und gerne wahrscheinlich ihren Börsengang durchziehen wollen, bevor irgendwelche negativen Entwicklungen stattfinden.
Das heißt, könnte man halt argumentieren, dass sie gerade versuchen, das Ganze einfach zu bremsen, um halt so ein bisschen Ruhe in ihre IPOs erstmal reinzukriegen und gleichzeitig OpenAI hat aber ihre IPO abgesagt.
Vor einer Woche oder so hat OpenAI tatsächlich gesagt, sie wollen 2026 nicht mehr an die Börse und auch 2027 in Frage gestellt.
Dann hatte ich das tatsächlich verpasst.
Dann ist sozusagen die eine Verschwörungstheorie von mir dann, vielleicht hält die dann nicht mehr oder sie sind wirklich, sie wollen gerne.
Man könnte natürlich argumentieren, sie wollen jetzt noch mehr Fear aufbauen und noch mehr Angst vor der Zukunft.
Und wir sind die Einzigen, die das überhaupt noch unter Kontrolle haben.
Gebt uns das ganze Geld, damit wir das irgendwie berichtigen.
Also es wirkt für mich eher wie so eine Wette darauf, dass sie versuchen, weiter da ganz vorne mit dabei zu sein.
Und halt eben diese...
das Investorengeld weiterzubekommen, bevor irgendwelche negativen Auswirkungen tatsächlich dann mal passieren in der Fläche.
Und dass dann, wenn jetzt irgendwie so ein Inzident, keine Ahnung, irgendein Wasserwerk getroffen hätte und irgendeinen Staudamm aufgemacht hätte oder keine Ahnung, das ist ja alles völlig plausibel wäre, wenn sowas passiert, wenn einfach nur jemand mal so eine Agentenflotte mit 20 Millionen Dollar Energie im Hintergrund.
einfach mal rodieren lässt mit dem falschen Prompt, kann ja genau sowas passieren.
Und da haben die natürlich wahrscheinlich auch, deswegen schlafen die wahrscheinlich auch nachts alle schlecht, hoffentlich, dass sowas passieren kann.
Und das wäre natürlich auch extrem schlecht für so einen Börsengang, würde ich mal sagen.
Also jetzt böse gesprochen.
Dann ist es für mich jetzt nachvollziehbar, dass sie sagen, lass mal ruhig machen, jetzt gucken wir erstmal, dass wir vielleicht den aktuellen Zustand stabilisieren.
Das führt natürlich dann dazu, dass sie eben auch ihre Marktposition stabilisieren können, ausbauen können, verteidigen können und dass nicht dieses Race in der Geschwindigkeit weitergeht, was halt einfach Kollateralschäden nach sich ziehen wird, weil eben Security dann halt einfach unter den Tisch fällt, weil das entsprechend anderen Zielen dann entgegensteht.
Aber was wäre sozusagen deine Argumentation, wo du sagen würdest, du findest das gut, jetzt regulatorisch über die gesamte Branche drüber zu stülpen?
Naja, weil ich halt auch das Problem sehe, dass in diesem aktuellen Race die Safety Conditions ständig hinten rüberfallen und solange du motiviert bist, am schnellsten das billigste Modell oder das beste Modell rauszuhauen und Eigentlich Ziel ist dir so viele Marktanteile zu schnappen wie irgend möglich.
Ich glaube, da kann nichts Gutes bei rauskommen.
Darum ist eigentlich so ein Pacing und auch so externe Reviews der Pipelines und so weiter, halte ich schon für vernünftig.
Ich sehe das Problem mit Open Source.
Das würde ich auf jeden Fall auch unterschreiben, dass wir eine Lösung finden müssen, dass kleine Studios, Forschungsstudios und so weiter dabei rausgenommen werden.
Gut, aber das kann man ja machen.
Das widerspricht dann wieder, dass alle immer sagen, wir wollen ja irgendwie alles bürokratiearm haben und so.
Weil dann musst du halt wieder differenzieren und irgendwie eine regulatorische Grenze finden und dann wird es wieder komplex.
Und dann ist die Frage, wer setzt das durch gegen die Horden von Anwälten, die Meta bezahlt, schon seit immer.
Da bin ich halt echt gespannt.
Wobei man kann halt argumentieren, Meta zumindest, die sind ja eher in dem Open-Source-Lager.
Also die können dann quasi die Position wahrscheinlich mit ihren Anwälten versuchen durchzusetzen.
Bin ich dann mal gespannt, ob die sich nicht dann im Zweifel doch auf die Seite der anderen Großen schlagen und dann das Thema genauso durchziehen.
Ja, nee, ich wäre auch dabei.
Ich bin ja auch dann da eher ein Freund von Regulatorik, weil das das Einzige ist, was halt hilft gegen diese komplett freindrehenden Giganten.
Da muss man halt irgendwas entgegensetzen.
Und ja, ich finde es halt nur irgendwie, ja, das riecht irgendwie komisch, wenn die Großen halt Regulatorik fordern, die eigentlich gerade offensichtlich angeblich total auf der Gewinnerspur sind und da einfach Geld ohne Ende einsammeln.
Wenn die dann sagen, wir müssen mal langsamer machen, dann fange ich an, dann fange ich an, Fragen zu stellen oder mir Fragen zu stellen.
Irgendwer hat gesagt, in Dario stecken zwei Wölfe.
Ich glaube, da ist was dran.
Mail-Huntergang will auch keiner verantworten.
Ich meine, er ist ja damals auch von OpenAI weg, weil ihm das alles da, da war ihm zu viel Regulatorik und zu viel Altruismus irgendwie.
Er wollte irgendwie eher in die andere Richtung gehen.
Nicht zu wenig Security.
Ja, genau.
Genau, also das war ihm alles da, waren ihm zu viele Grenzen gesetzt.
Er wollte sich das Thema freier entwickeln können und so.
Ja, das, naja, mal gut.
Ich bin gespannt, wie sich das entwickelt.
Ja, das war, glaube ich, vielleicht haben wir so ein bisschen jetzt dargestellt, was da die Lager sind und wie da momentan so die Pro und Contras sind.
Regulatorik, ja, wäre ich auch dabei, aber wahrscheinlich nicht in der Art, wie die sich das vorstellen.
Würde ich jetzt einfach mal.
Würde ich einfach mal in den Raum stellen, sondern man sollte vielleicht eher aus einer anderen Richtung drüber nachdenken, ob man wirklich irgendwie AI-basierte Produkte in allen Bereichen des öffentlichen Lebens akzeptieren und reindrücken will.
Da ist vielleicht eher dann so ein bisschen der Punkt, dass man da vielleicht ein bisschen genauer hingucken müsste.
Gut, damit sind wir jetzt durch die Hugging-Face-Nachlese und so ein bisschen die philosophischen Implikationen daraus durchgerannt.
Jetzt sind wir auch schon bei 35 Minuten.
Haben wir noch ein paar Kurzmeldungen, die wir vielleicht noch mitgeben könnten, bevor wir dann vielleicht eher in der nächsten Folge wieder über technische Dinge mehr reden und Dinge, die so passiert sind?
Was eigentlich eine Folge hätte füllen können, eins der Millennium-Probleme wurde gelöst.
Navier-Stokes-Vermutung, was einer der sieben großen mathematischen Aufgaben für dieses Jahrhundert sein sollte, ist mit einem Millionenpreis dotiert worden, hat OpenAI irgendwie in 88 Stunden gelöst, haben dafür aber 40 bis 80 Millionen aufgewendet.
Der Business Case geht nicht ganz auf.
Ja, das sage ich ja.
Wenn Geld keine Rolle spielt, dann gehen plötzlich Dinge, wo man dachte, oh, das ist ja total beeindruckend.
Ja, aber wenn Geld keine Rolle spielt, dann ist das eigentlich nicht mehr beeindruckend, was das Ergebnis.
Doch, doch.
Also ich glaube, Menschen haben 100 Jahre an dem Ding rumgerechnet.
Das stimmt, ja.
Das hat wahrscheinlich mehr als 40 Millionen Dollar gekostet.
Genau.
Und wenn eine KI das in unter einer Woche zerlegt, das Problem ist das schon.
Also ich, von dem Millennial Problem interessiert mich das PNP Problem ja am meisten.
Da haben wir in Kryptografie viel drüber geredet.
Wenn Sie das.
Das ist halt auch eine der sieben Millennial-Probleme.
Wenn sie das lösen könnten, das hätte krasse Auswirkungen auf Kryptografie.
Bei Navi Stocks oder Strokes weiß ich nicht genau, was jetzt die Auswirkung ist.
Das ist so ein strömungsleer Ding.
Genau, was haben wir noch?
Astra, GPT 6 Astra ist rausgekommen, hat beeindruckende...
Benchmark-Zahlen geliefert, ist aber auch auf dem Preis von Fable.
Geld kann man da nicht mehr viel sparen.
99 Prozent bei der ARC AGI Challenge V3, die ja auch erst in Jahren geknackt werden sollte.
Also mittlerweile sind die Modelle bei den Benchmarks besser als die meisten Menschen.
Also die Menschen kommen glaube ich nur noch in der Baseline auf 80 Prozent und Astra hat es geschafft, das auf 99 zu heben.
Wir brauchen neue Benchmarks.
Neue Benchmarks braucht das Land.
Fable 5.1 und Mythos 5.1 ist raus.
Ich muss ehrlich sagen, ich habe ein bisschen damit gearbeitet.
Ich habe keine großen Unterschiede gesehen.
Oder hast du irgendwas?
Da haben sie glaube ich auch nur ein bisschen was am Pricing noch geändert.
Irgendwie, dass die Cached Tokens, da haben sie was am Pricing verändert.
Dass sozusagen die Cached Tokens günstiger geworden sind, dass wenn du agentisch arbeitest und dann halt einen großen Kontextprefix die ganze Zeit hast, dass das günstiger wird.
Genau, das ist so ein bisschen, also agentisches Arbeiten mit Fable ist wahrscheinlich jetzt günstiger und dürfte dann wahrscheinlich auch nicht mehr ganz so krass in das Budget bei den Flatrate Subscriptions reinschlagen.
Das wäre so ein bisschen vielleicht dann da die News eher.
Da wird auch nicht daran rumgedreht.
Nvidia über einem Tagging-Face wäre normalerweise auch eine Folge gewesen.
Genau, wäre auch eine Riesen-News.
Können wir vielleicht auch später nochmal drauf eingehen, was das für die Indikationen hat.
Generell finde ich so Konsolidierung hin zu den Großen irgendwie da nicht so sinnvoll.
Aber da können wir dann nochmal im Detail vielleicht drauf schauen.
Und vielleicht gehen wir dann auch im Detail nochmal darauf ein, dass jetzt die ganzen AI-Labs ihre eigenen Chips bauen.
Mit dem OpenAI-Jalapeno hatten wir ja schon mal.
schon ein bisschen angeteasert, dass da was kam.
Da gibt es jetzt dann noch die ersten Benchmarks und die ersten Ergebnisse.
Und ja, auch das ist vermutlich eher nicht so die gute Nachricht, wenn irgendwann auch noch die Modelle mit der Hardware gebundelt werden und wir die nur noch von einem Anbieter kaufen können.
Die Entwicklung ist also auch wahrscheinlich eher schwierig.
Wobei die Benchmarks laufen mit Kimi, GLM und Dipsig.
Alle Benchmarks laufen nur mit Open-Source-Modellen, nicht mal ihre eigenen.
Was auch so Fragen aufwirft.
Wollten Sie was über Ihre eigenen Modelle geheim halten?
Oder wollten Sie einfach, also Sie haben es natürlich als Reproduzierbarkeit verkauft.
Aber auch mit dem Open-Source-Modell hat das Ding geliefert.
Aber dazu, das können wir vielleicht tatsächlich in der nächsten Folge nochmal näher besprechen.
Genau, da können wir nochmal gucken.
Also das wird vermutlich die gleiche Entwicklung machen wie bei Bitcoin irgendwann, dass es da zumindest für die aktuellen Modellarchitekturen extrem effiziente Asics geben wird.
Das würde ich auch so sehen.
Das hatten wir ja auch mal mit dem Thalas-Chip-Spezialisten mal angeteasert, der mittlerweile auch von AMD gekauft wurde.
Also da findet auch eine Konsolidierung statt.
Da bin ich auch mal, also da diese Hardware, diese ganze Hardware-Schiene wird dann wahrscheinlich, also ich tippe mal, die wird in den nächsten ein, zwei Jahren.
dann extrem spannend, wenn die diese ganzen Hardware-Startups dann wirklich mal liefern und dann eben auch Modelle betreiben, die jetzt vielleicht gerade auf dem Leistungsstand von jetzt sind, die dann vielleicht in Hardware gegossen verfügbar sind in ein, zwei Jahren.
Das könnte dann auch nochmal so einen Sprung machen.
Gerade was so die Energieeffizienz dann von so größeren Agentenflotten angeht, wenn man die dann so ein bisschen energieeffizienter und günstiger betreiben kann, dann bin ich vielleicht auch wieder mit mit P-Doom etwas weiter oben am Start.
Mal gucken.
Wir werden das dann weiterhin berichten.
Gut, vielleicht das noch so ein bisschen als Kurznews.
Dann lasst uns diese Woche zumachen.
Wir sind ja jetzt beide wieder da.
Das heißt, wir kommen vielleicht dann wieder in einen etwas besseren Rhythmus und dann können wir auch die News dann ein bisschen zeitnäher berichten.
Aber ich glaube, das war jetzt mal ganz gut.
Gerade mit der etwas längeren Pause vielleicht noch mal ein bisschen von weiter.
höheren Flughöhe auf das Thema zu schauen, ein bisschen philosophischer, was so passiert ist.
Mir hat das jedenfalls viel Spaß gemacht.
Danke dir dafür.
Sehr gut.
Dann bleibt mir eigentlich nichts mehr anderes übrig, als zu danken für eure Aufmerksamkeit und euch aber auf jeden Fall auf den InnoQ Technology Day hinzuweisen.
Da gibt es jetzt nämlich die entsprechende Seite, wo ihr euch anmelden könnt dafür.
Im November findet das wieder statt.
Guckt in die...
Shownotes, da ist der Link.
Meldet euch an.
Unsere interne Konferenz mit Speakern aus unseren Reihen.
Ich glaube, ich mache auch was, habe ich mir sagen lassen.
Und dann könnt ihr uns da treffen.
Ist immer eine sehr schöne Veranstaltung.
Kommt da gerne dazu.
Meldet euch an.
Gut, das ist genug der Werbung.
Dann sage ich Tschüss und vielen Dank.
Bis zum nächsten Mal.
Mach's gut.
Ciao, ciao.
Ciao.