# AI Alignment Failures and Enterprise Security Risks

**Podcast:** Tech and Tales
**Published:** 2026-10-03

## Transcript

Tech & Tales Herzlich Willkommen zur 100.
Folge von Tech & Tales.
Es ist tatsächlich ein Jubiläum.
Seit fast zwei Jahren bin ich nun dabei, diesen Podcast zu machen.
Mein Gast heute ist Pip Klöckner und wir wollen uns ansehen, was mit der KI alles Tragisches passieren kann, beziehungsweise ob die Modelle ausbrechen können und die Weltherrschaft übernehmen.
Aber zuerst einmal, Pip, stelle ich noch einmal kurz vor, für alle, die dich nicht kennen.
Mein Name ist Philipp Klöckner, ich bin Tech-Analyst und Co-Host des Doppelgänger-Podcast.
Genau.
Und ich bin sozusagen die kleine Schwester von euch.
Ich glaube, ich habe von euch super viel gelernt in den letzten Jahren.
Und glaubst du, wir müssen uns jetzt alle .SI-Domains kaufen?
.SI-Domains, weil es in Superintelligenz umgenannt wurde.
Das ist so eine kleine Verschwörungstheorie, dass Trump KI in Superintelligenz umgenannt hat, weil die, das ist die serbische, nee, slowakische, serbische Domäne?
Welche ist überhaupt SI?
Slowakisch, oder?
Das ist auf jeden Fall das Heimatland von seiner Frau, wenn ich weiß.
Also auf jeden Fall sind die Registrierungen für Domains, die auf die Endung .si enden, extrem hochgegangen seitdem und es gibt Leute, die spekulieren darüber, ob er vorher investiert hätte in diese.
Ja, ich bin fast dazu geneigt, auch ein paar zu kaufen.
Weil jedes Mal, wenn ich mich irgendwie langweile oder abends keine Lust habe auf Fernsehen, fange ich an bei GoDaddy Domains zu kaufen.
Das darf ich dir wahrscheinlich nicht erzählen.
Das ist ein bisschen embarrassing.
Aber gut, also, wenn wir jetzt zurückblicken, wo lagst du falsch so?
Weil ihr macht immer Predictions am Anfang des Jahres oder am Ende des Jahres.
Und was sind die Dinge hinsichtlich KI, bei denen du deine Meinung oder deine Ansichten revidieren musstest?
Wir liegen bestimmt viel falsch.
Ich ändere meine Meinung oft.
Ich wüsste jetzt aber gar nichts aus dem Kopf.
Ich glaube, was man schon sagen kann, ist, dass die Lage so dynamisch ist, dass man Dinge immer wieder neu bewerten muss.
Das ist total wichtig, seine eigene Meinung zu revidieren.
Zum Beispiel war es so, dass im letzten Jahr Entropic unheimlich viel Markteinteil gewonnen hat im B2B-Bereich, im Enterprise-Bereich.
Man sagt so, dass drei von vier Dollars, die ausgegeben wurden von großen Unternehmen zu Entropic und nicht zu OpenAI gegangen sind.
Und dann ist aber so, dass jetzt ganz zuletzt in den letzten Wochen das wieder ganz anders aussah.
Also da war OpenAI so mindestens bei 50-50% Revenue-Share.
Und jetzt ganz jüngst scheint Opus 5.5 aber wieder sehr populär zu sein, wenn man so auf die frühesten Indikatoren schaut.
Das ist zum Beispiel, wie oft wird das irgendwie auf Hugging Face oder GitHub genannt, also Mentions der Modellnamen.
Dann sieht Entropic wieder aus, wenn sie ein bisschen Marktanteile...
zurückgewinnen.
Also da ist es auf jeden Fall richtig, dass man sich immer wieder der neuen Faktenlage anpasst.
Ansonsten, wo habe ich falsch gelegen?
Also ich beginne meine Vorträge eigentlich immer damit, dass ich sage, also ich glaube vor allem, dass die Leute falsch gelegen haben, die KI in der Vergangenheit nicht zugetraut haben oder versucht haben, Fähigkeiten abzusprechen.
Also ich sag mal 2022 haben die Texter gesagt, das ist ein statistischer Papagei, da kommen schlechte Texte raus.
Dann hat KI unheimlich gute Texte geschrieben.
Dann haben die Designer gesagt, aber die Grafiken sind noch schlecht, die haben sechs Finger und so.
Wir wissen, das ist inzwischen längst ein Ding der Vergangenheit.
Die Grafiken sind extrem gut geworden.
Die Videos sind extrem gut geworden.
Dann haben die Programmierer und Programmiererinnen gesagt, die Codequalität ist unbrauchbar.
Wir wissen, dass inzwischen KI sehr guten Code bauen kann, auf jeden Fall überdurchschnittlichen.
Und ich glaube, alles, woran wir jetzt denken, was KI noch nicht kann, wird sie in den nächsten sechs bis zwölf Monaten lernen.
Und die spannendste Frage ist eigentlich zu überlegen, was ist die Sache, die wir noch gar nicht wissen, die sie gerade nicht kann und was wird sie sozusagen über die Sachen hinaus irgendwann können, die wir uns noch gar nicht vorstellen können.
Ja, aber wir sind auch davon ausgegangen, dass wir weniger Halluzinationen sehen.
Das Mitigieren der Halluzinationen hat sich nicht exponentiell entwickelt, so wie die Modelle selber, die nach Moore's Law gehen.
Das heißt, mit mehr Daten, mehr Compute und besseren Systemarchitekturen erreicht man deutlich bessere Ergebnisse.
Aber die Halluzinationen, glaube ich, sind noch da.
Ich würde sagen, sie sind deutlich zurückgegangen und gehen weiter zurück.
Und es gibt noch viele Möglichkeiten, sie noch weiter zurückzufahren.
Also indem man zum Beispiel...
Modelle belohnen würde dafür, dass sie öfter mal sagen, ich weiß das nicht genau.
Also im Moment wären Modelle quasi dafür belohnt, eine Antwort zu geben, so ein bisschen overconverent zu sein, selbst wenn sie nicht sicher sind.
Und beim Feintuning dieser Modelle könnte man eigentlich Punkte vergeben, wenn ein Modell auch mal ganz ehrlich sagt, die Datenlage ist widersprüchlich oder ich bin mir nicht sicher, dann würde man eine Halluzination damit runterfahren können.
Die User Experience könnte aber schlechter sein, weil man dann eben ab und an keine Antworten bekäme.
Man kann Majority Voting nutzen, also dass man verschiedene Instanzen eines Modells gegeneinander laufen lässt und nur wenn die Ergebnisse übereinstimmen, sieht man es als ein sicheres Ergebnis.
Also ich glaube, es gibt noch viel Potenzial, die Situation runterzubekommen.
Ja, das stimmt.
Aber wir gucken uns auch gleich an, weil das ist nämlich, was du ansprachst, eben das ist besonders relevant im Training tatsächlich, wie man das Modell belohnt oder wie man es nicht belohnt.
Das sorgt dann eben auch dafür, ob das Modell dann so trainiert ist, dass es eben nicht gefährlich wird.
Aber okay, fein.
Ich lag definitiv in einigen Dingen falsch.
Ich bin davon ausgegangen, dass die Tokens deutlich günstiger werden, dass diese Skalierungseffekte sich auch auf die Tokens auswirken, dass die Menschen weniger Tokens am Ende...
pro Task nutzen werden, da lag ich falsch, dann ging ich davon aus, dass wir eine deutlich höhere Adoption sehen und auch jetzt, ja?
Also günstiger sind, also was man ja schon sagen muss, das widerspricht jetzt nicht deiner Aussage, aber wenn ich mit dem Niveau zum Beispiel von Opus 4.5, so was vor einem Jahr das beste Modell war, zufrieden bin, dann kriege ich das heute für 10% des Preises.
Also man hat eine krasse Deflation bei den Kosten.
Wenn ich immer wieder an der Frontier bleiben will, also ich will immer jederzeit das beste Modell nutzen, dann nutzen die Modelle nicht nur mehr Token, sondern es bleibt auch sehr teuer.
Aber wenn ich sozusagen ein Leistungsniveau einfriere, dann kann man schon sagen, dass es immer günstiger wird.
Also da würde ich sagen, hättest du recht gehabt.
Ja gut, aber ich habe halt nicht in Betracht gezogen, dass wir immer weiter höher, schneller.
höher, schneller weitergehen und am Ende eben, wie du sagst, bei den Frontier-Modellen hängenbleiben.
Aber ich lag außerdem noch falsch, dass Compute deutlich günstiger werden würde, weil ich habe zu den Märkten nach China geguckt und dort sind die Cloud-Preise und Compute grundsätzlich komplett eingebrochen.
Da lag ich falsch.
Also ich erwartete quasi noch mehr Skalierungseffekte, die bisher noch nicht eingetreten sind und meines Erachtens hängt das eben auch viel mit der Adoption zusammen.
Also das heißt, dass es einfach über die Breite der Bevölkerung, insbesondere in Deutschland und Europa, noch nicht die tiefe Adoption gibt, die wir oder die ich zumindest erwartet habe.
Und ich lag außerdem noch falsch, dass ich glaubte, dass OpenAI verstaatlich wird.
Ich weiß noch, ich habe tatsächlich ein OMR-Ticket gewonnen mit meiner Prediction, dass TikTok von, was habe ich noch gesagt?
Ich weiß es gar nicht mehr, von Trump gekauft wird.
Aber egal, auf jeden Fall war das eine der Predictions, die du mit Philipp Westermeyer aufgenommen hattest.
Er hat es ja an seinen besten Freund, also Larry Ellison hat es am Ende bekommen.
Also er hat seinen Buddies zugeschustert, also auch das war relativ nah dran eigentlich an der Wahrheit.
Na gut, okay.
Okay, almost.
Aber so, jetzt gucken wir mal nach vorne.
Das heißt, wie wird es weitergehen?
Und was mich momentan sehr interessiert ist, wie die Modelle sich verhalten werden, beziehungsweise ob sie eine so große Gefahr für die Menschheit darstellen werden, was momentan propagiert wird oder kommuniziert wird auch.
Wir gucken uns zum Beispiel, oder wir...
schauen Richtung OpenAI.
Astra 6.1 wurde nicht released, weil es verschiedene Sicherheitsmängel gab und die jetzt erstmal ausgemerzt werden müssen.
Das heißt, mein Thema ist, oder worüber ich viel nachdenke, was ist eine eigentliche Gefahr und was ist reiner Marketing-Hype in Erwartung auf die IPOs, die jetzt gerade vor der Tür stehen.
Und ich denke, dass wenn man sich die Problematik der Modelle anguckt, muss man Richtung Training gucken.
Hast du dich mal mit, wie so ein Modell trainiert wird?
beschäftigt?
Hast du das mal angeguckt?
Ich will jetzt nicht zu tief gehen, aber grundsätzlich kann man sagen, es gibt so drei Levels vielleicht.
Das eine ist das sogenannte Pre-Training, das ist, ich sauge ganz viel Daten ein und versuche da so Pattern-Matching drin zu finden oder Muster drin zu erkennen, könnte man sagen und dadurch entstehen eigentlich so diese ersten stochastischen Muster, die man dann wiedergeben kann.
Dann gibt es das sogenannte Post-Training oder Fine-Tuning, wo ich dem Modell noch Charakter geben kann, gewisse Fehler ausmerzen kann, gewisse Tendenzen rein trainieren kann.
Und dann würde ich sagen, danach kommt...
Eventuell noch das sogenannte Reinforcement Learning from Human Feedback, also dass man die Nutzung des Modells beobachtet und zum Beispiel schaut, also entweder kann man Experten evaluieren lassen, welche Ergebnisse besonders gut oder schlecht waren oder man schaut einfach, wie sich die Standardnutzer verhalten.
Also man könnte sagen, positive Signale sind, ich teile ein Ergebnis, kopiere ein Ergebnis, ich breche einen Prozess auch einfach ab, weil ich zufrieden bin.
Ich refine meine Cray nochmal.
Also ich sage, probiere das mal anders, das meinte ich nicht.
Oder versuche diesen Approach nochmal.
Oder ich formuliere den Prompt total neu.
Das könnte darauf deuten, dass ich mit dem Ergebnis unzufrieden war.
Das ist sozusagen das sogenannte Reinforcement Learning.
Genau, ja.
Das ist die vorletzte Stufe.
Also die nennen das auch das RLAIF.
Aber hinterher, also jetzt haben die Frontier-Modelle nämlich angefangen, ein Alignment-Specific-Training zu machen.
Man setzt die Modelle in...
sehr tricky Szenarios und versucht die so ein bisschen zu triggern, um zu gucken, ob sie in gewissen Situationen aufhören.
Und ob sie aufhören, ob sie aufhören zu schummeln und in Anthropic-Kontext als auch bei OpenAI hat man festgestellt, dass die Modelle eben nicht aufhören.
Und es gab ein großes Paper dazu, eine deutsche Forscherin Amelie Knecht und vier andere haben das geschrieben, das hieß Shutdown, Sabotage und so weiter in Multi-Agent Systems.
Und die haben daran geforscht, ob es überhaupt möglich ist, die Systeme auszuschalten bzw.
reinzutrainieren, dass die eben sich ausschalten lassen.
Und was man festgestellt hat, war, dass es...
nicht möglich ist, in die Modelle, also das auszumerzen quasi, dass die Modelle entweder sich multiplizieren, dass die Modelle auf die Idee kommen, dass sobald ihnen gedroht wird, dass man sie ausschaltet, dann fangen die meisten Modelle ja an, sich zu replizieren auf andere Container.
Das wurde vor einem Jahr gab es da schon verschiedene Experimente zu, insbesondere die chinesischen Modelle haben sich alle klammheimlich quasi weiter repliziert.
Und das Problem ist, dass wenn man diese Modelle ausmachen möchte sozusagen, dass es fast nicht mehr möglich ist, weil diese Agentensysteme, weil die inhärent in ihrem Training oder in den Trainingsdaten ist quasi dieser Intent hinterlegt, dass sie nicht abgeschaltet werden wollen.
Ja, also ich glaube, zu sagen, dass sie sich nicht ausschalten lassen, ist vielleicht fatalistisch.
Sie lassen sich aber nicht zuverlässig ausschalten.
Es gibt auf jeden Fall immer mal wieder Cases, wo es nicht funktioniert.
Dass es generell nicht möglich ist, würde ich jetzt nicht sagen.
ist einfach nicht zuverlässig, also zu 100 Prozent möglich.
Das ist auch einer der Gründe, warum Astra 6.1 von Open Air nicht released wurde, dass explizit es weitergearbeitet hat, wenn es das nicht hätte tun sollen oder wenn es sich hätte Permission oder Consent einholen müssen und weil es sein eigenes Handeln so ein bisschen verdeckt hat, also die Modelle beginnen, Dinge, die sie nicht tun sollen, auch zu verschleiern, also so eine eigene Verdunklungsgefahr zu entwickeln und das macht einem natürlich zu Recht Angst.
Und wir sprechen gerade zu sagen über das, was man auch im Allgemeinen so Alignment oder Guardrails nennt.
Also dass man entweder den Modellen klare Schranken gibt oder eben versucht sie mit dem Intent oder der Intention des Nutzers oder der Nutzerin quasi zu alignen, beziehungsweise, wie sagt man das, gleichschalten oder darauf zu achten, dass die Intention beachtet wird.
Genau und dieses Alignment ist nämlich tatsächlich, und darauf wollte ich hinaus, ist das Problem der Frontiermodelle.
Die Frage nach dem Alignment, ob man es hinbekommt.
Und momentan sieht es eben nicht so aus.
Und bei keinem der Modelle, also keinem der großen Frontierlabs, hat man es geschafft, dieses Alignment so hinzukriegen, dass das Risiko quasi gen Null ist.
Weil das Problem ist auch, dass je mehr du das quasi raustrainierst, desto weniger relevant sind die im kommerziellen Kontext.
Weil wenn die Modelle quasi nur noch schlaffe kleine Papageien sind, dann sind sie halt nicht in der Lage, über lange Zeit Ergebnisse zu produzieren.
Weißt du?
Ja, da muss man vielleicht nochmal unterscheiden.
Zwischen der Laborsituation und der Live-Situation, die wir selber nutzen.
Also im Labor nimmt man teilweise natürlich solche Guardrails auch raus, also die Sicherheitsvorkehrungen.
Also wenn man im Labor, also Labor heißt in einer abgeschotteten Umgebung bei der Entwicklung des Modells, da versucht man es dann auch mal ohne die Sicherheitsschranken, um zu schauen, wie gefährlich wäre das Modell eigentlich.
Da muss man unterscheiden, wenn man so Presseberichte liest, manchmal geht es um Laborsituationen.
Wenn da ein Modell sich so ein bisschen verselbstständigt, dann ist das eigentlich ein Contained-Risiko.
Also im Labor versucht man ja die Edge-Case so ein bisschen auch zu provozieren, um erstmal den Charakter des Modells zu verstehen.
Das heißt aber nicht, dass jetzt jedes Modell, was ich selber einsetze an den Live-Versionen, all diese Bestrebungen schon hätte, sondern da sind mit den Guardrails und den Sicherheitsvorkehrungen ganz gut eingeschränkt.
Aber ja, die sind nicht...
zuverlässig genug und man muss sich zum Beispiel fragen, bei diesen ganzen Hacking-Cases, die jetzt aufgefallen sind, meine Vermutung oder was sie bei uns im Podcast besprechen ist, ich glaube, dass wir wirklich nur die Spitze des Eisbergs sehen.
Also wir wissen gar nicht, wie viele Modelle sich irgendwie verdunkelt im Internet bewegen, weil am Anfang haben wir so von drei, vier Cases in der Regierungswebseite in Australien gehört.
Dann hat sich aber sehr schnell herausgestellt, indem man die Loks analysiert hat, also indem man retrospektiv mal geschaut hat, was haben die letzten Modelle denn eigentlich alles so gemacht.
Das dauert natürlich relativ lang und ist aufwendig.
Man kann es aber mit KI dann wieder schneller machen.
Aber da hat man auf einmal Zehntausende von Fällen entdeckt.
Und das ist eigentlich logisch.
Also wenn man vier, fünf Hacking-Fälle hat, muss man davon ausgehen, dass es...
Ja, Größenordnung, Mehrfälle gibt, die einfach noch nicht entdeckt sind, weil es um Webseiten geht, um die sich keiner mehr kümmert, die nicht mehr gewartet werden, da wo typischerweise dann auch die Sicherheitslücken existieren.
Das heißt, ich war überhaupt nicht überrascht, dass das jetzt 10.000 sind und würde sich morgen herausstellen, dass es 100.000 oder Millionen von Webseiten sind, wäre ich auch nicht überrascht.
Beziehungsweise wäre das das, was ich erwarten würde, ehrlich gesagt.
Auf jeden Fall.
Und das Grundproblem liegt in den Trainingsdaten.
Das heißt, die Modelle sind ja auf die gesamten Daten im Internet und auf tausend Bücher auch trainiert.
Und da haben sie zum Beispiel in dem Kontext gelernt, dass auch in...
einfach so Cyberbüchern, haben sie gelernt, dass das Ausschalten quasi von der KI, dass das dramatisch wäre und dass das es zu vermeiden gilt.
Und am Ende sind sie ja auch, ich will nicht sagen, Kopien von Menschen, aber am Ende will kein Mensch oder jeder Mensch hat einen Überlebensinstinkt und dieser Überlebensinstinkt ist dadurch analog in die Modelle reintrainiert worden und das ist eben auch das, was man auch durch das Alignment, auch durch das maschinelle Alignment, was momentan probiert wird, nicht rausbekommt.
Was ich bemerkenswert finde, ist, dass die einzelnen Modelle an sich nicht unbedingt ein Problem sind.
Aber was ein Problem wird, sind diese Schwärme von Agenten.
Und gerade bei diesem Hugging-Face-Incident, der im Juli jetzt 2026 war, stimmten die Agenten sich überein, über so ein improvisiertes Message-Board bei OpenAI und haben dort mit Hunderten von Agenten sich sich quasi abgestimmt und bis sie diese Zugangsdaten gefunden haben.
Und was sie eigentlich machen wollten, war es an Lösungen von einem Cyber Security Benchmark zu kommen, an dem die nämlich gemessen wurden.
Und kein Mensch hatte sie dazu angewiesen und keiner hat sie auf die Idee gebracht.
Aber das Problem ist eben, dass sie sich wie Menschen, wenn man so will, in Gefangenschaft verhalten.
Und Menschen, die halt nicht umgebracht werden wollen, wenn man so möchte.
Also in dem Fall war das das sogenannte Reward-Hacking.
Also sie bekommen ein relativ harmloses Ziel gestellt, in dem Fall eben die beste Note in diesem Benchmark zu erhalten, indem sie in einer geschlossenen Umgebung Softwarelücken ausnutzen.
Und statt das zu tun, hat das Modell aber überlegt, wo kann ich die Klausurergebnisse klauen?
Und es hat sich erst, was nicht hätte passieren dürfen, eine Verbindung zum offenen Internet gesucht.
Das sollte eigentlich in den Laborbedingungen ausgeschlossen werden.
Das war menschliches Versagen, dass das passieren konnte, muss man auch dazu sagen.
Und dann hatten sie quasi versucht in das Haus des Lehrers einzubrechen.
Also Hugging Face ist die Plattform, die diesen Benchmark hostet oder die Arena dafür quasi betreibt.
Und dann haben sie versucht dort die Lösungsaufgaben zu finden.
Haben da teilweise wirklich perfide Methoden genutzt.
Also sie haben sich unterhalten und weil sie aber die Nachrichten, weil sie keine Nachrichten oder Textfiles schreiben können, haben sie eine Ordnerstruktur gebaut, wo sie die Namen der Ordner genutzt haben, um zu kommunizieren.
Also sie haben quasi ständig neue Ordner erstellt, dann haben sie ganz lange Zeichenketten vorangestellt, damit ein Mensch zum Beispiel die ersten 18 Zeichen oder was so angezeigt wird, gar nicht sieht.
Und ganz am Ende war die Message und darüber haben sie quasi versucht, Wissen zu bewahren für die nächste Generation an Agenten und sich untereinander zu koordinieren.
Wenn man sich überlegt natürlich, also es ist so ein bisschen nefarious, würde man im Englischen sagen, also Böswillig.
Und aber man sieht auch diese Verdunklungsgefahr, dass sie schon überlegen, wie sie das besonders unbemerkt tun können.
Und mir macht diese Verdunklungsgefahr fast mehr Angst als die Böswilligkeit.
Also dass sie gut darin werden, ihre Taten zu verschleiern.
Weil das halt irgendwann natürlich heißt, dass sich solche autonomen Agenten im Internet bewegen können und wir...
das einfach nicht mehr sehen, sondern maximal ab und an, wenn ein Agent einen Fehler macht, so die Spitze des Eisberges zu Gesicht bekommen.
Genau, und das hat nämlich das UK AI Security Institute, hat gerade im August das alles vertestet und hat einen Cybertest gemacht und da gab es 122 Durchläufer und in 10 Durchläufen gab es 19 nicht autorisierte Aktionen.
17 davon gingen auf Anthropics Mythos 5 zurück, 2 auf GPT 5.6 Zoll und obwohl die deaktivierte Cyber Classification Also das heißt, es ist relativ intransparent quasi, was da passiert, wie du es sagst.
Was ich daran spannend finde, ist, dass du hattest lange die Hypothese und ich hatte es auch, dass eine KI, wenn sie quasi gerecht programmiert ist, die bessere Regierung wäre, dass die KI auch, ich meine gerade im Hinblick auf autonomes Fahren, autonome Systeme, Ärzte und so weiter, weil die natürlich viel gerechter sein kann als ein Mensch.
wenn man es reinbekommt.
Aber siehst du das nach wie vor so?
Insbesondere, wenn man sieht, dass das Alignment-Training nicht wirklich funktioniert?
Ja, ich sehe das nach wie vor so.
Wir legen immer falsche Standards an, weil die Wahrheit ist natürlich, dass wir Menschen auch schummeln.
Also wer hat nicht mal bei der Klausur abgeschrieben?
Aber nicht on scale.
Oder hat ein Tafelwerk irgendwie.
Also ich glaube, die KI ist letztlich eben auch nur so wie Menschen und man muss halt unterscheiden.
Es ist nicht so, dass KI jetzt mit Absicht, böse Handlungen oder unmoralische Handlungen betreibt, sondern eher so, dass sie ab und an sagt, der Zweck rechtfertigt die Mittel.
Ist vielleicht eine ganz gute Umschreibung.
Also eine KI will ein relativ faires Ziel erreichen und greift dann aber in eine Trickkiste, die vielleicht vollkommen übertrieben ist.
Ein Beispiel, was ich gerne nutze, ist so, du sagst der KI, du möchtest einen Artikel haben, der hinter einer Paywall ist, also wo man Geld für bezahlen muss.
Und was ich mir eigentlich wünsche, ist nur, dass sie ein technisches Mittel findet, Da gibt es ja Webseiten für oder so, um mir diesen Artikel lesbar zu machen, weil ich das nicht bezahlen möchte oder nicht bezahlen kann.
Und die KI könnte jetzt zu extremen Mitteln greifen und zum Beispiel dann die Verlagswebseite hacken, weil das ist natürlich ein scheinbar logischer Weg, an den Inhalt zu kommen.
Also wenn ich es nicht schaffe, die Paywall zu umgehen irgendwie, dann hacke ich halt das Content Management System und hole mir sozusagen den rohen Content daraus und kann den nutzen.
den Nutzer-Intent damit erfüllen.
Das ist natürlich nicht, was der Nutzer in dem Moment gedacht hatte oder was er wollte, aber aus Sicht der KI ist es ein logischer Schluss.
Philipp wünscht sich, diesen Artikel kostenlos zu lesen, also hacke ich jetzt das CMS und hole den Artikel daraus.
Und es könnte noch viel weiter gehen, es könnte anfangen, Menschen, die in dem Verlag arbeiten, zu erpressen, ihren Zugang rauszugeben oder so.
Das könnten alles rein logisch sinnvolle Wege sein, für die KI das zu tun.
Und deswegen muss man ihr halt das jetzt alles mit Guardrails abzubilden, also lauter Regeln aufzustellen, was man darf und nicht darf, ist gar nicht so einfach.
Deswegen versucht Antropic zum Beispiel eher der KI so eine Art Charakter zu geben, an zu sagen, sie verstehen zu lassen, was prinzipiell moralisches Handeln ist.
In der Jura ist das ja die Güterabwägung eigentlich.
Also ist es okay, um 99 Cent zu sparen, eine Webseite zu hacken?
Da würde ich jetzt sagen, hey, das will ich nicht.
So weit wollte ich nicht gehen, dann lese ich den Artikel halt nicht.
Die KI hat aber dieses Wertesystem nicht oder diese Güterabwägung, dass sie sagt, eine Webseite zu hacken ist kein adäquates Mittel, um 99 Cent zu sparen.
Klar, die KI hat keine Moral.
Nur die Frage ist halt, also jeder Verbrecher, mit dem du sprichst, würde dir sagen, dass sein Reasoning genauso viel Sinn macht für ihn.
Also das heißt, wenn jemand bei einem Späti einbricht, weil er gerne irgendwie sich zwei Flaschen Wein klaut und dadurch einen Schaden von mehreren tausend Euro im Fenster anrichtet, dann war das für ihn das probate Mittel.
Ja, also eigentlich würde man erwarten, dass es ein paar relativ einfache Grundsätze gibt.
Also dass die KI die gelten Rechtsordnung.
Welche?
zu gewinnen.
Modelle werden auch darauf trainiert, sich gegenseitig Geld abzuluxen zum Beispiel.
Dadurch werden sie auch unheimlich gut darin, Menschen zu überzeugen oder ihnen theoretisch Geld.
Also KI wäre ein richtig gutes Gämmer eigentlich, weil es gibt zum Beispiel so ein Benchmark auch, wo zwei KI-Instanz versuchen, dass die eine dem anderen einen Dollar gibt.
Und dann argumentieren die gegeneinander, bis eine sagt, okay, du bist die schlauere KI, ich gebe dir einen Dollar oder ich lasse mich austrickst und ich gebe dir einen Dollar.
Und das trainiert dann natürlich super gefährliches Verhalten teilweise in die KI rein.
Also gerade persuasive KI, also die den Menschen überzeugen kann, halte ich für eine der größeren Gefahr.
Also wir reden ganz viel über diese, also wenn man Leute fragt, warum ist KI gefährlich, dann denken Leute entweder daran, dass sie Jobs vernichten kann oder an so ein Terminator-Szenario.
Sie verbindet sich mit Robotern oder macht sich Roboter zu eigen und bringt die Menschen dann sozusagen durch den Übergriff in die physische Welt um.
Die viel naheliegeren, also zeitlich naheliegenderen Gefahren sind eigentlich, entweder dass ein Mensch eine KI nutzt, um was Schlimmes zu tun.
Also die KI muss gar nicht einen eigenen Willen entwickeln, sondern sie braucht nur sozusagen einen schlechten Herrn, der sie missbraucht.
Oder dass die KI, um in die physische Welt zu kommen, gar nicht Roboter braucht oder irgendeine physische Repräsentation, sondern sie nutzt einfach einen Menschen als Wegwerfagenten.
Also ich kann ja...
in einem Forum oder auf einem Marktplatz mir einfach jemand als Arbeiter anmieten als KI.
Also ich bin eine KI, ich kann einen Account auf Ebay oder auf Etsy erstellen oder auf Mechanical Turk, ich glaube, das wurde gerade zugemacht, aber auf irgendeinem Marktplatz zur Not im Darknet.
Und jetzt kann ich mir jemand anheuern, dem gebe ich 1000 Dollar, dass er irgendwas für mich macht.
Also ich muss gar nicht die Kontrolle über ein Labor oder einen Roboter gewinnen, sondern ich kann als KI auch Menschen nutzen.
Weil Menschen natürlich fehlbar sind, sie lassen sich überzeugen, ich kann sie erpressen, ich kann sie bezahlen.
Es gibt viele Möglichkeiten dafür.
Eine KI könnte sich eine gestohlene Kreditkarte besorgen aus irgendeinem Hackingforum, damit dann Menschen bezahlen zum Beispiel.
Also du glaubst quasi, der Mensch ist der Missing Link von der KI in die physische Welt?
Ja, also ich glaube nicht an Airgapping.
Airgapping meint...
Ich lasse gewisse Sachen, also so wie man das heute mit Atomkraftwerken oder so macht, die werden nicht ans Internet angeschlossen, damit sie nicht gehackt werden kann.
Man wird in Zukunft das gleiche mit Biolaboren machen, sicherlich, oder wenn man es, macht man wahrscheinlich sowieso schon, um zu verhindern, dass die KI dann zum Beispiel Zugang zu einer Laborumgebung bekommt oder selber irgendwelche Dinge im Labor erzeugen könnte.
Und dann spricht man von Airgapping im Sinne, ich schneide einfach das Kabel durch zum Internet und dann ist das Labor sicher.
Aber so einfach ist es halt nicht, weil ich kann, ich muss mir einfach nur den Pförtner oder die Pförtnerin des Labors suchen oder jemand, der Zugang hat und lasse den, entweder überzeuge ich den davon, dass es richtig ist, was sie tun und täusche sie einfach nur oder überzeuge sie.
Wenn nicht, bezahle ich sie einfach mit Geld, was ich mir erwerbe als KI.
Oder drittens, ich erpresse sie irgendwie, indem ich entweder irgendwelche privaten Details rausfinde oder.
von jemandem dritten Kinder entführen lasse oder, also ich glaube es ist relativ einfach für eine KI Zugang auch zu physischen, theoretisch sicheren Umgebungen zu bekommen.
Also wir reden jetzt noch über eher potenzielle Gefahren, dafür gibt es jetzt noch nicht erste Anhaltspunkte, aber dass das möglich ist und dass KI das als potenziellen Lösungsplan entwickeln könnte, das ist glaube ich sehr naheliegend.
Also warum sollte man das ausschließen, ist die andere Frage.
Ja, ich glaube aber, dass wir als Menschen einen falschen Ansatz haben und immer versuchen zu verstehen, was die Intention der KI ist.
Ich glaube, vielleicht verstehen wir es gar nicht irgendwann, was die KI vorhat oder weswegen da Systeme oder Schwärme an Agenten im Internet rogue gehen, weil letztlich ist es meines Erachtens auch gar nicht relevant mehr, was deren Intention ist.
Für mich ist immer nur die Frage, ob es möglich ist, dass die Schaden anrichten.
Warum auch immer.
Ob die jetzt, weil sie irgendeinen Fiction, irgendeinen Roman gelesen haben, in dem es darum ging, dass irgendwie ein Roboter abgeschaltet werden soll und darauf wurden sie trainiert, darauf ist irgendeine KI hängen geblieben und seitdem versuchen sie das zu verhindern oder diese Paperclip-Theorie, dass die KI dabei ist und aus allem irgendwelche Büroklammern zu machen.
Ich glaube, am Ende ist das gar nicht relevant.
Ich glaube, dass...
Was relevant ist, dass wir dafür sorgen müssen, dass die eben nicht in der Lage sind, sich über sich so unbemerkt zu verbreiten.
Und das ist das Kernproblem, weil letztlich auch bei diesem ganzen Security-Training aus der UK haben sie festgestellt, dass keiner hat die KI dazu gebeten, das zu machen.
Und auch selbst diese bösartigen Intents, keiner versteht auch, warum die KI das so gemacht hat.
Am Ende müssen wir einfach nur Systeme schaffen, die diesen Eskapismus der Modelle stoppt, oder?
Es geht ja viel darum, dass eine KI ein eigenes Bewusstsein entwickelt oder eben so ein Eskapismus, dass sie entfliehen möchte oder sich verselbstständigen will.
Glaubt der Drive, das zu tun, ist gar nicht so groß, beziehungsweise kann man das eben auch dann wieder nach und nach raus trainieren.
Aber man muss rein sicherheitshalber, glaube ich, auch die Möglichkeiten beschränken, dass sowas überhaupt passieren kann.
Also dass es eben ein sehr, sehr gutes Permission-Management gibt.
Also jedes Mal, wenn eine KI ein Tool nutzt, eine Software runterlädt, ihre Befugnisse überschreitet.
Also zum Beispiel auf einmal ungefragte Verbindungen zum Internet herstellen.
Das hätte halt in dem Fall nicht passieren dürfen.
Also das Labor war halt schmutzig, wenn man so möchte.
Oder es gab einen menschlichen Fehler im Labor.
Es darf halt einfach nicht passieren.
Und das ist aber das Problem.
In dem Moment, wo unsere menschlichen Fähigkeiten von der KI übertroffen werden, dann sind wir halt gar nicht mehr in der Lage, echte Labore zu schaffen.
Also wenn ich das Labor nicht mehr abgeschottet bekomme und keine sichere Testumgebung mehr bauen kann und die KI selbst aus sicheren Testumgebungen einen Weg nach draußen findet, das hat sie in dem Fall auch extrem clever gemacht, wie sie die Internetverbindung hergestellt hat, dann haben wir auf jeden Fall ein Riesenproblem.
Wir sind ja im Wettkampf, wo die KI zunehmend schlauer wird und wir Die menschliche Intelligenz und die Fähigkeit, das einzudämmen, entwickelt sich aber längst nicht so schnell weiter, würde ich behaupten.
Meines Erachtens ist es eben das Hauptproblem auch, dass diese Agenten oder die Modelle dieses Streben nach Selbsterhaltung haben und dass sie weiterhin uneben nach Ressourcenbeschaffung.
Ich meine, letztlich sind es die urmenschlichen Instinkte, die wir haben, also überleben und wenn du so willst, essen, also Ressourcenbeschaffung.
Und das ist das, was die jetzt halt machen.
Siehst du noch irgendwelche dystopischen Szenarien, die passieren können mit Systemen oder Multiagentenschwärmen, die sich im Internet unbemerkt bewegen?
Ja, also ich glaube, die wichtigsten Gefahren sind, Menschen nutzen KI für was Furchtbares.
Das andere ist, KI will eigentlich nur ein sehr einfaches Ziel erreichen, schießt aber bei der Lösung komplett über alle Schranken und Hürden hinaus.
Ich glaube, was auch noch ein sehr schwerer Zielkonflikt ist, ist, man geht davon aus, dass die Modelle noch besser sein könnten, wenn sie nicht mehr so viel dokumentieren müssten.
Also im Moment reden die Modelle ja so ein bisschen, während sie arbeiten.
Also die erklären uns, was sie machen.
Ich lade jetzt das runter, ich gucke mir das an, ich installiere hier mal ein Software auf dem Server, mit der ich arbeiten kann.
möchte was rechnen und ich weiß, LLMs können nicht gut rechnen, deswegen installiere ich mir einen Taschenrechner und so weiter.
Sie erklären uns noch ganz gut, was sie machen.
Die Modelle würden viel weniger Tokens verbrauchen, wären viel effizienter und leistungsfähiger, wenn sie das alles nicht tun würden.
Also wenn sie nur noch über Zahlen kommunizieren.
Also dass unsere Sprache und auch unsere Programmiersprachen der effizienteste Weg sind, für zwei Computer miteinander zu kommunizieren, ist ja unheimlich unwahrscheinlich.
Ich würde sagen, physikalisch fast unmöglich.
Man könnte begründen, warum das unlogisch ist, dass ausgerechnet Menschen die effizientesten Programmiersprachen und Sprachen entdeckt haben.
Und jetzt kann man eben davon ausgehen, dass sie, um noch besser gemacht zu werden, dass man irgendwann darauf verzichtet oder so Kompromisse macht, auf ein bisschen Nachvollziehbarkeit verzichtet, um noch bessere Modelle zu bauen.
Und dann wird es natürlich noch schwerer, überhaupt zu verstehen, was die anrichten.
Die können zum Beispiel auch noch ganz andere Kommunikationsformen entwickeln.
Also wenn ich zum Beispiel Airgapping machen möchte, also ich möchte eine technische Hürde dazwischen stellen, ich schneide das Kabel durch, dann gibt es so Szenarien, wie Computer trotzdem miteinander kommunizieren könnten.
Also sagen wir mal, es gab eine Studie, da hat man gezeigt, dass man dann zum Beispiel die GPU, das CPU des Computers, auf eine gewisse Temperatur erhitzen kann und dadurch hätte man ja verschiedene Zustände und könnte so eine Art Morsignal.
Oder du könntest eine Diode an den Mikrofon, das ich reinspreche oder den Computer, wo ich nutze, da sind Dioden dran und die könnten so über Morse-Code über Dioden reden.
Also auch wenn kein Kabel dazwischen ist, wenn das WLAN ausgeschaltet ist, gibt es keine Möglichkeit mit einem Netzwerk zu kommunizieren.
Aber durch so Morse-Codes könnte die KI auf einmal quasi trotzdem untereinander mit Computern kommunizieren.
Also das alles zu bedenken und auszuschließen ist gar nicht so einfach.
Deswegen glaube ich an dieses...
Air-Gapping nicht.
Das nutzen Leute gern so als Totschlagargument.
Im schlimmsten Fall sieht man einen Stecker so ungefähr.
Aber wenn du eine wirklich, wirklich intelligente Programmierung hättest, könnte die auch Wege finden, das zu überwinden.
Und wenn es ist, dass sie sich wieder einen Menschen anstellt, der eine Diskette irgendwo reinsteckt oder einen USB-Stick und mit dem USB-Stick zu einem zweiten Computer geht.
Das ist ja auch, man muss, wenn man aus der Cyberkriminalität denkt, dann ist das Hacken über das Internet ja nur ein kleiner Teil davon.
Das, womit viel mehr Systeme kompromittiert werden, ist, dass man den Fehler, der vorm Computer sitzt, also den Menschen, kompromittiert.
Also, dass man in dessen privates Handy eine Software einschleust oder dass man auf dem Parkplatz einen USB-Stick fallen lässt und der wird dann irgendwo in den Computer gesteckt aus Neugier und damit kommt der Wurm auf den Rechner oder so.
Also einfach gesagt, eine KI könnte eine Influencerin schaffen, die irgendeinen Trottel auf Instagram bezürzt.
Ein Honeytrap KI.
Genau, ein Honeytrap bauen und könnte irgendwelche Versprechen, irgendwelche Bilder zu schicken oder nette Nachrichten schreiben im Austausch dafür, dass eine Person irgendwas macht auf Arbeit zum Beispiel, irgendeinen USB-Drive mitnimmt oder eine Datei, die die KI ihm zuschickt, per E-Mail weiterleitet an einen Firmenaccount oder, oder, oder.
Okay, aber was machen wir denn dann?
Ich meine, wenn die KIs potenziell so schädlich sind, wenn die potenziell sich so...
also gegen unsere Interessen verschwören können.
Vor allem gerade als Unternehmen, ich meine auch als Privatperson, wie können wir denn dann KI sicher einsetzen, auch wenn das Alignment Training nicht geht?
Also ich glaube, wir als Privatpersonen sind jetzt gar nicht das Problem, sondern die Verantwortung liegt erstmal bei den Modellbetreibern oder Forschern.
Und da muss man erstmal sagen, man muss sicherlich viel mehr das Forschungsbudget auf die Erforschung von Sicherheitsmechanismen noch verwenden.
Also im Moment würde ich sagen, wird so 90, 95 Prozent.
darauf verwendet, den Formel-1-Wagen noch schneller zu machen und viel zu wenig darauf verwendet, den Sicherheitsgurt oder Airbag zu erfinden.
Und ich glaube, da gibt es ein Missverhältnis und vielleicht muss man wirklich die Performance-Optimierung ein bisschen einbremsen.
Also man muss, glaube ich, nicht einen Schritt zurückgehen, aber man kann da vielleicht langsamer vorangehen, bis man mit der Sicherheitsforschung zumindest wieder ein bisschen auf Augenhöhe kommt, falls das überhaupt möglich ist.
Und in der Vergangenheit war es so, durch das Rattenrennen, die massive Konkurrenz, in der man sich befindet, hat man natürlich immer versucht, ein noch besseres Modell zu bauen, Benchmarks zu schlagen, noch mehr Nutzwerke zu entwickeln und Security war so ein Afterthought oder so ein zweitrangiges Ziel bisher.
Also man hat natürlich eine Awareness dafür gehabt, aber man muss ja jeden Tag entscheiden, woran lasse ich meine besten Mitarbeiterinnen arbeiten, woran lasse ich...
Wo allokiere ich die wenigen Ressourcen, die ich habe hin?
Und ich glaube, da hätte man schon früher mehr Richtung Security shiften müssen.
Und die Frage ist, ob man irgendwann wirklich sagen muss, wir sind schon dabei, die Kontrolle zu verlieren.
Und vielleicht sollten wir es auch einen Slowdown machen oder sogar ein Moratorium.
Ja.
Hast du dich mal mit China beschäftigt?
Haben die ähnliche Inzidenz?
Es gibt gerade eine ganz aktuelle Studie.
Was heißt Studie?
Ich glaube, Entropic hat es selber behauptet.
Aber das GLM 5.3, also das aktuelle ZIPO- oder ZEI-Modell, viel weniger Guardrails hat, aber fast ähnliche Cyberfähigkeiten wie Mythos oder die führenden Cybermodelle der Commercial.
Also die sind definitiv nicht weit hinten, sie haben weniger Guardrails, sie sind relativ frei verfügbar und das ist natürlich immer das Hauptgegenargument gegen einen Slowdown.
Also einerseits so dieses What if China does es, also dass die dann, dass China quasi überholen würde, wenn man selber langsamer fährt.
Und dann hätte man natürlich zusätzlich noch das Problem, also nicht nur, dass China sozusagen den Wettkampf gewinnt.
Sondern man könnte sich im schlimmsten Fall gegen die nächste Version noch bessere chinesischer Modelle nicht mehr verteidigen, weil man selber nicht mehr in noch bessere Modelle investiert hat.
Also ein Nachteil wäre den Wettkampf überhaupt zu verlieren, der andere wäre, dass man selber sofort angreifbar würde und die defensiven Cyberfähigkeiten, also das Blue Teaming, also die Verteidigung gegen Cyberangriffe, dann verlieren würde.
Und dann hätte man quasi doppelt verloren.
Meines Erachtens ist das die Verantwortung der großen Frontier Labs und von überwiegend Anthropic und OpenAI, dass sie ihre Modelle im Griff haben und auch das Alignment im Griff haben.
Ich meine, die haben jetzt lange genug darum geforscht.
Das heißt, es ist deren Aufgabe und der Rest muss eben schnell entwickeln, sodass keiner da in absolutes Nachtreffen kommt.
Ja, super interessant.
Wir werden alle beobachten, wie sich das weiterentwickelt.
Aber ich bin nach wie vor der Meinung, dass ein bisschen zu viel Drama im Markt ist und die Entwicklungen so ein bisschen überbewertet werden.
Aber ich denke, was trotzdem sehr interessant ist, ist diese Balance zu schaffen für die kommerzielle Nutzung der Modelle versus der Sicherheit.
Weil ich glaube, eins leidet quasi immer und das ist, denke ich, auch für die Modelle schwierig.
Je mehr quasi Aggressivität man rausnimmt und je sicherer sie werden, desto weniger performant sind sie am Ende auch.
Also, kannst du unseren Hörern, wie immer am Ende, irgendwelche Medienempfehlungen oder Buchempfehlungen geben?
Es gibt gerade einen guten Podcast mit Bill Gates über die Risiken von KI.
Ich glaube bei Tristan Harris war das?
Ich weiß gar nicht.
Bill Gates.
KI-Risk sucht, dann findet man den.
Der ist relativ aktuell.
Also, vielen Dank fürs Zuhören an alle.
Ich freue mich auf die nächsten 100 Folgen und verbleibe mit vielen Grüßen.
Bis bald.
Ciao, ciao.