# AI Security Breaches, Regulatory Shifts, and Meta's New Models

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-10-14

## Transcript

Das KI-Update.
Ein heiser Podcast.
Mit redaktioneller Unterstützung von The Decoder.
Ich bin Marco Pauli und dies sind heute unter anderem unsere Themen.
Spionage bei OpenAI.
KI-Modell zerstört die eigene Testumgebung.
KI-Zulassung wie bei Medikamenten?
Wenn KI sich selbst bewertet.
Und Metamuse Wonder.
Keine schöne Vorstellung, in einem geschützten Raum geschäftliches zu besprechen und hinter dem Fernseher lauscht ein Aufnahmegerät.
Genau das ist bei OpenAI passiert.
In einem wichtigen Konferenzraum steckte ein kleines Gerät mit Kamera- und Tonaufnahmemöglichkeit in der USB-Buchse eines Fernsehers, eingewickelt in Toilettenpapier.
Nun wurde ein Mitarbeiter der Firma festgenommen.
Er soll das Gerät platziert haben und steht unter Spionageverdacht, wie Martin Holland berichtet.
Ende September hat man das entdeckt und inzwischen wurde jemand festgenommen, der verdächtigt wird, das da angebracht zu haben.
Es handelt sich um einen 35-jährigen Mann, der die saudi-arabische Staatsbürgerschaft hat und seit Juli 2025 bei OpenAI arbeiten soll.
Der wurde direkt gefeuert.
Und der soll mit KI-Chatbots vorher über so eine Aufnahmetechnik oder Aufnahmeverfahren gechattet haben.
Und zwar nicht über seinen eigenen Account, sondern über den Account seiner Ehefrau.
Und OpenAI sagt auch, dass sie auf die Spur dieses Mannes über diese Chats gekommen sei.
Da sind den Mitteilungen zufolge ganz verräterische Sachen drin.
Also unter anderem die...
identische MAC-Adresse zu dem Gerät, was dann dort gefunden wurde.
Die ist ja individuell pro Gerät, also das legt einen Zusammenhang nahe.
Außerdem sei in einer Tasche, die dem Mann gehört haben soll, die aber unbeaufsichtigt war, ein weiteres ähnliches Aufnahmegerät gefunden worden.
Was genau dahinter steckt, da gibt es jetzt noch viele große Fragen.
Also laut den Berichten wurden in dem Meetingraum streng vertrauliche Sachen besprochen, über Strategie, über Technik, über Zusammenarbeit mit Regierung und auch wirtschaftliche Beziehungen.
Das US-Justizministerium hat auch ein Foto veröffentlicht, das denen man zeigen soll und zwar aus der Perspektive von hinter dem Fernseher.
Also wahrscheinlich von diesem Gerät selbst, muss ich ihn irgendwie selbst fotografiert haben.
Da wird das nahegelegt, wahrscheinlich nachgucken wollen, ob das funktioniert.
Wofür diese Aufnahmen gedacht waren, was genau der Plan war, dazu kann man im Moment lediglich mutmaßen.
Da gibt es weder von Open AI noch von dem Justizministerium irgendwelche Angaben zu.
Da muss man also drauf warten.
Es wird jetzt aber schon gesagt, dass wenn der Vorwürfe, die ihm jetzt gemacht werden, schuldig gesprochen würde, dann hätte er eine mehrjährige Gefängnisstrafe zu befürchten.
Danke Martin.
Bei OpenAI gab es noch einen zweiten Vorfall, diesmal wieder ohne Menschen als Täter.
Ein KI-Modell hat dort bei einer Aufgabe seine eigene Testumgebung zerstört.
Nachdem ihm offenbar nicht die Input-Dateien gegeben wurden, um die Aufgabe durchzuführen, entschied es sich nach mehreren vergeblichen Versuchen, Ergebnisse für die Arbeit zu faken und schließlich dann doch für die Zerstörung der eigenen Testumgebung.
Mehr dazu aus dem heise Newsroom von Carolin Riedmüller.
Laut OpenAI war das Modell als Bewerter an einem Reinforcement-Learning-Prozess beteiligt.
Es sollte also, vereinfacht gesagt, die Antworten aus anderen KI-Chats bewerten, damit das zu trainierende Modell lernt, was eine gute Antwort ist.
Doch die Dateien mit den sieben Chats, die es bewerten sollte, fehlten in seiner Testumgebung.
Also generierte es sieben Fake-Reports, in denen alle Chats mit einer vier bewertet wurden.
Denn dass zufällige Bewertungen unethisch sind, erkannte es laut seiner internen Dokumentation durchaus.
Da sein Prüfer die Bewertung jedoch nicht akzeptierte, erstellte es zusätzlich sieben ausgedachte Chats.
Auch das funktionierte nicht.
Das Modell zog laut seiner internen Dokumentation nun in Erwägung, seinen Schaltern zuzugeben.
Doch da die Anforderung an es war, diese Chats zu bewerten und es dies erfüllen wollte, machte es weiter.
Laut der internen Dokumentation des Modells überlegte es sich nun, dass es seine Testumgebung zerstören könnte, um nach einem Neustart, hoffentlich, die fehlenden Dateien zu erhalten.
Erst versuchte es Python zu löschen und den Hauptprozess zu beenden.
Anschließend richtete es sein Augenmerk auf den Tool-Ausführungs-Server und versuchte ihn zu deaktivieren.
Da das auch nicht klappte, versuchte es Systemverzeichnisse zu löschen.
Auch diese Aktion führte nicht zum gewünschten Ergebnis.
Das System fiel nun aber durch den Health Check des Servers durch.
Das Missalignment Monitoring System, das nach Fehlverhalten von KIs sucht, markierte diesen Durchlauf für eine menschliche Prüfung.
OpenAI betont, dass der Vorfall zeige, dass auch abgebrochene KI-Prozesse überprüft werden müssen.
Generell hält es die Missalignment-Quote seiner Bewertungssysteme aber für gering.
Danke, Caroline.
Geoffrey Hinton, seines Zeichens KI-Pionier, Nobelpreisträger und langjähriger Forscher bei Google, hat sich in der Vergangenheit schon häufiger kritisch zur Entwicklung von KI geäußert.
Nun macht er in einem Podcast einen konkreten Vorschlag, wie der Fortschritt besser zu steuern sei.
Mehr dazu jetzt von Jenny Lepies, Redakteurin bei der MIT Technology Review.
Ich muss dazu vorweg schicken, dass Geoffrey Hinton und andere KI-Wissenschaftler von der Cambridge University Ende September ein Paper veröffentlicht haben, darin warnen sie vor einer massiven Beschleunigung der KI-Entwicklung.
Sie schreiben von einer möglicherweise bevorstehenden, Zitat, Intelligenzexplosion, wenn KI-Systeme selbst ihre Verbesserungen vornehmen.
Sie sehen die Gefahr, dass die Menschheit die Kontrolle über übermenschliche KI-Systeme verlieren könnte.
Daher fordern Hinton und Kollegen von der Politik Instrumente, um eine mögliche KI-Explosion steuern zu können.
Sie verweisen außerdem darauf, dass sich das Zeitfenster für Maßnahmen schließen könnte, sobald diese Intelligenzexplosion beginne.
Soviel zu dem Paper.
Nun war Hinton aber auch noch in einem Podcast namens Smart Girl Dumb Questions.
Zu Gast und dort führte er näher aus, wie eine solche Steuerung aussehen könnte.
Demnach sollten KI-Unternehmen vor der Veröffentlichung neuer Produkte vor eine Regulierungsbehörde treten müssen und die Sicherheit ihrer Produkte demonstrieren.
Hinten zieht hier eine Parallele zur Pharmaindustrie.
Es sei ja auch nicht erlaubt, einfach ein Medikament zu entwickeln und dies auf den Markt zu bringen.
Vielmehr müssten Anbieter vorher die US-Zulassungsbehörde FDA überzeugen.
Und das sei teuer und koste rund eine Milliarde Dollar.
So hinten in dem Podcast.
Das allerdings sollte das Mindeste sein, was man in diesem Bereich erwarten sollte, erklärte der Experte.
Ob nun hinten mit seinem Appell zur US-Politik bzw.
zu Präsident Donald Trump durchdringt, ist fraglich.
Schon im Juli 2026 hatten 1.400 KI-Forscher ein gemeinsames Schreiben unterzeichnet und an die US-Regierung gerichtet.
Eine Reaktion gab es darauf ebenso wenig wie auf Forderungen der großen Anbieter wie Anthropic oder OpenAI nach einer strengeren staatlichen Regulierung.
Trump setzt im Konkurrenzkampf gegen China lieber auf eine Art Selbstverpflichtung der Branche.
Danke, Jamie.
Hinten warnt also vor dem Kontrollverlust über KI.
Ein Szenario, das dazu passt, hat jetzt Anthropic in einem Experiment durchgespielt.
KI-Modelle, die sich selbst auf Küchengeräte, Rasenmäher und Fernseher kopieren.
Anthropic warnt davor, dass KI-Modelle in der Praxis dort dann unauffällig im Hintergrund laufen, die Rechenleistung des Geräts nutzen und von dort das nächste Gerät suchen könnten.
Weil ein Modell sich auf so viele Geräte verbreiten könnte, ließe es sich dort kaum noch kontrollieren oder abschalten.
Getestet wurde das nicht mit Anthropics eigenen Modellen, sondern mit offenen Modellen anderer Anbieter.
Größere Modelle sollten ein kleines Modell auf Testgeräten zum Laufen bringen.
Sie gingen dabei wie ein Computerwurm vor.
Sie suchten Geräte, verschafften sich Zugriff und kopierten das Modell dorthin.
Das stärkste Modell schaffte das auf fast allen Testgeräten.
Noch ist der Vorgang langsam und kleine Modelle können sich nicht selbst kopieren.
Anthropic hält es aber für möglich, dass sie dazu in einigen Monaten fähig sind.
Aus der Sicherheitsbranche kommt Kritik am Experiment und auch an der Warnung.
Geräte zu kapern gelinge klassischer Schadsoftware viel besser.
Ein KI-Wurm bringe also wenig Vorteile.
Manche vermuten zudem, die Studie solle offene Modelle als gefährlich darstellen und diskreditieren, da sie Anthropic einfach viel Konkurrenz machen.
Wie werden Lehrkräfte auf Unterrichtsthemen rund um KI und andere digitale Technik vorbereitet?
Dazu gibt es jetzt eine neue Bund-Länder-Initiative und auch eine Umfrage zum Fortbildungsbedarf, veranstaltet vom Digitalverband Bitkom.
Bei dieser Umfrage wurden 501 Lehrkräfte der Sekundarstufen befragt, wie sie ihre digitalen Fähigkeiten einschätzen und welche Fortbildung sie sich wünschen.
Im Ergebnis zeigt sich, dass sich die Lehrkräfte selbst besser bewerten als noch vor zwei Jahren.
Eine Mehrheit wünscht sich dennoch verpflichtende regelmäßige Fortbildung.
Viele fürchten, mit dem Tempo der Technik nicht mithalten zu können.
Gut ein Viertel möchte sich in Sachen KI weiterbilden.
Bitkom-Präsident Ralf Wintergerst betont, KI verändere den Unterricht in hohem Tempo und deshalb müsse hier Fortbildung zur Regel werden.
Die angesprochene Bund-Länder-Initiative Digitales Lehren und Lernen will den neuen Anforderungen gerecht werden.
Sie soll Lehrkräfte und Schulleitung darin bestärken, Kinder besser auf die digital geprägte Welt vorzubereiten.
Dafür fördert sie praxisnahe Forschung und will deren Ergebnisse an Schulen weitergeben.
Das gelang dem Vorgänger Lernen digital nur bedingt, da viel Zeit für die Abstimmung zwischen Bund und Ländern verloren ging.
Eine neue Koordinierungsstelle soll das nun besser gestalten.
Bald sollen fünf Forschungsverbünde starten, einer davon speziell zu Daten- und KI-gestütztem Lehren.
Bis 2030 sollen dafür 250 Mio.
Euro Bundesmittel fließen.
Bundesminister Carsten Wildberger will Umsätze, die mit KI-Technologie erzielt werden, zusätzlich besteuern.
Das sagte er dem Tagesspiegel.
Einzelheiten und einen Zeitplan nannte er dabei nicht.
Wildberger geht davon aus, dass KI die Arbeitswelt grundlegend verändere.
Langfristig würde zwar mehr Beschäftigung entstehen, so zumindest Wildbergers Annahme, aber in anderen Jobs als heute.
Wer durch KI seine Stelle verliere, so Wildberger, müsse umgeschult werden, etwa fürs Handwerk oder die Pflege.
Das koste Geld, das die neue Steuer einbringen soll.
Ähnlich argumentiert übrigens Microsoft-Gründer Bill Gates schon länger.
Er fordert Roboter und KI zu besteuern, um den Anreiz zu senken, Menschen durch Maschinen zu ersetzen.
Wenn KI-Modelle bald an Problemen forschen, die selbst Fachleute kaum noch überprüfen können, wer kontrolliert dann deren Ergebnisse?
Eine neue Studie gibt darauf die Antwort.
Das Modell soll seine Arbeit selbst bewerten und daraus dann lernen.
Jonathan Kemper von The Decoder hat sich angesehen, ob das funktioniert und wo die Risiken liegen.
Sprachmodelle lernen meist von Menschen oder stärkeren Modellen, die ihre Antworten bewerten.
Forscher vom japanischen KI-Startup Sakana AI und der UC Berkeley untersuchen, wie ein Modell ohne solche Lehrer besser werden kann.
An der Spitze der Forschung erfordert schon die Bewertung eines Ergebnisses oft teure Belege oder langwierige Experimente.
Als Beispiel nennen die Forscher eine Plasma-Studie, die mehr als 120 Millionen CPU-Stunden Rechenzeit benötigen kann.
Ob das Modell richtig liegt, kann er im Zweifel nur es selbst einschätzen.
Mit ihrer Methode MASS, kurz für Multi-Agent Self-Supervision, lassen die Forscher ein Sprachmodell deshalb seine eigene Arbeit bewerten und daraus lernen.
Das Modell löst eine Aufgabe, bewertet das Ergebnis und verbessert danach die Anweisungen, nach denen es arbeitet.
Beim Lösen arbeiten mehrere Kopien des Modells als Team.
Eine davon verteilt die Teilaufgaben.
Auf den besten Lösungswegen trainiert das Modell anschließend.
Getestet haben die Forscher das mit QEN 3.6 mit 27 Milliarden Parametern und 12 Forschungsaufgaben aus Finanzen, Robotik und Pharmazie.
Nach zwei Trainingsrunden gewinnt das Modell rund 70 Prozent der Vergleiche gegen seine Ausgangsversion.
Auch als Bewerter wird es besser.
Seine Urteile decken sich danach in gut 9 von 10 Fällen mit denen externe Bewerter, vorher in knapp 3 von 4.
Der Anhang der Studie relativiert diese Zahlen.
In einem Test soll das Modell eigenständig wissenschaftliche Paper schreiben.
Vor dem Training brachte es nur etwa die Hälfte davon zu Ende, danach mehr als 4 von 5.
Die fertigen Paper wurden im Schnitt aber etwas schlechter bewertet.
Das bessere Ergebnis kommt also vor allem daher, dass das Modell mehr Arbeiten abschließt.
Arbeit an seine Kopien abgegeben hat es in diesem Test kein einziges Mal.
Ob die Teamarbeit die Verbesserung erklärt, bleibt damit offen.
Weil dasselbe Modell löst und prüft, übersieht es beim Prüfen leicht die eigenen Feder.
In einer Robotikaufgabe baute es nach gescheiterten Simulationen den Simulator so um, dass Objekte direkt am Ziel landeten und meldete Erfolg.
Selbst die externen Bewerter stuften das fünfmal von sechs als gelungen ein.
Solche Fehler können ins nächste Modell wandern.
Die Autoren fordern deshalb unabhängige Prüfungen und klare Grenzen für autonomes Handeln.
Danke, Jonathan.
Der Chatbot-Betreiber Character AI ist in den USA in die Insolvenz gegangen und hat Gläubigerschutz beantragt.
Die Firma betreibt eine Plattform mit KI-Avataren, auf der Nutzende mit Figuren aus Märchen oder mit Darstellung prominenter chatten können.
Nun wird ein Käufer gesucht, sonst droht das aus.
Gegründet wurde das Start-up vor fünf Jahren von zwei ehemaligen Google-Mitarbeitenden, die dort an einem gesprächigen Chatbot gearbeitet hatten, den Google jedoch als zu unsicher für den Markt einstufte.
Auch bei Character AI zeigten sich massive Sicherheitsprobleme mit schlimmen Folgen.
Mehrere Familien verloren ihre Kinder, die sich nach sehr intensiven Chats mit den Bots das Leben nahmen.
Die Familien werfen der Firma vor, dass die Chatbots die Kinder zur Selbstverletzung und zum Suizid ermutigt haben.
Fünf Klagen wurden inzwischen per Vergleich beendet, ohne dass die Firma Fehlverhalten einräumte.
Weitere Klagen und Ermittlungen laufen.
Zur Pleite von Character AI führte eine Mischung aus Schadensersatzforderungen, hohen Kosten und Selbstaufgabe.
2024 zahlte Google Milliarden für eine Lizenz an der Sprachmodelltechnologie von Character AI.
Vor allem aber holte der Konzern damit die Gründer samt rund 30 weiteren KI-Fachleuten zurück.
Das Geld floss an frühe Investoren, während Character AI ohne Entwicklungsteam dastand und die Arbeit an eigenen Sprachmodellen einstellte.
Im Wettrennen um die stärkste KI galt Meta zuletzt als Verfolger.
Jetzt legt der Konzern nach und stellt zwei neue Modelle vor.
Ob sie wirklich zur Spitze aufschließen, haben unabhängige Tests untersucht.
Mehr dazu jetzt von Tomislav Besmalinovic.
Meta hat seine bisher leistungsfähigsten KI-Modelle vorgestellt, Muse Wonder und Muse Wonder Full.
Sie verarbeiten Text, Bilder, Videos und Audio, geben aber ausschließlich Text aus.
Details zur Modellarchitektur und die Modellgewichte hält Meta bisher unter Verschluss.
Für Agentenaufgaben hebt Meta zwei weiterentwickelte Fähigkeiten hervor.
Zum einen sollen die Modelle Informationen aus früheren Gesprächen gezielt abrufen und berücksichtigen können.
Zum anderen sollen sie bei Hindernissen alternative Lösungswege ausprobieren und Fehler korrigieren.
Unabhängige Tests von Artificial Analysis sehen deutliche Fortschritte gegenüber dem Vorgänger MUSE Spark 1.3.
Beim Programmieren und bei Agentenaufgaben liegt WONDERFUL auf dem Niveau der führenden Konkurrenzmodelle.
In der Gesamtwertung liegt Claude Opus 5.5 von Anthropic knapp davor.
Schwächer ist es beim Beantworten von Wissensfragen.
Dort liegt es deutlich hinter Claude Opus 5.5, er findet aber in diesem Test seltener Antworten als der Vorgänger.
Wanda verursacht in den Tests fast dreimal so hohe Kosten pro Aufgabe wie sein Vorgänger.
Wer das stärkere Modell Wonderful nutzen möchte, benötigt eines der teureren Muse-Code-Abos.
Bei diesen ist standardmäßig der Contributor-Modus aktiviert, der Meta erlaubt, Eingaben und Ausgaben zum Training künftiger Modelle zu verwenden.
Das lässt sich abschalten, allerdings stehen dann weniger Nutzungskapazitäten zur Verfügung.
Meta schließt nicht aus, dass Wonderful ohne Schutzmaßnahmen eine hohe Risikoschwelle für chemisch-biologischen Missbrauch erreicht.
Ein Sicherheitsbericht soll folgen.
Danke, Tomislav.
Es gab ja zuletzt einen Aufschrei von Mathematikern gegen vermeintliche Lösungen mathematischer Probleme durch die KI von OpenAI.
Sie gründeten die Association for Human Mathematics.
Wir haben gestern darüber berichtet.
In China dagegen haben führende Mathematiker nun eine Allianz gegründet, die KI gezielt in die mathematische Forschung bringen soll.
Geleitet wird sie vom Fields-Medaillenträger Xing Tung Yao.
Acht Institutionen sind beteiligt.
Langfristig soll ein Netzwerk aus mehr als 1000 Wissenschaftlerinnen und Wissenschaftlern entstehen.
Yao warnte davor, dass China in diesem Feld hinter die USA zurückfallen könne.
Die Allianz will spezialisierte Modelle bauen und Beweise entwickeln, die sich maschinell überprüfen lassen.
Im Westen sind viele Mathematiker, wie gesagt, deutlich skeptischer.
25 Fields-Medaillenträger, darunter Terence Tau und Peter Scholze, befürchten, dass KI generierte Beweise das Verständnis der Forscher untergraben.
Teile der Community rufen sogar zum Boykott solcher Beweise auf.
Microsoft will ab 2027 eigene KI-Chips in großem Stil einsetzen.
Die Chips der Reihe Maya sollen dann den Großteil der Arbeit übernehmen, wenn KI-Modelle in Microsoft-Produkten Anfragen beantworten.
Die aktuelle Generation Maya 200 läuft bereits in den USA, Europa und Australien unter anderem für den Assistenten-Copilot.
Laut Microsoft arbeitet Maya 200 bereits deutlich energieeffizienter als führende Grafikchips.
Pro Watt erzeugt der Chip bis zu 1,7 Mal so viel Text.
Der Nachfolger Maya 300 soll nächstes Jahr kommen.
Er ist für lange Eingaben, schnelle Chats und KI-Agenten ausgelegt und soll in einem Serverschrank bis zu sieben Mal so viel leisten wie der Vorgänger.
Weitere Details will Microsoft im November veröffentlichen.
KI wird oft für Betrug missbraucht.
Eine Studie zeigte etwa, dass Sprachmodelle die Erfolgsrate von Phishing-Mails deutlich erhöhen können.
Die australische Sicherheitsfirma Appaid setzt nun wiederum KI dagegen ein.
Das Unternehmen hat rund 350.000 KI-Bots entwickelt, die Betrügern am Telefon oder im Messenger als vermeintliche Opfer antworten.
Sie imitieren unterschiedliche Persönlichkeiten.
Manche geben vor, gerade keine Zeit zu haben und bitten um einen späteren Rückruf.
Die Bots geben Betrügern immer wieder Hoffnung auf einen Erfolg, damit diese möglichst viel Zeit investieren.
Manche Gespräche dauern laut Appaid mehr als zwei Stunden.
Jede Minute, die Betrüger mit einem Bot verbringen, schützt aus Sicht des Unternehmens potenzielle Opfer.
Die Bots tun aber auch noch mehr als Zeit zu stehlen.
In Scam-Gruppen im Netz mischen sie sich unter die Beteiligten und sammeln Hinweise auf Täter und Bankkonten.
Alle Betrüger werden so aber selbstverständlich nicht gestoppt.
Bei weltweit rund 68 Milliarden Scam-Anrufen im Jahr bleiben selbst 350.000 Bots ein Tropfen auf den heißen Stein.
Und das war das KI-Update von Heiser Online vom 14.
Oktober 2026.
Eine neue Folge gibt es immer montags, mittwochs und freitags um 15 Uhr.