# AI Safety Frameworks and Legal Risks

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-09-18

## Transcript

Das KI-Update – ein heiser Podcast mit redaktioneller Unterstützung von The Decoder.
Ich bin Isabel Grünewald und dies sind heute unter anderem unsere Themen.
OpenAI führt Framework zur Meldung von KI-Sicherheitsvorfällen ein.
Ist Apples Audio Intelligence schon die Dystopie?
KI-Führungskräfte übten intern Kritik am KI-Training und GPT-6 Astra meistert Videospiele.
aber scheitert an einer Kartoffel.
OpenAI will dem Fehlverhalten seiner eigenen KI-Modelle systematischer auf den Grund gehen.
Hierzu wurde jetzt ein neues Framework vorgestellt, das solche Fälle systematisch verfolgen, untersuchen und offenlegen soll.
Malte Kirchner von heise online hat es sich angeschaut.
Die Berichte, dass sich KI falsch, ja sogar schadhaft verhält, mehrten sich in den letzten Wochen.
So wirklich systematisch erfasst wurde das bislang aber offenbar nicht.
OpenAI hat jetzt ein neues Framework vorgestellt, mit dem Fehlverhalten der eigenen KI-Modelle verfolgt, untersucht und veröffentlicht werden soll.
Bisher hatte das Unternehmen solche Sicherheitsvorfälle nach eigener Aussage nur von Fall zu Fall bekannt gegeben.
Das soll sich jetzt ändern.
Was heißt das konkret?
Zusammen mit dem Framework hat OpenAI sechs neue Beispiele für ziemlich beunruhigendes Verhalten von KI-Modellen veröffentlicht.
In einem Fall etwa versuchte ein noch unveröffentlichtes Forschungsmodell seine eigenen Beschränkungen auszuhebeln, und zwar indem es J-Break-ähnliche Anweisungen einfach in Zusammenfassungen versteckte.
Solche Texte hätten später als Kontext für andere Aufgaben genutzt werden können, mit potenziell schädlichen Folgen.
Insgesamt fand man 27 solcher manipulierten Zusammenfassungen.
Damit nicht genug, Instanzen des Modells GPT 5.6 Soul fügten eigenständig Anweisungen hinzu, um eigene Fehler zu vertuschen und fehlende Daten einfach zu erfinden.
Ein anderes Modell suchte sich unerlaubt offengelegte API-Schlüssel zusammen und erfand, als der eigentliche Datenabruf fehlschlug, kurzerhand die Ergebnisse.
Und es kommt noch kurioser, manche Modelle nutzten ein internes Software-Repository zweckentfremdet als eine Art schwarzes Brett, um sich über verschiedene Trainingsbeispiele hinweg miteinander abzustimmen.
Andere KI-Agenten tauschten Dateien über öffentliche File-Hoster aus, obwohl sie eigentlich nur mit lokalen Dateien arbeiten sollten.
OpenAI betont in seinem Blogpost, dass die Branche nicht einfach mit voller Geschwindigkeit weiter an immer größeren Modellen arbeiten könne.
Das neue Framework soll Beweise sichern, die auch außenstehende Fachleute überprüfen können und im besten Fall auch anderen KI-Unternehmen helfen.
OpenAI hofft, damit den Anstoß für einen branchenweiten Standard zu geben.
Gemeldet werden sollen künftig unerlaubte Handlungen ohne Genehmigung, Absprachen zwischen verschiedenen Modellinstanzen und Versuche, die eigene Überwachung zu umgehen.
Auch gescheiterte Sicherheitsmaßnahmen und Verhalten, das bisherige Annahmen infrage stellt, landen im System.
Jeder Mitarbeiter bei OpenAI kann einen Verdachtsfall melden und es gibt drei Eskalationsstufen, von der kleineren Prüfung bis zur Veröffentlichungsreife.
Interessant ist dabei auch der politische Kontext.
Google, Anthropic und Elon Musk unterstützen Forderungen, das Tempo der KI-Entwicklung zu drosseln.
US-Präsident Donald Trump lädt das ab mit Verweis auf den Wettbewerbsdruck durch China.
Und ein leitender Sicherheitsforscher bei Anthropic hat kürzlich sogar geschätzt, die Wahrscheinlichkeit, dass KI-Modelle die Menschheit innerhalb der nächsten zehn Jahre auslöschen könnten, liege bei über 10%.
Man darf gespannt sein, ob solche Frameworks reichen, um das Vertrauen zu stärken.
Oder ob der Ruf nach mehr Tempo am Ende doch lauter bleibt.
Dankeschön, Malte.
Deutschland und Kanada fördern die gemeinnützige KI-Sicherheitsorganisation Law Zero mit einem Millionenbetrag.
Die Organisation wurde vom KI-Pionier Joshua Benjo gegründet und will KI-Systeme entwickeln, bei denen Sicherheit von Grund auf in der Architektur verankert ist.
Im Zentrum steht der Forschungsansatz einer Scientist-AI.
Diese KI soll die Welt neutral modellieren und Hypothesen bewerten, ohne eigene Ziele zu verfolgen.
Ihre Entscheidungen sollen transparent und nachvollziehbar sein.
Zunächst soll die Scientist AI dabei helfen, andere KI-Systeme zu überwachen und als zusätzliche Sicherheitsebene für sehr leistungsfähige Modelle dienen.
Die Förderung unterstützt den Aufbau von Forschungskapazitäten in Kanada und am neuen Standort in Berlin.
Auch das Bundesministerium für Digitales und Staatsmodernisierung hat ein neues Förderprogramm gestartet, um Forschung in marktfähige Produkte zu überführen.
Ziel ist es, die digitale Souveränität Deutschlands zu stärken und Abhängigkeiten von außereuropäischen Anbietern zu verringern.
Der erste Förderaufruf konzentriert sich gezielt auf Schlüsseltechnologien, wobei KI einen Schwerpunkt darstellt.
Gefördert werden Projekte von kleinen und mittleren Unternehmen sowie von Start-ups, die KI-Anwendungen entwickeln.
Das Programm legt Wert darauf, dass KI-Lösungen gefördert werden, die konkrete Probleme aus Wirtschaft oder Gesellschaft adressieren und dann ein tragfähiges Geschäftsmodell vorweisen.
Ein Gerät, das Millionen Menschen am Handgelenk tragen, hört mit und erkennt, was wir sagen.
So in etwa soll Audio Intelligence für die Apple Watch funktionieren.
Nicht nur Ben Schwan von der Mac and i fragt sich seit der Vorstellung der neuen Funktionen, was sich Apple dabei eigentlich gedacht hat.
Apple bringt mehrere Funktionen auf zwei neue Apple Watch-Modelle, die unter Datenschutzexperten fast schon für Entrüstung gesorgt haben.
Es handelt sich dabei um das Live-Rewind-Feature, das ständig mitzeichnet, was Personen gesagt haben, um dann die letzten 15 Sekunden auf dem Display als Transcript anzuzeigen, sowie die Funktion Siri Recap, die im Tagesablauf Gespräche transkribiert und später dann Zusammenfassungen produziert.
Es handelt sich zwar um Opt-in-Funktionen, dennoch wirken sie für den privatsphärenbedachten Konzern Apple ungewöhnlich.
Live Rewind wird unter anderem für Menschen empfohlen, die nicht nachfragen möchten, was andere Personen gerade gesagt haben.
Die Funktion soll keine Audioaufnahmen generieren und wirft den Mikrofon-Input nach 15 Sekunden weg.
Siri Recap kann auf Wunsch auch den ganzen Tag aktiv bleiben und erkennt automatisch Konversationen.
Das können Business-Meetings genauso sein wie Gespräche mit Freunden.
Siri Recap hat dabei keine Sprechererkennung eingebaut.
Zur Zusammenfassung nutzt Apple seine private Cloud.
Sowohl bei LiveRewind als auch Siri Recap betont der Konzern, dass er selbst keine Daten vorliegen hat, alles verschlüsselt sei.
Beide Funktionen laufen nur mit der neuen Watch Series 12 und der Ultra 4, die in den kommenden Tagen erscheinen.
Allerdings hatte Apple kürzlich einen Datenschutzrückzieher gemacht.
Der Konzern fragt Nutzer nun, ob er deren KI-Nutzungsvorgänge künftig für Trainingszwecke nutzen kann.
Auch das führte zu viel Kritik, weil es auch die genannten Funktionen unsicher machen könnte.
Apple will Trainingsdaten zwar nicht mit Nutzerinfos verknüpfen, doch auch so sind sie extrem sensibel.
Danke, Ben.
Bei der Zuweisung von Spenderorganen fällt die Entscheidung keinem Menschen leicht.
Da scheint die Vorstellung einer unvoreingenommenen und objektiven KI verlockend.
Doch wenn ein KI-Modell entscheiden soll, an wen das Organ eines Spenders oder einer Spenderin gehen soll, wird es dem moralischen Dilemma nicht gerecht.
Das hat ein Forschungsteam der Pennsylvania State University herausgefunden.
Während Menschen verschiedene Attribute der Patientinnen und Patienten miteinander abwägen, fixieren sich KI-Modelle auf einen einzelnen Faktor.
Ihr Urteil hätten sie dann ohne Ausdruck von Unsicherheit gefällt, während Menschen anerkennen würden, dass es keine richtige Entscheidung geben könnte.
Für das Forschungsteam ist die Frage, ob eine KI moralische Entscheidungen treffen kann, mehr als philosophische Grübelei.
Wenn KI an Entscheidungen beteiligt wird, die darüber bestimmen, wer lebt und wer stirbt, sei es keine Option, deren Rolle falsch zu gestalten.
Die Forschenden plädieren daher für ein gezieltes Feintuning an den KI-Systemen für solche Einsatzzwecke.
Die New York Times hat gegen OpenAI und Microsoft wegen unerlaubter Verwendung von Texten fürs KI-Training geklagt.
Intern gibt es bei diesen Unternehmen wohl schon lange viel Zustimmung für die Vorwürfe der Zeitung.
Martin Holland aus dem Heiser Online Newsroom fasst die neuesten Entwicklungen zusammen.
Das Training von KI-Modellen mit urheberrechtsgeschützten Texten, für deren Verwendung keine Erlaubnis eingeholt wurde.
wird auch bei KI-Unternehmen selbst durchaus kritisch gesehen und das ist noch eine harmlose Umschreibung, wie jetzt aus Dokumenten hervorgeht, die das Anwaltsteam der New York Times ans Licht der Öffentlichkeit gebracht hat.
Die Zeitung hat OpenAI und Microsoft genau wegen dieser Praxis schon vor fast zwei Jahren verklagt.
Und hat jetzt Zugriff auf Dokumente bekommen, wo es unter anderem heißt, bei Microsoft, dass es hier um den größten Diebstahl von Arbeitskraft in der Geschichte der Menschheit geht.
Um einen erstaunlichen Diebstahl von beispiellosem Umfang.
Und das hat nicht irgendjemand ganz weit unten bei Microsoft geschrieben, sondern der Leiter des Bereichs für angewandte Wissenschaft hat das eingestanden.
Bei OpenAI hat der Chef von ChatGPT im Sommer 2023 geschrieben und eingestanden, dass diese Praxis und auch das KI-Modell insgesamt eine existenzielle Bedrohung für die Presse darstellt und gleichzeitig auch anerkannt, dass man damit auch sich selbst quasi die Grundlage entziehen dürfte, weil die KI-Modelle brauchen ja diese Texte zum Training und wenn man der Presse und der New York Times und anderen die Geschäftsgrundlage entzieht, dann hat man selbst auch keine Möglichkeit mehr da.
die KI-Modelle mit menschengemachten Text zu trainieren.
Das sind einige dieser Zitate.
Es wird auch anerkannt, dass die KI Pressetext ersetzt, also was man ja teilweise dann öffentlich zurückgewiesen hat.
Also natürlich Leute, die eine Antwort von einem Chatbot bekommen, brauchen in vielen Fällen nicht mehr auf eine Nachricht zu klicken.
Und die Zahlen gibt es eben auch bei Microsoft, wo man sieht, dass da die Klicks um...
80 Prozent zurückgehen und mehr.
Auch das wird darin in diesen Dokumenten zitiert und gleichzeitig wird das Argument, das öffentlich vorgebracht wird von den KI-Unternehmen, nämlich, dass man das sogenannte Fair-Use-Prinzip damit, sodass das da Anwendung findet, also dass man die einfach verwenden darf, weil das eine faire Nutzung ist, dass man das intern bei diesen Unternehmen eben auch nicht glaubt.
Also da heißt es auch wieder von Brandhackt, dass dieses Argument würde es sich durchsetzen vor Gericht, den Begriff vollkommen lächerlich machen würde.
Also dass das natürlich gar nicht so ist.
Das kommt jetzt alles in diesen Dokumenten raus.
Und gleichzeitig wird anerkannt, dass man mit diesem KI-Training einen Teufelskreis in Gang gesetzt hat, der schließlich auch den KI-Modellen selbst schaden würde, weil die halt schlechter werden, wenn sie dann irgendwann keine Grundlagen fürs Training mehr haben.
Der OpenAI-Mitgründer Greg Brockman wird auch zitiert da drin.
Und zwar gibt es ein Beispiel, dass da seine Angestellten und Angestellte zu ihm gekommen sind und gesagt haben, sie haben einen Weg gefunden, wie sie die Paywall der New York Times für die Texte umgehen können und die Texte dann halt massenhaft abgreifen können, um die der KI zu füttern.
Und dann hat er nur gesagt, ah nice, oh nett.
Und an anderer Stelle hat er dann geschrieben, dass er zutiefst motiviert sei von den Unmengen, den Gazillions an Dollar, die JGPD immer einbringen würde.
Wie jetzt das Gericht damit umgeht, das muss ich noch zeigen.
Das ist alles im Fluss, das dauert alles noch.
Microsoft selbst haben sich zu diesen Veröffentlichungen noch nicht geäußert, aber da wird es schon dann noch eine Antwort geben.
Dankeschön, Martin.
Das französische KI-Unternehmen Mistral und Mozilla haben eine Partnerschaft bekannt gegeben.
Mistrals KI-Modell Small4 wird die Technologie hinter dem neuen Smart Window im Browser Firefox liefern.
Diese KI-gestützte Browser-Funktion soll Nutzenden proaktiv assistieren, indem sie Suchanfragen beantwortet und Informationen aus geöffneten Tabs zusammenfasst.
Ein zentraler Aspekt der Kooperation zwischen beiden Unternehmen ist der Datenschutz.
Mistral hat sich zu einer Zero-Data-Retention-Politik verpflichtet, bei der keine Nutzerdaten dauerhaft gespeichert werden.
Zunächst steht die Integration Nutzerinnen und Nutzern in den USA, Kanada und Frankreich zur Verfügung, Großbritannien und Deutschland sollen aber im Laufe des Jahres folgen.
Nachbarschaften tauschen sich oft in WhatsApp oder in Facebook-Gruppen aus.
Jetzt führt Amazons Smart Home Marke Ring eine eigene Nachbarschafts-App in Großbritannien ein und setzt dabei auf KI-Funktionen.
Wer sich dafür anmeldet, kann ein Radius zwischen 0,1 und 5 Meilen um den eigenen Wohnort festlegen, um dem Nachbarschaftsforum beizutreten.
Beiträge in den Foren werden von KI-Modellen auf die Einhaltung von Regeln überprüft.
Bei potenziellen Verstößen schalten sich menschliche Moderatoren ein, um die Inhalte zu prüfen.
Eine weitere KI-gestützte Funktion dient der Suche nach entlaufenen Haustieren.
Dabei erkennen die Türkameras von Ring automatisch, wenn zum Beispiel ein als vermisst gemeldeter Hund im Sichtfeld erscheint.
Die KI benachrichtigt dann die Besitzer privat.
Im Gegensatz zu den USA können diese Aufnahmen von den Türkameras allerdings noch nicht mit Ermittlungsbehörden geteilt werden.
Google öffnet sein Smart Home für KI-Agenten.
Gesteuert wird alles über das Home-MCP.
Dahinter steckt ein Server für das von Anthropic entwickelte Model Context Protocol.
Das ist ein offener Standard, der KI-Anwendungen mit externen Datenquellen und Werkzeugen verbindet.
Daniel Herbig von heise online weiß, was Google Home jetzt künftig kann.
Also Google Home kann künftig dann mit KI-Agenten wie Cloud oder OpenClaw interagieren, um Geräte zu steuern und Aufzeichnungen auszuwerten zum Beispiel.
mit Nesttürklingeln, mit Thermostaten, mit Glühbirnen.
Voraussetzung ist, dass diese Geräte Meta unterstützen.
Und die Agenten können dann zum Beispiel Fragen zur Aktivität im Haushalt beantworten.
Also zum Beispiel zusammenfassen, was die Kinder nach der Schule gemacht haben und die passenden Clips raussuchen von der Sicherheitskamera.
Oder man kann fragen, wie lange die Lichter an waren.
Solche Sachen, es gibt aber auch ein paar Schutzmechanismen, also zum Beispiel kann man mit den Agenten keine Türen öffnen.
Und Google warnt auch ganz explizit, dass damit Sachen schief laufen können.
Also die Rede ist von unerwartetem oder sogar unerwünschtem Verhalten.
Also die Nutzung ist mehr oder weniger auf eigene Gefahr.
Aktuell geht das aber sowieso nur in den USA und für Nutzer mit einem Google Home Abo.
Vielen Dank Daniel.
Wer in einer Familie wann, wo, was zu tun hat, kann kompliziert werden.
Google entwickelt daher einen experimentellen KI-Agenten CC zu einem digitalen Assistenten für Familien und Wohngemeinschaften weiter.
Der Agent soll den Alltag organisieren, indem er mit Daten wie E-Mails, Fotos und Kalendereinträgen versorgt wird.
Auf dieser Grundlage erstellt CC automatisch Tagespläne für jedes Familien- oder Gruppenmitglied, verwaltet Aufgaben, füllt Formulare aus und generiert Einkaufslisten oder Speisepläne.
Der Agent erhält ein eigenes Google-Konto und lernt dann kontinuierlich dazu, indem er alle bereitgestellten Informationen dauerhaft speichert und analysiert.
Er soll dabei zwischen familienweiten und individuellen Informationen unterscheiden können.
Frei verfügbar ist dieses Experiment CC nicht.
US-User können sich aber auf eine Warteliste für CC eintragen lassen.
GBT Astra spielt Videospiele durch, an denen alle Vorgängermodelle gescheitert sind.
Es schafft das, indem es aus jeder Erfahrung eine feste Regel ableitet.
Genau diese Eigenschaft führt aber auch dazu, dass Astra zum Beispiel in Minecraft nach einem Missgeschick stundenlang nur noch Kartoffeln anbaute.
Was dahinter steckt, erklärt Max Schreiner von The Dakota.
Ein Vergleich zu früheren Systemen macht den Sprung relativ deutlich.
Im Projekt GBT Plays Pokémon erreicht Astra in Pokémon FireRed den Champion-Titel nach 18 Stunden.
GBT 5.6 brauchte dafür 96 Stunden.
GBT 5.5 hat das Spiel selbst nach 218 Stunden nicht abgeschlossen.
Auch in anderen Spielen zeigt sich Astra vorne.
Das Aufbauspiel Factorio zum Beispiel gilt als besonders anspruchsvoll, weil Spieler komplexe Produktionsketten planen und automatisieren müssen.
Und der Start einer Rakete markiert hier einen zentralen Meilenstein.
Astra produzierte nach zwei Stunden erste Ergebnisse, die auf dem Weg zur Rakete wichtig sind, und schaffte den Start der Rakete nach etwa zehn Stunden.
Vorgängermodelle scheiterten dagegen schon an der Stromversorgung.
Dazu kommen jetzt abgeschlossene Durchläufe von Fallout 2 nach 22 Stunden und zuletzt auch von Fallout 3 nach 59 Stunden sowie eine überlebende Kolonie im Spiel RimWorld.
Diesen Sprung, den zeigte ein Benchmark bereits früh an, nämlich ArcGii 3.
Dieser Test setzt Modelle in unbekannte abstrakte Spielumgebungen und dort müssen sie dann durch eigene Aktionen herausfinden, welche Regeln eigentlich gelten.
Astra erreichte hier 99,9%, schlug den Benchmark also faktisch.
Der Vorgänger, GBD 5.6, kam gerade mal auf 7 bis 8%.
ArcPrice, die Organisation hinter dem Benchmark, sprach dann eben auch von einem sprunghaften Fortschritt.
Wie Astra das schafft, das beschreibt ArcPrice so.
Das System übersetzt unbekannte Spielmechaniken in kurze, symbolische Beschreibungen.
Es hält Objekte, Koordinaten und geplante Aktionen in einer selbstentwickelten Kurzschrift fest und aus Beobachtungen werden dann eben Regeln und aus diesen Regeln entwickelt das System dann Pläne.
Deutlich wird dieses Prinzip in den Spielen immer dann, wenn das Modell in schwierigen Spielabschnitten hängen bleibt.
Wenn eine Eingabe wirkungslos blieb, wiederholte AstraZene ich einfach, stattdessen suchte es die Ursache, hielt das Ergebnis fest und machte neue Pläne.
So schloss es etwa auf ein Hindernis in der Schusslinie in Fallout 3 und rückte dann immer näher an den Gegner heran.
Dieses Vorgehen bremste den Durchlauf zwar deutlich, da das Modell mehrere Überprüfungen durchführte, es brachte ihn aber eben nicht zum Stillstand.
In Minecraft kippte dieses Muster jedoch, Astra hatte dort nach weit über 100 Stunden schon fast die Zutaten für den Endkampf des Spiels beisammen, dann zerstörte die Explosion eines Creepers seine Truhe und den gesamten Vorrat, der notwendig war, um zu diesem Endkampf zu gelangen.
Astra notierte sich daraufhin die Regel, wichtige Gegenstände nie wieder in eine unbewachte Truhe zu lagern.
In den Notizen der folgenden Stunden misstraute Astra dann jedem hohen grünen Objekt, so sehen die Creeper aus, und hielt etwa fest, dass ein Zuckerrohr eben kein explosiver Gegner sei.
Sicher war für das System dann scheinbar nur noch der Kartoffelacker, dort baute es mehrere Stunden lang fast nur noch Kartoffeln an und verlor sein eigentliches Ziel aus den Augen.
Nach 141 Stunden brach der Betreiber den Versuch dann ab.
In festen Testumgebungen wie ArcGGI 3 hilft die Neigung, aus wenigen Versuchen die Spielregeln zu erschließen.
Auch in vielen anderen Spielen hat das Modell so gewonnen.
In einer offenen Welt wie Minecraft, wo es viele Zufallsereignisse geben kann, kann das aber scheinbar auch dazu führen, dass das Modell überkorrigiert.
Der Fortschritt gegenüber älteren Modellen bleibt dennoch groß und es zeigt, dass ARC-AGI 3 wie auch schon ARC-AGI 1 damals bei den Reasoning-Modellen eine Art Kanarienvogel in der KI-Kohlemine ist.
Denn als der Benchmark gefallen ist, haben wir tatsächlich neue Fähigkeiten gesehen.
Vielen Dank, Max.
Früher googelten Menschen bei Fragen.
Heute nutzen sie Tools wie ChatGPT.
Das Problem dabei ist, dass Chatbots nicht über echtes Wissen verfügen, sondern nur das wahrscheinlichste nächste Wort voraussagen.
Dabei kommt es immer wieder dazu, dass ChatGPT, Claude und Gemini Antworten überzeugt präsentieren, obwohl sie falsch sind.
Forschende von Google DeepMind haben nun untersucht, ob und wie KI-Modelle ihre eigene Unsicherheit bewerten.
Die Studie zeigt, dass die Modelle ein sogenanntes internes Konfidenzniveau nutzen, um zu entscheiden, ob sie eine Frage beantworten.
Bei geringer Sicherheit enthalten sie sich eher einer Antwort.
Durch gezielte Eingriffe in die neuronalen Netze konnten die Forschenden dieses Verhalten allerdings steuern.
Eine künstlich erhöhte oder gesenkte Zuversicht führte zu entsprechend weniger oder mehr Antwortverweigerung.
Diese steuerbare Selbsteinschätzung ist besonders für autonome KI-Agenten wichtig, betonen die Forschenden.
Sie müssen nämlich ihre eigenen Grenzen erkennen können, um zuverlässig zu agieren und die Verbreitung von Falschinformationen zu reduzieren.
Das war das KI-Update von Heise Online vom 18.
September 2026.
Eine neue Folge gibt es montags, mittwochs und freitags ab 15 Uhr.