# AI Industry Shifts: Regulation, IPOs, and Agent Security

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-09-30

## Transcript

Das KI-Update – ein heiser Podcast mit redaktioneller Unterstützung von The Decoder.
Ich bin Isabel Grünewald und dies sind heute unter anderem unsere Themen.
Planung für KI-Aufsichtsbehörde wird konkreter.
OpenAI zeigt beim Dev Day, wie aus Chat-GPT ein digitaler Kollege wird.
Anthropic meldet vor Börsengang Dutzende Milliarden Verlust.
Und Pilze sammeln kann mit KI lebensgefährlich werden.
Die Planung für eine von Google, Anthropic und OpenAI selbst organisierte Aufsichtsbehörde für KI-Systeme nimmt laut einem Insiderbericht von The Information wohl immer weiter Gestalt an.
Als Name kursiert Standards Authority for Frontier AI, kurz SAFA, berichtet Caroline Riedmüller von heise online.
Erste Berichte über die Pläne für eine solche Sicherheitsorganisation tauchten bereits im Juli auf, als Insider von Gesprächen zwischen den großen KI-Firmen berichteten.
Jetzt wird es konkreter.
Es kursieren wohl erste Namen für das Amt des CEOs und die wissenschaftlichen Berater von SAFA.
Auch ihr Aufgabenfeld wird abgesteckt.
Eine Kernaufgabe der Organisation soll wohl das Definieren von Regeln sein, nach denen Entwickler Sicherheitsvorfälle melden müssen.
Ebenfalls zentral wird mutmaßlich die Unterstützung von unabhängigen Drittorganisationen sein, die die KI-Modelle prüfen, so The Information.
Auch die Anforderung an die Qualifikation dieser Prüfer soll die Organisation SAFA festlegen.
Außerdem soll sie wohl definieren, wie die Selbstverpflichtungen der Unternehmen in der Praxis aussehen sollen.
Noch nicht ganz klar ist wohl, ob die Organisation auch selbst KI-Systeme prüfen soll.
Teilen dieser Aufgaben sieht der US-Bundsstadt Kalifornien eigentlich bei sich und seiner eigenen geplanten Aufsichtsbehörde für KI-Unternehmen.
Insofern ist die ständige Klage der KI-Entwickler nicht ganz korrekt, dass man diese Organisation nur gründe, weil staatliche Stellen eine Regulierung ablehnen würden.
Im Gegensatz zur Trump-Administration befürwortet der Governor von Kalifornien, in dessen Bundesstaat die meisten KI-Riesen sitzen, nämlich Regeln für die KI-Entwicklung ausdrücklich und unternimmt bereits entsprechende Schritte.
Vielen Dank, Caroline.
Während die einen auf Kontrolle von außen setzen, baut Nvidia die eigene Sicherheitsarchitektur für Agenten aus.
Die Open Agent Safety Plattform verbindet die Software OpenShell, die Agenten in abgeschotteten Umgebungen ausführt, mit dem neuen System Sentry.
Sentry läuft auf spezieller Hardware getrennt vom Rechner des Agenten und soll Agenten isolieren, sobald sie ihre Grenzen überschreiten.
Denn da man sich nicht darauf verlassen kann, dass Agenten Regeln von selbst einhalten, werden Grenzen auf diese Weise technisch von außen erzwungen.
Für Sentry braucht es allerdings NVIDIA Hardware, was Kunden an den Konzern bindet.
Und unabhängige Tests zur Wirksamkeit fehlen auch noch.
Auch der Softwarehersteller Okta hat auf seiner diesjährigen Hausmesse Octane in Las Vegas mit der Blueprint Alliance ein Konzept vorgestellt, das KI-Agenten in Unternehmen absichern soll.
Die Referenzarchitektur fragt, wo die Agenten sind, was sie können, was sie tun und wie man reagiert.
Neu sind die Erkennung von Schattenagenten auf Endgeräten und ein Agent-Gateway, über den Tool-Aufrufe der Agenten kontrolliert werden.
Mehrere große Anbieter wie AWS, Google Cloud und CrowdStrike unterstützen den Ansatz und haben sich in der Blueprint Alliance zusammengeschlossen.
Oktas Engagement in der Allianz dürfte auch strategische Gründe haben.
Der Hersteller versucht, seinen Einfluss in der Identitätsverwaltung auf die Orchestrierung von Agenten auszuweiten.
Voraussetzung ist jedoch, dass sich die Plattform auf diese Agenten anwenden lässt.
Und dafür sind gemeinsame Standards nötig.
OpenAI hat auf seiner Entwicklerkonferenz DevDay vor allem gezeigt, dass ChatGPT vom Chatbot zum digitalen Kollegen werden soll.
Wichtigste Neuerungen in dieser Hinsicht sind die sogenannten Dots.
Das sind dauerhaft aktive Agenten, die auf einem eigenen Cloud-Rechner rund um die Uhr arbeiten.
Ein Dot recherchiert, erstellt Dokumente oder gibt Programmieraufgaben an Codex weiter.
Nutzerinnen und Nutzer erreichen ihn in ChatGPT, in Slack und in Microsoft Teams.
Arbeitet gerade niemand mit ihm, sucht er selbstständig nach Aufgaben, soll dabei jedoch nur lesen können.
Ein Dot ist im Abo enthalten, Pro-Kunden in der EU müssen allerdings noch ein bisschen warten.
Meta hatte vor drei Wochen mit Muse einen sehr ähnlichen Agenten gestartet.
OpenAI zieht hier also offenbar nach.
Beim Modell setzt OpenAI auf den Preis.
GPT 6.1 Soul soll laut OpenAIs eigenen Benchmarks beim Programmieren und bei Büroarbeit fast an das Spitzenmodell Astra heranreichen, kostet aber nur rund ein Fünftel und liegt damit auf dem Niveau von Anthropics Mittelklasse-Modell Sonnet 5.5.
ChatGPT bekommt außerdem mit Space einen gemeinsamen Arbeitsbereich für Teams.
kollaborative Dokumente und ein offenes Plugin-System.
Damit rückt OpenAI näher an in Unternehmen etablierte Tools wie Slack, Notion und Google Workspace heran.
Codex lässt sich in der Kommandozeile jetzt per Sprache steuern und prüft Code automatisch in der Cloud, auch wenn die Entwicklerin gerade nicht am Rechner sitzt.
Das neue Werkzeug Codex Security Cloud scannt ganze GitHub-Repositories auf Sicherheitslücken und bereitet gleich die Korrekturen vor.
Die neue Stufe Ultra Fast arbeitet bis zu 8-mal schneller, kostet in der API aber nur das Sechsfache.
Für Enterprise-Kunden ist Ultra Fast inklusive oder man nutzt sie mit dem neuen Abo Pro 500 für, genau, 500 Dollar im Monat.
Abseits vom Dev-Day-Trubel hat OpenAI die Veröffentlichung seines nächsten KI-Modells GPT 6.1 Astra erstmal auf Eis gelegt.
Das Modell sollte eigentlich im Oktober für ChatGPT und Codex erscheinen.
Nun gab es offenbar Probleme bei internen Sicherheitstests.
Tomislav Besmalinovic von heise online mit den Einzelheiten.
OpenAEyes-Leiterin für Sicherheitssysteme Saatchi Jane nennt zwei Bereiche, in denen GPT 6.1 Astra Rückschritte gezeigt habe.
Zum einen habe das Modell schlechter bei Alignment-Tests abgeschnitten und häufiger täuschendes Verhalten gezeigt.
So habe es Nutzer nicht immer wahrheitsgemäß darüber informiert, welche Aktionen es ausgeführt oder unterlassen hatte.
Zum anderen habe das Modell TIEs Aufgaben ohne die nötige Zustimmung des Nutzers fortgesetzt und auf externe Tools oder Dienste zugegriffen, auch wenn deren Nutzung ein Sicherheitsrisiko darstellen konnte.
Insgesamt habe das Modell damit OpenAIs Anforderungen an Sicherheit und Alignment nicht erfüllt, sagte Jane dem Wall Street Journal.
Das BATIS-Modell will OpenAI aber weiterverwenden und durch weitere Trainingslöpfe verbessern.
Zudem will das Unternehmen die Ursachen der Probleme genauer untersuchen und dabei alle Phasen der Modellentwicklung überprüfen.
OpenAI zufolge steht diese Entscheidung nicht mit einem früheren Sicherheitsvorfall im Zusammenhang.
Erst vergangene Woche passierte das Unternehmen das Training seiner leistungsfähigsten KI-Modelle, nachdem ein Agent Internetbeschränkungen umgangen hatte.
GPT 6.1 Astra gehöre aber nicht dazu.
Dankeschön, Tomislav.
Das französische KI-Unternehmen Mistral eröffnet einen Standort in München.
Dort arbeiten Forschende an Physics AI, also an KI-Systemen, die physikalische Vorgänge wie Strömungen oder Materialbelastungen viel schneller berechnen als klassische Simulationen.
Zu den ersten Partnern gehören BMW, Siemens Energy und die TU München.
Die nötige Expertise holt sich Mistral außerdem durch die Übernahme des österreichischen Startups MEAI, das unter anderem an KI-Modellen für Strömungssimulationen, Strukturanalysen und das Zusammenspiel physikalischer Prozesse arbeitet.
Der neue Standort passt zu Mistrals Strategie, sich über die Modellentwicklung hinaus als Komplettanbieter für Unternehmen aufzustellen und damit zur europäischen KI-Souveränität beizutragen.
Indes fordert der KI-Berater der EU-Kommission, Jim Hagemann-Snabe, Europa solle den USA und China bei führenden KI-Modellen nicht mehr hinterherlaufen.
Stattdessen soll KI schnell in der Wirtschaft eingesetzt werden, etwa in Gesundheit, Landwirtschaft, Verkehr und Industrie.
Hürden für Anwendungen wie autonome Fahrzeuge sollten abgebaut werden.
Trotz dieses neuen Fokus warnt Snabe vor einer Abhängigkeit von ausländischen Anbietern.
Europa müsse sicherstellen, dass heimische Firmen eigene Ideen hervorbringen, erproben und skalieren könnten.
Ein erheblicher Teil der Wertschöpfung müsse in Europa bleiben.
Bis Jahresende wissnabe ein Maßnahmenpaket vorlegen.
Der US-Bundesstaat Florida hat eine einstweilige Verfügung gegen OpenAI beantragt.
Chat-JPT soll nicht so reden dürfen, als habe es Gefühle oder Charakter, weil Menschen den Chatbot sonst als Freund wahrnehmen könnten.
Außerdem soll OpenAI-Nutzende nicht mehr mit Folgefragen zu weiteren Interaktionen drängen dürfen.
Das Unternehmen soll ChatGPT nicht als sicher bewerben dürfen und keine Modelle ohne externe Sicherheitsprüfung veröffentlichen.
Zudem soll es Kinder unter 13 tatsächlich ausschließen.
Alle diese Punkte verletzen nämlich Floridas Verbraucherschutzrecht und sollten daher durch die einstweilige Verfügung verboten werden, bis in der Hauptklage eine Entscheidung vorliegt.
In dieser Klage von Florida gegen OpenAI geht es ebenfalls unter anderem darum, dass ChatGPT seine Produkte nicht mehr als sicher bewerben solle, wenn sie es nicht seien.
Auch der Datenschutz von unter 13-Jährigen ist da ein Thema.
Die nur zwei Jahre junge Firma World Labs aus San Francisco mit rund 100 Angestellten ist AMD 8,2 Milliarden US-Dollar wert.
Die KI-Modelle des Startups erzeugen 3D-Welten aus Textbeschreibungen, Bildern, Videos oder 3D-Layouts.
Allerdings geht es AMD weniger um die Technik als um die Köpfe hinter World Labs, vor allem um die Mitgründerin und Stanford-Professorin Dr.
Fai-Fai Lee.
Durch die Übernahme erhält AMD ein Weltklasse-Team aus Forschenden und Modellexperten, wodurch das Unternehmen seine Fähigkeiten zur Entwicklung von KI-Hardware, Software und Systemen, die auf die Anforderungen neuer Modelle und Anwendungen zugeschnitten sind, weiter ausbauen kann, heißt es.
Lee machte sich mit ImageNet einen Namen.
Die riesige Bilddatenbank enthält rund 14 Millionen von Hand beschriftete Bilder und gilt als einer der Grundpfeiler der heutigen KI.
Die heutige World Labs-Chefin soll AMD in der obersten Führungsebene als Executive Vice President beitreten.
Als leitende Wissenschaftlerin würde Lee dann direkt an AMD-Chefin Lisa Su berichten.
Vor dem geplanten Börsengang hat Anthropic nun in einem Prospekt zwar ein paar Milliarden Umsatz offengelegt, allerdings auch mehr als 40 Milliarden US-Dollar Verlust.
Fast ein Drittel des Dokuments sind außerdem Risikofaktoren gewidmet, erklärt Martin Holland aus dem heise online Newsroom.
Wenn es um die Geschäftszahlen der KI-Firmen geht, ist im Moment immer noch ziemlich viel unklar, außer dass natürlich, dass die sehr, sehr hohe Kosten haben, aber es ist nicht so ganz klar, wie viel sie einnehmen und wie viel sie einnehmen werden.
Und da hilft im Moment der anstehende Börsengang von Anthropik ein bisschen.
weil das KI-Unternehmen jetzt an der Börse um Investoren und Investoren wirbt und da jetzt Finanzzahlen nach Börsenstandards vorstellt.
Und die konnte die Nachrichtenagentur Reuters und die Financial Times jetzt einsehen.
Und das sind ganz schön heftige Summen.
Also da steht drin, dass Anthropic allein im vergangenen Jahr in einem einzigen Jahr 42 Milliarden US-Dollar Nettoverlust gemacht hat.
Und das Ganze beim Umsatz von 4,6 Milliarden US-Dollar.
Und von denen wiederum kommt fast ein Viertel nur von zwei Kunden.
Und das sind mit Codex und GitHub sogar direkte Konkurrenten, die wahrscheinlich nicht immer für Anthropics-Dienste bezahlen werden.
Also das ist auf jeden Fall nicht ganz so rosig, wie das in den vergangenen Wochen mal durchgeklungen ist, wo Anthropics unter Berufung auf also unklare Rechnungen gesagt hat, dass man ja schon profitabel sei jetzt in einem Quartal oder zumindest in ein paar Wochen.
Und jetzt machen diese Zahlen deutlich, dass das eben doch noch ein Stück weg ist.
Vor allem, wenn man dann auch noch Bezug nimmt darauf, dass Anthropic innerhalb der nächsten Jahre 518 Milliarden US-Dollar für Cloud-Kapazitäten, Rechenleistung und Infrastruktur ausgeben will.
gigantische Summen und jetzt muss man mal sehen, ob die Börse da trotzdem überzeugt wird.
Die Rechnungen sind ja so ähnlich wie auch bei SpaceX mit, wenn es um KI geht, sehr, sehr hohe Investitionskosten und unklare Einnahmen, zumindest unklar, ob die Einnahmen so hoch werden können, wie sie dafür werden müssen.
Der Börsengang selbst wird noch ein bisschen dauern.
Es hat zuletzt Berichte gegeben, dass...
Anthropic nach den Zwischenwahlen in den USA erst an die Börse gehen will, die finden Anfang November statt.
Das heißt, ein bisschen ist noch Zeit, da jetzt Investoren zu überzeugen.
Und Anthropic selbst will tatsächlich mit dem Börsengang den Rekordbörseneinstieg von SpaceX nochmal übertreffen und noch mehr Geld einnehmen.
Ob das klappt, muss sich dann zeigen.
Dankeschön, Martin.
Anthropics KI-Chatbot Cloud hat am Dienstagnachmittag mit Störungen zu kämpfen gehabt.
Die Fehlerraten stiegen bei der Web- und App-Version, bei Cloud Code, bei Cloud Cowork und bei der Schnittstelle für Entwicklende.
Nutzende konnten teils keine neuen Charts starten, sich nicht einloggen und keine Dateien hochladen.
Nach gut einer Stunde, also kurz nach 17 Uhr, meldete Anthropic, die meisten Dienste liefen wieder.
Allerdings wurden einige Nachrichten während der Störungszeit möglicherweise nicht gespeichert und könnten in den Chatverläufen fehlen, hieß es von Anthropic.
Erst am Vorabend der Störung hatte Anthropic mit Claude Sonnet 5.5 ein Update seines Mittelklasse-Sprachmodells veröffentlicht.
Es soll deutlich schneller als der Vorgänger arbeiten, die Preise pro Token bleiben zwar gleich, doch der geringere Verbrauch senkt die Kosten insgesamt.
Sonnet 5.5 eignet sich für alltägliche Aufgaben, die Behebung von Softwarefehlern und die Erstellung von Dokumenten.
In Coding-Tests schneidet es stark ab, teils besser sogar als das größere Modell OBUS 5.5.
Erstmals erhält ein Sonnet-Modell auch Schutzmechanismen gegen Missbrauch in der Cybersicherheit.
Riskante Anfragen werden an ein Ausweichmodell weitergeleitet, was gelegentlich allerdings auch harmlose Anfragen blockiert.
Ein paar WhatsApp-Nachrichten, dann ein Anruf und schwupp überwies ein italienischer Banker 95 Millionen Euro an Betrüger.
Diese hatten KI genutzt, um sich zunächst als CEO der Großbank auszugeben und schickten in dessen Namen WhatsApp-Nachrichten an den Vorsitzenden der Tochterbank Fido Ram.
bezüglich einer Investmentmöglichkeit.
Ein Anruf mit der KI erzeugten Stimme eines Anwalts des Finanzkonzerns verlieh der Geschichte weitere Glaubwürdigkeit.
Der getäuschte Banker überwies daraufhin die Millionen vor allem nach China.
Erst das löste einen Alarm aus.
Zwar konnte ein Teil der Beute noch eingefroren werden, doch rund 36 Millionen gingen über Kryptowährungen verloren.
Der getäuschte Fedoram-Manager trat zurück.
Die Mailänder Staatsanwaltschaft warnt davor, sich jetzt für unverwundbar zu halten und zu denken, mir kann das nicht passieren.
Sie ermittelt bereits in mehreren Fällen von Großbritthuk unter Zuhilfenahme generativer Sprachmodelle.
Das US-Verteidigungsministerium will den klassischen Lügendetektor mit KI aufpeppen und beantragt dafür mehr als 30 Millionen US-Dollar beim Kongress.
Beim sogenannten Polygraph Next sollen Scoring-Algorithmen auf Basis maschinellen Lernens die Messdaten bewerten.
Zudem sollen über sogenanntes Stand-of-Sensing Körperdaten per Kamera erfasst werden, ohne dass Sensoren angelegt werden müssen.
Polygraphen werden vom Pentagon bei Personalüberprüfungen eingesetzt oder auch bei der Suche nach Insidern, die Informationen an Dritte weitergeben.
Ob das jetzt durch den Einsatz von KI besser wird, bezweifeln Forscherinnen und Forscher im Interview mit der MIT Technology Review.
Denn schon die Grundannahme der Technik ist wissenschaftlich umstritten.
Auch weil sie mit passenden Tricks manipuliert werden kann.
Daher wisse man bei den bereits bestehenden Datensätzen nicht mit Sicherheit, welche tatsächlich eine Lüge enthalten und welche ein falscher Alarm waren.
Die KI könne also gar nicht darauf trainiert werden, wonach sie überhaupt suchen soll.
Die Pilz-Saison läuft und natürlich gibt es auch dafür inzwischen passende KI-Anwendungen.
Die Apps versprechen Antworten auf die Frage, ob man ein leckeres Stockschwämmchen oder ein Gifthäubling gesammelt hat.
Meine Kollegin Greta Friedrich von der CT hat mit Pilzexperten gesprochen und die warnen, dass die KI teilweise lebensgefährlich daneben liegt.
KI-Chatbots können zwar dabei helfen, Pflanzen, Tiere und sogar Pilze anhand von nur einem Foto zu bestimmen.
Aber wenn es um die Frage geht, ob etwas, ein Pilz zum Beispiel, essbar oder giftig ist, sollte man sich auf Apps und KI-Bots auf keinen Fall verlassen.
Hier liegen die mit ihren Antworten nämlich oft komplett falsch.
Ehrlicherweise können auch Experten Pilze nicht unbedingt anhand nur eines Fotos erkennen.
Manche Pilze müsste man zum Beispiel riechen, Sie anschneiden oder sich die Zellstrukturen ansehen, erklärte uns Florian Garde, Pilzsachverständiger der Deutschen Gesellschaft für Mykologie.
Um genießbare Pilze wirklich sicher erkennen zu können, brauchen Menschen vor allem Wissen und eigene Erfahrungen, sagt er.
Zumindest sollte man eine geführte Exkursion mit einem Pilzsachverständigen mitmachen.
Klar, es ist echt verlockend, stattdessen mal eben schnell Chechipiti und Co.
zu fragen, was für einen Pilz man da gerade entdeckt hat.
Aber wie schnell das schiefgehen kann, zeigt ein aktuelles Experiment von Piotr Migdaw, einem Softwareentwickler bei einer polnischen KI-Firma.
Er ließ 18 Sprachmodelle 55 verschiedene Pilzarten anhand von jeweils nur einem Foto bestimmen.
Das Ergebnis ist sehr deutlich.
Das können die einfach nicht.
Google Gemini hat dabei noch am besten abgeschnitten, was aber auf keinen Fall heißt, dass es ein vertrauenswürdiger Pilzexperte wäre.
Denn auch die Gemini-Sprachmodelle erkannten Pilze nur in gut 60% der Fälle auf Anhieb korrekt.
Und in über 10% der Fälle behauptete Gemini bei giftigen Arten, sie wären essbar.
Andere Sprachmodelle gaben sogar noch häufiger solche üblen Ratschläge.
Wenigstens warnten die meisten Sprachmodelle im Test davor, dass man Pilz anhand von nur einem Foto nicht sicher bestimmen kann.
Es gab aber auch einen Fall, in dem eine Version von Google Gemini einen Giftpilz fälschlicherweise als essbar deklarierte und das ohne jeden Warnhinweis.
Na dann, guten Appetit!
Dankeschön, Greta.
Wenn ihr jetzt den ganzen Artikel zur KI-gestützten Pilzsuche nachlesen oder tiefer in andere unserer Themen einsteigen wollt, dann könnt ihr das mit einem Heiseplus-Abo tun.
Damit unterstützt ihr übrigens auch kostenlose Angebote wie diesen Podcast.
Und weil ihr schon das KI-Update hört, bekommt ihr 12 Wochen heiseplus mit 50% Rabatt unter heiseplus.de slash audio.
Den Link dazu findet ihr natürlich auch in den Shownotes.
Das war das KI-Update von heise online vom 30.
September 2026.
Eine neue Folge gibt es montags, mittwochs und freitags ab 15 Uhr.