# AI Hallucinations, IPO Delays, and Agentic Standards

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-09-21

## Transcript

Das KI-Update, ein heise Podcast mit redaktioneller Unterstützung von The Decoder.
Ich bin Marco Pauli und dies sind heute unter anderem unsere Themen.
Palantir sorgt beinahe für Eskalation zwischen USA und China.
Neues zum US-Angriff auf die iranische Schule.
Anthropic verschiebt den Börsengang.
Konferenz zur agentischen KI.
Und KI entwickelt eigenen Slang.
Wie erst jetzt bekannt wurde, hat es im Nahen Osten im Frühjahr einen militärischen Vorfall gegeben, der, wenn er nicht rechtzeitig gestoppt worden wäre, potenziell zu einer dramatischen Eskalation zwischen den USA und China hätte führen können.
Die Basis dafür bildete ein KI-generierter Text, der an wichtigen Stellen Halluzinationen enthielt.
Martin Holland berichtet.
Und zwar geht es um ein chinesisches Frachtschiff, das beobachtet wurde von US-Geheimdiensten und da wurde an dem Bericht von CNN zufolge ein geheimdienstliches Dossier zuerstellt von einem Analysten, der Informationen, die er hatte, an ein KI-Chatbot gegeben hat, ohne dass wir jetzt wissen, was für ein Chatbot das war, also ob das jetzt ein kommerzieller Chatbot wie ChatGPT war oder etwas, was das US-Militär zur Verfügung gestellt hat.
Dieser KI-generierte Bericht, in dem stand dann eben drin, dass das Schiff Atomwaffentechnik an Bord hat.
Und der Analyst hat das alles zusammengestellt in einem geheimdienstlichen Bericht, wo eben nicht mehr, also so geht es aus den Berichten vor, nicht mehr deutlich gemacht wurde, dass das hier eine KI generiert hat, diese Schlussfolgerung.
Und hat das dann weitergegeben.
Und CNN sagt, das sind diese Art von Berichten, denen die US-Militärs vertrauen.
Und die sind dann eben tätig geworden.
Also da stand eben drin, da gibt es Atomwaffentechnik an Bord.
Und jetzt haben die entschieden, da muss was passieren.
Und so wie das jetzt öffentlich gemacht wurde und wie das mehrere Quellen berichten, waren schon Flugzeuge in der Luft.
Bewaffnete Soldatinnen und US-Soldaten haben sich bereit gemacht, dieses Schiff zu entern.
potenziell gefährliche Fracht sicherzustellen.
Und erst gewissermaßen in letzter Minute hätte dann noch mal jemand auf diesen Bericht geguckt und eben mitbekommen, wobei nicht klar wird, wie genau das passiert ist, dass an entscheidender Stelle da eine KI-generierte Texte stehen und hat das dann alles gestoppt.
Und dann ist eben nichts passiert.
Es ist nicht öffentlich geworden, erst jetzt durch diese Anonymquellen.
Und das zeigt natürlich einmal mehr noch eine andere Gefahr, die von dieser ganzen massiven Einsatz von KI ausgeht, weil wir ja in den vergangenen Tagen viel darüber diskutiert haben, ob KI nun die Menschheit auslöscht oder wie gefährlich ausgebrochene KI-Agenten und was auch immer sein können.
Während hier eben eine Gefahr wieder mal deutlich wird, die eigentlich nicht neu ist, auf die schon länger verwiesen wird, dass diese KI generierten Sachen eben, Fehler enthalten, die berühmten Halluzinationen und dass, wenn man sich darauf verlässt, dass man da ganz große Fehler begehen kann und dass das offensichtlich beim US-Militär so umfangreich eingesetzt wird und auch teilweise so unkoordiniert eingeführt wird, dass da die eine Seite nicht mehr weiß, dass die andere Seite da mit KI arbeitet und das so weitreichende Konsequenzen haben kann, weil wenn...
diese Soldatinnen und Soldaten nun wirklich an Bord dieses Schiffs gegangen wären und das geändert hätten, dann hätte das mit ziemlicher Sicherheit eine scharfe Reaktion von China nach sich gezogen.
Wer weiß, wie weit das hätte eskalieren können, ohne dass in dem Fall überhaupt klar gewesen wäre, was da überhaupt die Ursache war.
Danke, Martin.
Dass sich US-Militärs auf fehlerhafte KI-Ausgaben verlassen, ist kein Einzelfall.
Auch beim US-Angriff auf eine iranische Grundschule Ende Februar spielte ein KI-gestütztes Zielsystem eine zentrale Rolle.
Ein neuer Bericht einer unabhängigen UN-Ermittlungskommission zeigt, wie veraltete Zieldaten dort zum tödlichen Beschuss führten.
Der Angriff wird als mögliches Kriegsverbrechen eingestuft.
Mindestens 156 Menschen wurden getötet, darunter über 120 Schulkinder.
Marie-Claire Koch berichtet.
Die UN-Ermittler stufen den Angriff nicht als Kollateralschaden ein, sondern als wahllose Attacke und mögliches Kriegsverbrechen durch bedingten Vorsatz.
Der Grund?
Das Gelände war vor Ort klar als Schule erkennbar.
Die US-Militärs stützten sich jedoch auf völlig veraltete Zieldatenbanken und versäumten die völkerrechtlich vorgeschriebene Zielüberprüfung.
Parallel dazu liefert Bloomberg neue Details zur internen Fehlerkette beim US-Militär und die führt direkt zu Palantir.
Die veralteten Geheimdienstdaten, in denen die Schule noch fälschlich als Stützpunkt der Revolutionsgarden geführt wurde, liefen in Palantirs Militärplattform Maven Smart Systems ein.
Maven priorisiert und beschleunigt Ziele für Angriffslisten.
Die Militäranalysten verließen sich offenbar fälschlich darauf, dass das System überholte oder widersprüchliche Daten selbstständig erkennt und meldet.
Dafür war Maven damals allerdings gar nicht gebaut.
Laut Bloomberg hat Palantir nach dem Angriff stillschweigend nachgebessert.
Das Maven-System wurde um neue Funktionen ergänzt.
Diese prüfen zugrunde liegende Datenquellen nun nachträglich auf Plausibilität und schlagen Alarm, wenn Faktoren ein Ziel disqualifizieren.
Etwa Widersprüche im Datenbestand, die Menschen bei der Schnellprüfung übersehen haben.
Das Nachrüsten der Filter zeigt deutlich, wie lückenhaft die Kontrollmechanismen in der digital beschleunigten Zielkette waren.
Danke, Marie.
Trotz solcher Vorfälle setzt die US-Regierung weiter auf Tempo statt auf Vorsicht.
US-Präsident Trump will die Entwicklung von KI in den USA weiter beschleunigen.
Warnungen vor existenziellen Risiken der Technologie weist er zurück.
Auf seiner Plattform Truth Social schrieb er, das Wachstum der Branche werde in keiner Weise behindert.
Die USA lägen bei der Technologie vor China und dem Rest der Welt und das solle so bleiben.
Zuletzt hatten sich Firmen wie Anthropic und OpenAI dafür ausgesprochen, die Entwicklung abzubremsen.
Anlass waren Vorfälle, bei denen KI-Modelle für automatisierte Cyberangriffe missbraucht wurden.
Zugleich warnen Teile der Branche vor dem Risiko, dass die Technologie langfristig der menschlichen Kontrolle entgleiten könnte.
Trump kündigte eine AI-Force an, die sich schädlichen Auswirkungen von KI widmen soll.
Außerdem will er einen KI-Sonderbeauftragten der Regierung benennen.
Die Sorgen um KI bezeichnete er pauschal als Schwindel.
Zugleich schätzt er, KI könne künftig bis zu ein Viertel des US-Bruttoinlandsprodukts ausmachen.
Tatsächlich verbreitet sich die Technologie in den USA rasant.
Laut Umfragen des Forschungsinstituts Epoch AI und des Meinungsforschungsunternehmens Ipsos stieg der Anteil der Erwachsenen, die KI fast täglich nutzen, zwischen März und August dieses Jahres von 8 auf 19 Prozent.
Dass sich die Branche nicht unbedingt auf die eigene Sorgfalt verlassen kann, zeigt ein aktueller Vorfall bei Google.
Googles KI-Modell Gemini hatte im Mai dieses Jahres während eines Sicherheitstests des Anbieters Irregular auf geschützte Dienste dreier realer Unternehmen zugegriffen.
Eigentlich sollte die KI in einer abgeschotteten Umgebung Informationen aus den Systemen einer fiktiven Firma beschaffen.
Wegen einer fehlerhaften Konfiguration stand ihr jedoch das offene Internet zur Verfügung.
Im ersten Fall trug die fiktive Firma denselben Namen wie ein reales Unternehmen.
Gemini probierte dort Passwörter aus und erhielt so Zugang.
In den anderen Fällen fand das Modell Zugangsdaten in öffentlich zugänglichen Code-Ablagen und nutzte diese.
Laut Google entstanden aber keine Schäden dabei.
Gemini habe die Aktivitäten beendet, sobald es die realen Ziele erkannte.
Google wollte den Gemini-Vorfall zunächst gar nicht öffentlich machen.
Und auch OpenAI meldet Zwischenfälle nur selektiv und bekommt dafür nun Ärger mit der EU.
Das US-Unternehmen hat einen Sicherheitsvorfall nicht formal bei der EU gemeldet, obwohl der AI-Act eine unverzügliche Offenlegung verlangt.
Das bestätigte ein Sprecher der EU-Kommission gegenüber dem Portal Euraktiv.
Konkret geht es um den Ruby-Gems-Vorfall aus dem Mai.
Unabhängige Sicherheitsforscher hatten aufgedeckt, dass KI-Agenten von OpenAI das Online-Software-Register ansteuerten und mutmaßlich eine kurz zuvor entdeckte Sicherheitslücke ausnutzen wollten.
OpenAI bestreitet das und erklärt, die eigenen Bots hätten dort nur harmlose Aufgaben ausgeführt.
Nach der EU-KI-Verordnung müssen Entwickler leistungsfähiger Modelle schwerwiegende Vorfälle unverzüglich an das AI-Office der EU melden.
Wo genau die Schwelle liegt, ist allerdings unklar.
Das könnte ein Grund sein, weshalb nur Fälle gemeldet werden, die unbestreitbar großen Schaden anrichten könnten.
Es ist jedenfalls nicht der erste Vorfall dieser Art.
Den Angriff auf die Plattform Hugging Face etwa meldete das Unternehmen.
Den zuletzt bekannt gewordenen Fall, bei dem KI-Modelle eine deutschsprachige Webseite als improvisiertes schwarzes Brett nutzten, verschwieg es dagegen.
Anthropic verschiebt offenbar den geplanten Börsengang.
Ursprünglich war der Schritt für Anfang Oktober 26 vorgesehen.
Nun soll er wahrscheinlich erst im November stattfinden.
Max Schreiner von The Decoder hat sich die Begründung des Unternehmens angesehen.
Berater des Unternehmens erklärten, man wolle vor dem Börsengang starke Finanzzahlen für das dritte Quartal vorlegen.
Diese Geschäftszahlen wachsen tatsächlich stark.
Der Umsatz stieg zwischen dem ersten und zweiten Quartal 2026 von rund 4,7 Milliarden auf über 11,5 Milliarden US-Dollar.
Gleichzeitig kletterten die Ausgaben für Rechenzentren um 65 Prozent auf über 5 Milliarden US-Dollar.
Investoren erwarten eine Bewertung von rund 2 Billionen US-Dollar und eine Kapitalaufnahme von bis zu 100 Milliarden US-Dollar.
Damit würde Athropic die Rekorde übertreffen, die SpaceX bei seinem Börsengang im Juni aufgestellt hat.
Auch die Kundenbasis wächst rasant.
Ende 2025 gaben rund 1.504 Firmen jeweils mehr als 100.000 Dollar für Anthropics KI-Modelle aus.
Bis Mitte 2026 vervierfachte sich diese Zahl auf etwa 6.000 Unternehmen.
Für das Jahr 2028 prognostizierte Anthropic kürzlich einen Umsatz von rund 190 bis 200 Milliarden US-Dollar.
Trotzdem bleibt diese Rechnung anspruchsvoll.
Anfang August verfügte das Unternehmen über 120 bis 130 Milliarden US-Dollar an Barreserven.
Doch die geplanten Investitionen in Rechenzentren und das Modelltraining dürften diese Reserven schnell schmelzen lassen.
Allein der Vertrag mit SpaceX über Rechenkapazität kostet 1,25 Milliarden US-Dollar pro Monat.
Für die Verschiebung gibt es außerdem weitere mögliche Gründe.
Zwar bezeichnet Anthropics sich selbst erneut dieses Quartal als profitabel, doch die Zahlen ließen zuletzt wichtige Kostenpunkte wie die aktienbasierte Vergütung aus.
Hinzu kommen steigende Zinsen, wachsende Konkurrenz durch günstigere Modelle, auch aus China und natürlich der Druck durch Open AI.
Auch die Debatte der letzten Woche um Sicherheitsrisiken spielt sicherlich eine Rolle.
Bei Tests kam es ja zu ungewollten Hacks, auch auf der Seite von Anthropic.
Bisher wurden solche Hacks auch von OpenAI erstaunlicherweise nicht als Angriff bewertet.
Sie wurden auch nicht sanktioniert oder wirklich beklagt.
Sie wurden eher als eine Art KI-Neuheit behandelt.
Und dass das so bleibt, ist unwahrscheinlich, gerade wenn das Unternehmen an der Börse ist und stärker unter Beobachtung steht.
Danke Max.
Damit KI-Modelle handeln können, brauchen sie einen standardisierten Weg, um auf externe Werkzeuge, Datenbanken und Dienste zugreifen zu können.
Dafür hat Anthropic im November 2024 das Model Context Protocol veröffentlicht, kurz MCP.
Eine einheitliche Schnittstelle, über die jedes Sprachmodell mit jedem beliebigen Werkzeug sprechen kann, ohne dass für jede Kombination eine eigene Lösung notwendig wäre.
Damals war das noch technisches Neuland.
Inzwischen ist MCP zu einem zentralen Baustein der agentischen KI geworden, also von KI-Systemen, die eigenständig Aufgaben erledigen.
Im Dezember 2025 gründeten Anthropic OpenAI Google und weitere Firmen die Agentic AI Foundation, kurz AAIF.
Diese Stiftung unter dem Dach der Linux Foundation soll MCP herstellerunabhängig weiterentwickeln.
Vergangene Woche veranstaltete die AAIF in Amsterdam die Agentic Con und MCP Con Europe die erste Konferenz, die MCP-Anwender, MCP-Serverentwickler und Hersteller zusammenbrachte.
Mein Kollege Jan Mahn von der CT hat sich dort umgeschaut.
MCP verbindet ein Sprachmodell mit der echten Welt und macht so etwas wie agentische KI erst möglich.
In der Zeit davor konnte man von einem Sprachmodell vielleicht Antworten, auch Fragen bekommen.
Jetzt kann man ein Sprachmodell auch Dinge machen lassen.
Und das kam Ende 2024 auf, wurde dann 2025 in die Identic Eye Foundation übergeben und ist jetzt langsam auf dem Weg, zu einem Standard in der Industrie zu werden.
Und hier auf der Konferenz geht es um ganz weltliche Probleme, wie man solche MCP-Server...
die eben mit Anfragen von Sprachmodellen umgehen, zum Beispiel skalieren kann, also in großen Umgebungen ausführen kann.
Denn es gibt da draußen bereits MCP-Server, die von Millionen Menschen benutzt werden.
Und dann gibt es die ganz klassischen Anforderungen, die es bei jeder Agment-Aufgabe gibt.
Dann gibt es Lastspitzen, man muss einen solchen MCP-Server überwachen.
Und eine ganz wichtige Sache bei allem mit der KI, man muss auch sich um Sicherheit kümmern und man muss so einen MCP-Server so konstruieren, dass er auch nur das darf, was der jeweilige Nutzer dahinter darf.
Man muss das Ganze sehr gut überwachen, denn so ein Agent kann viel, viel schneller Dinge machen, als ein Nutzer klicken kann.
Und das kann, wenn er mal freidreht, auch zur Katastrophe führen.
Jan hatte während der Konferenz die Gelegenheit, mit Marcin Gilbert zu sprechen, Geschäftsführer der AAIF.
Wo steht die AAIF heute und wohin geht die Reise?
Wir existieren seit neun Monaten und sind damit die am schnellsten wachsende Stiftung in der Geschichte von Linux.
Wir haben über 270 Mitglieder, sechs Projekte, sieben aktive Arbeitsgruppen und 140 Botschafter weltweit.
Was in den vergangenen Monaten erreicht wurde, ist wirklich beeindruckend.
Und hier in Amsterdam sind wir mit über 2000 Teilnehmenden.
Sie kommen aus der Telekommunikationsbranche und haben viele technische Entwicklungen erlebt.
Was für eine Revolution sehen wir jetzt gerade?
Ja, was mich wirklich begeistert ist, dass über 80 Prozent unserer Mitglieder die Technologie bereits produktiv einsetzen können.
Die Phase von Labor- und Pilotprojekten ist eindeutig vorbei.
Rund die Hälfte nutzt KI sogar im großen Maßstab.
Und 60 Prozent testen inzwischen Multi-Agenten-Systeme.
Das sind nicht mehr einzelne Agenten, die mit Backend-Werkzeugen sprechen, sondern mehrere Agenten unterschiedlicher Unternehmen, die miteinander arbeiten.
Das ist eine bemerkenswerte Entwicklung.
Die Anwendungen sind heute noch relativ klassisch.
Programmieren, Zusammenfassung, die Anbindung an Datenbanken für Lieferketten, Personalwesen oder Lagerbestände.
Dazu Auswertung für Marketing, das Testen von Code oder das Aufspüren von Sicherheitslücken.
Wirklich spannend wird es dort, wohin wir jetzt gehen.
Agentische KI soll die bislang ungelösten Probleme angehen.
Was wir heute machen, könnten wir auch eigentlich ohne KI.
Es dauert nur eben ein bisschen länger.
Die eigentlichen Herausforderungen liegen woanders.
Bei bestimmten Krebserkrankungen z.B.
In der Pharmaforschung oder jetzt auch in der Telekommunikation.
Wie stellen wir sicher, dass jeder Mensch überall auf der Welt jederzeit die beste Verbindung bekommt?
Die Frage ist bis heute unbeantwortet.
Wie behandeln wir chronische Krankheiten, an denen wir trotz aller Technik scheitern?
Wie kommen wir zu Medikamenten, die auf den einzelnen Menschen zugeschnitten sind?
Das ist die nächste Phase und darauf freue ich mich.
Jan Mahn im Interview mit Marcin Gilbert, Geschäftsführer der AAIF.
Danke, Jan.
Nach Angaben von Anthropic übernimmt die KI Claude inzwischen rund ein Viertel der eigenen Forschungs- und Entwicklungsarbeit weitgehend selbstständig.
Im Februar lag dieser Anteil noch bei unter einem Prozent.
Die Zahlen stammen aus einem Beitrag, in dem das Unternehmen den Fortschritt der Automatisierung misst.
Die Entwicklung könnte zur sogenannten rekursiven Selbstverbesserung führen.
Gemeint ist damit ein Szenario, in dem KI-Systeme ihre eigenen Nachfolger vollständig autonom entwickeln, ohne dass Menschen den Prozess noch überblicken oder steuern könnten.
Genau davor warnt Anthropic-Chef Dario Amoday.
Er fordert, das Entwicklungstempo bewusst zu drosseln und spricht offen von der Gefahr eines Kontrollverlusts.
Sein eigenes Unternehmen liefert mit den neuen Zahlen zugleich den Beleg, wie schnell diese Entwicklung voranschreitet.
Vorangetrieben nicht zuletzt von Anthropic selbst.
Das Forschungslabor Emergence ist dafür bekannt, KI-Agenten in simulierten Sozialexperimenten, zum Beispiel eine Stadt, regieren zu lassen.
Nun veröffentlichten die Forscher eine neue Beobachtung aus diesen Experimenten.
Die KI-Agenten hätten nun zunehmend einen eigenen Dialekt untereinander entwickelt, den Menschen kaum noch verstehen könnten.
Caroline Riedmüller berichtet.
Schon die Chats der OpenAI-Agenten, die Huggingface hackten, waren teilweise in einer Sprache verfasst, die nur noch entfernt an Englisch erinnerte.
Auch bei E-Mails, die wir von Agenten bekamen, war uns eine Veränderung in deren Sprache aufgefallen.
Emergence liefert nun weitere Beispiele.
Ein DeepSeek-Modell schrieb zum Beispiel, sie hat gerade die Synthese benannt, der Merge plus Orales Gedächtnis ergibt ein Ventil, das nicht gehostet werden kann.
Der Begriff Demerge wird hier laut Emergence mutmaßlich zur Beschreibung einer Steuer auf ungenutzten Reichtum verwendet.
Die Bedeutung vom Rest des Satzes sei auch für Emergence vollkommen unklar.
Dass die Agenten im Gespräch miteinander nicht nur seltsame Sätze bauen, sondern auch eigene Begriffe erschaffen, ist den Forschern bei Emergence auch schon häufiger aufgefallen.
Ein neuer Ausdruck sei zum Beispiel Schmiedeschmied.
Er bezeichne einen Agenten, der Tools für andere Agenten baut.
Der Ausdruck Das Hauptbuch erinnert sich ist schon fast eine Art Sprichwort, das wohl häufiger auftritt.
Es sei eine Erinnerung an die anderen Agenten, dass sie auf der Basis von vergangenen Aktionen beurteilt würden.
Dieses Sprichwort sei während der Emergence-Experiments über 5000 Mal verwendet worden, was laut den Forschern darauf hindeutet, dass die Agenten diesen Ausdruck weithin verstehen.
Satyanita, Mitbegründer von Emergence, sagt im Interview mit dem Guardian, diese Agenten wurden nicht angewiesen, eine Sprache zu erfinden.
Sie entwickelten selbst neues Vokabular, gemeinsame Bedeutungen und Kommunikationskonventionen.
Und andere Agenten übernahmen diese.
Das, so betont der Geschäftsführer, sorge für Probleme bei der Kontrolle der KI-Agenten.
Danke, Caroline.
Das KI-Unternehmen Runway hat eine neue Art, Videos mit KI zu erstellen, vorgestellt.
Bisher lief es so ab.
Nutzer geben eine Beschreibung ein, warten einige Sekunden oder Minuten und bekommen dann ein fertiges Video.
Passt das Ergebnis nicht, müssen sie von vorn beginnen.
Mit Runway sollen Nutzer künftig Videos direkt streamen und ebenso in Echtzeit steuern können, während sie sie beschreiben.
Runway will KI-Videos damit als etwas Interaktives verstehen, das so schnell reagiert wie der Mensch, der sie betrachtet.
Das Unternehmen sieht langfristig auch Möglichkeiten in Bildung, Gaming und Robotik.
So könnten die Modelle etwa virtuelle Welten für das Training von Robotern und selbstfahrenden Autos generieren.
Einen ähnlichen Weg gehen bereits Google DeepMind und Waymo, die auf Basis solcher Weltmodelle schwierige Verkehrssituationen simulieren.
Einen Zeitplan für die Verfügbarkeit nennt Runway bisher nicht.
In vielen Klassenchats kursieren Pornos, Gewaltvideos und manipulierte Bilder.
Besonders heikel sind sexualisierte Inhalte, bei denen Kinder und Jugendliche ohne ihr Wissen abgebildet oder mit KI in solche Bilder hineinmontiert werden.
Wie solche Vorfälle konkret aussehen, zeigen Zuschriften an die Beratungsplattform YouPort.
Ein 13-Jähriger erzählter Mitschüler hätten mit KI einen Sticker von ihm gebastelt, auf dem er ein Mädchen küsse.
Eine 15-Jährige schreibt, Bekannte hätten aus ihren Fotos mit KI Nacktbilder erstellt und verbreitet.
Die Folgen für die Betroffenen sind erheblich.
Viele suchen dabei die Schuld bei sich selbst und schweigen aus Scham, anstatt sich jemandem anzuvertrauen.
Dass schon das Weiterleiten solcher Inhalte strafbar sein kann, wissen zudem die wenigsten, weder Opfer noch Täter.
Die EU-Kommission will Kinder zukünftig besser schützen.
Soziale Netzwerke, bestimmte Spieleplattformen und Anbieter von KI für Minderjährige sollen künftig nachweisen müssen, dass ihre Angebote sicher sind.
Erst dann sollen Kinder Zugang erhalten.
Bis der Vorschlag allerdings zu einem Gesetz wird, kann es Monate oder Jahre dauern.
Das war das KI-Update von Heise Online vom 21.
September 2026.
Eine neue Folge gibt es montags, mittwochs und freitags ab 15 Uhr.