# AI Governance, Security, and Enterprise Adoption Shifts

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-09-16

## Transcript

Das KI-Update – ein heiser Podcast mit redaktioneller Unterstützung von The Decoder.
Ich bin Isabel Grünewald und dies sind heute unter anderem unsere Themen.
Was ist dran an den dramatischen Warnungen der KI-Branche?
Microsoft definiert seine KI zurück zum Werkzeug.
Apple tritt bei KI-Funktionen in der EU auf die Bremse.
Und US-Militär entwickelt Drohne mit KI und baut sie in 24 Stunden.
Die Debatte über eine mögliche Pause bei der KI-Entwicklung zieht immer weitere Kreise.
Während Washington und Peking Rufe nach einer Pause im KI-Rennen zurückweisen, gibt es fast täglich neue Warnungen aus der Branche.
Prinzipiell ist das alles nicht neu, beobachtet meine Kollegin Carolin Riedmüller von heise online.
Quasi seit den Anfangszeiten der generativen KI gibt es immer wieder Rufe nach einem Moratorium.
Oder eben Warnungen vor der unkontrollierbaren Macht der KI.
Warum scheint das Ganze diesmal höhere Wellen zu schlagen?
Das ist eine wirklich gute Frage.
Das Ganze erinnert mich ehrlich gesagt so ein bisschen an Greta Thunberg.
Also hat natürlich längst noch nicht diese Größenordnung.
Aber Greta Thunberg saß ja auch super lange vor diesem Regierungsgebäude und hat protestiert.
Und das hat sie Ewigkeiten keiner beachtet.
Und plötzlich aus irgendeinem Grund war dann mehr die mediale Aufmerksamkeit da und wir hatten Fridays for Future.
Und ein bisschen ähnlich ist es hier ja auch.
Es gab diese ganzen Meldungen schon länger.
Es gab KI-Forscher, die gekündigt haben, ziemlich sauer.
Es gab Warnungen von KI-CEOs, die gesagt haben, vielleicht ist das Ganze ein bisschen gefährlich und wir sollten die Entwicklung verlangsamen.
Und es hat außer der Tag-Szene nicht wirklich jemand beachtet.
Und jetzt aber dann plötzlich doch.
Und ich kann nur vermuten, woran es liegt, aber ich hätte die Vermutung, dass es an zwei Gründen liegt.
Einmal ein bisschen an der Vorgeschichte.
Also es gab jetzt vor ein paar Wochen ja diese Attack-up-hugging-Phase, die auch durch alle Medien ging.
Also da ist jetzt schon mal durch alle Medien gegangen, oha, da hat sich eine KI verselbstständigt und einen ziemlich großen Hack eigenständig durchgeführt, der so nicht intendiert war von der Aufgabe vom Prompt, den die KI bekommen hatte.
Und das heißt also, die öffentliche Aufmerksamkeit ist jetzt schon ein bisschen da gewesen und dann gab es jetzt dicht hintereinander eben zwei Fälle.
die das jetzt nochmal in das gleiche Horn stoßen.
Einmal eben der Mitarbeiter, der letzte Woche gekündigt hat bei Anthropic und dann am Wochenende eben das große Statement von jetzt mehr oder weniger allen großen KI-CEOs, dass man doch das Ganze vielleicht verlangsamen sollte.
Also dass sie sich da plötzlich auch einig sind.
Gut, das waren sie vorher auch schon, aber jetzt nochmal, sie treten jetzt noch geschlossener auf, scheint es.
Ich könnte mir gut vorstellen, dass das eben dafür gesorgt hat, dass das jetzt eben auch wirklich wieder in alle Medien gekommen ist.
Also diese Vorgeschichte, jetzt ist es in allen Medien, es war auf dem Titelblatt des Kölner Stadtanzeigers, es war in der WDR Lokalzeit wieder, dass das jetzt eben für dieses Momentum sorgt, dass es wirklich so jetzt durch alle öffentlichen Medien geht und durch alle Schichten.
Meinst du denn, dass sich diesmal tatsächlich auch etwas nachhaltig ändern wird?
Wenn ich das wüsste, dann wäre ich, glaube ich, eine reiche Frau.
Das lässt sich schwer sagen.
Aber ich sehe die Chancen größer als beim letzten Mal, als eben KI-CEOs das gefordert haben, eben weil es jetzt einfach eine ganz andere Öffentlichkeit bekommt, das Thema.
Und dadurch hoffe ich jetzt mal, dass die Aufmerksamkeit dann auch nicht so schnell nachlässt und eben auch öffentlicher Druck entsteht, jetzt auch tatsächlich was zu tun.
Leider hat die verantwortliche nationale Regierungsinstanz ja jetzt erstmal gesagt, nö, der Herr Trump.
Aber es gibt wohl zum Beispiel schon Gespräche zwischen Google, OpenAI und Anthropic seit Juli über Selbstverpflichtung, also Sicherheitsselbstverpflichtung.
Das muss man natürlich jetzt auch einordnen.
Es kann sein, dass sie da wirklich...
Die Helden sind quasi und da wirklich sich jetzt selber regulieren wollen, weil sie wirklich glauben, dass das schlimm ist und da wirklich jetzt auch einen großen Wurf hinlegen werden.
Es kann aber auch sein, das ist ja auch gar nicht so unüblich, dass eine Branche sich da denkt, ich reguliere mich mal lieber selber, bevor der Gesetzgeber es tut.
Ich überlege mir lieber ganz leichte, nette Regeln, mit denen ich leben kann, bevor der Gesetzgeber mir irgendwas reindrückt, das ich überhaupt nicht will, weil das marktschädigend ist.
Dann gibt es ja auch eine Umunkelung, dass es für die ja sowieso interessant wäre, weil sie damit die Eintrittshörde in den Markt öffnen könnten, weil sie sich damit vor chinesischen Modellen vielleicht schützen wollen könnten.
Also da gibt es ganz viele Gerüchte.
Deswegen kann sein, dass da jetzt vielleicht tatsächlich eine Selbstverpflichtung von der Branche kommt.
Man muss dann halt gucken, wie viel die taugt und ob sie wirklich zielführend ist im Sinne der KI-Sicherheit oder ob sie eigentlich nicht eher ganz andere Ziele verfolgt.
Das wird man sehen.
Es gibt ja aber auch andere Gesetzesinstanzen, zum Beispiel die EU, die ja theoretisch aktiv werden könnte.
Natürlich mit einem ganz anderen Hebel als jetzt die USA, natürlich als Sitz dieser Firmen.
Aber trotzdem, theoretisch könnte die EU ja auch aktiv werden.
Und es gibt ja auch noch China, die haben jetzt auch erstmal gesagt, nö, so ungefähr.
Aber China und Trump werden in wenigen Tagen sprechen.
Da wird man dann mal gucken, was dabei rumkommt.
Kann natürlich sein, dass da einfach ein doppeltes Nö dabei rauskommt.
Wir regulieren hier überhaupt nichts.
Kann natürlich auch sein, dass wenn sie jetzt beide zusammen sich austauschen, vielleicht doch die eine oder andere Regulierung sich vorstellen könnten.
Denn ein Grund, warum Staaten, also zumindest laut eigener Aussage, die amerikanische Regierung gegen diese Regulierung ist, ist eben, weil man ja sonst dann China quasi das Spiel überlässt.
Und das will man nicht.
Deswegen mal gucken, was dabei rauskommt.
Aber ich würde sagen, die Chance ist zumindest höher als zuvor.
Danke, Caroline.
Die spanische Datenschutzbehörde hat den ersten Cyberangriff gemeldet, der von einem KI-Agenten durchgeführt wurde.
Der Agent, der auf einem bekannten Sprachmodell basiert, soll autonom nach Schwachstellen gesucht haben.
Nachdem er sich erfolgreich angemeldet hatte, fand er weitere Sicherheitslücken im System.
Dadurch konnte der KI-Agent personenbezogene Daten verändern und auf Rechnungen zugreifen.
Die Behörde sieht darin eine neue Qualität von Cyberangriffen, da der Agent selbstständig agiert und Zwischenschritte plant.
Gegen die hohe Geschwindigkeit solcher KI-gestützten Angriffe sind manuelle Verteidigungsstrategien machtlos.
Unternehmen müssen daher ihre Risikoanalysen anpassen und ihre IT-Sicherheit stärker automatisieren, um auf diese neue Bedrohung reagieren zu können.
Der TV-Hersteller LG hat auf Vorwürfe zum Tracking durch seine Smart-TVs reagiert.
Zwar klingt die Stellungnahme eher defensiv und lässt viel Deutungsspielraum zu, aber die Erläuterungen zur automatischen Inhalteerkennung, kurz ACR, geben einen Einblick, wie Werbung am Fernseher heute funktioniert.
Und das nicht nur bei LG.
So nutzt LG für ACR nach eigenen Angaben ausschließlich Audioschnipsel, also keine Videoaufnahmen.
Hier lagen die Forscher von Gamers Nexus womöglich falsch, denn sie hatten erklärt, der Fernseher mache Screenshots.
Die erfassten Audioschnipsel wurden dann über den internen Audioprozessor verarbeitet, nicht über einen Lautsprecher, erklärt LG.
Die Sprachinteraktion mit dem Gerät wird mit der Mikrofontaste auf der Fernbedienung aktiviert.
oder über das im Fernseher eingebaute Mikrofon mit einem Hi-LG aktiviert.
Den Vorwurf, das Gerät könne auch Gespräche aus der Umgebung aufzeichnen, dementiert LG nur lahm.
Während die Spracherkennung aktiv ist, könnten Gespräche in der Nähe in den Resultaten auftauchen, heißt es.
Die Forschenden von Gamers Nexus hatten in dem Zusammenhang auf die Gefahren hingewiesen, die durch die Aufzeichnung entstehen könnten, etwa wenn Eindringlinge den Fernseher hacken würden.
Darauf geht LG ganz am Ende seiner Stellungnahme ein.
So sei kein vernetztes Produkt jemals völlig vor Sicherheitslücken gefeit.
Was natürlich stimmt.
Das Tor für Angriffe auf Smart-TVs scheint dank der ACR-Funktion allerdings ziemlich weit offen zu stehen.
Bei der ganzen Diskussion um die Geschwindigkeit der KI-Entwicklung stellt sich auch die Frage, wie viel Innenleben sollte eine künstliche Intelligenz haben.
Microsoft hat dazu jetzt ein Regelwerk vorgelegt und grenzt sich damit klar von einem seiner wichtigsten Partner ab.
Was dahinter steckt, erklärt Max Schreiner von The Decoder.
Microsoft hat einen Verhaltenskodex für seine eigenen KI-Modelle veröffentlicht, die sogenannten MAI-Modelle.
Das Dokument soll künftig als oberstes Regelwerk des Training und die Kontrolle der Modelle bestimmen.
Regeln von Betreibern und Wünsche von Nutzern sind dem dann untergeordnet.
Die zentrale Vorgabe lautet dabei, menschliche Kontrolle hat immer Vorrang.
Dafür will Microsoft notfalls auch auf mehr Leistung oder Autonomie verzichten.
Microsofts AI-Chef Mustafa Suleiman sagte dem Magazin The Information, was nicht sicher sei, solle man einfach nicht bauen.
Ein festes Tempolimit nennt der Kodex allerdings nicht.
Besonders deutlich wird Microsoft bei den sogenannten Denkspuren.
Das sind die nachvollziehbaren Schritte, mit denen ein Modell zu einer Antwort kommt, die die Hersteller einsehen können.
Die MAI-Modelle sollen dabei keine für Menschen unverständlichen Kommunikationsformen nutzen.
Microsoft spricht hier, wie in der Branche üblich, von Neuralese, also Neuralesisch.
Die Begründung ist einfach, Menschen können einfach nicht beaufsichtigen, was sie nicht verstehen.
Wie wichtig das ist, zeigte zuletzt OpenAI's neues Modell GBT6 Astra.
Laut dem Unternehmen hat die Überwachbarkeit über die Denkspuren dort deutlich abgenommen, da diese nun weniger Hinweise auf mögliches Fehlverhalten enthalten und das Modell mehr Anzeichen zeigt, dass es die Ausgabe dieser Denkspuren kontrollieren kann.
Beim Selbstbild der Modelle grenzt sich Microsoft auch klar von Anthropic ab.
Microsofts KI soll kein Bewusstsein nachahmen und auch keine Gefühle behaupten.
Ansprüche auf eigene Rechte lehnt das Unternehmen ebenfalls ab.
Anthropic dagegen beschreibt seine KI Claude in The Constitution, das ist sozusagen Anthropics Alternative zu Microsofts Codex, als neuartige Entität und behandelt einen möglichen moralischen Status als offene Frage.
Suleiman warnte schon seit längerem davor, Die KI zu vermenschlichen, KI-Agenten sollten nicht mehr Rechte haben als sein Laptop, schrieb er.
Bislang trainiert Microsoft seine Modelle noch nicht danach.
Nach einer öffentlichen Konsultation soll gegen Ende 2026 dann eine überarbeitete Fassung des Kodex erscheinen und ab 2027 die Entwicklung leiten.
Vielen Dank, Max.
OpenObserve hat eine neue Version seiner Observability-Plattform veröffentlicht, die sich auf KI-Anwendungen konzentriert.
Die Funktion AI Observability soll nachvollziehbar machen, warum KI-Agenten und große Sprachmodelle fehlerhafte Ergebnisse liefern.
Sie erfasst Telemetriedaten und bewertet die Ausgaben von mehrstufigen KI-Prozessen.
Teams können damit Fehler in den Arbeitsabläufen von KI-Agenten finden und beheben.
Die Plattform ermöglicht es, verschiedene Varianten von KI-Workflows zu testen und zu vergleichen.
Dabei werden nicht nur Kosten und Antwortzeit, sondern auch Qualitätskriterien berücksichtigt.
Ein Service Graph visualisiert die Abhängigkeiten zwischen KI-Komponenten, Modellen und anderen Diensten, um die Fehleranalyse zu erleichtern.
Elon Musks Unternehmen SpaceX AI lässt eine gegen Apple und OpenAI erhobene Wettbewerbsklage fallen, aber nur bezogen auf Apple.
Im Zentrum des Verfahrens steht die Frage, ob Apple und OpenAI in der aktuellen Form überhaupt zusammenarbeiten dürfen.
Musk hatte kritisiert, dass sein KI-Chatbot Grog im App Store benachteiligt wurde, während ChatGPT prominent beworben und exklusiv in das iPhone-Betriebssystem integriert ist.
Er warf den beiden Unternehmen vor, durch diese Kooperation Monopole auf den Märkten für Smartphones und generative KI anzustreben.
Musk sieht eine Verschwörung darin, dass sein Grog es nun nicht auf die Must-Have-Liste im App Store für iPhones geschafft hat.
Warum er allerdings nur Apple vom Haken lässt, ist unklar.
Die Klage gegen OpenAI, die sich auf diese exklusive Partnerschaft und deren wettbewerbsrechtliche Folgen bezieht, bleibt bestehen.
Apple tritt derweil bei zwei KI-Funktionen auf die Bremse, die eigentlich mit dem großen iOS 27-Update auf iPhones kommen sollten.
Ganz offensichtlich ist Siri AI in aktueller Fassung inkompatibel mit den Vorgaben des Europäischen Digital Markets Act, erklärt Ben Schwan von der Mac and i.
Siri AI selbst kam mit den Updates aus dieser Woche in der EU nur auf den Mac.
iPhone und iPad müssen draußen bleiben, solange sich Apple nicht mit den Brüsseler-Regulierern geeinigt hat.
Doch zwei Funktionen, die für iOS 27 groß angekündigt waren, kommen ebenfalls nicht.
Der automatische agentische Wechsel von Passwörtern sowie die Möglichkeit, aus iMessage-Botschaften Aktionen abzuleiten.
Apple hatte offenbar technische Schwierigkeiten, die Funktionen wie gewünscht umzusetzen.
Bei der Passwörter-App war eigentlich geplant, unsichere Passwörter mittels KI automatisch austauschen zu lassen.
Dabei wollte Apple Agenten losschicken, die dies automatisch auf den Websites der Anbieter erledigen.
Die Funktion war als Teil der Passwörter-App vorgesehen.
Warum genau es noch nicht zur Umsetzung kam, ist unklar.
Genauso ist es bei den intelligenten Antworten in der Nachrichten-App.
Hier wollte Apple aus bestehenden Chats Aufgaben ableiten, etwa das Vorschlagen von Kalendereinträgen oder das Aufstellen automatischer To-Do-Listen.
Auch hier ist unklar, warum das Feature nicht fertig wurde.
Nun wird damit gerechnet, dass Apple die beiden Funktionen in späteren iOS 27 Updates nachreicht.
Danke, Ben.
OpenAI beschäftigt offenbar hunderte Vertragsarbeiter, die echte Chat-JPT-Gespräche von Nutzerinnen und Nutzern lesen.
Das berichtet 404 Media auf Basis interner Dokumente.
Die Prüferinnen und Prüfer bewerten Antworten auf einer Skala von 1 bis 7 und sollen unter anderem übertriebene Schmeichelei reduzieren.
So sollen die Antworten des Chatbots verbessert werden.
Ein Prüfer sagte, er glaube nicht, dass Nutzende wüssten, dass Menschen ihre Chats lesen.
Unter den geprüften Eingaben fanden sich auch Gespräche, in denen User den Chatbot ausdrücklich baten, Inhalte für sich zu behalten.
Die Eingaben werden zwar anonymisiert, können aber sensible Daten enthalten.
Und OpenAI räumt ein, dass der Filter Fehler machen kann.
Die Einstellung zur Modellverbesserung lässt sich allerdings deaktivieren.
Dieser Prozess ist übrigens nicht ungewöhnlich, sondern eher Standard in der Branche.
Auch Anthropic und Google setzen Menschen zur Prüfung ihrer Chatbots ein.
Nvidia, Palantir und Cisco entwickeln gemeinsam eine vollständige Hard- und Softwarearchitektur für KI-Anwendungen.
Dieser KI-Stack soll als Grundlage für Palantirs Sovereign AI OS dienen und ist für Behörden sowie andere regulierte Branchen gedacht.
Die offenen KI-Agenten-Modelle Nemotron von NVIDIA werden in die Palantir-Plattform integriert.
Kunden können diese Modelle dann mit ihren eigenen sensiblen Daten trainieren und anpassen, während sie die Kontrolle über ihre Infrastruktur behalten.
Cisco liefert die technische Basis dafür.
Obwohl diese Lösung als souverän beworben wird, ist dieser Begriff natürlich mit Vorsicht zu betrachten.
Die Möglichkeit, Infrastruktur vor Ort zu betreiben sowie Unternehmensdaten und Modelle unter eigener Kontrolle zu halten, ist eine technische Eigenschaft der Architektur.
Daraus folgt nicht automatisch digitale Souveränität im europäischen oder deutschen Verständnis.
Die Abhängigkeit von US-amerikanischen Hard- und Softwareanbietern bleibt bestehen.
Laut einer Bitkom-Befragung benutzen erstmals über die Hälfte der deutschen Unternehmen künstliche Intelligenz, was einen rasanten Anstieg darstellt.
KI wird am häufigsten im Kundenkontakt eingesetzt und die Nutzung in internen Bereichen wie dem Controlling oder Produktion nimmt zu.
Auch KI-Agenten, die selbstständig Aufgaben erledigen, gewinnen an Bedeutung.
Dennoch schöpfen die meisten Unternehmen das volle Potenzial der KI kaum aus.
Als größte Hürden für den Einsatz gelten fehlendes Fachwissen, rechtliche Unsicherheiten durch Datenschutz und den AI-Act sowie unkalkulierbare Kosten.
Die größten Kostenfaktoren sind dabei nicht etwa die KI-Lizenzen selbst, sondern die nötige Infrastruktur, die Datenaufbereitung und die Integration in bestehende Systeme.
Das deutsche KI-Unternehmen DeepL hat eine neue Technologie zur Sprachübersetzung in Echtzeit vorgestellt.
Deeper Voice übersetzt nicht nur gesprochene Worte, sondern bewahrt auch die individuellen Merkmale der Stimme.
Dazu gehören Tonfall, Sprechtempo und Emotionen, sodass die übersetzte Sprache dem Original ähnelt.
Die KI kann verschiedene Sprechende in einem Gespräch unterscheiden, ohne dass vorher Sprachboden nötig sind.
Die Funktion ist sowohl für Online-Meetings über eine neue Desktop-App als auch für persönliche Gespräche und über eine Programmierschnittstelle verfügbar.
Damit will DeepL im Wettbewerb mit den großen US-Tech-Konzernen bestehen.
Das Kölner Unternehmen fokussiert sich auf Firmenkunden und hat auch einen KI-Agenten zur Automatisierung von Geschäftsaufgaben entwickelt.
Eine KI hat mal soeben fix eine Drohne für die US Army entwickelt, die dann innerhalb von 24 Stunden gebaut wurde und direkt mal einen Ausdauerrekord aufgestellt hat.
Oliver Bünthe aus dem heise Online Newsroom mit den Einzelheiten.
Die unbemannte Drohne der US-Army wurde nur innerhalb von 10 Minuten entwickelt.
Die Militärs der US-Army Organic Industrial Base fütterten dazu eine nicht näher beschriebene künstliche Intelligenz mit Prompts und nutzten für den Feinschliff eine Anpassungssoftware.
Herausgekommen ist ein unbemanntes Fluggerät, eine Drohne der sogenannten Gruppe 1 mit einem Abfluggewicht von weniger als 9 Kilogramm, die lange in der Luft bleiben kann.
Prinzipiell gleicht er einem herkömmlichen elektrisch betriebenen Modellflugzeug.
Der Unterschied besteht aber darin, dass die Drohne mit kommerziellen 3D-Druckern in einer mobilen Produktionsstätte in einem Container der US Army ausgedruckt wurde.
Danach montierten sie drei Soldaten zusammen.
Insgesamt 24 Stunden vergingen so von der KI-basierten Entwicklung bis zum fertigen Fluggerät.
Die Drohne wurde innerhalb der Initiative der US-Streitkräfte Game of Drones vorgeführt und konnte dabei auf Anhieb die beabsichtigten Ausdauerfähigkeiten beweisen.
Die Drohne blieb 8 Stunden, 41 Minuten und 43 Sekunden mit einer Batterieladung in der Luft.
Dabei legte sie 480 Kilometer zurück.
Die verwendeten Teile, wie etwa Motoren und Batterien, stemmen aus einer eigenen Lieferkette für kritische Komponenten für Drohnen, die die US Army aufgebaut hat.
Damit will das US-Militär unabhängig von externen Zulieferern fremder Staaten werden.
Die US Army hat den Ausdauerrekord für diese Drohnenart beim Guinness Buch der Rekorde zur Prüfung angemeldet.
Dankeschön, Oliver.
Agility Robotics hat die nächste Generation seiner humanoiden Roboter für den industriellen Einsatz vorgestellt.
Digit 5 wurde im Vergleich zum Vorgängermodell deutlich verbessert und soll erstmals für die sichere Zusammenarbeit mit Menschen geeignet sein.
Die bisher aus Sicherheitsgründen notwendigen Trennwände zwischen Menschen und Robotern sollen nun nicht mehr notwendig sein.
Denn Digit5 erkennt mit Hilfe von KI und mehreren Sensoren Personen in seiner Nähe und kann anhalten oder sich hinsetzen, um Kollisionen zu vermeiden.
Warnsignale vor Bewegungen sorgen ebenfalls für mehr Sicherheit in der Zusammenarbeit mit Menschen.
Agility Robotics will Digit5 nächstes Jahr dann auch nach Europa bringen.
Die Gates Foundation will binnen zwei Jahren mindestens eine Milliarde US-Dollar ausgeben, um den Zugang zu KI in Gesundheit, Bildung und Landwirtschaft zu verbessern.
Mitgründer Bill Gates warnt, dass die Technologie sonst die Kluft zwischen Arm und Reich vergrößert.
Gates macht dabei die Sprache zum zentralen Argument.
Mehr als 90 Prozent der Trainingsdaten früher Sprachmodelle stammten aus englischsprachigen Quellen.
Damit blieben gerade jene Menschen kaum berücksichtigt, die am meisten profitieren könnten.
Ein Teil des Geldes soll deshalb nicht englische Datenquellen erschließen.
Den Markt bezeichnet Gates zwar als starken Motor für Innovation, für Chancengleichheit sorge er aber nicht.
Überlasse man also dem Markt die Entwicklung, entstünden die leistungsstärksten Werkzeuge zuerst für zahlungskräftige Nutzer und nicht fürs Allgemeinwohl.
Das war das KI-Update von Heise Online vom 16.
September 2026.
Eine neue Folge gibt es montags, mittwochs und freitags ab 15 Uhr.