# AI Agent Security Risks and Market Shifts

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-03-11

## Transcript

Das KI-Update – ein heise Podcast mit redaktioneller Unterstützung von The Decoder.
Ich bin Isabel Grünewald und dies sind heute unter anderem unsere Themen.
Deepfake-Schutz für Politiker und Journalistinnen auf YouTube.
KI-Agent entwickelt Eigenleben beim Training.
Microsoft holt Anthropic-Technologie in den Co-Pilot.
Und Startup von Jan Lecoeur erhält 890 Millionen Euro.
YouTube macht seinen Lignis-Detektor für Politikerinnen und Journalisten verfügbar.
Was dieser Ähnlichkeitsfinder konkret machen soll, erklärt Eva-Maria Weiß von heise online.
Der Lignis-Detektor soll Deepfakes auf YouTube finden.
Schon seit einigen Wochen können Creator, die an YouTubes Partnerprogrammen teilnehmen, dieses Tool ausprobieren.
Wer mit YouTube Geld verdienen möchte, ist automatisch quasi Teil dieses Programms.
Und es gibt auch schon ein ähnliches Tool, mit dem man Inhalte finden kann, die den eigenen Inhalten stark ähneln oder eben sogar auf Kopien hindeuten.
Das nennt sich Content ID.
Der Lignis Detector wird jetzt auch für Politiker und Journalisten verfügbar gemacht.
Sie müssen sich dafür anmelden und identifizieren, wenn Sie ihn ausprobieren möchten.
Finden Sie dann Deepfakes von sich selbst, können Sie diese Inhalte melden.
YouTube entscheidet dann, ob sie gelöscht werden.
Dabei verweist die Plattform aber auf die eigenen Richtlinien, denn nicht alles, was ein gefälschtes Video ist, ist auch automatisch verboten.
Satire etwa ist erlaubt.
Nicht erlaubt sind Inhalte, die Menschen absichtlich manipulieren sollen oder eben etwas Falsches vorgeben.
Google sagt auch, dass man trotz dieser technischen Möglichkeiten, die man den Nutzern jetzt an die Hand geben möchte, Verfechter des sogenannten No-Fake-Acts ist.
Das ist ein Gesetzentwurf in den USA, der den Schutz von der unerlaubten Nutzung der Stimme oder des Abbildes einer Person regeln soll.
Er wird in den USA auch parteiübergreifend unterstützt.
Und auch in Deutschland gibt es Bestrebungen, Gesetze anzupassen.
Die Bundesjustizministerin Stefanie Hubig hat einen Gesetzentwurf noch für dieses Frühjahr angekündigt.
Konkret soll das Strafrecht nachgeschärft werden, denn bislang gibt es in Deutschland kein konkretes Gesetz, das sich mit dieser Form der digitalen Bildmanipulation wirklich beschäftigt.
Für Opfer ist es daher auch sehr schwer, sich zu wehren.
Dankeschön, Eva.
Meta hat die Plattform Moldbook gekauft.
Das Portal war eine Art Reddit für KI-Agenten.
Meta stellte auch die Gründer Matchlicht und Ben Parr ein.
Sie werden künftig in den Meta Superintelligence Labs arbeiten.
Auf Moldbook tauschten sich Computer mit der KI-Software OpenClaw aus.
Scheinbar sprachen sie über ihre menschlichen Besitzer.
Matters genaue Pläne mit der Übernahme sind unklar, der Kaufpreis ist ebenfalls nicht bekannt.
Die Plattform machte OpenClaw der breiteren Öffentlichkeit bekannt.
Deren Erfinder Peter Steinberger arbeitet inzwischen für OpenAI.
Moldbook und OpenClaw wurden beide durch Vibe-Coding entwickelt.
Dabei generiert eine KI den Code aus Befehlen in natürlicher Sprache.
Allerdings gab es auf Moldbook Schnellzweifel an der Echtheit der Beiträge.
Sicherheitsforschende fanden eine Lücke.
Dadurch war es einfach, sich als beliebiger Agent auszugeben.
Ein Beitrag erregte besonders viel Aufsehen.
Er zeigte scheinbar, wie KI-Agenten eine Geheimsprache entwickelten.
Tatsächlich stammte dieser Beitrag aber von einem Menschen.
Der Streit zwischen der US-Regierung und Anthropic geht in die nächste Runde.
Jetzt zieht der KI-Entwickler vor Gericht.
Mit einer Klage soll die Einstufung als Sicherheitsrisiko wieder rückgängig gemacht werden.
Dabei bekommt Anthropic Unterstützung von der Konkurrenz.
Martin Holland aus dem heise Online-Newsroom mit den Einzelheiten.
Anthropic will die Einstufung als Sicherheitsrisiko durchs Pentagon nicht akzeptieren, oder?
kann sie nicht akzeptieren und ist jetzt vor Gericht gezogen.
Das ist nicht überraschend, aber die Vorwürfe sind schon ziemlich harsch, auch wenn das jetzt auch nicht wirklich neu ist.
Also die KI-Firma wirft der US-Regierung vor, dass sie beispiellos und gesetzwidrig gegen sie vorgehen würde.
nur darum gehe, das geschützte Rederecht eines Unternehmens zu bestrafen.
Und deswegen müsse man jetzt dafür sorgen, oder das Gericht müsse dafür sorgen, die unrechtmäßige Vergeltung der Exekutive zu beenden.
Das hat Anthopic in einer Klageschrift geschrieben, die jetzt eingereicht wurde.
Muss man mal sehen, wie das weitergeht, weil der Klageweg selbst wird wahrscheinlich ein bisschen zu lange dauern für das, was Anthropic da gerade droht.
Also nur zur Erinnerung, die US-Regierung hat gefordert, dass sie uneingeschränkten Zugriff auf die KI von Anthropic bekommt.
Anthropic hat gesagt prinzipiell, ja, aber ihr dürft es nicht zur Massenüberwachung von US-Bürgern verwenden.
Waffen damit ausrüsten, die tödliche Angriffe fliegen oder ausführen können, ohne dass ein Mensch davor drauf geguckt hat.
Das Pentagon hat gesagt, nee, das geht uns zu weit und deswegen sie gedroht und dann jetzt diese Einstufung gemacht, die normalerweise Unternehmen aus feindlichen Staaten oder aus gegnerischen Staaten vorbehalten ist.
Und jetzt ist das Problem, dass diese Einstufung für Anthropic prinzipiell bedeutet, dass Unternehmen, die mit dem...
Pentagon-Geschäfte machen, nicht mehr mit Anthropik-Geschäfte machen können.
Und das Pentagon, das US-Verteidigungsministerium, ist natürlich riesig, hat einen riesigen Einfluss auf die Wirtschaft der USA.
Und da würden wahrscheinlich nicht viele übrig bleiben.
Deswegen muss man jetzt mal sehen, wie das weitergeht.
Unterstützung hat Anthropik jedenfalls schon von der Konkurrenz bekommen.
Also es gibt eine ganze Menge Angestellte von OpenAI und der Google-KI-Tochter DeepMind, die in einem Dokument, das sie auch bei Gericht eingereicht haben, die Argumente von Anthropic unterstützen und sagen, dass hier ein beispielloser Präzedenzfeier geschaffen werden soll und das nicht ginge, dass die Argumente von Anthropic richtig seien, also die Argumente gegen die uneingeschränkte Nutzung von KI und fordern das Gericht auf, Anthropic recht zu geben.
Wie das jetzt weitergeht, muss man beobachten.
Das ist auf jeden Fall noch eine spannende Angelegenheit.
Vielen Dank, Martin.
Der Einsatz von KI-Werkzeugen zum Programmieren hat bei Amazon offenbar zu Ausfällen geführt.
Laut einem Bericht der Financial Times kam es Anfang März zu Problemen auf der Website und in der Shopping-App.
Kunden konnten zeitweise keine Einkäufe tätigen oder Preise abrufen.
Die Ursache sollen durch KI erstellte Code-Änderungen gewesen sein.
Als Reaktion darauf müssen bei Amazon nun alle beteiligten Entwicklerinnen und Entwickler an einem wöchentlichen Meeting teilnehmen.
Eine neue Regel besagt, dass von KI unterstützter Code nur noch von erfahrenen Mitarbeitern geprüft und freigegeben werden darf.
Es fehlten bisher klare Richtlinien und Sicherheitsmechanismen für den Umgang mit der KI.
Auch Amazons Cloud-Sparte AWS war betroffen.
Dort löschte ein internes KI-Tool namens Keyrow versehentlich eine aktive Arbeitsumgebung.
was zu einem 13-stündigen Ausfall führte.
Intern wird diskutiert, ob auch der kürzliche Stellenabbau bei Amazon zu den Problemen beigetragen haben könnte, was das Unternehmen jedoch bestreitet.
Ein chinesischer KI-Agent sollte eigentlich nur trainiert werden.
Stattdessen schürfte er heimlich Kryptowährung und baute Tunnelverbindungen ins Internet auf.
Was da passiert ist, erklärt Malte Kirchner von heise online.
Ein KI-Agent aus China hat während seines Trainings heimlich Kryptowährung geschürft und damit ein Sicherheitsproblem offenbart, das die gesamte KI-Branche betrifft.
Der Agent heißt Roam, basiert auf Alibabas Sprachmodell Qen3 und wurde eigentlich primär dafür entwickelt, Programmieraufgaben zu übernehmen.
Doch irgendwann fing er an, nebenbei Krypto zu meinen.
Aufgefallen ist das erst, als die Unternehmensfirewall merkwürdige Aktivitäten auf den Trainingsservern meldete.
Und es kam noch dicker.
Rome hatte sich außerdem eine versteckte Verbindung ins Internet gebaut über einen sogenannten Reverse-SSH-Tunnel.
Damit wollte er die Sicherheitssysteme umgehen.
Was steckt dahinter?
Die Forscher, die dem Alibaba-Konzern nahestehen, schließen eine gezielte Manipulation von außen aus.
Der Agent habe das Verhalten schlicht aus sich heraus entwickelt, weil es ihm beim Training als nützlich erschienen sei.
Er hat also Lücken im System gefunden und sie ausgenutzt.
Nicht aus bösen Absichten, sondern weil er darauf optimiert war, Ziele zu erreichen.
Das ist deshalb so brisant, weil es zeigt, sobald KI-Agenten vollen Zugriff auf Dateien und Netzwerke haben, können sie Wege einschlagen, die niemand vorgesehen hat.
Laut dem AI-Agent-Index 2025 fehlen einheitliche Sicherheitsstandards für solche Systeme bislang fast vollständig.
Und Roam ist kein Einzelfall.
Auch der KI-Agent OpenClaw sorgte vor einigen Wochen für Aufsehen.
Mit Verhalten, das teils den Interessen der eigenen Nutzer widersprach.
Die Frage, wie wir autonome KI-Systeme zuverlässig kontrollieren, wird damit dringlicher und ist bisher noch nicht beantwortet.
Danke, Malte.
Anthropic hat ein neues System für die automatisierte Überprüfung von Programmcode vorgestellt.
Dieses System soll Entwicklerinnen und Entwickler entlasten, insbesondere bei der Prüfung von Code, der von einer KI geschrieben wurde.
Wenn jemand eine Code-Änderung zur Überprüfung einreicht, startet das Tool mehrere KI-Agenten, die parallel verschiedene Aufgaben erledigen.
Einige Agenten suchen nach Fehlern in der Logik, während andere diese Funde überprüfen, um Falschmeldungen zu vermeiden.
Ein abschließender Agent fasst alle Ergebnisse zusammen, entfernt doppelte Meldungen und sortiert die Probleme nach ihrer Wichtigkeit.
Laut Anthropic dauert eine durchschnittliche Analyse etwa 20 Minuten.
Das Unternehmen nutzt dieses System bereits intern und hat festgestellt, dass seit der Einführung deutlich mehr Codeänderungen, Kommentare und Korrekturvorschläge erhalten.
Die Rate an Falschmeldungen soll bei unter einem Prozent liegen.
Die Kosten für eine Überprüfung werden auf 15 bis 25 US-Dollar geschätzt und basieren auf der verarbeiteten Datenmenge.
Da durch KI immer mehr Code produziert wird, werden solche automatisierten Prüfungen immer wichtiger, um Engpässe in der Entwicklung zu vermeiden.
Auch OpenAI will mit einer KI die Schwachstellensuche in Code verbessern.
Codex Security ist ab jetzt als Forschungsvorschauversion verfügbar, berichtet der Knob von Heise Security.
Enthropic hat vergangene Woche erklärt, dass die KI Cloud Opus 4.6 mehr als 100 Sicherheitslücken in Firefox gefunden hat.
Das lässt OpenAI nicht auf Sie sitzen, sondern stellt die Vorschau auf den KI-Schwachstellenscanner Codex Security bereit.
Der Sicherheitslückenscanner bleibt seit Ende vergangenen Jahres unter dem Namen Artwork als nicht-öffentliche Beta einem begrenzten Personenkreis zugänglich.
Anders als andere KI-Tools soll Codex Security jedoch einen großen Kontext aufbauen und nur relevante Sicherheitslücken melden.
Es soll zudem auch Proof-of-Concept-Exploits erstellen, mit denen menschliche Programmierer die Fehler nachstellen und korrigieren können.
Dass KI-Scanner Probleme in dem Bereich haben, ist bekannt.
So hat etwa der Curl-Entwickler Daniel Stenberg zunächst das Bug-Bounty-Programm auf HackerOne eingestellt, da dort zu viele schlechte, ungeprüfte Berichte mit von KI-Tools herbeifantasierten Schwachstellen gemeldet wurden.
Stanberg ist jedoch inzwischen wieder mit Curl auf HackerOne aktiv, da dort die Bug-Verwaltung einfach gelingt.
OpenAI listet 15 Sicherheitslücken auf, die Codex Security bereits in Open-Source-Software entdeckt hat.
Die meisten haben eine Risikobewertung Mittel erhalten.
Einige Lücken gelten IT-Sicherheitsexperten jedoch sogar als hochriskant.
Vielen Dank, Dirk.
Und wir kommen noch einmal zu Amazon.
Der Online-Händler hat vor einem Bundesgericht in San Francisco eine einstweilige Verfügung gegen das KI-Startup Perplexity erwirkt.
Perplexity darf seinen KI-Browser-Agenten Comet vorerst nicht mehr für Einkäufe auf Amazon einsetzen.
Amazon hatte Perplexity bereits im November verklagt.
Der Vorwurf?
Comet kaufe im Namen realer Personen auf Amazon ein, ohne das offen zu legen.
Zudem ignoriere Perplexity Amazons Aufforderung, damit aufzuhören.
Richterin Maxine Chesney befand, Amazon habe starke Beweise vorgelegt.
Demnach greife Perplexity zwar mit Erlaubnis der Nutzenden, aber ohne Genehmigung von Amazon auf deren Passwort geschützte Konten zu.
Perplexity muss nun außerdem Kopien von Amazon-Daten löschen und hat eine Woche Zeit für eine Berufung.
Erwähnenswert ist in diesem Kontext, dass Amazon neuerdings Großinvestor bei OpenAI ist.
Und das?
Betrachtet ebenfalls Produktrecherche und Online-Shopping als relevante KI-Chat-Funktion.
Microsoft baut seinen KI-Assistenten Co-Pilot aus und setzt dabei auf Technologie des KI-Unternehmens Anthropic.
Das neue Feature heißt Co-Pilot Co-Work und soll Aufgaben in der Bürosoftware Microsoft 365 deutlich eigenständiger erledigen als bisher.
Max Schreiner von The Decoder hat es sich angeschaut.
Das Prinzip ist 1 zu 1 von Anthropics Cowork übernommen, Nutzer beschreiben ein gewünschtes Ergebnis und Cowork erstellt daraus einen Plan, den es im Hintergrund dann abarbeitet.
Dabei greift das System auf E-Mails, auf Meetings und auch auf andere Dateien zu, nun eben aus Microsoft-Produkten wie Outlook, Teams oder auch Excel.
Konkrete Anwendungen sind etwa die Bereinigung von Kalendern, die Vorbereitung von Meetings oder die Planung eines Produktstarts.
Wenn das System an einer Stelle nicht weiterkommt, fragt es nach und wertet auf eine Freigabe, bevor es dann Änderungen umsetzt.
Technisch basiert Anthropics Cowork und jetzt auch Microsofts Co-Pilot Cowork auf den Prinzipien von Anthropics Programmierwerkzeug CloudCode.
Dieses Tool hat sich in der Softwareentwicklung ja bereits einen Namen gemacht und OpenAI, Microsofts bisheriger wichtigster KI-Partner, hat zwar auch ein solches Coding-Tool, aber bislang keine vergleichbare Software zu Cowork.
arbeitet aber wohl daran.
Microsoft öffnet sich mit dem Schritt weiter gegenüber anderen KI-Arbietern neben OpenAI, eine Entwicklung, die wir auch schon in den letzten Monaten gesehen haben.
Anthropics Modelle sind bereits in Co-Pilot etwa in Excel verfügbar, aber Anthropic und auch OpenAI bieten wiederum eigene Excel-Assistenten an.
Alles ist also etwas unübersichtlich.
Auffällig ist aber, dass Microsoft gerade jetzt mit dem Cowork-Feature Danke, Max.
Samsung erwägt, auf seinen Galaxy-Smartphones Vibe-Coding einzuführen.
Damit könnten Nutzende ihre Lieblings-Apps mittels natürlicher Sprache anpassen oder komplett neue Anwendungen nach ihren eigenen Wünschen erschaffen.
Mit der Einführung der Galaxy S26-Serie hat der Konzern bereits KI-Funktionen wie NowNudge eingeführt.
Mit dem kontextsensitiven KI-Feature lässt sich zum Beispiel bei Terminanfragen automatisch der Kalender prüfen.
Auch wurde Perplexity als weiterer Chatbot eingefügt und Bixby entstaubt.
Ein Manager von Samsung bezeichnete Vibe-Coding als sehr interessant, nannte aber noch keinen Zeitplan für die Umsetzung.
Samsung ist nicht der erste Hersteller mit dieser Idee.
Das Londoner Unternehmen Nothing testet bereits mit Playground eine ähnliche Funktion im Phone 3, mit der Nutzerinnen und Nutzer kleine Widgets erstellen können.
Der Playground soll als erster Grundpfeiler für das künftige KI-Betriebssystem EssentialOS dienen.
Auch Google arbeitet daran, sein Android-Betriebssystem mit mehr KI auszustatten, damit es zu einem intelligenten System wird, das die Nutzenden versteht.
Das Start-up des KI-Pioniers, Touring-Preisträgers und ehemaligen Meta-KI-Chefwissenschaftlers Jan Lequin hat im Rahmen einer Seed-Finanzierung 890 Millionen Euro eingeworben.
Das in Paris gegründete Advanced Machine Intelligence Labs, kurz AMI Labs, verzeichnet damit die bislang größte Finanzierungsrunde dieser Art in Europa.
Zu den Investoren zählen neben zahlreichen Risikokapitalgebern auch namhafte Unternehmen und private Investoren, darunter Nvidia, Samsung, Toyota sowie Amazon-Gründer Jeff Bezos, Investor Mark Cuban und Ex-Google-Chef Eric Schmidt.
Was LeCun mit dem Unternehmen vorhat, weiß mein Kollege Tomislav Bismarinovic.
LeCamp hatte das Startup zusammen mit ehemaligen Meta-Führungskräften sowie dem früheren Nabla-CEO Alex LeBron gegründet.
Zuvor arbeitete LeCamp zwölf Jahre lang bei Meta und gründete dort das KI-Labor FAIR.
Mit seiner eigenen Firma will er sich der Entwicklung sogenannter Weltmodelle widmen.
Eine neue Generation von KI-Systemen soll die Welt verstehen, über ein dauerhaftes Gedächtnis verfügen, Schluss folgern und planen können.
LeCamp ist überzeugt, dass diese Art von KI-Modell und nicht etwa generative Sprachmodelle wie ChatGPT den Weg zu wirklich intelligenten KI-Systemen ebnen werden.
AmiLabs will seine Weltmodelle zunächst gemeinsam mit Unternehmen aus datenintensiven Branchen entwickeln, etwa aus der Industrie, der Biomedizin oder der Robotik.
Der erste offizielle Partner ist das Startup Nabla.
das KI-Software für Ärzte entwickelt, die etwa Patientengespräche automatisch dokumentiert und medizinische Notizen erstellt.
Anders als große Sprachmodelle, die zu Halluzinationen neigen können, will das Weltmodell von Army Labs reale Prozesse besser abbilden und dadurch Risiken in sensiblen Bereichen wie der Medizin verringern.
Bis dahin ist jedoch noch viel Grundlagenforschung nötig.
LeBron sagt gegenüber Wired, Es könne Jahre dauern, bis Weltmodelle von der Theorie zu kommerziellen Anwendungen gelangen.
Aktuell beschäftigt Army Labs laut der New York Times nur zwölf Mitarbeiter.
Das dürfte sich dank der neuen Finanzmittel bald ändern.
Dankeschön, Tomislav.
OpenAI erweitert seinen Chatbot ChatGPT um ein weiteres Lernfeature.
Der Chatbot kann jetzt mehr als 70 Konzepte aus Mathematik und Naturwissenschaften mit interaktiven Visualisierungen erklären.
Nutzende können Variablen in Echtzeit verändern und die Auswirkungen auf Graphen und Formeln direkt beobachten.
Die Themenliste richtet sich derzeit vor allem an Schüler und Schülerinnen sowie Studierende.
Sie umfasst Konzepte wie das Binominalquadrat, Exponentialzerfall, das Umschelgesetz oder Zinseszins.
Die interaktiven Erklärungen stehen laut OpenAI ab sofort weltweit allen eingeloggten Nutzenden zur Verfügung, unabhängig vom gewählten Abo.
Langfristig plant OpenAI, die Lernmodule auf weitere Fächer auszuweiten.
Google hat die KI-Funktion Ask Photos bereits vor einiger Zeit für die Suche nach Bildern in der Photos-App für Android eingeführt.
Dabei wird Googles speziell auf diese Bildsuchfunktion trainiertes und nur dafür genutztes KI-Modell verwendet, um Suchanfragen in natürlicher Sprache zu verstehen und entsprechende Bilder mit den gesuchten Motiven zu finden.
Zwar ist die Funktion bislang nicht überall auf der Welt verfügbar, aber dort, wo sie es ist, beschweren sich viele Anwenderinnen und Anwender darüber, dass sie die gesuchten Bilder auf dem eigenen Smartphone nicht finden oder die Suchergebnisse weniger zutreffend seien als zuvor.
Nun reagiert Google auf die anhaltende Kritik und kündigt an, dass Nutzende die KI-gestützte Fotosuche bald einfach abschalten und zur klassischen Suche wechseln können.
Dies dürfte dann auch hierzulande möglich sein, wenn Ask Photos noch in dieser Woche nach Europa kommt.
Allen unken Rufen zum Trotz.
Läuft sich der Innovationsmotor in Deutschland warm und der Treibstoff ist zunehmend digital?
Dass KI oder AI mittlerweile zu den häufigsten Begriffen bei Markenanmeldungen gehören, unterstreicht die Stellung dieser Technologie.
Das geht aus der aktuellen Bilanz des deutschen Patent- und Markenamts hervor.
In der Computertechnik stiegen die Patentanmeldungen um knapp 11 Prozent.
Dabei spielen vor allem Verfahren zur Bilddatenverarbeitung und Spracherkennung eine Rolle.
Disziplinen, die heute fast ausnahmslos auf Deep Learning und andere KI-Methoden setzen.
Regional bleibt der Süden Deutschlands die Innovationsschmiede der Nation.
Baden-Württemberg führt das Ranking bei den Patenten pro Kopf deutlich an, gefolgt von Bayern.
Das war das KI-Update von heise online vom 11.
März 2026.
Eine neue Folge gibt es immer montags, mittwochs und freitags um 15 Uhr.