# AI Safety, Cyber-Security and the Rise of Cognitive Debt

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-04-17

## Transcript

Das KI Update.
Ein Heise-Podcast.
Mit redaktioneller Unterstützung von The Decoder.
Ich bin Isabel Grünewald und dies sind heute unter anderem unsere Themen.
Grog stand angeblich kurz vor App Store-Auswurf.
Anthropic veröffentlicht Claude Opus 4.7.
Robert hat Blindenhund lernt sprechen und körperlos zum Chorceller.
Einem Medienbericht zufolge stand die KI-App Grog kurz vor dem Ausschluss aus Apples App Store.
Grund war Anfang des Jahres der Wirbel um Deepfakes.
Davon, dass es hinter den Kulissen brodelte, bekam die Öffentlichkeit allerdings nichts mit, berichtet Malte Kirchner aus dem Heise Online Newsroom.
Durfte Grog wirklich einfach so im App Store bleiben, obwohl das KI-Modell von Elon Musks XAI ohne vernehmliche Deepfake-Nacktbilder erstellt hat, möglicherweise sogar von Kindern.
Diese Frage hat zuletzt für erhebliche Kritik gesorgt und Apple hat jetzt reagiert.
In einem bislang nicht öffentlichen Brief an US-Senatoren, den NBC News publik gemacht hat, stellt Apple klar, man sei nicht untätig geblieben.
Sowohl XAI als Entwickler von Grog als auch X, als das soziale Netzwerk, das Grog integriert, wurden demnach nach ersten Beschwerden und Medienberichten kontaktiert.
Apple habe Verstöße gegen die eigenen App Store-Richtlinien festgestellt und ein Ultimatum gestellt.
Umgesetzt werden musste ein konkretes Maßnahmenpaket zur besseren Inhaltskontrolle.
Andernfalls drohte der Rauswurf aus dem App Store.
Das war offenbar keine leere Drohung.
Laut dem Bericht soll Grog tatsächlich kurz vor der Entfernung gestanden haben.
X reagierte dabei deutlich schneller als der Grog-Entwickler selbst.
XAI versprach Apple schließlich unter anderem eingeschränkte Bildbearbeitungsfunktionen und stärkere Zugriffsbeschränkungen.
Ob das ausreicht, bleibt fraglich.
NBC News berichtet, dass die Schutzmechanismen weiterhin umgehbar sein sollen, auch wenn Veröffentlichungen in dem Ausmaß wie noch vor einigen Monaten zuletzt nicht mehr aufgefallen sind.
Interessant ist auch die politische Dimension.
In den USA wird bereits über ein gesetzliches Verbot von KI-Systemen diskutiert, die solche Deepfakes ohne Zustimmung der Betroffenen ermöglichen.
Kritiker lassen sich von Apples Brief dennoch nicht vollständig überzeugen.
Ihr Vorwurf wäre das ein kleiner Indie-Entwickler gewesen, statt ein milliardenschweres Unternehmen wie XAI, hätte Apple die Regeln von Anfang an konsequenter durchgesetzt.
Als Beleg verweisen sie darauf, dass Apple zuletzt Updates für sogenannte Wipecoding-Apps blockiert hat, wegen deutlich weniger schwerwiegender technischer Verstöße.
Danke, Malte.
Nachdem Anthropec mit dem KI-Modell Mythos in den vergangenen Tagen bis in höchste Regierungskreise für Aufregung gesorgt hat, bringt nun OpenAI mit GPT 5.4 Cyber ein eigenes KI-Modell für Cybersicherheit.
Wie bei der Konkurrenz bleibt der Zugang zunächst eingeschränkt und erfolgt über das im Februar gestartete Programm Trusted Access for Cyber.
OpenAI will es in den kommenden Wochen auf tausende verifizierte Sicherheitsforschende sowie hunderte Teams, die für den Schutz kritischer Software verantwortlich sind, ausweiten.
OpenAI sieht GPT 5.4 Cyber als ersten Schritt hin zu weiteren speziell auf Cybersicherheit zugeschnittenen KI-Modellen.
Die derzeitigen Schutzmechanismen hält das Unternehmen für ausreichend, um aktuelle Modelle breiter zugänglich zu machen, während Varianten für Cybersicherheitsarbeit zunächst unter strengeren Kontrollen bleiben sollen.
Langfristig geht OpenAI davon aus, dass für noch leistungsfähigere Modelle deutlich umfangreichere Schutzmaßnahmen nötig werden.
OpenAI hat auch sein Entwicklertool Codex umfassend erweitert.
Das agentische KI-System kann nun den Computer bedienen, Bilder generieren und über Wochen hinweg eigenständig an Projekten arbeiten.
Damit zielt OpenAI direkt auf Anthropics-Programmierassistenten, Claude Code.
Die auffälligste Neuerung heißt Background Computer Use.
Codex kann damit den Bildschirm sehen, klicken und mit einem eigenen Cursor tippen.
Mehrere KI-Agenten sollen parallel auf dem Rechner arbeiten können, ohne die eigene Arbeit der Nutzerin zu stören.
Codex kann sich laut OpenAI selbst zukünftige Aufgaben einplan und automatisch an langfristigen Projekten weiterarbeiten.
Die Funktion ist zunächst nur auf Mac OS verfügbar, dazu kommen Automatisierungsfunktionen.
Außerdem hat OpenAI mehr als 90 neue Plugins veröffentlicht, darunter Anbindungen an Atlassian, Jira, GitLab, die Microsoft Suite und Slug.
Für uns in der EU und in Großbritannien sollen einige Funktionen allerdings erst später verfügbar werden.
Anthropic wiederum hat sein Spitzenmodell Claude Opus aktualisiert.
Version 4.7 legt vor allem beim Autonomen Programmieren deutlich zu.
Gleichzeitig hat das Forschungslabor erstmals gezielt versucht, bestimmte Cybersicherheitsfähigkeiten des Modells einzuschränken.
Was das Modell laut Anthropic kann, erklärt uns Kim Schörenbrand von The Decoder.
Auf dem Coding-Banchmark SWEBench Pro erreicht Opus 4.7 laut Anthropic rund 64%.
Der Vorgänger Opus 4.6 kam auf 53%.
Auch Opme AIS GPT 5.4 liegt mit fast 58% darunter.
Anthropics eigenes Forschungsmodell Mythus Preview bleibt mit knapp 78% allerdings weiterhin klar vorne.
Der Benchmark testet, wie gut KI-Modelle echte Programmieraufgaben eigenständig lösen.
Neben dem Coding verbessert Anthropic auch die Bildverarbeitung.
Opus 4.7 verarbeitet Bilder mit bis zu 3,75 Megapixeln, mehr als dreimal so viel wie frühere Cloud-Modelle.
Das soll vor allem KI-Agenten helfen, die Screenshots lesen und Benutzeroberflächen bedienen müssen.
Bei der Analyse komplexer Dokumente steigt die Trefferquote laut Anthropic von 57 auf über 80 Prozent.
Besonders auffällig ist der Umgang mit Cybersicherheit.
Anthropic hat beim Training experimentell versucht, riskante Cyberfähigkeiten gezielt zu reduzieren.
Zusätzlich blockieren neue Schutzmaßnahmen automatisch Anfragen, die auf verbotene oder hochriskante Nutzung hindeuten.
Etwas teurer könnte die Arbeit mit dem Modell aber werden.
Die Stückpreise bleiben zwar gleich bei 5 Dollar pro Million Input-Token und 25 Dollar pro Million Output-Token, doch ein neuer Tokenizer bildet denselben Text auf bis zu 35% mehr Tokens ab.
Die tatsächlichen Kosten könnten pro Anfrage dadurch spürbar steigen, obwohl sich an den offiziellen Preisen nichts ändert.
Wie sich das Modell im Alltag schlägt, werden wir über die nächsten Wochen testen.
Dankeschön, Kim.
Das Technologieberatungsunternehmen Thoughtworks hat die 34.
Ausgabe seines halbjährlichen Technology Radar veröffentlicht.
Zentrales Thema sind die sogenannten kognitiven Schulden.
Sie entstehen, wenn künstliche Intelligenz immer größere Codemengen generiert und das gemeinsame Verständnis von Software-Systemen in Entwickler-Teams schneller erodiert, als es sich erneuern lässt.
Während frühere Ausgaben des Radars die wachsenden Fähigkeiten von KI im Software Engineering beleuchteten, verschiebt sich der Fokus nun auf die Risiken beim Skalieren und im produktiven Einsatz.
Der Unterschied zu klassischen technischen Schulden ist dabei wesentlich.
Technische Schulden stecken im Code selbst.
Kognitive Schulden dagegen in den Köpfen der Entwicklerinnen und Entwickler.
Die Kluft zwischen Mensch und System wird größer, wenn KI-generierter Code schneller entsteht, als Teams ihn durchdringen können.
Der Technology Raider fordert daher eine Rückbesinnung auf Engineering-Grundlagen, um die wachsenden Fähigkeiten von KI nachhaltig nutzen zu können.
Die Sprachmodelle von Apple sind potenziell angreifbar.
Forschende haben jetzt mehrere neue Angriffsmethoden auf Apple Intelligence demonstriert.
Ben Schwan von der Macen Eye mit den Einzelheiten.
Apples lokale Sprachmodelle sollen über einen längeren Zeitraum anfällig für Prompt Injections gewesen sein.
Dabei gelang es Sicherheitsforschern von RSAC aus den USA, Apple Intelligence dazu zu bringen, seine Sicherheitsfilter und Guardrails zu umgehen.
Es wurde also Output geliefert, der eigentlich verboten ist, etwa Schimpfwörter.
Die Umgehung erfolgte über mehrere Methoden.
Eine davon waren sogenannte Neural Execs, bei denen Prompt Injections in scheinbar unsinnigen Prompts versteckt werden.
Methode 2 nutzte Unicode-Sprachen, die von rechts nach links geschrieben werden, um böswillige Prompts auszuführen.
Apple ist über das Problem bereits seit Monaten informiert und soll bereits Abhilfe geschaffen haben, hieß es.
Apple Intelligence setzt auf einen kombinierten Ansatz aus lokalen Sprachmodellen und verschlüsselten Cloud-Servern, der sogenannten Private Cloud Compute.
Die lokalen Sprachmodelle übergeben an die Cloud, sobald eine Aufgabe zu komplex wird.
Es ist allgemein bekannt, dass sich lokale Modelle leichter angreifen lassen, als die leistungsfähigeren Servermodelle.
Dankeschön, Ben.
Und wir bleiben bei Apple.
Hier muss ein Teil des Siri-Teams zurück auf die Schulbank.
Etwa 200 Programmiererinnen und Programmierer sollen in einem mehrwöchigen Bootcamp lernen, wie sie Werkzeuge wie Anthropics Cloud Code oder OpenAI's Codex beim Programmieren einsetzen.
Das berichtet das Branchenportal The Information.
Warum das Bootcamp?
Nun, das Siri-Team gilt bei Apple Intern seit Jahren als Träge und soll den Anschluss an moderne KI-Entwicklungen verpasst haben.
Der Zeitpunkt ist brisant.
Schon im Juni will Apple auf seiner Entwicklerkonferenz WWDC eine komplett überarbeitete Version von Siri vorstellen.
Die neue Siri soll auf Googles Gemini-Modell basieren und deutlich gesprächsfähiger sein.
Nach dem Bootcamp bleiben rund 60 Entwicklerinnen und Entwickler im Kernteam.
Weitere 60 sollen Siries Leistung und Sicherheit überwachen.
Vier beinige Roboter taugen nicht nur als Wachhunde, sondern womöglich auch als Blindenhunde.
In der Vergangenheit gab es bereits mehrere Studien und Versuche, blinden Menschen einen Roboterhund an die Seite zu stellen, der sie sicher von A nach B navigiert.
Eine neue Entwicklung von Forschenden der Binghampton University in New York geht jetzt einen Schritt weiter.
Was genau neu ist, erklärt Jenny Lepees von der MIT Technology Review.
Das Besondere an dem neu entwickelten Roboterhund ist, dass er seine Besitzer nicht nur führen kann, sondern dank großer Sprachmodelle auch mit ihnen sprechen kann.
Das hat unser Autor Eike Kühl für uns herausgefunden.
Diese Fähigkeit stellt natürlich einen großen Vorteil dar.
So kann der Hund etwa den Wegverlauf beschreiben, den sein Begleiter und er gerade gehen.
Als Roboter hat das Team ein Unitree GoToPro verwendet.
Das ist ein vergleichsweise simples Modell aus China, das es für Privatpersonen bereits für weniger als 4000 Euro zu kaufen gibt.
Ein ausgebildeter Blindenhund dagegen kann gut und gerne das fünf bis zehnfache kosten.
Als KI-Modell nutzen die Forscher GPT-4 von OpenAI, das sie mit einem eigens entwickelten Dialogsystem ausgestattet haben.
Das besteht im Kern aus zwei Modulen.
Einer Planverbalisierung, dabei stimmen sich Mensch und Roboter gemeinsam ab, was die Aufgabe ist und wohin sie laufen möchten.
Das zweite Modul ist die Szenenverbalisierung.
Dabei beschreibt der Roboter während des Weges seinem Besitzer die Umwelt, sodass dieser bei Bedarf reagieren und den ursprünglichen Plan anpassen kann.
Beide Module funktionieren über Sprachbefehle.
Ein Beispiel sagt der Besitzer, dass er durstig ist, überprüft der Roboter Blindenhund zunächst, ob sich in der Nähe eine Küche, ein Getränkautomat oder ein Wasserspender befindet, teilt diese Option mit und fragt dann nach, wohin es gehen soll.
Dabei informiert der Roboter auch, ob es auf dem Weg Hindernisse gibt, etwa Türen oder Rolltreppen.
Sieben blinde Menschen haben den Roboterhund bereits getestet, allerdings in einem begrenzten Rahmen, in dem Fall einem großen Bürogebäude.
Das Sprachmodell hatte vorab Informationen der Räumlichkeiten erhalten.
Daher ist nicht klar, wie der Roboterhund in komplexeren Situationen funktioniert, etwa im Trubel einer Großstadt.
Das soll in einer Folgestudie untersucht werden.
Das Feedback in einem Test sei aber grundsätzlich positiv gewesen, berichten die Forscher.
Und trotzdem kann ein Roboterhund einen ausgebildeten Blindenhund vorerst nicht ersetzen, denn die natürlichen Vierbeiner können auch Gefahrensituationen einschätzen, bei Stürzen reagieren oder auch Befehle des Halters verweigern.
Nicht zuletzt vermittelt er das Gefühl von Vertrauen und Verlässlichkeit.
Und das lässt sich nicht so einfach von den Roboterhunden simulieren.
Danke, Jenny.
Drei ehemalige und für Halbleiterentwicklungen bei Apple, Intel und Qualcomb, haben ein neues Start-up gegründet.
Bei Nova Core wollen Gerard Williams der Dritte, John Bruno und Ramstreamasan einen neuen Prozessorkern entwickeln, der als General Purpose CPU zwar alles berechnen, aber insbesondere KI-Berechnungen schnell und effizient ausführen soll.
Dazu wollen sie nichts anderes als die Regeln von Silizium komplett neu schreiben, wie sie versprechen.
Noch gibt es weder ein Produkt noch Spezifikationen.
Nova Core bleibt bislang vage und hat auch die Befehlssatzarchitektur des neuen CBU-Kerns nicht verraten.
Aber immerhin haben die drei Gründer mit Sequoia Capital schon einen prominenten Investor gefunden.
Ab heute startet das zweite Wochenende des Coachella Festivals.
Nicht alle Social Media Beiträge vom Festival sind allerdings echt.
In den sozialen Netzwerken fluten KI-Influencer die Feeds, beobachtet mein Kollege Robin Ahrens aus der CT-Redaktion.
Es ist das Riesenevent in der Kalifornischen Wüste.
Das Corcella Festival ist seit langem schon ein Sammelbecken für Promis, InfluencerInnen und Content Creator.
Aber nicht alle Bekanntheiten sind wirklich vor Ort.
Laut dem US-Nachrichtenportal The Verge stammen immer mehr Social-Media-Beiträge von KI-InfluencerInnen, also nur virtuell existierenden Persönlichkeiten.
Die posten dann vermeintliche Arm-in-Am-Fotos mit Justin Bieber, Kylie Jenner und Co.
In Wirklichkeit wurden die Bilder aber mit KI-Tools erstellt oder manipuliert.
Und sie wirken ganz schön echt.
Vor allem auch deshalb, weil die Hintergründe der KI-Fotos teils real existierende Gebäude oder Szenerien des Festivalgeländes zeigen.
Auf Instagram binden die KI-InfluencerInnen ganz schön viel Aufmerksamkeit.
Dem Account Granny Spills etwa folgen Stand April mehr als zwei Millionen Menschen.
Die Coachella-Beiträge der markell gestalten KI-Omer von vergangenem Wochenende sammelten mehrere hunderttausend Likes.
Andere bekannte KI-InfluencerInnen haben zwar deutlich weniger Anhänger, mit ihren häufig mehr als 100.000 FollowerInnen erreichen sie aber noch immer ein großes Publikum.
Problematisch ist, dass die meisten KI-Beiträge nicht als solche gekennzeichnet werden.
In den Bildunterschriften der Corcella-Posts etwa finden sich keine Hinweise auf KI-Tools.
Erst in den Profilbeschreibungen der Accounts sind manchmal Anhaltspunkte auf KI zu lesen.
Die Profile besuchen die meisten Social-Media-NutzerInnen aber vermutlich gar nicht, denn die KI-Beiträge werden meist wahllos in den eigenen Feed gespült.
Die Bilder der vermeintlichen InfluencerInnen vom Corcella bestätigen einen Trend, der sich ja schon länger abzeichnet.
Sogenannter AI-Slot flutet seit Monaten das Internet.
Schätzungen zufolge sind mittlerweile ein bis zwei Fünftel der Online-Inhalte nicht mehr Mensch gemacht.
Und das bringt gleich etliche Probleme mit sich.
Erstmal frisst die Produktion von KI-Content große Mengen an Energie.
Ist er einmal online ausgespielt, bindet er sehr viel Aufmerksamkeit.
Die fehlt dann an anderen Stellen, zum Beispiel für menschliche Kreativerzeugnisse.
Und KI-generierte Fake News lassen natürlich das Vertrauen in seriöse Medien sinken.
Auch weil Medienhäuser zu oft blind vertrauen und sie einfach übernehmen.
Mal sehen, was da noch auf uns zukommt.
So viel kann gesagt sein, es hilft genau hinzuschauen.
Dankeschön, Robin.
Und noch eine Kuriosität, macht Schlagzeilen.
Der neue Eigentümer der kriselnden Schuhfirma Allbirds aus San Francisco hat einen Weg gefunden, den Aktienkurs innerhalb von Stunden fast zu verzehnfachen.
Er gab bekannt, künftig GPUs an die KI-Branche vermieten zu wollen, um am KI-Boom teilzuhaben.
Dafür will ein institutioneller Investor wohl 50 Millionen US-Dollar bereitstellen.
Im Zuge dessen soll die Firma in Newbird AI umbenannt werden.
Vor der Bekanntmachung wurde eine Aktie von Alberts für gerade mal 2,50 Dollar 50 gehandelt.
Kaum war die Meldung draußen, sprang der Preis vorübergehend auf fast 24 US-Dollar.
Später hat er sich bei rund 17 Dollar eingependelt.
Ob diese bizarre Änderung der Geschäftsstrategie eines Schuhhändlers tatsächlich funktionieren kann und die Euphorie an der Börse gerechtfertigt ist, ist zumindest zweifelhaft.
Das war das KI-Update von Heise Online vom 17.
April 2026.
Eine neue Folge gibt es immer, montags, Mittwochs und Freitags um 15 Uhr.
Werbung.
Außerdem bei Heißer.
CT.
Moin, ich bin Jan aus dem Team unseres Podcast CT Ablink.
Jeden Samstag sprechen wir in einer neuen Folge mit Kolleginnen und Kollegen aus der Redaktion über fachliches und nerdiges zu CT-Artikeln, über Details und Hintergrundgeschichten, über Ansichten und Meinungen.
Hört mal rein in den CT Ablink.
Überall, wo ihr Podcasts hören könnt.
Wir versprechen euch, es wird garantiert nerdig.