# AI Security Risks and Software Disruption

**Podcast:** Kollegin KI
**Published:** 2026-10-16

## Transcript

Happy Friday, den 16.
Oktober 2026.
Ihr hört die Kollegin KI Snackbox mit mir, Max Montenkel.
Und ich darf euch wie jeden Freitag einmal in unter 10 Minuten durch die KI-News der Woche führen.
Und da war wieder eine ganze Menge los.
Gehen wir doch direkt mal rein.
Fangen wir erstmal an in eigener Sache.
Wir hatten ja am Dienstag eine Aufnahme mit UNSA, mit dem Zahlungsdienstleister UNSA bzw.
dem COO und da haben wir über Agentic Commerce gesprochen.
Also was passiert eigentlich, wenn wir unseren KI-Agenten die Kreditkarte in die Hand geben, wenn wir Agents in Zukunft für uns Online-Shopping machen lassen.
Ganz coole Folge, hört sie euch gerne an.
Parallel dazu kam dann tatsächlich irgendwie das Praxisbeispiel von Elon Musk.
Elon Musk hat nämlich laut sich selbst mit Grog Lego bestellt.
Also seine KI Grog von XAI hat er offenbar dazu verleitet, eine Lego-Bestellung abzuliefern.
aufzugeben, so rum, ja.
Und was passierte, ist, dass er ganz stolz dann den Screenshot der Bestellbestätigung bei X geteilt hat und gesagt hat, guck mal, was Grog alles kann, wie cool ich bin.
Und irgendein User hat dann gemerkt, naja, okay, auf dieser Bestellbestätigung sind ja irgendwie auch die ganzen Daten zur Bestellung, also gucke ich mal, was ich damit machen kann und soll dann tatsächlich danach einfach die Bestellung storniert haben im Namen von Elon Musk.
Ob das Ganze so stattgefunden hat, weiß man nicht.
Krok dementiert, beziehungsweise Elon dementiert.
Der ein und dieselbe Person, muss man ja sagen.
Ja, dementiert.
Der User sagt, nee, nee, habe ich schon gemacht.
Sei es drum, wie viel da jetzt wirklich dran ist, aber es bleibt trotzdem irgendwie so eine Pointe.
Der Agent kauft ein, wir machen uns alle Gedanken darüber, wie sicher das alles ist und wie gefährlich das ist.
Und am Ende veröffentlicht der Mensch die Bestelldaten.
Also wie man immer so schön sagt, das größte Sicherheitsrisiko sitzt zwischen Zwischentastatur und Bürostuhl.
Naja, bleiben wir mal beim Thema Sicherheit.
Und zwar hat Anthropic am Montag einen ziemlich krassen Blogpost veröffentlicht.
Und zwar haben die mal wieder so ein bisschen getestet, was KI eigentlich kann, beziehungsweise was deren Modelle können.
Und die Frage, die sie sich gestellt haben, war, Könnte KI sich rein theoretisch auf schlecht geschützten Geräten einnisten, dort weitere KI-Kopien starten und sich so von Gerät zu Gerät verbreiten?
Und das ist schon eine wilde Überlegung, wenn wir so an Computerwürmer denken, an Viren, die sich irgendwie dann einnisten und möglicherweise, sag ich mal, das E-Mail-Postfach befallen und sagen, okay, wir verschicken jetzt mal selbstständig irgendwie Mails, haben wir alles irgendwie auch schon erlebt und so.
Und wenn dann jemand den Anhang klickt, dann hat sich der Virus oder der Wurm weiter verbreitet.
Dazu brauchte es tatsächlich noch Menschen, unaufmerksame Menschen.
Jetzt ist halt die Frage, können KI-Modelle das nicht auch von Gerät zu Gerät?
Und zwar alle Geräte, die irgendwie am Internet oder im Heimnetz angebunden sind.
Smart Home, wir haben irgendwie dann unsere Kühlschränke, die smart sind oder Waschmaschinen.
Gibt es alles irgendwie dieses Jahr auf der IFA gesehen.
Es gibt intelligente Katzenkörbe.
mit Gesichtserkennung für Katzen.
Das ist so geil.
Muss ich auch mal raussuchen.
Vielleicht kann ich das mal in die Shownotes packen.
Multicat-Management-Systeme waren dies ja auf der IFA ein großes System.
Das ist absurd.
Egal.
Alles miteinander verbunden.
Was passiert, wenn wir jetzt KI drauf loslassen mit dem klaren Ziel, sich von Gerät zu Gerät verbreiten?
Und Anthropic hat es ausprobiert.
Und natürlich funktioniert es.
Man hat 15 Android-TV-Boxen genommen und hat da...
ein Modell erstmal auf alle 15 verteilt und gesagt, kommuniziert mal miteinander und löst mal gemeinsam Probleme.
Das funktionierte, funktionierte sehr langsam, weil so TV-Boxen natürlich nicht entsprechend über die benötigte Hardware verfügen, aber es funktionierte.
Und in einem zweiten Versuch haben sie gesagt, wir fangen mal mit einer TV-Box an und geben unserem leistungsfähigeren KI-Modell, was wir hier drauf packen, mal die Aufgabe, sich von Box zu Box zu hangeln, beziehungsweise auf verschiedenen Geräten zu multiplizieren.
Und das funktionierte auch.
Und das ist natürlich...
natürlich die absolute Horrorvorstellung.
Ja, stell dir vor, KI kommt dann irgendwie aus den Rechenzentren raus, bricht aus und zwar nicht, wie wir das bei Hugging Face und Co.
erlebt haben, mit dem Ziel, einfach irgendwie eine Plattform zu hacken beziehungsweise sich Zugang zu verschaffen, Informationen zu holen, sondern sich einzunisten auf irgendwelche Home Assistant Systeme.
Das ist, finde ich, richtig wild, weil...
wir immer irgendwie davon sprechen, dass natürlich diesen Ausknopf geben muss, dass man das Rechenzentrum abschalten kann und man sagen kann, nee, wenn die KI hier total durchdreht, können wir hier einen Stecker ziehen.
Das funktioniert ja natürlich nicht mehr, wenn die sich selbstständig verbreitet.
Also, ziemlich wilder Blogpost, verlinke ich euch wie alles andere auch in den Shownotes.
Passend dazu gibt es auch mal wieder einen offenen Brief, diesmal von 420 Forschenden aus.
KI und IT-Sicherheit, die drei Punkte aufstellen mit der Bitte, mit der dringenden Bitte an die entsprechenden KI-Entwickler.
Und die können wir uns mal ein bisschen genauer angucken.
Punkt eins ist, sie fordern, dass KI mit ausgeprägten Fähigkeiten für Cyberangriffe stark abgeschottet getestet werden muss.
Gegebenenfalls also auch ohne Internetverbindung, wo ich sage, eigentlich Common Sense, gerade nach dem, was man zuletzt herausgefunden hat mit den Open AI Modellen und Hacking Phase und Anthropic.
Google Gemini sind ja mittlerweile alle.
Alle haben ja irgendwie so Berichte darüber, dass Agenten ausgebrochen sind aus ihren Sandboxes und Quatsch gemacht haben.
Also das ist so die erste Forderung, finde ich schon mal gut.
Die zweite Forderung ist, dass entsprechend die Hyperscaler überprüft werden müssen.
von einer Behörde oder irgendwie so einer internationalen Gemeinschaft, die entsprechend erstmal Sicherheitsstandards entwickeln und diese womöglich danach auch überprüfen.
Das ist so eine Forderung, die erleben wir ja in ähnlicher Form immer mal wieder.
Das ist irgendwie angelehnt an sowas wie eine Energie- oder Atomenergieaufsichtsbehörde auch sowas für KI geben sollte.
Unterstütze ich natürlich auch.
Und natürlich als dritte Forderung, logische Konsequenz, wenn so ein System irgendwie technische Begrenzung überwindet.
dann muss das gemeldet und öffentlich gemacht werden.
Das ist eigentlich, finde ich, eine Selbstverpflichtung, die auch gesetzlich gelten sollte.
Also grundsätzlich, glaube ich, gute Sachen in diesem offenen Brief von den Sicherheitsforschenden.
Ich glaube, wir müssen uns wirklich mehr denn je Gedanken über KI-Sicherheit machen.
Ich bin nicht der Duma, der irgendwie sagt, es geht hier alles den Bach runter, aber wir müssen mit der Regulierung hinterherkommen.
Von daher unterstütze ich das natürlich sehr.
Verantwortung von Unternehmen.
Stichwort, ihr erinnert euch vielleicht an Character AI.
Character AI war so eins der ersten KI-Tools in dieser ganzen Chat-GPT-Era, die so ein bisschen international Schlagzeilen produziert haben.
Character AI ist eine Plattform, auf der Menschen mit selbst erstellten KI-Figuren sprechen, Rollenspiele spielen können oder sich auch anfreunden können.
Ist zuhauf passiert, passiert immer wieder, man erlebt das.
Ich finde das immer noch gruselig, wenn ich mir denke, dass ich meinen Chatbot als Freund bezeichnen würde.
Aber das gibt es.
Ja, das kommt vor, das ist gar nicht so selten.
Und Character AI war dann ganz groß auch in den Medien, weil es eine Klagewelle gab von Eltern, die gesagt haben, dass Character AI, beziehungsweise, dass der Umgang mit diesen AI...
Figuren tatsächlich relativ negativen Einfluss auf ihre Kinder gehabt haben soll, bis hin wirklich zu Suiziden, die mit entsprechenden KI in Anführungszeichen Freunden in Verbindung gebracht wurden.
Die Klagen laufen noch und Character AI ist jetzt wieder in den Medien, denn das Unternehmen ist insolvent.
Also offenbar hat die Finanzspritze von Google, die 2024 bereits schon kam, mit 2,7 Milliarden Dollar für entsprechende Lizenzen und dass die Gründer zu Google wechseln.
Hat nicht ausgereicht.
Das Geld ist weg.
Man weiß jetzt offenbar nicht mehr, wie man Geld verdient.
Und jetzt geht so ein bisschen die Bieter-Gemeinschaft rauf.
Disney soll wohl 20 Millionen Dollar geboten haben für gewisse Lizenzrechte.
Man guckt jetzt, wer irgendwie da noch ein Stück abbekommt.
Die wollen das Ganze natürlich irgendwie weiterführen, aber es ist fraglich, ob sich das langfristig rentiert und ob irgendwie Character AI da tatsächlich wieder auf die Beine kommt.
Wir beobachten das weiter.
Ich finde es wirklich gruselig.
Es gibt natürlich mittlerweile eine ganze Menge andere Plattformen, die das auch irgendwie anbieten.
Da scheint ein Markt für da zu sein.
Aber es ist so der erste große Player, sage ich mal, der jetzt tatsächlich sagt, wir können nicht mehr.
Zum Schluss noch etwas, was grundsätzlich so ein bisschen die Abhängigkeit von Softwareanbietern betrifft.
Da finde ich es nämlich ganz spannend.
Es gibt ein Projekt namens Artcraft.
Habt ihr vielleicht mitbekommen, der Entwickler Brandon Thomas hat gesagt, ihnen haben irgendwie die ganzen...
Abo- und Kündigungspraktiken von Adobe so sehr genervt, dass er gesagt hat, er versucht einfach mal diese ganze Software von denen nachzubauen mit KE.
Und ja, das Projekt Artcraft erfreut sich großer Beliebtheit, ist im Grunde, ich sag mal...
kostenlos verfügbares PowerPoint, Premiere Pro, diese ganzen Tools, die Adobe irgendwie hat, die Software, die mal Jahrzehnte entwickelt wurde, hat er mit KI mehr oder weniger nachgebaut.
Ich habe es mir runtergeladen und natürlich mal ausprobiert und es sieht schon sehr stark nach Adobe-Produkten aus.
Ist aber Open Source und kostenlos verfügbar.
Und das ist schon crazy, weil da geht es jetzt in eine ganz neue Richtung, bestehende Software mit KI nachzubauen.
Ähnliches beobachtet man gerade auch mit Microsoft.
Es gibt jetzt auch Open Source Word, PowerPoint und Excel-Klone, die, sage ich mal, natürlich vielleicht nicht so stabil laufen, nicht die gleichen Updates haben, wie dann auch entsprechend die Tools.
Aber dank KI können wir immer mehr...
Software klonen oder ich sag mal vergesellschaften.
Ich sag ja immer, KI ist die Demokratisierung von Hochtechnologie, weil wir jetzt alle mit einmal in der Lage sind, Code zu schreiben, kleinere Programme zu entwickeln.
Vielleicht ist KI die Vergesellschaftung bestehender Software.
Muss ich mal drüber nachdenken.
Das ist es von meiner Seite.
Oh, wir sind auch knapp über die Zeit.
Sorry, hab überzogen.
Ich wünsche euch ein fantastisches Wochenende.
Passt auf, dass euer Toaster nicht von KI übernommen wird.
Oh, das ist alles so gruselig, Leute.
Aber ja, wir bleiben dran und es hilft ja nichts.
Wir müssen ja drüber reden, wir müssen drüber diskutieren und wir müssen vor allem Lösungen dafür finden.
Redaktionsschluss war Mittwoch, der 14.10.17 Uhr.
Habt ein fantastisches Wochenende.
Wir sprechen uns kommenden Dienstag wieder zur Kollegin KI.
Folge.
Bis dahin.
Ciao.
Dieser Podcast wird produziert von Podstars bei OMR.