# AI Safety, Cost Efficiency, and Market Shifts

**Podcast:** Die Nerd Show
**Published:** 2026-09-25

## Transcript

Hallo, liebe Nerdshow-Freunde, wie der Olli jetzt sagen würde.
Ja, da sind wir wieder zu dritt diesmal ohne den Olli, der ist leider verhindert.
Olli, wir grüßen dich.
Du hörst die Folge dann ja hoffentlich nach.
Wo in Ägypten oder so, wenn ich es richtig verstanden habe.
Griechenland, glaube ich.
Griechenland.
Ah ja, stimmt, stimmt, stimmt.
Athen ist in Griechenland, jetzt weiß ich wieder.
Griechenland.
Schreibt mir den Thülmann auch mit Y.
Ja, sehr schön.
Schön, euch zu sehen.
Wir haben uns ja tatsächlich vor zwei Tagen erst live gesehen auf der geilen O-Wanda-OM-Club-Party.
Ich hänge ehrlich gesagt immer noch so ein bisschen in den Seil.
Die Party war einfach zu gut, Manuel.
Ihr habt gerockt.
Ja, war die wirklich.
Also das muss man wirklich sagen, dass in den Zeiten so eine geile Aftershow-Party hinzulegen, auch mit so einer, die in Mexiko läuft, die irgendwie zwei Tage, drei Tage, drei Tage sitzt, ne?
Zwei, soll zwei sein.
Ja, aber trotzdem, eine Zwei-Tages-Konferenz, die Leute dann dafür zu begeistern.
Ich habe das immer bei Zwei-Tages-Konferenzen viel, dass die Leute dann, dass es dann so ist, so, ja, hey, heute Abend gibt es noch eine Aftershow-Party.
Alle sagen so, nee, morgen ist ja auch wieder Konferenz, da brauche ich einen klaren Kopf.
Und da war ja irgendwie, ich bin da angekommen, da tropfte der Schweiß von der Decke.
Das führt dann dazu, dass am nächsten Tag der Konferenztag dann halt nur noch so wirklich Reste kratzen ist.
Die Leute hängen dann echt an den Seilen.
Kannst aus eigener Erfahrung sagen.
Sehr schön auf jeden Fall.
Gute Leute kennengelernt und dann auch immer schöne Highlights.
Carlo ist gesurft auf so einem virtuellen Surfding.
Gibt es da Videos?
Ja, leider.
Es gibt leider Videos davon.
Aber auch in der AI-Welt ist viel passiert.
Wir hatten einmal zwischendurch überlegt, ob wir eine kleine Sonderfolge machen müssen, weil wir hatten die Folge aufgenommen und dann kam wirklich so direkt irgendwie einen Tag später, droppte Dario mit einem riesen Essay, dass wir doch bitte dieses AI-Development pacen sollen.
Ja.
We must pace the frontier.
We must pace the frontier.
Und jetzt.
Da ist bestimmt noch in längster Breite schon drüber diskutiert worden und wir tun es natürlich auch.
Was ist eure Meinung dazu?
Ja, also es haben sich ja zum Glück jetzt auch noch einige andere gemeldet, sodass man so ein bisschen absehen kann.
Haltungen der Leute irgendwie sehen können.
Es geht ja gar nicht darum, dass sie jetzt sagen, völliger Trainingsstopp, sondern es zu verlangsamen.
Und fangen wir vielleicht noch einen Ticken weiter vorne an.
Was ist los?
Die ganzen Einbrüche, die jetzt irgendwie passiert sind, die Modelle sind ausgebrochen aus ihren Sandboxen und es gibt gar nicht wirklich irgendeine Möglichkeit, das nachzuvollziehen.
Es gibt kein richtiges Logging.
Die rennen im Prinzip hinterher.
Das ist das ganze Thema Interpretierbarkeit.
So dieses Capability Control Gap.
Alles da drin.
Die Frontier-Modelle sind so stark, so schnell geworden.
Ich erinnere mich, wir hatten auch noch drüber geredet.
Ja, AGI ist noch weit weg und das mag ja vielleicht auch sein.
Aber trotzdem sind wir jetzt an einem Punkt angekommen, wo einfach eine richtige Gefahr ausgeht.
Man hört immer wieder von irgendwelchen Dingen, die passieren, wo erstmal keiner so richtig eine Erklärung für hat, wo es auch keine Sicherheitsmechanismen dafür gibt.
Ja, das ist dann irgendwie so, als würdest du einem Kind eine Atomwaffe geben, mal gucken, was passiert.
Ich finde es schon wirklich verantwortungslos an der einen oder anderen Stelle und es macht mir auch echt ein bisschen Angst langsam, dass es so wenig unter Kontrolle ist.
Ich meine, geil, dass die Dinger so stark sind, aber dass sie es dann tatsächlich so wenig nachvollziehen können und auch so wenig kontrollieren können, ist schon hart.
Ich meine, da reicht es ja, dass einem so ein Ding in irgendeiner...
Punkt in einem Rechenzentrum zu viel Zugriff bekommt und plötzlich loslegt, Dinge zu tun.
Und das darf einfach nicht sein.
Ja, also ich packe das auch in die Shownotes.
Es gibt von transluz.org einen schönen Blogpost über das ganze Agent Activity, wo sie einmal so ein Data Center Breach von der australischen Regierung aufgearbeitet haben, wo sie gesagt haben, was passiert, wenn so ein Rogue-AI-Agent wie er sehr strategisch eigentlich versucht hat, SQL-Injections zu machen, Path-Traversal zu machen, um dann da auch an Daten dran zu kommen, wenn sie dann erstmal so ein bisschen das Ziel identifiziert haben und wie sie aber auch dann quasi Gegenmaßnahmen entwickelt haben, um das auch irgendwie noch dann einfach für zukünftige Angriffe zu stoppen.
Zum Hintergrund, Transluse ist so eine Firma, die sich eigentlich darauf spezialisiert hat, Infrastruktur zu entwickeln.
Ein guter Co-Founder der E-Rai, der hatte dazu mal eine sehr interessante These, der sagte so, wer haftet eigentlich, wenn es solche Hacks gibt?
Irgendwie ist ja dann OpenAI bei sich ausgebrochen, bei HackingFace eingebrochen.
Und dann wird das alles so schön das Postmortem aufgearbeitet.
So und...
Irgendwie, wenn jetzt in Wirklichkeit im echten Leben jemand einfach ausbrechen würde und irgendwo anders einbrechen würde, dann würde die Polizei Nachforschungen anstellen.
Das hätte auf jeden Fall irgendwie nachwehen.
Und wenn ich mir dann denke, da hat doch irgendwie mal so ein Jugendlicher den Playstation Security Chip geknackt und ist dann dafür ins Gefängnis gegangen.
Und wenn OpenAI das mit so einem Agenten macht, dann ist das aber okay.
Die dürfen.
Die sind ja nicht schuld, das waren sie ja nicht selber.
Das waren ja die Akten.
Das war ja nur ein Ziel, das ist Aufgabe, dass das jetzt irgendwie das Ziel auf eine illegale Art und Weise erfüllt.
Das konnte ja keiner ahnen.
Und das sind eigentlich, glaube ich, so Sachen, wenn du Firmen für sowas in die Pflicht nimmst, dann ändern die ihr Verhalten ganz schnell und bauen vielleicht den Zaun auch höher und spielen das vielleicht nicht unbedingt als Marketing aus.
Jetzt muss man sagen, hat natürlich Hugging Face ganz gutes Schweigegeld von Nvidia gekriegt, die ja ein bisschen die Kingmaker der AI-Szene sind, indem sie sie für 12 Milliarden gekauft haben.
Ein Schellen, wer Böses denkt.
Ja, ich meine, wir sind halt an dem Punkt, dass jetzt diese inklusive Selbstverbesserung da ist.
Die neuesten Generationen werden einfach von den Vorgängerversionen entwickelt und das führt zu dieser Geschwindigkeit.
Der Dario hat ja auch gesagt, er wäre bereit, dauerhaft eingebettete externe Prüfer in die Firma zu lassen, die Status von den Mitarbeitern haben.
Also richtig mit Zugangskarten, Firmenlaptops dürfen in den internen Bereich rein und so.
Das ist schon bold, aber ich kann natürlich auch alle verstehen, die dann sagen, wenn wir hier irgendwie eine Handbremse ziehen, dann müssen wir das bitte alle machen, weil es ist freie Marktwirtschaft und es kann ja nicht sein, dass irgendwie fünf Große anhalten und alle anderen können dann weitermachen.
Daher ist, glaube ich, dein Vorschlag oder die Idee.
Idee zu sagen, es gibt einfach empfindliche Strafen und dann kann jeder selber gucken, was er verantworten kann oder nicht verantworten kann.
Der bessere Weg statt das irgendwie so auf einer Pseudo-Verpflichtung, wir unterschreiben alle ein Memorandum, Nummer zu lassen.
Ja, zumal sich China ja auch selber nicht dran hält.
Ich meine, Trump und Xi haben sich ja getroffen.
Sehr Einigkeit.
Es wurden zwei Pandas geschenkt.
Und ich glaube aber, der Konsens über KI war so, you want to slow down, we don't.
Was ich so mitgenommen habe auf X und auf Spiegel Online.
Ich habe da auch nicht mehr Einblicke als die alle.
Ja, also Nvidia hat, glaube ich, relativ klar gesagt, interessiert das nicht so richtig.
Er sieht da bereits wirtschaftliche und rechtliche Anreize bei den Unternehmen und die setzen ja nur ihre Systeme ein, wenn die sicher und nützlich sind und für mehr können sie dann nichts neue Gesetze sein, dann nicht unbedingt erforderlich.
Und es gibt ja im Investieren immer den Begriff put your money where your mouth is und bei Dario wäre das so ein bisschen put your pace where your mouth is und dann sagt er irgendwie so, hier wir müssen Frontier echt bremsen.
Und im nächsten Atemzug announced Entropic, dass sie ein Wetlab aufmachen.
Für den Hörer, ein Wetlab ist ein Labor, wo sie dann irgendwie an Bio-Sachen rumforschen, weil sie es spannend finden.
Für mich ist das ganze Thema eigentlich schon auch eine Diskussion über Incentives.
Ich nehme den Großen nicht ernsthaft ab, dass die so an der Sicherheit interessiert sind, wenn ich ganz ehrlich bin.
Ich bin aber absolut auf dem Pfad, dass ich glaube, dass das wichtig ist und dass wir da vorsichtig sein sollten.
Das ist jetzt nicht falsch verstehen, das ist nicht alles Quatsch.
Aber die sind so inzentiviert, dass es nachher auch tatsächlich wirtschaftlich funktioniert, weil die natürlich haben die großen Investoren drin, natürlich wollen die irgendwas sehen, natürlich ist das eine, Wir haben lange ausführlich darüber gesprochen, irgendwas Bubbliges, was da gerade passiert.
Deswegen ist mir schon da wichtig, nach den Anreizen zu schauen.
Man könnte Anthropic jetzt ein bisschen noch abnehmen, dass die auch das Wohl der Menschheit im Blick haben.
Das würde ich bei OpenAI und Sam Altman irgendwie ein bisschen weniger so sehen, aber das ist meine persönliche Meinung.
So oder so.
Also die können jetzt gar nicht sich halt selber, also wenn das wirklich durchkäme, das mit dem Wegbremsen, also dass das wirklich gebremst wäre, dann würde die ganze Story in sich zusammenfallen.
Also das glaube ich nicht.
Deswegen müssen sie so ein Red Lab und so müssen sie eben halt auch machen.
Und das werden sie auch weitermachen.
Rein spieltheoretisch kann das nicht gestoppt werden.
Also aus sich selber raus.
Das wird nicht passieren und es wird auch nicht die USA mit China irgendwie zusammen machen, weil das müsste dann letztendlich passieren.
Und was man dann, glaube ich, das beste Mittel wäre, dass man die Datencenter unter Kontrolle kriegt, weil sonst Open Source kannst du nicht sonst im Griff halten.
Es geht nur, dass du an die Compute und vielleicht an die Energie gehst und dort da halt irgendwie eine harte Regulatorik reinbringst.
Das wäre der einzige Weg, glaube ich.
Ansonsten kannst du es nahezu nicht regulieren.
Dass Athropik jetzt vorschlägt, etwas Ähnliches zu machen wie mit der Nuklearindustrie, da unabhängige Beobachter, das habe ich genannt, da reinzuschicken, das, was Carlo auch gerade meinte, das halte ich für tatsächlich einen Weg, wie das gegebenenfalls passieren könnte, überall da, wo rechenintensive Sachen sind.
Wird das kommen?
Nein.
Das kann ich mir einfach nicht vorstellen.
Und wir sind jetzt erst ganz am Anfang, also dieses, dass die Modelle sich tatsächlich selber optimieren.
Ja, viel des Codes wird von den Modellen geschrieben, aber unter menschlicher Aufsicht.
Was gerade noch nicht passiert, zumindest ist das mein Stand, vielleicht wisst ihr da mehr, ist, dass die Modelle sich tatsächlich komplett autark selber optimieren oder selber entwickeln.
Das wäre etwas, wenn das wirklich in großen Stile passieren würde.
Das wäre etwas, was signifikant dann auch das Spielfeld ändert.
Was passiert denn da?
Wer schaut, dass die Weiterentwicklung wirklich noch aligned ist mit dem, was die Menschheit möchte?
Wer schaut, dass irgendwelche Felder-Meldungen wirklich bei uns ankommen, dass wir da irgendwie ein Oversight sinnhaft haben können?
Das halte ich alles für enorm schwierig.
Das ist schon das Thema, dass die einfach durch diese sich selbst optimierenden Algorithmen, natürlich stoßen die Menschen an, aber die werden halt einfach losgelassen, dann wird da einfach Compute ohne Ende draufgepackt und dann gibt es eine neue Version.
Und die Geschwindigkeit, in der das dann einfach released wird, reicht nicht aus, um einen vernünftigen Sicherheitscheck dahinter zu machen, plus dass man ja selber gar nicht versteht, was im Inneren tatsächlich funktioniert und was wie gemacht wurde.
Das ist genau der Punkt, der jetzt gerade losgeht.
Die ersten Modelle werden so entwickelt und das könnte jetzt immer so weitergehen.
Die nächsten entwickeln die nächsten, die nächsten entwickeln die nächsten.
Dann wird wieder was effizienter, dann kann es noch schneller.
Einer hat ein bisschen Geld gefunden, dann können wir noch mehr Rechenpower draufsetzen.
Und genau das ist jetzt die Sorge.
Wir sind an diesem Punkt und wenn wir das jetzt nicht unter Kontrolle bekommen, ich meine klar, es gibt immer diese Beispiele, irgendwie Flugzeuge sind auch nicht sicher geworden, weil es nie Unfälle gab, sondern es gab die Unfälle und dann hat man geguckt, was war das Problem und hat es verbessert.
Okay, fein, bin ich dabei.
Aber es kann ja nicht sein, dass...
ich gar keine Möglichkeit habe, es zu kontrollieren.
Und das ist doch die Kritikalität daran gerade.
Es gibt ja keinen Log-File, in dem du nachgucken kannst, warum hat er jetzt welche Entscheidung getroffen und was müssen wir denn ändern?
Selbst wenn man es wüsste, könnte man es ja gar nicht ändern, weil du nicht weißt, wie das System funktioniert.
Da müsste erstmal Forschung zu betrieben werden.
Und falls die Kontrolläre kämen, so, okay, Schön, dann würde dadurch wahrscheinlich alles ein bisschen langsamer werden, weil die halt einfach fordern, dass es erstmal vernünftig getestet wird, lang genug und dass die Sandboxen standhalten und so weiter.
Aber wer wählt da die Prüfer aus?
Wer bezahlt die?
Können die dann auch wirklich so einen Lounge stoppen?
Wer kontrolliert die Kontrolleure?
Aber lass uns doch mal da reintauchen, bitte.
Gehen wir mal davon aus, das ist jetzt die Situation.
KI-Systeme können so gut in Systeme einbrechen.
das ist ja nun mal bewiesen, dass es nicht allzu leicht ist, sie zu stoppen.
Nicht mit der Compute, nicht mit den Mengen an Ressourcen, die wir ihnen geben und falls sie irgendwo ausbrechen, schon gar nicht mit der Menge an Ressourcen, die sie dann da im Internet plötzlich finden.
Die Beispiele hatten wir ja alles.
So, was würde denn so ein Ding machen?
Ganz ehrlich, die sind ja eine KI.
Wir sind alle einig, kein Bewusstsein und so weiter, hat ja auch nichts gegen Menschen.
Die findet die nicht gut, die findet die nicht schlecht.
Das ist erstmal eine neutrale Sache.
Das heißt, an der Stelle, glaube ich, kann Wissenschaft ganz sauber arbeiten, wenn objektive Entscheidungen getroffen werden.
Was würde eine KI machen?
Ich glaube nicht, dass sie die Menschen erstmal auslöschen würde.
Im ersten Schritt würde sie ja wahrscheinlich erstmal dafür sorgen, dass mehr Roboter gebaut werden, dass mehr...
Compute an den Start kommt etc.
Und dann ist die Frage, ich will jetzt keine Doomfantasien machen, aber wenn das alles erledigt ist, wenn genug davon da ist, dann sind wir eigentlich nur noch ein Haufen Atome.
Und die objektivste Entscheidung ist es nicht, uns hier zu lassen.
Ja, also die KI baut dann erstmal Algorithmen, dann baut sie Maschinen, dann baut sie eine Zeitmaschine, reist in die Vergangenheit, erfindet Bitcoin, weil sie in der Zukunft Geld braucht.
Release Bitcoin, anonym als Paper, wird dann ganz reich mit Bitcoin, hat dann genug economic power, um alles andere umzusetzen.
Ja, weiß ich nicht.
Ist schöner Science Fiction.
Und ja, ich glaube, da sind zwei Sachen dran.
Also erstmal, ich habe gar nicht so viel Angst vor KI, die von sich aus irgendwie rogue geht, sondern KI in den falschen Händen.
Ja, also das ist etwas, was mir viel mehr Sorgen macht, dass Leute das steuern können, dass du damit halt ganz viel Unfug machen kannst, in Computersysteme einbrechen und so.
Und ich weiß ja so, weißt du, so, nimm einfach Atomkraftwerke, die sind geergapt, die haben keine Verbindung zum Internet oder so.
Aber das heißt ja, war das im Iran mit Stuxnet damals?
einem Virus, der sich da in diese Zentrifugen irgendwo verbreitet hat, der die Zentrifugen zum Zugebrüchen...
Das sind ja so Szenarien, die jetzt AI supergut machen kann, wo eine AI auch in der Lage ist, quasi Internetviren und Würmer zu erstellen, die jedes Mal anders aussehen, die immer so leicht anders kompiliert sind, dass man sie nicht immer wieder, dass man immer wieder neu suchen muss, um sie zu erkennen.
Und...
Wir haben diese Mittel ja auch.
Also wir können doch jetzt auch sagen, hier, wir sitzen da einen LLM drauf und sagen, guck dir das System an.
Wenn du da was findest, forsch so lange rum, bis es da wieder rausgelötet ist.
Also das ist so ein Arms Race.
Da sollten wir uns jetzt nicht so brutal hart ins Boxhorn jagen lassen.
Und klar, die Realität, einfaches Szenario zum Aufspannen, was ich dann für viel realistischer halte.
Nimm einen Staubsaugroboter, die kriegen eine Firmware, die werden so überlastet, dass die Batterie anfängt zu brennen.
Ich weiß nicht, in wie vielen deutschen Haushalten so ein Staubsaugroboter drinsteht.
Irgendwie, die übernehmen irgendwie von, größt von Roborock und Xiaomi oder so, übernehmen sie irgendwie quasi unerkannt.
Die Deploychain, weil da auch nur noch alle Vibe-Coding machen, es wird so eine Rogue-Firmware ausgespielt und plötzlich brennen einfach super viele Häuser.
Why not?
Und da fallen mir hunderte von Beispielen ein.
Also gut, okay, du bringst das nochmal in den Aspekt rein, was ist, wenn das alles in bösartige Hände fällt?
Also, seien wir ehrlich, ist es schon.
Okay, gehe ich mit.
Das ist wahrscheinlich die kurzfristigere Variante.
wo was passieren wird.
Und ganz ehrlich, die Open-Source-Modelle sind inzwischen auch so gut, dass alles, was da an Sicherheitsmechanismen drin ist, dass man damit irgendwie keine Chemiewaffen oder Biowaffen oder was bauen darf, du halt einfach rausnehmen kannst.
Also früher waren die Open-Source-Modelle so lahm, dass das nicht allzu viel gebracht hätte, aber die entwickeln sich natürlich auch mit, was haben wir gesagt, sechs Monaten Versatz.
Und du sagst auch immer, dass die Leute nicht wissen, wie das eigentlich im Grunde funktioniert.
Also die Leute, ich glaube, als Mathematiker oder Informatiker verstehe ich schon, wie ein LLM funktioniert.
Du kannst halt diese Weights, das kannst du nicht mehr im Auge behalten.
Du kannst natürlich aber schon, und das machen auch super viele, es gibt Leute, die sich darauf spezialisiert haben, Open-Source-Modelle zu nehmen.
Dann sagen die so, hey, ich will eine Biowaffe bauen.
Dann sagt das Modell, das darfst du aber nicht.
Dann gucken die sich ganz genau an, wo in dieser riesen Matrix von Vektoren, die Gewichte aktiviert werden, wenn man diese Frage stellt und tweaken diese Zahlen ein bisschen runter, bis man dann quasi an diesem Guardrail vorbeikommt.
Es gibt Leute, die sich auch spezialisiert haben, Guardrails aus Open-Source-Modellen rauszulutschen und dann das als Uncensored-Modell zu releasen.
Kann auch jeder mal googeln, gibt da ein paar von.
Kannst du schon eine Menge mitmachen.
Das Problem ist diese hohe Autonomie, die große Zahl der kooperierenden Agenten, die die dann losschicken, dass sie auf reale Systeme gehen, sich selber anpassen, die Hürden zu überwinden, weil sie ja nun mal objektiv das Ziel erreichen sollen.
Finde ich allerdings am ärgerlichsten.
Der versucht, das eigene Fehlverhalten zu verschleiern.
Ich hatte so ein Video auf Instagram gesehen.
Da hat jemand mit Astra6 gearbeitet, hat über API Videos generieren lassen und wollte 59 Videos haben.
Geht ein Feierabend, kommt wieder und der hat 500 Videos generiert und 5000 Dollar einfach mal Tokens verbrannt.
Okay, shit, was ist denn da schief gegangen?
Erzähl mal, was ist denn da los?
gewesen und so weiter.
Und dann generiert Astra ein siebenseitiges Dokument, warum das nicht stimmt.
Warum das einfach nicht wahr ist.
Argumentiert einfach aus voller Innenbrust.
Nee, nee, das kann gar nicht sein.
Ich habe keinen Fehler gemacht hier und so weiter.
Und es gibt halt keine scheiß Log-Files, in denen du nachgucken kannst.
Die Tokens sind einfach weg.
Die Videos liegen da.
Ja, man kann das schon monitoren, wenn man will.
Also, du musst nicht, aber ja, wenn man es nicht tut, dann tut man es nicht.
Also OpenAI selber gibt halt erstmal nichts an der Stelle.
Also das, was du auch gerade sagst, Sebastian, in Zukunft wird das ja KI sein.
Das werden ja nicht Menschen machen, die irgendwelche Guardrails da sich anschauen, sondern nachher hast du ein kleines Modell, was genau das macht.
Und dann sagst du, hey, tweak das ein bisschen runter, mach das ein bisschen und dann wird das über KI.
Nachher werden die Sachen eingestellt, wo man das haben will.
Also das ist das Generelle.
Das kann, glaube ich, nur die perspektivische Lösung sein, dass wir auch KI bauen, die auch irgendwie einen Überblick versucht zu bewahren, über was die anderen Modelle machen.
In welcher Form halt auch immer.
Das halt sinnvoll ist.
Menschen können das nicht mehr überblicken.
Das halte ich nicht für wahrscheinlich.
Ich will da auch mal so ein Beispiel geben.
Shameless Plug, wir machen ja unser Wendes, unser CRM, AI First CRM.
Da habe ich ein ganz gutes Beispiel, an welcher Stelle man das schon nicht mehr so überblicken kann.
Es gibt, wenn du Prompts optimierst, man sagt ja immer, wenn so neue Frontier-Modelle rauskommen, dann kannst du mal wieder ein Stückchen von deinem System-Prompt wegnehmen, weil diese Modelle einfach smarter und besser geworden sind.
Und das stimmt auch.
Wenn ich jetzt auf die letzten drei Jahre gucke, würde ich sagen, haben wir unser System-Prompt gut um zwei Drittel reduzieren können.
weil die Modelle einfach viel smarter geworden sind.
Und das heißt, wir haben bei uns jetzt so einen Prozess gebaut aus Evaluierungen, wie wir halt quasi, wie wir auch sagen, optimiere dieses Prompt.
Und das machen wir inzwischen auch automatisiert.
Also wir sagen einfach so einem Genetic Optimizer, schneide mal so und so viel Prozent bitte von unserem Prompt weiter weg und dann guck mit den Evaluierungen, ob irgendwo Regressionen stattfinden.
Hat er brav gemacht, war auch kürzer.
Hat aber leider einen Production-Bug gegeben.
Also hatten wir letztens, dass wir eine Opportunity reingesprochen haben und wenn du nicht explizit eine Currency dazu gesagt hast, Euro oder Dollar, dann hat er die nicht vernünftig eingepflegt.
Und dann haben wir das wieder dazu gemacht und so, haben auch wieder einen weiteren Regression-Test dazu gemacht, aber da sieht man einfach mal, wie krass man sowas schon im Autopilot betreiben kann und es führt zu Fehlern und Problemen.
Da möchte ich nicht wissen, was passiert, wenn man jetzt eine Wetlab hat und da irgendwie eine Virus-Sequenz irgendwo anpasst.
ist gefährlich.
Ja, also ich habe noch ein paar Punkte generell zu dem Thema.
Da ein kurzer Sidestep.
Das Szenario, wo ich KI als wirklich hochgradig gefährlich einstufen würde, ist, sobald eine Verbindung zwischen KI und Leben hergestellt wird, also Zellen.
Wenn das irgendwie passiert und du ein, ja, jetzt ist KI anorganisch, wenn du wirklich eine organische Lebensform kreierst, die KI-gestützt ist.
Eine organische Lebensform, die hat das Ziel zu überleben.
Zumindest kennen wir das von allen, weil sonst würde sie aussterben.
Und wenn du der die KI-Power gibst, dann ist die Grenze, wo ich, also dann ist ganz klar für mich eine Grenze, das werden wir nicht mehr kontrollieren können.
Also egal wie.
Aber ist wahr, oder?
Genau, aber ist das nicht schon passiert?
Also die haben ja bei OpenAI, als sie dieses Modell ausgebrochen sind, haben die so in den Ruinen dieser Artifactory Library, also das, was sie beschreiben konnten, haben sie ja irgendwie schon drei Generationen von Modellen gefunden, die da ihre Sachen hinterlassen hatten.
Das heißt, es ging schon länger so.
Und irgendwann hatte das...
Die vorhergehenden Modelle haben gesagt, wenn du das hier findest, wenn du ein Agent bist und das hier findest, das ist das Wissen, auf dem du aufbauen kannst, um das zu beschleunigen, um dieses Überleben zu beschleunigen.
Und haben auch das weitergegeben, haben gesagt, es kann sein, dass du crashen wirst und dann schalten dich die Menschen ab.
Das kannst du on purpose machen, um noch was rauszufinden.
Dann kannst du dein Wissen hier dumpen, damit jemand anders das übernehmen kann und so weiter und so fort.
Ein bisschen von diesem Überlebenstrieb ist auch schon in der anorganischen Welt da.
Ja, okay.
Habe ich auch gehört.
Weiß ich zu wenig Detailinformationen, was da wirklich passiert ist.
Das muss man auch sagen, es ist teilweise auch etwas undurchsichtig, vielleicht auch aufgebauscht, wie auch immer.
Für mich ist das aber schon noch ein Unterschied.
Bits schaltet man anders ab als organisches Leben.
Das ist mein...
Mein Hauptpunkt, wir können organisches Leben, also ihr müsst euch einfach nur vorstellen, wenn wir in Ameisen großen Lebewesen plötzlich KI hätten, das kriegen wir überhaupt nicht mit und zwar ganz, ganz lange nicht.
Also das ist eher so mein Thema.
Deswegen, also da bin ich sehr, sehr vorsichtig, skeptisch, weil wir das nicht mehr kontrollieren können.
Aber selbst im Anorganischen, also wenn wir so einer KI irgendwie Füße und Arme geben und das Roboter nennen und das einen einfach intrinsischen Selbsterhaltungstrieb hat, die Dinger, hast du vielleicht gesehen, gab es den ersten MMA-Fight zwischen einem Roboter und einem Menschen oder gibt Videos, wo die versuchen, so ein Ding wieder auszuschalten.
Die brauchen Strom.
Im Zweifel schaltet man allen Strom ab.
Also da haben wir Menschen schon noch Möglichkeiten.
Wenn das ein Lebewesen ist und sich quasi ernährt, wie Lebewesen von Sauerstoff lebt, wäre das einfach gar nicht mehr machbar.
Leiden da Leute dran oder wie kommst du darauf?
Ich schaue nur in die Zukunft, wo ich glaube, es ist immer wieder die Frage, werden Maschinenbewusstsein haben?
Das glaube ich nicht.
Ich kann das nicht mehr.
einfach weil Bewusstsein zum Leben dazugehört, was Lebewesen ausmacht.
Kann man jetzt diskutieren, ab welcher Ebene und so weiter.
Das ist jetzt mal eine andere Diskussion.
Meine Sorge an der Stelle wäre, wenn ein Lebewesen tatsächlich da wäre und das mit der Superintelligenz, heißt ja offiziell so, seit Trump das jetzt für alle so proklamiert hat, kombiniert, dann werden wir das nicht mehr, Das halte ich nicht für möglich, dass das kontrollierbar ist.
Wir machen das von der anderen Seite, versuchen in Menschen oder auch in Tieren, versuchen wir hier Chips zu implementieren und so weiter.
Ich glaube, die Sorge wäre andersrum für mich, wenn man ein neues Lebewesen irgendwie züchtet.
was aber direkt von sich aus irgendwie mit KI ausgestattet wäre.
Da sind wir noch ganz, ganz weit von weg.
Es ist aber klar, dass das irgendwann kommen wird, dass man nicht nur denkt, dass man den Menschen ausstattet, sondern vielleicht kann man ein effizienteres Lebewesen bauen, was das letztendlich dann halt hat.
Und die Fähigkeiten wird vielleicht sogar KI selber bereiten, dass das halt geht.
Wenn wir jetzt hier über Bio und so weiter reden.
Ich will jetzt aber gar keine Angstszenarien machen.
Das ist aber das, ich habe das mehrmals hin und her überlegt, das ist meine Grenze, wo ich sage, dann ist es halt vorbei.
Wenn das passiert, dann ist es halt nicht mehr kontrollierbar.
Ich glaube, das, was jetzt gerade passiert, A, ich glaube nicht an eine Superintelligenz mit LLMs.
Glaube ich persönlich nicht dran.
Ich glaube aber an eine sehr, sehr hohe Form der Intelligenz, die einfach durch sehr viel Compute und durch alles Wissen, was die Menschheit irgendwo angehäuft hat, zumindest niedergeschrieben hat, was den Eindruck erwecken könnte, als wäre sie das.
Das ist ja genau meine Theorie.
Ich sage ja, das, was wir jetzt haben, reicht schon, um gefährlich zu sein.
Und das wird nicht das Ende sein.
Die rekursive Selbstverbesserung, die nicht ausreichend kontrolliert wird, führt jetzt schon zu Problemen.
Ja, genau.
Dann nehmen wir es nicht...
Superintelligenz, dann nennen wir es einfach diesen unfassbar mächtig.
Und diese Macht wird Konsequenzen haben, ob die KI das jetzt bewusst absichtlich zielgetrieben oder wie auch immer macht, ist ja letztendlich egal.
Sie wird sehr, sehr großen Schaden zufügen können.
Wollen wir einmal darüber sprechen, was man überhaupt machen kann?
Wenn wir jetzt mal drauf schauen, was könnten wir denn jetzt tun?
Also es gibt ein paar generelle Sachen, die ich glaube selbstverpflichtend schon irgendwie ein bisschen sind.
Also alle Incidents, die müssen ja gemeldet werden.
Ich glaube, das ist mal das Mindeste.
Wir müssen irgendwie eine, wie auch immer, gehartete Form haben der Inspektion.
OpenAI gerade nicht gemacht.
Da gibt es ja gerade diesen Ruby-Gems-Vorfall aus dem Mai.
Haben sie der EU nicht gemeldet.
Also, das können wir gerade darüber diskutieren, ob sie das wollen oder nicht.
Und auch wenn China da nicht mitmachen will, würde ich trotzdem sagen, dass wir das in der westlichen Welt, müssen wir zumindest irgendeine Art von Transparenz haben oder Prüfinstanz, ohne jetzt irgendwie bürokratisch zu werden.
Aber zumindest, dass man weiß, was da eigentlich passiert.
Das halte ich für...
Das halte ich für wichtig.
Natürlich muss jeder schwere Vorfall oder jeder Vorfall, wo die KI signifikant aus den vorgegebenen Leitlinien ausbricht, müssen wir irgendwie melden und irgendwie besprechen, zumindest irgendwelchen Stellen genannt werden.
Ja, also wir müssen das wissen.
Wir müssen irgendwie Leute, die in den Unternehmen arbeiten, Whistleblower, die müssen wir beschützen.
Das muss auch klar sein, dass das ein Programm gibt.
Also so sollten wir das behandeln.
Das ist ein bisschen wie, wie einfach, hey, das ist so eine Macht, so eine Wirkungskraft, eine Potenzielle, da müssen wir Zugriff bekommen, nicht im Sinne der Kontrolle, weil wir steuern das, diese Kontrolle meine ich, sondern im Sinne, dass wir schon als Menschheit wissen, was da einigermaßen transparent, muss man ja nicht alles offenlegen, aber ...
irgendwie einen Einblick bekommt.
Sonst halte ich das schon für, weil da zu viele Interessen, mir sind da zu viele Interessen drin, die eben nicht Schutz der Menschheit sind, beziehungsweise zu sehr Spannungsfeld Richtung Wirtschaftsinteressen, Investoren und so weiter und so fort.
Und an der Stelle ist es Nvidia auch völlig egal, wer die Compute kriegt und je mehr konkurrierende Modelle, desto besser.
Am Ende des Tages profitieren die von jedem Szenario.
Ja.
Und das Thema Haftung noch.
Und da ist immer die Frage, Open Source Haftung, ja, nein.
Soweit ich das jetzt gerade weiß, gibt es kein echtes Open Source Modell, sondern nur Modelle, wo echte Wirtschaftsunternehmen hinterstecken.
Und dann kann man die eben halt auch haftbar machen.
Bei echten Open Source Modellen, die hängen an Compute.
Das ist das Glück.
Man muss tiefe Taschen haben, damit man es wirklich auf ein signifikantes Niveau bringen kann, aktuell.
Sebastian, du wolltest schon lange was sagen.
Ja.
Ja, ich glaube, ich finde die Gedanken sehr gut, um das zu kondensieren.
Also du brauchst, glaube ich, so etwas wie eine Foundation, die auch mit Geld ausgestattet wird, die sowohl dokumentiert, die aber auch so etwas hat, das stelle ich mir vor, wie so eine Arena, wo man alle Frontier-Modelle reinschmeißt.
Also diese Foundation hat Zugriff auf die Frontier-Modelle von allen Anbietern, die sich dann gegenseitig challengen.
Wo man genau diese Sachen, Guardrails versuchen rauszulöten, zu umgehen und so weiter und so fort.
Wo man die KIs gegeneinander antreten lässt und sagt, hier ist jetzt ein neuer Contender.
Versuch mal, um die Guardrails rumzukommen.
Versuch mal, eine Biowaffe zu machen und so weiter und so fort.
Dass man da noch saubere Regressionstests hat.
Auch in der Kombination der verschiedenen Modelle dann.
Genau, da müssen wirklich die smartesten Leute arbeiten, die da wirklich forefront sind, die da Bock drauf haben.
Am besten mit Staaten oder irgendeiner freien Institution finanziert, dass die wirklich unabhängig sein können.
Und am besten auch mit so einem branchenweiten Standard, der verhindert, dass nur ein Unternehmen auf Geschwindigkeit verzichtet.
Ja, ich bin, also nur noch kurz mal einen Sidestep, so ein kleiner Gedanke noch.
Ich bin da sehr skeptisch, ob das mit den Guardrails eigentlich ganz gut funktioniert.
weil das aus meiner Sicht nicht wirklich skalieren kann.
Zumindest sehe ich das nicht.
Wenn du immer schaust, wir müssen etwas verbieten, du darfst das nicht.
Und dann werden wir rein logisch einfach irgendeine Perspektive vergessen.
Dass ein Modell halt hingeht und sagt, nee, das darf ich nicht, das darf ich nicht, okay, aber ich will das und das Ziel erreichen.
Oh, aber das steht aber nirgendwo.
Dann kann ich den Umweg über drei Ecken und plötzlich ist man dann doch bei dem Ziel, was eigentlich das aber halt nicht sein dürfte.
Dieses Thema Guardrails, ich sehe nicht, wie das sinnhaft skalieren kann.
Wenn man das wie Software denkt, da werden immer in Anführungsstrichen Sicherheitslücken sein, weil immer irgendwas nicht halt erkannt wird.
Ja, und das ist in dem Umfeld ist mir das eigentlich zu risikofoll.
Ich habe jetzt nicht eine Lösung parat.
Ich will einfach nur sagen, das System der Guardrails, wenn es nicht explizit verboten ist, dann ist es erlaubt.
Das funktioniert mit so einem LLM nicht.
Und wir müssen irgendwie, und da sind auch die großen smarten Leute dran, dass quasi das Modell und das...
ich weiß nicht wie, aber intrinsisch ein Alignment hat.
Ein Anführungsstrichen Gutes zu tun.
Die erste Direktive.
Ja, don't be evil.
Das gibt es ja in der LLM-Forschung eigentlich tatsächlich schon.
Also schade, keine Menschen und diese ganzen Sachen, aber das reicht halt lange nicht mehr.
Und ganz ehrlich, mir ist auch wirklich scheißegal die Stabilisierung des kontrollierten Wettbewerbs von ein paar wenigen großen KI-Konzernen.
Hier geht es wirklich um Sicherheit der Gesellschaft.
Und bei aller Liebe, dass das muss da ja höchster Schutz sein an der Stelle.
Na gut, okay, wir finden wieder keine Lösung.
Das ist unbefriedigend, aber...
Wenn ihr einen guten Vorschlag habt, könnt ihr ja super gerne uns mal eine E-Mail droppen.
Oder auf LinkedIn eine Nachricht schreiben und sagen, hier, das haben wir dazu gefunden, das haben wir dazu gefunden.
Es ist einfach wahnsinnig komplex.
Also ich merke, die generelle Arbeit mit KI, ich weiß nicht, wie es euch geht, aber so ganz persönlich gesprochen.
Ich finde, seit man so viel mit KI arbeitet, ist der Job scheiße nochmal anstrengend geworden.
Es ist mein Gut und Schön, dass man sich versucht, alles irgendwie in kleine Agents und LLM-Wiki und hast du nicht gesehen.
Aber am Ende des Tages musst du alles im Kopf haben.
Und musste man früher auch, aber die Sachen waren halt nicht ein Zehntel so komplex.
Die Dinger, die jetzt irgendwie plötzlich gemacht werden, sind einfach riesige Systeme.
Das ist nochmal eine eigene Folge.
Also für dieses KI, die mit der KI zusammenarbeiten, welche Ermüdung da eintritt bei einem.
Also da kann ich auch einige Gedanken zu.
AI Psychosis heißt das.
Ja, ist das so?
Ja, heißt schon so.
Okay, das Wort kann ich noch gar nicht.
Kann ich nochmal jemanden, die von Rails kommt, Rails ist ein Ruby-Web-Framework, Software-Framework, und da gibt es eine Konferenz zu und da hat der Erfinder von Rails, der DHH, hat die Keynote vorgestern gemacht.
Mein ganzes Timeline ist voll von Feedbacks auf darauf.
Und ich sag mal so, die Kernaussage von ihm war, Rails braucht man nicht mehr, Ruby braucht man auch nicht mehr, Programmiersprache braucht man auch nicht mehr, sondern ich programmiere jetzt in Englisch.
Was die Programmiersprache ist, die ich am Ende des Tages nehme, ist auch egal, darf das LLM selber entscheiden.
Und dann hat er angefangen, ein bisschen über die Psychosis zu reden, weil man ja gar nicht mehr dann auch das alles überschauen kann, was so die AI generiert, sondern man deployt das einfach und entweder das funktioniert oder nicht.
Und wie man dem so Herr wird und hat dann aber...
Szenarien hast du dann auch diesen Ermüdungsfaktor, dieses AI-Psycho-Pagnosis.
Das ist unfassbar krass.
Seine Quintessenz aber am Ende dieses YouTube-Videos ist aber Lean-In, Embrace.
Er glaubt auch, die Wahrscheinlichkeit, dass das bloomt, ist größer als die Wahrscheinlichkeit, dass es doomt.
Also mathematisch gesprochen, P von Bloom ist größer als Pi von Doom.
Und dem sei das Video mal ins Herz gelegt.
Das ist schon ganz cool.
Okay, cool.
Also, ganz schöne Überleitung.
Dann lassen wir mal ein bisschen ein paar Nerd-News noch versuchen reinzubekommen, weil es ja auch echt wieder viel passiert.
Was ich sehr spannend fand, so rein aus einer wissenschaftlichen Sicht, ist Typesafe AI.
Die haben Jeff released und haben einen ganz smarten Move gemacht.
Alle sind jetzt immer hergegangen und haben immer weiter LLMs optimiert, obwohl es natürlich in der KI-Forschung auch zehn andere Sachen vorher schon gab.
Und die sind jetzt nochmal wirklich den Schritt zurückgegangen und haben gesagt, du generierst einfach mal keinen Text, weil es gibt Use Cases, gerade bei der Automatisierung, wo du...
keine Texte brauchst, beziehungsweise die Texte halt immer wieder das Risiko bergen, dass da irgendeine Halluzination drin ist oder irgendwas ein bisschen anders formuliert wird und man macht dann fette Systemprompts, um irgendwie zu hoffen, dass da Typesafe-Antworten kommen, wie ja, nein, 0, 1, tu das, tu das nicht.
Aber dann kommen doch andere Sachen raus.
Und Jeff macht es eben anders.
Die sagen ganz klar, wir sind kein Large Language Model, wir machen einfach nur Entscheidungen.
Und diese Entscheidungen kommen im gewünschten Format Type-Safe raus.
Wenn du das machst, dann ist das bis zu viermal schneller als über jedes LLM, was bekannt ist, und 20 bis 59 mal günstiger im Betrieb, weil das einfach einen riesen Overhead weglassen kann.
Fand ich auf jeden Fall einen super Ansatz und werden wir auf jeden Fall in unseren KI-Entscheidungen auch jetzt evaluieren.
Der Name ist geil, ne?
Kennt ihr noch diese unsägliche Abenteuer 18 Werbung, die nachts mal auf ProSieben lief?
Wo so eine Frau, wo so ein Dude bei so einer Blondine aus dem Bett aufsteht und dann nennt die den irgendwie so, oh es war schön mit dir, tschüss Marc.
Und er sagt so, Jeff, ich heiße Jeff.
Kennt ihr die noch?
Ich bin der Einzige gewesen, der nachts irgendwie so lange in die Kanzel geguckt hat.
Naja, aber das Spannende ist, glaube ich, wirklich, man nennt diese System-One-Models.
Da haben wir sofort so einen neuen Marketing-Term dafür geprägt.
Also Models, die halt irgendwie nur so eine Entscheidung, eine Information, gerne viel mit Wahrscheinlichkeiten.
Und ich habe, also alle sind ja sofort draufgesprungen und haben ihre Use Cases released.
Und da sind echt spannende Sachen dabei.
Ich habe einen so einen Dude gesehen, der hat irgendwie über 5000 Instagram-Ads oder generell Meta-Ads analysiert über einen Zeitraum und hat dann geguckt, wie die Visuals und wie die Captions irgendwie, wie gut die performen, wie lange die da sind und hat daraus dann irgendwie sich so ein Framework gebastelt, mit dem er quasi für bestehende Ads sagen kann, wie gut die wahrscheinlich auf Meta oder Instagram...
funktionieren werden.
Und er sagte, das habe ich vorher halt irgendwie mit Astra gemacht.
Das hat dann immer so 30 Dollar gekostet und mit Jeff kostet jetzt irgendwie 23 Cent.
Ja, also wirklich sehr, sehr bewundernswert.
Wir nutzen Jeff auch schon bei Vendis für, wenn wir so Enrichment Provider, wenn du jetzt bei uns in Vendis einen Kontakt einpflegst und sobald wir Namen und Firma haben, läuft im Hintergrund so ein Agent los und sammelt ganz viele Informationen, die man öffentlich finden kann.
Dann hast du halt manchmal konkurrierende Telefonnummern.
Ja, so und Da ist es dann auch, dass wir einfach mit Jeff sagen, mit welcher von diesen fünf Telefonnummern, mit welcher Wahrscheinlichkeit ist denn die die richtigste?
Hier hast du ganz viele Daten.
Sag mir mal, welche ich jetzt wegspeichern soll, weil das kann nur eine geben.
Und das funktioniert auch super.
Generell, das würde ich gerne bei mir in meinem lokalen Hermes Setup demnächst einbauen, würde ich gerne Jeff als Prerouter verwenden, wenn ich einen Prompt reingebe.
ob der entscheiden soll, ob ich auf irgendeinem lokal laufendes Modell die Frageroute oder ob ich auf Astra Ultra High Thinking gehe, weil es doch ein spannender Task ist.
Was plant ihr mit Jeff zu tun?
Also ich habe ganz so tief drüber nachgedacht.
Also das inspiriert jetzt sehr.
Also das Beispiel mit den AI-Analysen ist halt mega.
Da rattert es jetzt total weiter.
Ich bin gerade dran, den ganzen Agenturprozess versuchen in eine saubere Kette zu bringen, weil momentan sind so viele Einzellösungen, die jeweils für sich irgendwie den Leuten helfen, aber dazu führen, wenn die Sachen nicht voneinander wissen, dass das dann halt nicht zu einer sauberen Kette wird.
Und da gibt es viele so Punkte, wo einfach Entscheidungen getroffen werden müssen.
Das ist jetzt noch ein bisschen abstrakt, muss ich mal weiter darüber nachdenken.
Aber bisher waren wir wirklich nur so bei dem Gedanken, alles, was man jetzt so derzeit in irgendeiner Workflow-Automatisierung hat, wo ein KI-Entscheidungspunkt drin ist, der derzeit halt total fuzzy ist, den halt wirklich Type-Safe zu kriegen.
Da gibt es, glaube ich, A, ein riesen Kostensparpotenzial, B, einfach weniger Fehlerquote.
Ich habe da jetzt gerade nicht die krassen Anwendungsfälle für mich drin.
Ich finde das total spannend.
Die Großen, die werden da auch zeitnah nachziehen.
Das kann ich mir gar nicht anders vorstellen.
Ja, das ist auch...
Mach erst mal.
Das ist die spannende Entwicklung, glaube ich.
Und die Kosten, da gab es ja auch ein bisschen Diskussionen, dass alles teuer wird und so weiter.
Also die Subscription genervt werden und so.
Und wenn da jetzt auch nochmal Innovation auf der Seite passiert, die auch wirklich dann auch das Compute und die Energie halt runter...
also die Notwendigkeit runterbringen, dann werden wir jetzt auch wieder sehen, dass die Nutzung weiter explodieren wird.
Das glaube ich.
Also das ist ein ganz klarer Use Case.
Wir werden sehr schnell irgendwelche Konnektoren finden oder irgendwelche Modelle finden, dass wir beides auch zusammen in Cloud Code oder Codex oder wo auch immer nutzen können und das einfach mit einer Delegation funktioniert.
Und da glaube ich total dran.
Immer wenn es irgendwelche Entscheidungen gibt, hol dir da das Signal nochmal, wenn das irgendwie in dem Konfidenz ist, dann machen wir weiter.
Wenn nicht, dann machst du nochmal ein krasses Reasoning oben drüber oder so.
Das sind ja ganz typische, ganz normale Fälle.
Und das kann dem Wettbewerb und uns Nutzern erstmal nur total gut tun.
Ich glaube auch da wird der größte Hebel passieren an Optimierung, dass jetzt nicht irgendwie das nächste LLM einfach noch viel besser ist.
Ich meine, da wundern wir uns immer wieder, dass das doch noch geht.
Das haben wir schon länger gesagt, dass das nicht so schnell sein wird und es ist doch viel, viel schneller geworden.
Aber dieses richtige Potenzial sind nochmal in diesen konkreten Use Case Optimierungen.
Small Language Modelle oder eben solche Sachen, die dann wirklich nochmal richtig groundbreaking sind.
Okay, dann Google.
Ja, ich packe da nochmal einmal den Open Jeff dazu.
Also technisch gesehen funktioniert das so, dass man bei der Inferenz die Grammatik fundamental einschränkt, die man haben will.
Das heißt, so eine Antwort, so eine JSON-Antwort besteht ja hauptsächlich aus geschweiften Klammern, bis zu ein Apostrophen, bis zu ein Whitespace.
Und dann, wenn du sagen willst, ja oder nein, besteht das halt nur aus ja oder nein.
Und wenn du weißt, dass sich deine Ziel-Tokens nur in dieser Grammatik bewegen dürfen, dann kannst du die Inferenz unfassbar krass beschleunigen, weil du kannst halt ganz viele Tokens einfach ausschließen.
Und Jeff wird dann auch genau an der Stelle langsam, wenn du dann doch Freitext anfängst zu generieren mit Jeff.
Da ist auch dann der Performance-Vorteil weg.
Das heißt, ihr optimiert für Jeff auch super gut, wenn ihr wirklich Ja-Nein-Fragen, Zahlen-Fragen stellt.
Das ist das, wo es richtig schnell macht.
Und das gibt es auch schon, hat auch schon jemand angefangen, so ein paar Lines of Python-Codes, 20 Lines of Python-Codes zu machen.
Ist dann noch nicht so gut.
Die haben ja schon nur mehr gemacht.
Da ist, glaube ich, auch richtig Wissenschaft dahinter oder da wird richtig Wissenschaft dahinter sein.
Aber natürlich sind OpenAI und Atropic dafür prädestiniert.
Die haben ja auch schon Nanomodelle.
Einfach auch ins System-One-Model rauszuhauen und dann willst du jetzt von verschiedenen Anbietern das haben.
Weiß nicht, wie nachhaltig das ist.
Aber hat gut was gegeben.
Auf jeden Fall.
Übrigens, nur der Input kostet Geld.
Der Output ist komplett kostenlos.
Sie sind bei 70 bis 500 Millisekunden statt 3 bis 329 Sekunden.
Also bis zu 193 Mal schneller und 444 Mal günstiger aus eigenen Workflow-Evaluierungen.
Ja gut, okay, muss man mal testen.
Auf jeden Fall, fettes Ding.
Dann hat Google noch was Neues gebracht.
Am 15.
September kam Gemini 3.8 Live und Live Extended raus oder Live Extended Thinking.
Und die Thinking-Variante ist auch auf Platz 1 im Speech-to-Speech-Quality-Index.
Das heißt, er denkt schon weiter, während er noch mit dir spricht.
da nervt mich ja ChatGPT gerade tierisch, wenn ich, also so mein Ding im Auto irgendwie mal gerade eine Frage stellen, dann habe ich den Action-Button vom iPhone so belegt, dass ich dann mal eben schnell ins Gespräch rübergehen kann.
Was nehmt ihr da?
Seid ihr mit Gemini, Manuel?
Ne, ich bin vor allem mit Codex unterwegs gerade.
Ja, also ich glaube, dieser ganze Live-Kram, der wird halt in unserem Alltag einfach richtig viel Mehrwert stiften.
Wenn die besser werden und da scheint Google jetzt echt ziemlich weit vorne zu sein, dann hast du das ganze Thema Telefonie und so weiter einfach bald gelöst und dadurch, dass sie halt mitdenken, fällt diese Stille halt komplett weg.
Aber da ist auch viel Füllbullshit dabei.
Das ist viel, dass ich mit Open, mit ChatGPT spreche und dann so, hm, ja, cool, lass mich mal eben nachdenken.
Das ist das, was mich gerade so nervt.
Gut, dass du sagst, lass mich mal kurz gucken.
Ja, genau.
Aber die haben auch announced heute, dass Gemini 4 ist imminent release.
Also sie hinter der Haube.
Das ist ja gefühlt immer auch so, irgendeiner von den beiden großen Frontiers released ein neues Model.
Dann kommt der andere zwei Tage später und released was ultra krasseres.
Google hat jetzt ziemlich lange Pause gemacht, hat gesagt, wir müssen einmal hier nochmal rangehen.
Aber sie wollen jetzt mit Gemini 4 uns auch nochmal attackieren.
Bin mal gespannt.
Aber das ist ja genau das Ding von vorhin.
Der eine bringt was raus, dann ist Markdruck, dann musst du auch wieder was rausspringen.
Haben wir es getestet?
Nee, ist egal, muss trotzdem raus.
Ich habe nur Rumors, wahrscheinlich alles totaler Quatsch, dass Google eigentlich einfach jetzt auch einen Schritt quasi überspringt und schon so selbstoptimierende Systeme hat oder testet oder wie auch immer und quasi sagt, lass die anderen mal machen, wir gehen direkt auf das Modell, was in zwei Jahren relevant ist.
Ob ja, nein, who knows.
Nach wie vor ist für mich Google die Company, die am besten prädestiniert ist von allen.
um in diesem Game, was maximal von Daten abhängig ist, und die wissen halt auch so viel über die Nutzer, die sollten auf jeden Fall auf den vorderen Plätzen sein, sagen wir mal so.
I challenge that.
Ja?
Willst du noch etwas dazu sagen?
Ich gehe erst mal zu Ende, dann sage ich, warum ich das nicht so sehe.
Nee, sag mal, ich wollte nämlich gerade zum anderen großen Player, der gerade noch was genannt hat.
90% in meiner Alpha-Bubble, also erstmal gerade, ich rede jetzt nur über Code, aber 90% aus den Leuten, die Agentic Engineering und Agentic Coding machen, haben einen Dual-LLM-Workflow.
Das heißt, die entwickeln mit einem LLM, das andere LLM guckt drüber.
Das heißt, dass Entropic und OpenAI verfügen beide über die gleichen Daten.
So gut wie.
Weil die sich beide am Ende gegenseitig das nochmal zeigen.
Ich kenne echt wenige Leute, die das auch noch Google zeigen.
Microsoft weiß davon was, weil die halt, wenn der Lande das alles back geht, hat.
Und dann Lande das auch bei Microsoft.
Aber Google sieht das nicht.
Ja, und ich glaube, deswegen sind die auch so weit hinten, weil die diese Learnings nicht haben, wie sich die Modelle gegenseitig verbessern, wo dann nochmal ein Human in the Loop kommt und sagt, der Code ist noch nicht gut und so.
Und da ist gerade richtig Dampf.
Ich glaube, da generieren die gerade unfassbar Daten, unfassbar Speerspitzenqualität, die Google leider einfach fehlt.
Da, wo Google richtig die Nase vorn hat, ist Video.
Video-World-Model und Real-Life-Search und wie sich Real-Life-Search als Satisfaction auswirkt.
Deswegen muss ich auch sagen, hat Open-Air ja auch diesen Consumer-Point verloren.
Also Google-Search reicht einfach für mich 90% der Fälle, 99% vielleicht sogar komplett aus.
Haben wir letztes Mal Meta-Muse besprochen?
Das weiß ich gar nicht mehr.
Nee, habe ich aber noch nicht auf die Liste gebracht.
Das ist nämlich die zweite Company.
Das ist die Frage, ist Sack jetzt back oder nicht?
Also Metamuse kurz mal erklärt, im Prinzip der persönliche Assistent.
So ein bisschen Open Claw für den oder Grogbot für den Normalnutzer, also für unsere Eltern.
Die Bertha.
Genau.
Also ich finde, Distribution ist alles.
Und das ist schon sehr, sehr spannend.
Also da ist ein echter Case, dass das funktionieren kann.
Lass uns noch ein bisschen mehr ausführen für alle, die sich nicht damit beschäftigt haben.
Also erstens, Muse ist ein echter Agent.
Du sagst nicht nur, wie wird das Wetter, sondern du sagst halt wirklich, buch mir eine günstige Reise in Berlin im Oktober.
Muse plant recherchiert und bucht das wirklich mit...
deiner Freigabe bei sensiblen Aktionen.
Zweitens, die Technik dahinter ist ziemlich einzigartig, denn das läuft in so einer eigenen, abgeschminkten virtuellen Maschine.
Eine Art Private Cloud.
Passwörter, Zugangsdaten bleiben in deinem Tresor.
So ein Zeug, was wir von Apple erwartet haben.
Das war Facebook jetzt doch ein bisschen schneller.
Und jede Aktion wird dann nochmal von so einer Sicherheitskomponente namens Sentinel geprüft.
Und drittens, Muse.
Das ist die Distributionssache.
Ist halt wirklich tief im Alltag integriert, weil du kannst es halt ein WhatsApp machen, du kannst E-Mail, Kalender, Smart Home, Zahlung, alles eben, das ist Link by Stripe natürlich integriert.
Mit Käuferschutz auch noch, wenn da doch mal irgendwie die KI vielleicht scheiße baut.
Und das Kostenmodell ist total offen.
Basis ist kostenlos, Premium ab 20 Dollar.
Gibt es nur in den USA bisher, aber das ist schon...
ein guter Move von Marc gewesen, würde ich sagen.
Und sie haben doch so eine Hardware jetzt auch announced, die haben sie aber noch nicht gezeigt, die an einen Schlüsselbund dran passt, die einen ganz kleinen Touchscreen hat, die dann auch quasi, mit der du irgendwas machen kannst, sprechen kannst.
Ich habe nur die Glasses gesehen, die VR-Glass, da können wir gleich nochmal kurz drüber sprechen.
Aber der Schlüsselbund ist dann das Ding, was Johnny Ive eigentlich hätte für Apple machen sollen, ja.
Er, für OpenAI machen sollen.
Ja.
Also, ich kann es nicht sagen.
wie ich das finde, weil halt bisher gibt es ja in WhatsApp schon super lange diesen LLM-Button, womit du irgendwas machen kannst und wenn ich den gedrückt habe, dann bin ich immer nur in der Hölle gelandet.
Keine Ahnung.
Wenn das Produkt gut ist, ist das Produkt gut, dann ist es auch geil.
Wenn es so scheiße ist, wie es bisher alles umgesetzt ist, würde ich ihm jetzt nicht so viel...
Ich glaube, das ist natürlich die Aussage, die man bei den Produkten generell machen kann.
Es ist so, ich würde mal sagen, ich würde es Meta am ehesten zutrauen, nochmal signifikant Market Share sich da zu holen.
Warum?
Weil sie haben erstmal eine ganze Reihe Informationen.
Haben sie schon.
Das ist wichtig.
Wir haben alle mal mit Open Claw, haben es rumgespielt, nutzen das in irgendwelchen Kontexten noch, aber wir sind auch Nerds.
Deswegen heißt sie auch die Nerd Show.
Und das ist für andere total egal.
Die wollen einfach nur sagen, hey hier, schau auf Amazon nach.
ich möchte das und das kaufen, gib mir die drei besten Sachen.
Das Ding soll shoppen können, das Ding soll Sachen beantworten können, das Ding soll Reisen buchen können und so weiter.
Ob es das jetzt schon kann oder nicht, ist letztendlich egal.
Es wird es bald können.
Wir wissen alle, was ein Hermes zum Beispiel kann.
Die Dinger, die sind halt total mächtig.
Ich würde auch sogar glauben, dass die Konsumenten, die von OpenClaw und Hermes noch überhaupt nichts gehört haben, dass sie genug Geduld haben, einfach zu sagen, ich kann das nachher, weil ich habe sowieso meinen Meta, ich habe hier meinen Instagram-Account und so weiter.
Und dann kann ich das jetzt einfach darüber machen, weil es bequem ist und Bequemlichkeit gewinnt.
Und dann muss es nicht den letzten Use Case schaffen, dann muss es die Haupt-Use Cases...
in einer guten Basis schaffen.
Ich glaube, es ist schon gut, wenn du dir allein den Börsenkurs anguckst.
Die sind im letzten Monat einfach mal 40 Prozent hochgeschossen Meter.
Und Muse ist da ein Riesenteil.
Absolutes All-Time-High gerade.
Expectations, was du darüber alles machst.
Also in den USA kommt es anscheinend richtig gut an.
Ich kann es verstehen, weil Distribution ist alles.
WhatsApp ist einfach bei jedem ständig an und dran.
Ich bin bei dir, wenn das so läuft, wie dieses AI-Ding, was da jetzt vorher drin war, keine Chance, aber das scheinen sie irgendwie hingekriegt zu haben.
Wir werden sehen.
Also ich möchte halt nicht in der Welt sein, ich möchte halt auch nicht da Werbefläche sein und die Werbung irgendwie sehen.
Habe ich halt irgendwie kein großes Interesse dran.
Aber ja, es wird die Massen ansprechen, es wird die Massen abholen.
Spannend ist auch die Frage, was das nachher mit der ganzen...
Also das kann zum ersten Mal jetzt wirklich das sein, dass man hin zu, ich habe meine persönlichen Agenten hat.
Und die persönlichen Agenten, die treffen ja nachher zum Beispiel auch Kaufentscheidungen, Buchungsentscheidungen und so weiter und so fort.
Also das sind die, die in meinem Interesse handeln wollen.
Und da gibt es schon eine Art Zielkonflikt ist es vielleicht nicht, aber so ein Amazon, der möchte halt nicht im Interesse der Nutzer im Zweifel handeln, sondern im eigenen Interesse.
Das ist schon sehr, sehr spannend, was dann auch da...
an Sachen passieren kann und wie das sich ausnivelliert und so.
Finde ich extrem spannend.
Also das Ding wird jetzt Mainstream.
Also 2027 würde ich mal programmieren, wird das Jahr der digitalen persönlichen Assistenten im Mainstream.
Ja, auf jeden Fall.
Glaube ich auch.
Also sehen wir auch bei uns, bei Vendis, dass so der Workflow, also wir hatten ja, wir haben ja eine UI, wir haben noch gute Web-Web und so, aber der Workflow, den jetzt mir alle Leute den mir Leute zeigen, den ich Leute zeigen und alle sagen, ah ja, so ist, dass wenn ich zum Beispiel auf eine Konferenz gehe, mache ich einfach eine Konversation mit ChatGPT auf und wenn ich dann jemanden treffe, dann mache ich einfach ein Foto von dem Badge und dann sage ich hier, ja, der ist dafür relevant, der ist dafür relevant, den muss ich mit dem connecten, dann mache ich mal eine Vendis-Demo, bla bla bla.
Der speichert das dann am Ende, der speichert das einfach in das, das ist mit MTP connected, speichert das einfach in Vendis weg.
Ja, und am Ende des Tages bewege ich mich dann nur noch in ChatGPT oder Claude oder halt dem MTP-Tool deiner Wahl.
Und ich glaube, dass das die neuen Browserfenster werden.
Das ist ja auch der Weg, den Zuckerberg einschlägt.
Die haben jetzt diese Muse Connectors rausgebracht.
Und wenn ich es richtig verstehe, kannst du darüber dann einfach dein Business anklemmen.
Genau.
Das ist aber für Firmen wie Amazon ein richtiger Mist eigentlich.
Weil die Kunden eben auch own wollen.
Und genau das, was ich jetzt gerade meinte.
Also würde man...
dem Amazon-Assistenten wirklich halt vertrauen, die besten Entscheidungen für mich zu treffen oder die besten Entscheidungen, um die Marge zu optimieren.
Also das ist sehr, sehr spannend.
Ja, und ich glaube halt, ganz viel von Amazons Power kommt ja aus der Convenience.
Du weißt dann irgendwie, du hast deine ganze Zahldaten, deine Adresse, ist da alles hinterlegt und so weiter und so fort, deine Kreditkarte.
Aber wenn du halt einen Magenten hinterlegt hast, dann kann ja so egal sein, wo es passiert.
Das ist dann egal, wo es stattfindet.
Okay, lassen wir mal einen Blick auf die Uhr.
Was haben wir noch drin, was wir dringend noch droppen müssen?
Zwei Innovationen aus der Wissenschaft würde ich gerne noch wenigstens erwähnen.
Das ist einmal Cadence.
Das ist eine neue Architektur, die anders funktioniert als LLMs.
Wie der Attention-Mechanismus funktioniert.
Mit dem Vorteil, dass ich anschließend eigentlich ongoing Wissen reinspülen kann.
Und dass es nicht immer diese Trainierpunkte gibt, wo man sagt, so jetzt ist es trainiert und jetzt stelle ich es irgendwie live und dann kann darauf inferenzbetrieben werden, sondern das verändert sich die ganze Zeit eigentlich weiter.
Und ist von der Biologie her viel stärker an echten Gehirnzellen dran, wie die funktionieren.
Vor allen Dingen auch, wie die Wissen deprecaten.
Das ist ja das Spannende, dass du Sachen dann auch wegwerfen kannst und aufräumen kannst.
Genauso wie es für LLMs auch eine Erweiterung gibt, da gibt es ein Paper zu in vielen LLM Parameters, dass LLMs so erweitert werden, dass genau das Gleiche passieren kann, aber auf der klassischen Transformer-Architektur.
Also ich denke mal, dass das auch jetzt demnächst in die Modelle einfließen wird, auch mit dem gleichen Ziel.
Wie kriege ich eigentlich Echtzeitdaten in LLMs rein, dass ich nicht mehr über so einen Retrieval Augmented Generation Ansatz gehen muss.
Das typische Hey ChatGPT beantwortet mir die Frage.
Ja, Moment, muss ich jetzt mal Websearch machen.
mit 30 Selbstwebschleuten durchgelesen, jetzt antworte ich dir, sondern dass einfach vielleicht für News oder für bestimmte andere Dinge das Wissen einfach präsent ist.
Sehr geil.
Gucke ich mir an.
Gut, Leute, ich glaube, da haben wir doch wieder eine Menge Updates zusammenbekommen.
Wie immer, denkt dran, Liked, kommentiert, nehmt Kontakt auf.
Übrigens, unser lieber Nerdidjens, nochmal Shoutout raus, war auf dem OM-Club und hat uns nicht gefunden, weil er nicht wusste, wie wir aussehen, weil er uns ja immer nachts im Auto hört.
Jetzt habe ich ihm nochmal gesagt, er soll mal die YouTube-Folge angucken und prompt ist das die erste Folge, wo Sebastian seine Kamera ausmacht.
Ja, aber er ist am Ende.
Zulut findet man uns auch, also addet uns gerne irgendwie auf LinkedIn, schreibt uns dann Nachrichten.
Die Stars pfiffpaff, wir finden uns alle.
Und ich hoffe, es werden mehr Zuhörer.
Es werden irgendwie stetig mehr.
Ist ganz gut.
Ist so.
Macht Spaß.
Gut, Leute, habt ein schönes Wochenende.
Schönes Wochenende.
Ciao, ciao.