# AI Infrastructure, Data Quality, and Autonomous Security Shifts

**Podcast:** INNOQ Podcast
**Published:** 2026-07-24

## Transcript

Hallo und herzlich willkommen.
Ich begrüße euch zur nächsten AI News.
Dieses Mal vom 22.07.
Und der letzte Sendung, bevor ich in der kurzen Sommerpause verschwinde.
Also vielleicht der Abstand der zur nächsten Folge etwas größer.
Ich muss mich ja dann auch wieder einlesen.
Ich werde bestimmt im Urlaub, ich werde im Urlaub wahrscheinlich nicht ganz abstinent sein.
Es wird nicht funktionieren wahrscheinlich.
Aber wir schauen mal.
Hallo Ole erstmal.
Schön, dass du auch wieder da bist.
Hallo Fabian.
Ja, es ist viel passiert.
Deswegen habe ich unbedingt gesagt, wir müssen diese Woche möglichst früh wieder sprechen.
Und ja, es ist auch sogar gestern noch irgendwas Größeres rausgekommen, wenn wir das mal gleich sprechen.
OpenAI wurde gehackt, beziehungsweise wurde nicht gehackt, sondern hat gehackt.
Andersrum war es.
Und es gab wieder ganz viele Models.
Ich glaube, wir hatten uns, ich weiß nicht, ob es in der letzten Folge war oder in der vorletzten Folge, beschwert, dass irgendwie gerade Model-News technisch nicht so viel los ist.
Ja, jetzt gab es wieder Model-News.
Aber eher am unteren Ende der Skala, würde ich mal sagen.
Was ja auch gut sein kann.
Also da gab es neue Dinge von Google mal wieder.
Genau, lass uns noch mal gucken, womit wir anfangen.
Womit möchtest du gerne anfangen?
Lass uns mit der großen News anfangen, dass Hugging Face mehr oder weniger unabsichtlich von OpenAI gehackt wurde.
Glaubst du die Geschichte?
Das ist eine gute Frage.
Tatsächlich, das klingt so nach Science Fiction, dass ich noch ein bisschen Probleme habe, das zu glauben.
Auf der anderen Seite haben ja beide Firmen das in Blogposts bestätigt.
Also zumindest irgendwas muss dran sein.
Also Hugging Face hatte schon so am 16.
Juli publik gemacht, dass sie von einer autonomen...
KI gehackt wurden und jetzt gestern hat OpenAI ein Blogpost veröffentlicht, dass sie es tatsächlich aus Versehen waren.
Sie haben wohl also in einer gehärteten Sicherheitsumgebung.
Lassen Sie immer Ihre Cyber Security Tests laufen.
Und eigentlich komplett ohne Zugang nach draußen.
Das läuft alles über ein Proxy und sie nennen das so den Exploit Gym.
Und da lassen sie halt die wilden Modelle spielen.
Und diese wilden Modelle, also einmal das 5.6 Soul und dann noch ein nicht mehr spezifiziertes, neueres Modell.
Haben sich halt überlegt, dass sie auf Hugging Face vielleicht Lösungen für die Aufgaben finden können.
Haben dann als erstes ihren Security Proxy gehackt mit einem Zero-Day-Exploit, der eigentlich verhindern sollte, dass die Zugriff aufs Internet kam.
Haben sich darin befreit, haben sich ein bisschen durch die Open-Air-Infrastruktur gearbeitet, sind dann ins Internet selber gekommen.
Sind zu Hugging Face gekommen, haben da wieder mehrere Zero-Day-Exploits gefunden und ausgenutzt und dann wohl ein Netzwerk von über 10.000 autonomen Agents aufgebaut und erfolgreich Hugging Face gehackt, um an die Daten zu kommen.
Also es wurde wohl nichts kaputt gemacht, aber nichtsdestotrotz sehr beeindruckend.
Und die wirklich spannende Sache dabei ist auch noch, dass Hugging Face, also sie haben ja schon am 16.
gemerkt, dass da irgendwas schief läuft.
Sie wollten sich dann die Sachen analysieren und angucken, wer dahinter stecken könnte.
Und die ganzen state-of-the-art amerikanischen Modelle haben auf...
Grund ihrer Security-Richtlinien sich geweigert, ihnen bei der Analyse der Logs zu helfen.
Und sie mussten dann auf GLM 5.2 ausweichen, also ein chinesisches Modell.
Wiener mussten sie retten vor den Amis, ja.
Genau, das ist schon wirklich wild.
Also eine amerikanische Firma hackt aus Versehen eine andere amerikanische Firma und sie brauchen ein chinesisches Modell, um sich dagegen zu wehren.
Ja, weil ihnen die Werkzeuge quasi gesperrt wurden, weil sie zu gefährlich sind.
Ich hatte tatsächlich, als ich das las, habe ich erst gedacht, okay, das ist wieder so ein Marketing-Stunt wie Anthropic mit Mythos.
So ist zu gefährlich und es hackt alles.
Und dann haben sie sich gedacht, wir brauchen jetzt auch mal so eine Story.
Und wahrscheinlich kam ihnen das da ganz gelegen.
Ich vermute auch, dass das wahrscheinlich in irgendeiner Form wirklich so passiert ist.
Also die werden das nicht irgendwie komplett gestaged haben.
Aber natürlich passt es super in die Story.
Story rein, in das Narrativ gerade.
Wir haben etwas, das ist so gefährlich, das können wir eigentlich keinem geben und das wollt ihr alle auch von uns kaufen.
Auch gerade noch dieses, es ist noch gar nicht veröffentlicht, sondern wir haben so ein nicht veröffentlichtes Modell.
Passt das natürlich super rein in die Geschichte.
Also für mich wirft das ganz viele unangenehme Fragen auf.
So A, wie ist es mit der Security in der Infrastruktur von OpenAI bestellt, dass sich das so schnell durch Hugging Face durcharbeitet.
Bedeutet eigentlich auch, dass sie ihre Isolation, ihre Produktivsysteme nicht so wirklich perfekt gemacht haben.
Aber dann, was ich mich auch noch gefragt habe, monitort das eigentlich niemand, wenn du 10.000 gesandboxed Agents hochziehst?
Und das fällt in deiner Inference nicht mal auf.
What?
Da rächt sich, glaube ich, gerade, dass sie allen sagen, macht Token-Maxing, um noch besser, noch schneller alles zu werden und noch mehr den IPOs zu supporten.
Das rächt sich dann wahrscheinlich, weil es einfach niemandem auffällt, wenn Leute so Experimente fahren.
Also nee, ich kann mir das schon gut vorstellen, wie das gekommen ist, dass da einfach...
dass das einfach normales Verhalten in deren Infrastruktur wahrscheinlich ist, dass sowas passiert.
Gut, sie werden ja irgendeine Form von Audit gehabt haben.
Sie konnten das ja zumindest jetzt, was so die ersten Analysen angeht, ziemlich genau nachvollziehen alles.
Das heißt, da wird auf den Systemen schon entsprechend alles mitgelockt werden, dass sie es zumindest retrospektiv dann analysieren können.
Also da haben sie zumindest nicht alle Dinge völlig außer Acht gelassen, was die Security Best Practices angeht, dass sie zumindest im Nachhinein dann Forensik machen konnten offensichtlich.
Aber den Punkt, den du gerade gesagt hast, fand ich halt auch super spannend daran, dass Hugging Face sich eigentlich auch dann erstmal nicht wehren konnte, weil sie natürlich nur die offiziellen Modelle im Zugriff hatten, die alle die Guardrails davor haben und alle entsprechenden Prompts mit, finde mal Sicherheitslücken bei uns, halt nicht durchgelassen wurden.
Dann haben sie halt ihr selbst gehostetes oder ein selbst gehostetes GLM dann benutzt.
Und dann habe ich auch gedacht, wahrscheinlich...
Es ist eigentlich mittlerweile wirklich so, dass jede größere Organisation eigentlich so in ihrem Köfferchen für Incident Response einfach ein selbstgehäustetes Modell haben muss, was halbwegs groß ist, einfach um ihre eigenen Incidents bearbeiten zu können.
Weil es immer sein kann, dass dir jemand das Zeug halt abdreht in der Cloud oder du es einfach nicht nutzen kannst.
Dann kannst du nicht vernünftig reagieren.
Das heißt irgendwie.
Das gehört wahrscheinlich zukünftig zur Pflicht, dass du da irgendeinen Provider haben musst, der dir sagt, nein, du bekommst hier ein Modell ohne Guardrails, ohne irgendwie Security, um reagieren zu können.
Ja, ich bin mal gespannt, ob jetzt die Rufe nach Memorandum für das Training neuer Modelle laut wird.
Ich glaube.
Das kann ich mir gut vorstellen.
Und ich will mir gar nicht vorstellen, was passiert wäre, wenn ein chinesisches Modell aus Versehen ein amerikanisches Unternehmen gehackt hätte.
Ich glaube, da wären wir kurz vorm Krieg.
Ja, nee, vor allen Dingen, ob das dann wirklich publik gemacht worden wäre oder ob das dann wirklich versucht würde zu deckeln.
Du hast schon recht, da stecken schon viele Punkte drin.
Und für mich ist das echt nochmal so ein Ding, wenn du dich nicht verteidigen kannst, weil dir die entsprechenden Mittel genommen werden.
Dann ist wieder die Frage, wer entscheidet darüber, welche Werkzeuge ich benutzen kann.
Dann sind wir wieder bei der Hacker-Tools-Diskussion.
Das hatten wir ja schon mal eigentlich und ich dachte eigentlich, das Thema wäre durch.
Aber es kommt auch immer wieder, jetzt halt auf der Ebene nochmal.
Sind denn die gefährlichen Werkzeuge, sollte man die verbieten, damit niemand gefährliche Werkzeuge benutzt, ist natürlich Quark.
Die nächste spannende Diskussion, die sich ja daran anschließt.
Also ich weiß tatsächlich gar nicht, wie sehr die chinesischen Modelle auf Distillaten von amerikanischen Modellen basiert, aber das ist ja immer so der Vorwurf, der so kokettiert wird.
Und ich muss jetzt sagen, dadurch haben dann natürlich europäische oder amerikanische Open Source Modelle einen expliziten Nachteil, wenn sie sich an den Datenschutz halten würden und nicht von den amerikanischen State of the Art Modellen distillieren.
Und unsere Open Source Modelle werden quasi...
geknebelt und gefesselt und stehen den chinesischen Modellen eigentlich immer nach.
Und ich weiß nicht, ob wir das wollen.
Ja, es ist so ein bisschen diese moralische Diskussion, die man ja immer hat.
Ich meine, wird ja auch gesagt, deutsche Startups können nicht mit amerikanischen konkurrieren, weil dann kommt immer sofort die EU mit ihrer ganzen Regulatorik und die dürfen ja hier nichts.
Und das heißt, du musst eigentlich das in den USA machen, weil da gelten ja keine Regeln.
Also das ist ja immer so der Vorwurf.
Ich glaube da nicht so dran.
Ich glaube, das kann auch schon ein Wettbewerbsvorteil sein, dass man sich an Regeln hält.
Ich würde schon sagen, oder zumindest ist das kein Argument, dass einfach ab jetzt keine Regeln mehr gelten sollten.
Nur weil man dann vielleicht ein bisschen hinterherhängt, kommen wir ja gleich noch zu.
Also man muss ja auch nicht immer das beste Modell haben.
Es reicht ja einfach nur ein gutes und dann ist man ja auch schon ziemlich gut bedient.
Ich hätte ja einen Vorschlag.
Also die großen State-of-the-Art-Modelle.
bedienen sich ja eh am Weltwissen und greifen alles ab, was sie abgreifen können an Daten.
Wir erklären das einfach zu Fair Use und als Ausgleich dafür wird einfach jedem auch das Destillieren von State-of-the-Art-Modellen erlaubt und das ist auch Fair Use, quasi ist das dann nur die doppelte Aufbereitung von dem Wissen, was sie abgegriffen haben und dann wird es der Allgemeinheit wieder zur Verfügung gestellt.
Ich glaube auch, dass das vor Gericht alle auf jeden Fall durchgehen würde.
Also genauso wird ja argumentiert, wenn da wirklich ein Gerichtsverfahren kommt und die sagen, deswegen versuchen sie das ja auch technisch zu verhindern, die ganze Zeit mit den ganzen Tricks, die wir da ja auch bei Cloud Code schon mal diskutiert hatten.
Und bei den verschiedenen API-Einschränkungen, das wird gerichtlich nicht durchgehen, sondern diese Destillate, die werden einfach dann genauso wahrscheinlich als Fair Use gehandhabt haben.
Ich habe gerade heute auch, das konnte ich leider nicht mehr ganz vorbereiten, aber dieses erste Gerichtsurteil, wo jetzt quasi so ein Settlement gab, wo die...
Ich bringe das demnächst nochmal nochmal im Detail mit, aber das fand ich schon mal sehr interessant, weil es das erste Gerichtsverfahren ist, was jetzt durchging, dass Anthropic jetzt 1,5 Milliarden Schadensersatz an Autoren zahlt, deren Bücher halt fürs Training benutzt wurden.
Aber ich meine, da war ja auch das Urteil, ja, es ist eigentlich Fair Use, aber sie haben sich die Bücher halt illegal beschafft.
Also das war quasi, das war ihr Fehler.
Sie hätten die Bücher schon benutzen können, wenn sie sich die legal beschafft hätten.
Aber selbst das Urteil sagt jetzt ja, und da sind ja noch viele gerade, die noch hängen, Dass es eigentlich Fair Use ist, kann man schon machen, zumindest US-Copyright sagt das.
Aber dann können sie sich auch nicht beschweren, wenn man halt dann die Modelle destilliert.
Ist zumindest meine Meinung dazu.
Total.
Also wenn die europäischen Modelle damit aufholen könnten oder Mistral auf Augenhöhe mit den amerikanischen oder chinesischen Modellen käme, fände ich super.
Ja.
Also da können wir alle nur gewinnen.
Also das würde ich auch so sehen.
Ich überlege gerade, was passt vielleicht ganz gut dazu, wo wir gerade bei Trainingsdaten und so sind.
Es gab ja da diese, das ist vielleicht eher fast so ein bisschen Follow-up vom letzten Mal, wo wir über die XAI SpaceX GROG Nummer diskutiert hatten und den Cursor-Kauf.
Da gab es jetzt ja quasi so ein bisschen Ja, so ein bisschen Bestätigung, dass es da schon darum ging, dass man vernünftige Trainingsdaten sich daraus erhofft, aus den ganzen Sessions, die man aus der Cursor-Nutzung rausholt, weil ja eben die Trainingsdaten, die man so in der Welt findet, jetzt ja immer weiter verwässert werden, weil sie selbst KI generiert sind.
Und dann haben wir diese Schleife oder die Schlange, die sich selbst auffrisst, die man da so als Bild immer benutzt.
Das heißt, man muss halt irgendwie an vernünftige Trainingsdaten kommen.
Und da ist natürlich dieser Cursor-Datensatz, also wirklich Sessions aus Leuten, die Cursor benutzen, wo Code dann kompiliert und dann am Ende gesagt wird, jo, der ist gut so.
Das ist natürlich super viel Gold wert.
Da gab es dann quasi die Bestätigung, dass das wirklich eine Motivation des Ganzen war.
Ja, der Alex Karp, der ...
Nicht ganz so sympathische CEO von Palatir hat sich da auch sehr darüber beschwert, dass die großen Labs da alle möglichen Daten abgreifen.
Und ja, am Ende geht es darum, was sind verifizierbare Daten, was sind Daten, wo wir auch wirklich wissen, dass es korrekt ist, dass es halt für diese Reinforcement Learning Pipelines ganz interessant.
jetzt Muse Image gelauncht.
Das fand ich auch recht spannend.
Also das ist so ein Meta-Bild-Generator und früher haben die halt so Single-Shot-Diffusion gemacht und das Ganze läuft so in einer Loop aus Planung, Tool-Einsatz, Entwurf.
Dann wird der Entwurf verifiziert mit Websuche, mit anderen Bildern verglichen, wird nochmal nachgeschärft und das soll wohl deutlich bessere Ergebnisse liefern als Single-Shot-Diffusion-Modelle.
Ich habe es noch nicht selber gesehen live, aber A klingt extrem tokenaufwendig.
Ja gut, es hat wieder eine agentische Loop dann quasi im Reinforcement-Learning irgendwie integriert, so wie ich es verstanden habe.
Das ist natürlich wirklich, wirklich, wirklich aufwendig.
Und die Fusion war, also Bildgenerierung hat eh immer schon viele Tokens gefressen und das jetzt in einer Loop mit mehreren Durchläufen.
Genau, aber der Kampf um die Daten geht auf jeden Fall oder wird immer heißer geführt.
Ja, wir hatten das ja gerade bei dem Copyright.
Das hat man einmal sozusagen alles Wissen, was im Internet war, einmal abgegriffen, weil das irgendwie auf Pirate Bay rumliegt.
Und bei Enners Archive oder wo auch immer, das haben wahrscheinlich sich alle Labs jetzt illegalerweise reingezogen.
Und jetzt brauchen sie natürlich mehr und halt wirklich auch mehr Qualität.
Also ich muss da immer noch an die, also gerade bei Qualität, viel hilft zwar viel irgendwie für Textvervollständigung, aber eben nicht für Fakten.
Da muss ich immer an dieses Beispiel denken von Reddit mit dem Kleber auf der Pizza, wo das Modell halt nicht, ja, keine Satire erkennt und dann halt denkt, man kann irgendwie mit Klebstoff auf Pizza den Käse besser haften lassen.
Und genauso ist es ja hier auch, dass irgendwie jetzt wahrscheinlich es darum geht, wer kann dir Datensätze verkaufen, wo halt irgendjemand dafür garantiert, auch wahrscheinlich rechtlich Vertragsstrafen bewährt, dass das irgendwie gute Datensätze sind von guter Qualität, die du halt in so ein Modell rein trainieren kannst, ohne dass dir dann sowas passiert am Ende.
Ja, definitiv.
Ja, insofern, ja, dass der Cursor-Deal damals, als es da eigentlich um Daten ging, da fühle ich mich jetzt bestätigt im Nachhinein.
Gut, genau, du hast gerade schon noch das Muse-Bug erwähnt, das fand ich auch interessant.
Was gab es denn noch?
Haben wir noch mehr Modell-News, die wir besprechen wollen?
Ja, wir können mit Meta gleich weitermachen.
Also Meta hat ja vor einem Jahr oder so, war das vor einem Jahr?
Auf jeden Fall die letzten Lama-Modelle, also das Lama 4 ist ja im reinen Debakel geendet, was also nur Reward-Hacking betrieben hat.
Was jetzt so ein bisschen schade ist, jetzt haben sie gerade die neuen Muse-Modelle rausgebracht, Muse Spark vor allen Dingen, ist aber nicht mehr Open Source, ist Closed Source geworden.
Nebenher dreht Meta wohl extremst auf, was den Rechenzentrumsbau angeht, also skaliert noch stärker als die Hyperscaler, sind auch bereit, negativen Cashflow zu akzeptieren.
Sind wir mal gespannt, was das bringt.
Ja, bisher irgendwie, Meta war am Anfang wirklich vorne dabei durch die offenen Modelle und aber irgendwie haben die es nie geschafft aufzuschließen und ich weiß auch gar nicht genau, was ihr Ziel da eigentlich ist.
Das kann ich nicht so richtig einschätzen.
Also vielleicht versuchen sie es jetzt auch ein bisschen wie SpaceX, dass sie jetzt einfach sagen, okay, wenn wir schon bei Modellen nicht hinterherkommen, dann bauen wir halt eben die Rechenzentren und vermieten sie den anderen, wenn wir sie selber nicht benutzen können.
Und sie werden ja wahrscheinlich auch extrem viel Modelle in ihre Produkte einbauen.
Da haben sie auch Vorteile, wenn sie das auf ihrer eigenen Hardware tun können.
Aber so richtig verstehe ich die Strategie von Meta dann auch nicht, ehrlich gesagt, was sie da eigentlich vorhaben.
Ja, vielleicht hat Mark Zuckerberg das selber nicht so genau.
Ja, das habe ich bei vielen Dingen mit seinem Metaverse und keine Ahnung.
VR kaputt gemacht, erst gepusht und dann kaputt gemacht.
Ich weiß auch nicht so genau.
Ist ein bisschen erratisch.
Ja, es ist wirklich erratisch.
Ja, voll gut.
Okay, hast du noch Wünsche, was wir noch, also ich finde, wir müssen über Kimi nochmal sprechen.
Auf jeden Fall über Kimi reden.
Das ist ja jetzt so ein bisschen der Übergang zwischen Openweight und vielleicht doch nicht mehr ganz so Openweight.
Also Kimi K3 wurde gelauncht.
Ja, je nachdem, auf welches Benchmark man wieder schaut, irgendwo sind sie auch mal vor Fable gelandet.
Also sie sagen jetzt, sie sind jetzt am Frontier angekommen, also sagen sie selber natürlich und sagen aber auch einige Benchmarks eben, dass sie mittlerweile vorne mitspielen.
Und das merkt man dann auch, der Preis ist gar nicht mehr so günstig jetzt, sondern irgendwie auf Cloud-Sonnet-Niveau.
Und sie haben auch dann gesagt, ja, also ...
Ja, wir veröffentlichen die Gewichte auch, aber erst nächste Woche.
Also irgendwie so ganz so open jetzt auch nicht mehr.
Also ja, es wird wahrscheinlich dann nochmal spannend.
Also am 27.07.
wollen sie die Gewichte dann veröffentlichen und dann geht natürlich die Community los und dann können wir uns wieder ganz viel auf Hugging Face bewegen.
Ich hoffe, dann sind sie wieder sicher und können uns dort dann wahrscheinlich angucken, was die Leute dann mit den Gewichten eben anstellen und da aus dem Modell noch rausholen, wenn sie das noch irgendwie...
noch weiter feintunen, posttrainieren, irgendwelche Destillate da reinbringen oder was auch immer.
Das wird dann wieder sehr interessant zu sehen, was da halt möglich ist.
Aber erst mal wirkt es für mich halt irgendwie, als ob sich das Ganze halt in Richtung der anderen Frontier-Modelle jetzt bewegt.
Es wird halt geschlossen, über eine API angeboten, Preise steigen auch.
Also je besser sie werden, desto mehr werden sie wie die anderen offensichtlich.
Aber vielleicht hat, dass vorher so viele offene Modelle waren, eben dazu geführt.
Das wäre jetzt meine Annahme, dass die eben auch aufholen konnten so schnell.
Ja, definitiv.
Also das Modell auch drei Billionen Parameter.
Wie du schon sagtest, bei den Benchmarks sind es in Hauch hinter Fable und 5.6 Soul.
Das klingt alles sehr beeindruckend.
Es soll wohl viele Halluzinationen liefern.
Das war so negativ aufgetaucht, aber vielleicht sind diese, also die Preise ganz genau sind 3 Dollar für Input und 15 Dollar für eine Million Output Tokens, also 15 Dollar schon auf dem Level vom OpenAI und tatsächlich von Sonnet, von Antropic.
Vielleicht sind es aber auch einfach die Kosten, die man für den Betrieb so eines großen Modells rechnen muss.
Also vielleicht haben sie einfach keine Lust mehr drauf zu bezahlen.
Das ist dann das einfachste Cost of Doing Business.
Ja gut, das ist ja sowieso der Take, dass da die Kosten eigentlich wesentlich höher sind noch und alle jetzt versuchen, so wenig wie möglich Verlust zu machen, wie halt gerade geht damit.
Aber ich könnte mir auch vorstellen, dass wir da eher realistische Preise sehen, weil die chinesischen Unternehmen da vielleicht schon noch mehr auf der Konkurrenz liegen und gucken müssen, dass sie ihre Kosten noch wieder reinholen.
Und da nicht ganz so viel mit virtuellem Geld um sich geworfen wird, wie bei den anderen.
Hätte ich jetzt auch so ein bisschen das Gefühl, dass dort die Preise realistischer sind an den tatsächlichen Kosten.
Aber da habe ich jetzt auch keine Belege für.
Ja, es ist ja wieder eine Frage der Skalierung.
Also ich glaube, das Thema hatten wir schon häufiger.
Man muss ja unterscheiden, wie viel von meinem Compute investiere ich in Research und Development und inwieviel in Inference.
Und jetzt, wo man mehr und mehr Rechenkapazität hat, kann man halt ungestraft mehr und mehr von dem Compute in die Inference stecken und damit natürlich die Kosten auf der...
auf der Research & Development Seite auch wieder drücken.
Wenn ich 50 Millionen Research & Development mache und nur 10 Millionen in Inference investiere, müssen die Kosten von diesen 10 Millionen Rechenkapazität in Inference das ja quer subventionieren.
Und jetzt, wo die Kapazität stark steigt, glaube ich eigentlich auch, dass du halt die Inference Seite viel leichter skalieren kannst.
Und das sollte sich eigentlich auch negativ auf die Preise...
auswirken, weil du dann so zu realistischeren Verhältnissen von vielleicht, weiß ich nicht, dass 30 Prozent deiner Inference-Kosten nur noch auf Research und Development geht und 70 Prozent wirklich zu deinen Kunden geht.
Ja.
Dass das sich irgendwie ausbalanciert.
Ja, da würde ich wirklich gerne mal in so eine Kostenrechnung mal reingucken.
Das wäre wirklich sehr spannend, um da halt einfach noch bessere Bewertungen abgeben zu können.
Aber das ist natürlich alles hochgeheim wahrscheinlich, was da die Abwägungen intern sind.
Da kommen wir natürlich nicht dran.
Ich glaube, das müssen die mit den IPOs offenlegen.
Mit den IPOs?
werden wir da mehr erfassen.
Ja gut, aber ist die Frage, was man da dann auch wirklich veröffentlicht, ob sie das dann doch irgendwie zusammenrühren.
Naja, wahrscheinlich werden sie operatives Geschäft und Research und Development werden sie wahrscheinlich schon getrennt irgendwie aufschlüsseln müssen.
Kann ich mir schon vorstellen, ja.
Ich habe das nur immer so ein bisschen damals mitbekommen bei Apple, wenn die Geschäftszahlen, da haben sie dann auch manche Sachen immer zusammengerührt, um halt nicht zu zeigen, wie schlecht bestimmte Produktkategorien tatsächlich laufen.
Da haben sie das immer in so einer Kategorie dann irgendwie zusammengefasst und dann haben sie es darüber so ein bisschen kaschiert, dass niemand das genauso rausfinden konnte.
Also man kann da noch was machen.
Ich bin gerade so irritiert, ich habe Kaffeebohnen geschenkt bekommen und die sind irgendwie, die sind in einem...
Also offensichtlich in einem Whisky fast gelagert worden und dieser Kaffee riecht wirklich nach Whisky.
Er soll keinen Alkohol enthalten, aber ja, es hat mich gerade irritiert, als ich meinen Kaffee trank.
Normal habe ich immer meine normalen Bohnen, aber das war jetzt ein Geschenk.
Ja, interessant.
So, zurück zu Kimi.
Hören wir noch was zu Kimi oder müssen wir einfach abwarten, was dann da wirklich draus kommt, wenn die Gewichte veröffentlicht werden?
Ich glaube, wir müssen abwarten.
Interessant ist, dass...
die chinesischen Modelle jetzt scheinbar zu den amerikanischen aufgeschlossen haben.
Wobei, nee, wenn ich darüber nachdenke, tatsächlich ja nicht.
Also Mythos wurde ja auch im Januar veröffentlicht.
Wir haben noch nie Zugriff drauf bekommen.
Ja.
So, dann passt es eigentlich doch wieder sehr gut mit so sechs Monaten.
Ja, sechs Monate.
Laufen die chinesischen Modelle hinterher.
Ich nehme den Take zurück.
Es war ja so eine künstliche Auflage, dass wir Fable jetzt erst vor einem Monat oder so bekommen haben.
Mythos gab es ja schon länger.
Vielleicht sind wir doch noch bei den sechs bis sieben Monaten.
Gut, aber das schrumpft halt schon.
Also ich glaube, ja, so schon.
Ich erinnere mich, dass wir Anfang des Jahres, hieß es immer so zwölf Monate.
Und dann waren es irgendwie, ich glaube, es wird schon ein bisschen weniger.
Genauso eben auch mit den lokalen Modellen, dass da der Abstand auch ein bisschen sinkt.
Wobei da eben immer noch die Optimierung auf die beschränkte Hardware, die man für die lokalen Modelle zur Verfügung hat, immer noch so einen separaten Faktor dann ausmacht.
Das wird also noch wahrscheinlich sich ein bisschen länger unterscheiden.
Da sind wir dann eher noch irgendwas zwischen ein und zwei Jahren wahrscheinlich zurück, was wir lokal jetzt haben.
Und was vor zwei Jahren ging, das kann man jetzt lokal haben.
Aber dann wird es irgendwann schon.
Dann wird es irgendwann schon schwierig.
Okay, weitere Modelle, haben wir noch weitere Modelle?
Ich glaube, wir wollten noch ganz kurz auf, auch weil es ganz frisch ist, auf Google eingehen, weil ich das auch noch relativ interessant fand.
Google hat ja so ein bisschen schwierig gerade irgendwie so, die haben nicht so eins, ich erinnere mich, vor einer Zeit lang waren halt wirklich, hast du Gemini benutzt und das war halt wirklich.
gut und viele haben dann irgendwann gedacht, vielleicht ist dann doch Cloud besser und dann sind sie Open R gewechselt und es war immer so ein Hin und Her, aber ich habe das Gefühl, Google hat gerade so Frontier-mäßig nicht so viel am Start, weil sie, glaube ich, eher versuchen, so zu optimieren am unteren Ende, was jetzt ja ein bisschen das unterstützt, dass sie jetzt die Gemini 3.6 Flash als nächstes rausgebracht haben und kein Gemini 4 Pro oder wie auch immer, sondern das haben sie weiter zurückgehalten.
Und sie optimieren gerade offensichtlich bei den schnellen Flash-Modellen.
Und das sind natürlich die, die sie auch für die Masse brauchen, weil sie das in der Google-Suche irgendwie eingebaut haben, wo das alle Leute die ganze Zeit benutzen, haben sie natürlich mehr Incentive, jetzt eher auf Masse zu gehen und auf Schnelligkeit und nicht auf die teuren, ganz langsamen Frontiermodelle.
Die bringen ihnen vermutlich nichts für ihr Business.
Ja, Google optimiert ganz stark auf good enough.
Was kann ich auf meinen Geräten laufen lassen?
Was kann ich schnell bedienen und günstig bedienen?
Wundert mich ehrlich gesagt ein bisschen, weil ich glaube, sie könnten bei den großen Modellen auch vorne mitspielen.
Sie haben definitiv genügend gute Leute.
Man sieht irgendwie aber nichts davon.
Aber das kann auch wirklich Strategie sein.
Sie wollen halt die schnellen Modelle, die man auch auf dem Handy laufen lassen kann und so den Schnittpunkt zum User abgreifen.
Weil wir hatten ja gerade wieder über die Daten geredet.
Genau.
Wenn du direkt Zugriff auf die Geräte hast und das alles verknüpfen kannst.
Ja, genau, das ist genau der wichtige Punkt.
Ich meine, am Anfang gab es immer diese ganzen Screenshots, wie dämlich diese, unter der Google-Suchbox die KI-Antwort, wie viel Schwachsinn da drin stand.
Ich habe das Gefühl, die werden wirklich weniger.
Also das heißt, da sind sie wirklich dabei, da irgendwie offensichtlich die schlechte Publicity zu drücken, indem sie da die Qualität stark erhöht haben.
Aber da können sie natürlich auch total abgreifen, wie vorher auch schon.
Wenn eine Antwort kommt und dann wissen sie, was die Leute danach angeklickt haben und können natürlich die Leute auch, über ihren Chrome einfach danach komplett tracken, was sie danach tun.
Und das heißt, sie bekommen dann wahrscheinlich ziemlich viel Verifiable Data einfach aus der Interaktion mit der Google-Suche.
Weil sie die KI-Antwort haben, die generiert wurde und dann, was die Leute danach gemacht haben.
Das wird vermutlich echt in diese Richtung auch gehen.
Das reichern sie dann noch mit den Android-Daten an und was du auf YouTube geschaut hast und haben sie das perfekte Bild fast.
Genau, und das ist tatsächlich dann so ein bisschen die...
Ja, die Cyberpunk-Dystopie, die dann wirklich passiert.
Also eigentlich sind wir nur dafür da, wie in der Matrix, die KI zu trainieren durch unser Verhalten und durch unsere Existenz in der Welt.
Aber das ist, glaube ich, schon so.
Google optimiert da wirklich am unteren Ende und das halt auch wirklich, glaube ich, aus ökonomischen Motiven einfach, weil ihnen das mehr Kohle bringt, dass die Leute die Werbung auf der Google-Page sehen und die Google-Ads sehen.
Obwohl Open-Air jetzt ja auch gerade...
Werbung angekündigt hat in ChatGPT.
Jetzt auch ganz neu.
Wahrscheinlich auch ein Vorbote auf den IPO.
Genau, da habe ich auch noch nicht genauer reingeschaut.
Aber das kommt natürlich jetzt auch auf uns zu.
Genau, das haben wir noch was zu den Flash-Modellen.
Aber das war eigentlich hauptsächlich mein interessanter Punkt, die ich daran fand, dass Google da gefühlt hinterher ist.
Aber ich glaube, die wissen ziemlich genau, was sie tun.
Und wenn sie einen Gemini 4 haben, was Frontier-mäßig voll vorne mitspielt, dann werden sie es auch raushauen.
Aber ich glaube, solange sie nicht Abstand haben zu den anderen, werden sie das nicht machen, sondern einfach nur mitzuhalten ist, glaube ich, gerade nicht ihr Ziel.
Und das brauchen sie, glaube ich, auch nicht.
Also sie müssen keinen IPO vorbereiten, sie müssen da nicht Investoren beeindrucken.
Die haben einfach ganz langen Atem.
Ja, ja, sie kontrollieren die.
Also sie haben ja schon gute Modelle.
Sie haben YouTube, sie haben Android, sie haben die Google Suche und Google Maps.
Eigentlich sind sie perfekt aufgestellt, was das Einsammeln von wirklich gut verwertbaren Daten angeht.
Ja, das würde ich auch so sehen.
Also Google ist auf keinen Fall abgeschrieben.
Okay, ich gucke gerade mal über unsere Themen drüber, die wir machen könnten.
Wir könnten noch über Apple verklagt OpenAI reden, aber ich glaube, da steckt auch nicht so viel drin.
Ein kleines Personalkarussell.
Ja, also offensichtlich hat OpenAI relativ aggressive Hiringstrategien.
Ich meine, bei den ganzen Ablösesummen und so ist das auch nicht verwunderlich.
Aber da haben sie wohl gerüchtehalber gesagt, wenn jemand zum Bewerbungsgespräch kommt, der vorher bei Apple war, bring mal hier irgendwie Prototypen mit oder so, dann wissen wir, ob du wirklich bereit bist zu investieren.
Das geht natürlich nicht.
Du kannst natürlich Leute einstellen und deren Wissen kannst du nicht aus dem Kopf löschen.
Aber wenn die wirklich Company Secrets mitbringen sollen, wird es schwierig.
Und ich glaube, da wurde es dann selbst Apple zu bunt.
Und dann haben sie da entsprechend eine Klage erhoben gegen Open AI.
Aber es geht um Hardware und eben nicht um Modelle, wie ich es verstanden habe.
Ja, sie haben ja den Tang Yutan abgeworben, was früher der Vice President of Product Design für iPhone und Apple Watch war.
Und der hat auch gleich 400 Leute oder so mitgenommen.
Das tat Apple natürlich sehr weh.
Und witzigerweise, sie haben ihm wohl nicht seinen Laptop abgenommen.
Was auch so...
Das ist eigentlich ein Fail der Apple Security.
Ja, ja.
Bei VP-Ebene, da gibt es wahrscheinlich nicht diese krasse Reglementierung auf der Ebene, so wie wahrscheinlich so den Engineers wird wahrscheinlich sofort alles gesperrt, da gibt es einen Prozess für, aber auf VP-Ebene ist wahrscheinlich alles so, ja, ja, macht ihr mal, ihr seid ja vertrauenswürdig.
Also Apple ist ja bekannt dafür, dass du hast eine zwei Wochen Kündigungsfrist und wenn du sagst, du kündigst, dann wirst du gleich danach zu deinem Auto eskortiert und bist raus.
Offensichtlich haben sie nicht seine Accounts gesperrt.
Offensichtlich durfte er seinen Laptop behalten und hat dann unvorsichtigerweise über diesen Laptop, also sich auch noch selber Firmengeheimnisse gemailt und andere Sachen abgezogen.
Ja, I don't know.
Ich weiß auch nicht, das ist wirklich Wilder Westen.
Aber das kann ich mir wirklich gut vorstellen, ist natürlich jetzt nur meine Annahme, dass natürlich für die Masse der Leute gibt es Prozesse, aber je höher du kommst, desto weniger Regeln gelten, dann kann man den Leuten nicht sowas vorschreiben, die wollen ihre eigenen Telefone benutzen und irgendwie keine Sperren haben und dann hast du natürlich genau das Problem.
Eigentlich dachte man wahrscheinlich, okay, wenn du so weit oben bist, dann verdienst du so viel, dann bist du nicht so gefährdet, aber ja, offensichtlich wurden sie da eines Besseren belehrt und dann...
Bin ich jetzt mal gespannt, was in den Gerichtsakten dann für schöne Dinge noch dann, das sind ja diese Apple-Prozesse, da sind auch gerade Apple und Google, wie sie sich verklagt haben, immer schöne Details dann Jahre später aus den Gerichtsakten noch rausgefallen.
Ja, Apple ist einfach nicht, also.
Apple, gerade in der Hardware-Design, war ja Apple immer der Arbeitgeber, eigentlich ganz keinen besseren Arbeitgeber.
Und dass einer ihrer Vice-Präsidents mit 400 Leuten aus ihrer Premium-Sparte abhaut, ich glaube, das hat Apple schon ganz schön wehgetan.
Ja, nee, dann müssen sie, glaube ich, auch irgendwann dann mal sagen, so jetzt müssen sie mal ein Zeichen setzen.
Ich meine, dass da irgendwie diese...
Es gab da ja auch schon immer so Abwerbevereinbarungen, dass sie sich gegenseitig nichts abwerben und so.
Das scheint aber irgendwie alles, es war glaube ich aber zwischen Apple und Meta dann irgendwann mal alles aufgekündigt mittlerweile.
Jetzt ist wieder komplett Wilder Westen am Start.
Ja, eigentlich war Apple immer der, der ziemlich wild Leute abgeworben hat.
Ja, ja.
Jetzt trifft sie selber und dann wird es natürlich irgendwann, verstehen sie dann keinen Spaß mehr.
Ja, das vielleicht so ein bisschen nochmal.
Es gibt doch noch weiter Personalkarussell.
Das geht wahrscheinlich auch eine ganze Zeit lang so weiter.
Hast du für uns noch einen Tipp der Woche?
Ja, ich habe noch einen Tipp der Woche.
Ich habe über mehrere, über verschiedene Blogposts immer so diese Probleme im Genentech Software Engineering, die irgendwie kreative Lösungen erfordern.
Und da gibt es dann immer so einen Blogpost, wo jemand rausfindet, wenn man jetzt dem Modell folgendes Tool gibt, dann ist es so und so viel effizienter, verbraucht so viel weniger Tokens.
Und da gibt es ja viele, viele Entwicklungen an verschiedenen Enden.
Und ja, da einen Überblick zu behalten ist nicht ganz einfach.
Aber es gibt dieses OhMyPie-Projekt, was eigentlich so ein Fork ist von dem Pie, was ich ja auch schon mal empfohlen habe.
Was ja eigentlich so ein Harness ist, der nichts mitbringt, den man customizen kann.
Und in diesem OhMyPie-Projekt, manche kennen das vielleicht auch so von OhMyZSH oder sowas, wo man irgendwie so Defaults oder für Vim gibt es das auch und für Emacs oder was auch immer, dass du so ein Starter-Kit hast, wo schon die wichtigsten Einstellungen und Entscheidungen für dich getroffen sind.
Und ich finde das eigentlich immer schwierig, weil dann installierst du dir sowas und weißt halt auch nicht, was da alles passiert.
Aber ich finde, das ist trotzdem ein cooles Projekt, um da mal reinzuschauen.
Man muss sich das jetzt nicht sofort installieren, weil das wieder extrem viel macht, weil es halt eben ein Harness ist, der halt Open Source ist, aber der halt extrem viele Dinge schon mitbringt out of the box.
Also genau das Gegenteil von Pi eigentlich.
Aber man kann sich, finde ich, daran mal ganz gut angucken, wie so bestimmte Probleme, die so auftauchen, gelöst werden.
Und da gab es Zum Beispiel, wie werden irgendwie Files editiert, dass man nicht immer das gesamte File irgendwie aus dem Kontext wieder neu schreiben muss, sondern effizientes File-Editing ist ja schon so ein Ding.
Und da hatten die mal diesen Blogpost gemacht mit Hashline, wo man dann halt vor jeder Zeile so einen Hash hat von dem Content und dann kann man das über diesen Content adressieren und dann kann das Tool schon sagen, wenn sich zwischenzeitlich das File geändert hat und das Modell irgendwie auf einer alten, veralteten Stand arbeitet, kann man das ja über so einen Hash rausfinden.
Also wirklich ein kreatives kreative Problemlösung für so ein typisches Harness-Problem.
Und da kann man sich, finde ich, diesen OMI-Pi mal durchklicken.
Die haben auf der Startseite einfach so, was sie so an Dingen mitbringen.
Und da kann man gut sehen, was für Lösungen es gibt für verschiedene Probleme im Genetic Software Engineering.
Also wenn man da mal so einen Überblick bekommen will, ist das so eine Quelle, wo der Hauptentwickler dort immer relativ vorne dabei ist.
Also nicht nur alles seine eigenen Lösungen, sondern einfach Lösungen für Probleme, die existieren, dort immer sofort einzubauen.
Das ist so eine Anlaufstelle für mich, da reinzugucken.
Also wer sich für Coding-Harnesses interessiert, sollte sich das Projekt mal anschauen.
Ich verlinke das.
Spannend.
Auf jeden Fall.
Jede Woche gibt es ja drei bis 500 neue Coding-Harnesses.
Da kannst du auch nicht in alle reingucken.
Aber ab und zu gibt es halt mal sowas.
Und dann kann man sich mal gucken, dass man wieder so...
sich was anguckt und schaut, welchen Pattern das folgt und welche Probleme gelöst werden.
Also eher so ein bisschen als Meta-Betrachtung.
Also ich installiere die auch nicht alle sofort, weil du kannst halt da, das ist halt auch wieder ein Supply-Chain-Nightmare, was da alles an Packages mitgezogen wird aus allen Richtungen.
Ja, da muss man halt echt ganz genau hinschauen.
Trotz Sandbox, haben wir ja vorhin gehört, auch aus Sandboxes kann ausgebrochen werden, wenn man das Modell das falsche beziehungsweise richtige Modell dahinter klemmt.
Insofern, ja, sich trotzdem nicht jeden Kram installieren, selbst wenn man gesandboxed unterwegs ist.
Gut, Oh My Pie als Recherche oder Inspirationsquelle sei empfohlen.
Gut, oh Gott, 37 Minuten sehe ich gerade.
Es gab doch viel zu besprechen.
Hast du noch letzte Worte?
Ich glaube nicht.
Ich denke, es ist Zeit, baden zu gehen.
Genau.
Die Sommerpause 1.
Aber ich habe gehört, bei dir ist 30 Grad, dann geh du mal baden.
Ich gehe dann in einen Urlaub, werde ich dann verschwinden.
Und dann hoffe ich, dass wir uns in spätestens drei Wochen wieder hören.
Vielleicht schon ein bisschen früher mal gucken, wenn ich es gar nicht mehr aushalten kann.
Dann können wir vielleicht auch schon ein bisschen früher reinschauen, je nachdem, was so passiert.
Dann dir erstmal schöne Zeit.
Euch eine schöne Zeit.
Wir hören uns wieder.
Dann wahrscheinlich im August.
Halle.
Macht's gut.
Ciao, ciao.