# AI Market Shifts: Talent, Regulation, and On-Device Strategy

**Podcast:** INNOQ Podcast
**Published:** 2026-06-30

## Transcript

Herzlich willkommen.
Ich begrüße euch zu der nächsten AI-News-Folge.
Heute vom 25.
Juni.
Wieder ein anderes Setup.
Wir sind vor Ort.
Wir machen wieder eine Event-Folge.
Genau, wir sind wieder auf einem unserer InnoQ-Events.
Diesmal ein bisschen wild.
Projekterfahrungsaustausch und Lightning-Talks mit Erfahrungsberichten.
Das ist immer sehr schön, was man aus den anderen Projekten mitbekommt von den Kolleginnen.
Was funktioniert, was funktioniert nicht.
Das ist immer ein wilder Austausch.
Diesmal aus dem schönen Salzburg.
Man sieht so ein bisschen hier, Barock Design zieht sich durch.
Aber heute geht es natürlich um die AI-News.
Und vielleicht noch so ein bisschen voller ab zum letzten Mal.
Wir hatten letztes Mal kein Video leider.
Da hat uns leider Zencast einen Strich durch die Rechnung gemacht.
Ich war sauer, aber wir haben es nicht mehr gerettet gekriegt leider.
Nächstes Mal probieren wir dann mal was anderes aus und dann berichte ich, wie das für uns funktioniert.
Aber dieses Mal ist es ja eh wieder...
The Power of Open Source, OBS nimmt uns auf, wird bestimmt alles super funktionieren.
Wie immer.
Wie immer, sehr gut.
Ja, lass uns in die News gehen.
Wir haben ja noch vier Programme heute, deswegen machen wir das, gehen wir jetzt ohne lange Vorrede rein.
Womit fangen wir an, Ulle?
Personalkarussell, würde ich sagen.
Norman Chazier ist von Google zurück, also nicht zurück, er ist vor kurzem erst zu Google gewechselt, beziehungsweise Google, er war ein ehemaliger Google-Forscher, man kennt ihn von Attention is all you need.
Das Attention Paper, genau.
Das Landmark Paper.
Er ist auch derjenige, der die Models, Mixed-Jourth-Exports-Models entwickelt hat oder die Grundlagen dafür gelegt hat.
Also er ist wirklich einer der Groß in dem AI-Geschäft.
Man sagt so ein bisschen, ich muss das auch ein bisschen nachvollziehen, man sagt, er ist so ein bisschen so ein Wilder.
Also er ist nicht so der methodische Forscher zu sein, hat aber eine sehr hohe Rate mit guten Ideen.
Also alle brainstormen irgendwie und er bringt scheinbar immer die Lösungen, die funktionieren.
Und das hat auch Google festgestellt.
Also er war bis 2020 bei Google, hat sich da mit einem Startup selbstständig gemacht.
Das Startup.
hat dann Google gekauft, um ihn wiederzubekommen für fast drei Milliarden.
Er hat so ungefähr eine Milliarde aus dem Deal rausgezogen und ist jetzt tatsächlich von Google zu OpenAI gewechselt, um gerüchteweise die Probleme mit dem Pre-Training in den Griff zu kriegen, weil OpenAI, GPT 5.5, da lief das Pre-Training ja wohl nicht so gut.
Und die große Hoffnung ist, dass er das jetzt für sie fixen kann.
Ja, ich finde es schon krass, dass wirklich dann, also mit Geld kann man keine Leute offensichtlich mehr halten.
Also es gibt einfach keine Summen mehr, dass du sagen, also Google hat ja offensichtlich viel gezahlt, aber nicht mehr die Milliarde reicht dann.
Also es finde ich schon bemerkenswert, dass selbst die Großen es nicht schaffen, in irgendeiner Form Talent zu halten.
Ja, aber wir wissen es nicht genau, was da vertraglich gelaufen ist, aber es hat ja keine zwei Jahre gehalten.
Und dass es offensichtlich irgendwie die Hoffnung ist, dass so einzelne Leuchtturmfiguren dann irgendwie die Probleme lösen.
Das finde ich auch so ein bisschen gefährlich, dass man dann so viel Hoffnung offensichtlich da rein projiziert in so einzelne Personen.
Ich glaube tatsächlich, es gibt ganz wenig Leute zurzeit auf der Welt, die eine gute Intuition haben.
Also da zählt der Norman bestimmt dazu, Ilja Satsko war wahrscheinlich.
Es sind ja Trilliarden von Parametern und da setzt der menschliche Verstand oder hat der menschliche Verstand Grenzen.
Da eine gute Intuition zu haben und mehr als einmal Recht zu haben, ist halt schon etwas, wofür scheinbar unbegrenzt Geld gerade bezahlt wird.
Offensichtlich viel Geld, ja, unbegrenzt Geld.
Da kommen wir später noch zu, was da alles passiert ist.
Ja, ich wäre jetzt auch erstmal sehr gespannt, was dann sozusagen das Erste sein wird, was dann publik wird, was er dort für OpenAI löst.
Das würde ich auch sagen, da kann man wirklich sehr, sehr gespannt sein, was er dann da tut.
Bisher wissen wir nicht, außer das, was du gerade gesagt hast, mehr wissen wir nicht.
Aber diese zentralen Personen, ja wirklich zwei Innovationen mit dem Mixer auf Express, das hatte ich gar nicht mehr so im Kopf.
Aber da ist ja gerade, wenn man jetzt Modelle ist, die dann irgendwie auf dem Smartphone laufen, mit weniger Speicher, ist natürlich ein riesen Durchbruch gewesen.
Gerade wenig RAM auf Smartphones, da hilft das natürlich, wenn nicht immer alle Parameter aktiv dann sein müssen.
Ja, das war wirklich so die Big Bang News, die wir, glaube ich, hatten, was Personal angeht.
Personal angeht.
Was keine Frage, die zweite Big Bang News war dann Mythos.
Wir hatten ja noch das letzte Mal darüber gesprochen.
Mythos gab es nicht.
Jetzt sind wir wieder auf dem Stand.
Mythos gibt es nicht für die Allgemeinheit.
Was ist denn zwischendurch passiert?
Vier Tage zwischendrin gab es Fable.
Ja, Fable.
Fable, das...
Modell von Mythos oder basierend auf Mythos mit sehr starken Guardrails versehen.
Also ein Freund von mir arbeitet in der Single-Cell-Forschung, Krebsforschung mit KI-Modellen und er hat gemeint, er hat in den vier Tagen keinen einzigen Prompt durchgebracht.
Also die Guardrails gingen ganz stark in Richtung Biotechnologie, also alles, was mit Biologie wurde abgeplägt.
Und das zweite große Guardrail war Security.
Da wurde man dann immer automatisch auf Opus 4.8 downgegradet.
Ja, auch ohne, dass man es irgendwie gemerkt hat.
Nur beim LLM-Training.
Das hat auch einen kleinen Shitstorm ausgelöst, dass sie ohne den Leuten das transparent zu machen, wenn du das Modell, also Fable, nach Fragen zum LLM-Training gestellt hast, haben sie den Prompt modifiziert.
Also wenn du eine spezifische Frage gestellst, gestellt hast, haben sie den prompt gedowngradet und die Frage allgemeiner gemacht und dir eine schlechtere Antwort geliefert.
Plus, sie wollten das auch noch fest ins Model einverdrahten.
Das gab ganz schön einen Aufschrei.
Danach haben sie, ich glaube, noch am zweiten Tag haben sie entschieden, dann wird man auch sichtbar gedowngradet.
Aber das hat einen ganz schönen Shitstorm ausgelöst.
Und dann ging es weiter.
Also, ne, vielleicht sollten wir erst mal...
Gehen wir ein bisschen chronologisch vor.
Du hast doch auch mit Fable gespielt.
Was waren deine Eindrücke?
Ja, gespielt war es wirklich.
Ich habe tatsächlich in meiner normalen Arbeit dann einfach gesagt, okay, ich schalte jetzt einfach in Cloud Code auf Fable um.
Und dann lief tatsächlich alles weiter wie bisher.
Und ich habe jetzt aber auch nicht extreme Experimente gemacht.
Sondern alles, was vorher funktioniert, hat auch noch funktioniert.
Aber man hat schon gemerkt, dass das Ding irgendwie wesentlich mehr versucht hat, das zu tun, was du von dem Modell angefragt hast und wirklich sehr kreativ Tools benutzt hat, ohne dass ich darauf hingewiesen habe.
Vorher hatte ich zum Beispiel Dinge gemacht wie hier, ich habe dir jetzt hier mal diesen Playwright-MCP, du kannst jetzt einen Browser benutzen und kannst die Anwendung selber debuggeln und solche Dinge machen, Screenshots machen.
Das habe ich dann gesagt und dann haben die Modelle das auch benutzt.
Aber das war jetzt so, dass...
da wirklich viel mehr kreativere Lösungen gesucht wurden, irgendwelche CLI-Tools zu benutzen und einfach, weil offensichtlich da wesentlich mehr Weltwissen noch drinsteckt, dass eben auch Wissen über irgendwelche Tools, die vorher im Modell nicht so präsent waren, da jetzt einfach drinstecken und dass dann die Lösungen einfach kreativer wurden und viel mehr Iterationen passiert ist, um Dinge zu lösen.
Das war schon mein Eindruck in den drei Tagen, die es eigentlich war.
Für mich war es persönlich, ups, auch ein Ziemlich großer Sprung nach vorne.
Ich war sehr beeindruckt.
Ich habe witzigerweise genau am anderen Spektrum gearbeitet, weil ich kurz vorm Training stand und nachher noch ein Paper vorbereitet habe.
Also ich habe fast gar nicht damit gekodet, sondern eher so kreative Arbeit gemacht.
Und ich war auch sehr beeindruckt.
Also wenn man sonst so bei den LLMs das Gefühl hat, du hast ein Tool, das musst du an der kurzen Leine führen, du musst ihm sagen, was es machen soll, hat er mich teilweise intellektuell schon rausgefordert, würde ich fast sagen.
Was ja auch, also Mythos ist ja verschrien dafür, dass es mehrere Jailbreaks so chainen kann.
Und diese Fähigkeit, Gedanken, mehrere Gedanken hintereinander zu hängen, habe ich im Kontrollen auch wieder gesehen.
Also teilweise musste ich fragen, wie kommst du denn jetzt von A nach F?
Und kannst du mir das nochmal ein bisschen aufdröseln?
Und dann sagt er, ja, ist ja ganz logisch.
Du kommst von A nach B, nach C, nach D, nach E.
Und damit landest du bei F.
Ja.
Okay.
Hast du eigentlich recht?
Ja, klingt trotzdem.
Und ich glaube, das ist das auch, was er bei so den Cyberangriffen so gefährlich macht, dass er in der Lage ist, das erste Mal gefühlt zu planen und kreativ zu sein und out of the box zu denken.
Und also für mich war es tatsächlich ein großer Schritt vor Ort.
Vielleicht der größte seit ChatGPT 3.5 zu 4, würde ich sagen.
Ich fand es sehr spannend.
Es hatte einen gewissen Suchtfaktor, fand ich.
Also ein Teil von mir war froh, dass sie es abgeschaltet haben, weil ich dachte, das war das erste Modell, mit wo ich mich auch gerne einfach mit ihm unterhalten habe.
Ja, ich meine, da geht dann so der Kopf gehen so ein neuer Möglichkeitenraum auf.
Dass er immer so mit neuer Technologie kommt, dass dann, bei mir ist es zumindest so, dass der Kopf dann anfängt zu arbeiten und dann sofort versucht, so in die Breite zu gehen.
Was könnte das jetzt plötzlich ermöglichen, was vorher nicht da war?
Und das war wirklich nochmal so ein...
Punkt.
Vorher war halt immer alles so in Iterationen besser geworden und das war wieder so, okay, es ist schon so nochmal gefühlt ein neues Level, was da aufgemacht wird.
Ja, natürlich aber dann eben auch zu wesentlich höheren Kosten.
Stimmt, die Kosten waren die Hälfte von Mythos, nee, sogar ein bisschen weniger, aber immer noch 50 Dollar für eine Million Output Tokens.
Also das war wirklich dann, ja, das ist dann wirklich das oberste Level, wo man dann wirklich gucken muss, ist das noch nachhaltig, das für alle.
für alle Einsatzzwecke zu benutzen.
Ja, und das Problem war eben auch, dass sie versucht hatten, eben durch diesen Fable-Brand viele Guardrails da eben einzuziehen, die dann halt ja gewisse Effekte hatten, die dann eben auch nicht so richtig transparent waren.
Und das ist ja schon so ein bisschen dieses Arms Race so ein bisschen, dass sie versuchen, dass sie ja auch die The Thinking Tokens nicht mehr exponieren so wirklich, weil das war jetzt zumindest, wo ich mich so ein bisschen reingegraben habe.
was viele Open-Welt-Modelle angeht, dass die ja eben versuchen, ihre Modelle dann zu trainieren auf Basis der Thinking-Tokens, um halt diese Gedankenketten irgendwie zu extrahieren und in andere Modelle reinzutrainieren.
Das scheint wohl ganz erfolgreich zu sein bei einigen von den chinesischen Modellen auch.
Und deswegen versuchen sie da eben diese, ja, die brauchen einerseits eben so eine Nachvollziehbarkeit für Leute, die das Modell benutzen, damit die eben wissen, was kann ich mit den Ergebnissen anfangen.
Aber sie wollen sie halt möglichst auch nicht veröffentlichen, damit nicht andere darauf trainieren können.
Also das ist eigentlich ein Widerspruch.
Da kann man, bin ich mal gespannt, wie sie da rauskommen.
Eigentlich kann man da gar nicht rauskommen aus diesem, außer sie machen es halt wirklich alles dicht.
Das ist halt eine API, die du benutzt.
Und dann frage ich, wie sie die Leute dann auf Dauer dazu bringen wollen, dass halt wirklich...
tief in ihre Prozesse zu verdrahten, wenn es halt super intransparent ist.
Ich glaube aber tatsächlich, darauf wird es wahrscheinlich hinauslaufen, dass das nicht mehr transparent gemacht wird.
Aber vier Tage später kam eh der Hammer.
Genau.
Und dann war es wieder weg.
Dann war es wieder weg.
Die Exportkontrolle der US-Regierung, die gesagt haben, ist zu gefährlich.
Mittlerweile, ja.
Jetzt fallen meine Sachen runter.
Mittlerweile haben wir ja auch so ein paar Gerüchte, wo es wohl zusammenhing.
Irgendein Senator hat dann geplaudert, dass er mit einem General gesprochen hat, der gesagt hat, irgendwie das Modell wäre irgendwie NSA-Systeme irgendwie eingedrungen.
Und da haben sie gesagt, das geht ja aber gar nicht.
Ist aber bisher, wie gesagt, nur ein Gerücht, dass es das so ein Auslöser war, dass sie gesagt haben, oh, wenn selbst unsere NSA-Systeme, was vorher wohl noch angeblich keinem Modell gelungen war, da irgendwelche signifikanten Lücken aufzutun.
Aber das kann auch sein, dass das wieder so ein gestreut wurde, ein Gerücht.
Das war jetzt eine Quelle.
Ich habe drei Geschichten gehört.
Die NSA-Geschichte, aber das soll tatsächlich das Mythos-Modell gewesen sein.
Das war in einer Red-Teaming-Übung innerhalb von Stunden.
Wo auch nicht nur ein System, sondern einige Quellen sagen nahezu alle Systeme, andere Quellen sagen alle konventionellen Systeme, was jetzt eine konventionelle ist.
zu diskutieren.
Das war wohl ein Punkt.
Eine zweite Story von der Washington Post habe ich gehört, dass also im Rahmen von Project Glasswing hatten sie es ja schon einigen Firmen zur Verfügung gestellt und es gab wohl diese 120 in der ersten offiziellen Charge und dann gab es halt 50 weitere.
wo sie der US-Regierung nicht sofort Bescheid gesagt haben, erst auf mehrfachen Nachfragen.
Und eine dieser Firmen aus Südkorea hat wohl enge Kontakte zu China.
Und das fand die US-Regierung wohl gar nicht lustig.
Und die dritte Geschichte, die ich gehört habe, dass es auch so ein bisschen die offizielle Geschichte ist, also die ganze Exportkontrolle kam Freitag.
Abend halb sechs, also 17.21 Uhr, dass sie 90 Minuten Zeit haben zu reagieren.
Wo ich schon sagen muss, wer Freitag um 17.21 Uhr irgendeine wichtige Anfrage einer Firma stellt, erwartet eigentlich nicht, dass sie vor dem Montag bearbeitet wird.
Zumindest bei uns wäre das wahrscheinlich schwierig, gerade bei so einer weitreichenden Entscheidung.
Sie haben es trotzdem sofort runtergenommen innerhalb von 90 Minuten.
Und der Auslöser, also die dritte und...
Bis jetzt am offiziellsten soll die Geschichte sein, dass ein Whistleblower, mutmaßlich jemand von Amazon, gesagt hat, dass man sie für Jailbreaks nutzen kann.
Also dass Fable Jailbreakable ist.
Jedes Large Language Model ist Jailbreakable.
Es ging also kein genereller Jailbreak, sondern ein sehr fein.
Also diese Aussagen sind jetzt von Anthropic.
Also wo es ging wohl darum, der Prompt lautete nicht viel anders wie finde Sicherheitslücken in dieser Software.
Das war so fein und das war auch gedeckt.
Aber der schlimme Prompt war und der Stelle einen Test dazu.
Okay.
Also Amantropic hat gesagt, das ist einfach gute Praxis, dass man sowas mit einem Test validiert.
Da ist nichts Böses dran.
Nichtsdestotrotz hat es natürlich einen Exploit dann geschrieben.
Weiß ich auch nicht.
Am Ende wird es vielleicht alles oder nichts sein.
Wahrscheinlich die Mischung aus verschiedenen Dingen.
Einige spekulieren, dass es eine Rach-Aktion der Westregierung ist.
Kann man ja auch immer sagen, dass einige sagen, okay, die wollten halt nicht mitspielen und dann lassen wir euch halt auch nicht mehr mitspielen.
Kann man auch sagen, dass es eine Machtdemonstration war.
Ist vermutlich wie immer eine Mischung aus allen Dingen.
Es gibt nicht einen Ausschuss, sondern es war eine Mischung und es kam wahrscheinlich aus vielen, vielen Richtungen, kam dann Information und irgendwann hat jemand dann die Reise einzig gezogen.
In diesem Meeting wäre ich gern dabei gewesen, wo das entschieden wurde, aber ja.
Weil das natürlich auch wieder im Grunde jetzt super Werbung ist, weil wenn Sie das jetzt irgendwie wieder rauskriegen, wir wollen natürlich alle den Kram kaufen.
Dann können Sie den Preis nochmal verdoppeln und alle werden es kaufen.
Also ich weiß nicht, ob Sie das Ziel damit erreichen, was Sie damit erreichen wollten.
OpenAI kann sagen, ja gut, unser 5.5 Cyber ist ähnlich gut und Antropic wird immer die Karte ziehen, aber unseres wurde verboten.
Unseres wurde verboten.
Wie mit Kindern.
Wenn es verbietet, wird es noch viel interessanter.
Ein Problem für Antropic ist tatsächlich, Sie stehen ja auch kurz vor Ihrem Aktien, Ihrer IPO, dass Sie auf den Aktienmarkt gehen, die potenzielle Anzahl der Kunden.
würde dadurch natürlich drastisch beschränkt werden.
Und das ist halt für so eine IPO kritisch.
Auf der anderen Seite, also sie haben ja auch verlangt, dass sogar in den USA lebende Nicht-Amerikaner keinen Zugriff mehr auf das Modell haben.
Und Antropic hat 60 Prozent nicht-amerikanische Belegschaft.
Andrew Capassi, den sie gerade erst eingestellt haben, auch von denen sollten sie den Zugang beschränken.
konnte man halt nicht, das kann man eh nicht machen.
Man müsste halt dann irgendwie eine Ausweisidentifikation machen, wobei die USA, glaube ich, gar keine Personalausweise haben.
Vielleicht eine Sozialversicherungsschirm oder so.
Ihnen blieb eigentlich keine Wahl.
In 90 Minuten mussten sie das Modell komplett runternehmen.
Das haben sie dann gemacht.
Und ich vermute mal, das wird vom Gericht irgendwann wieder kassiert werden.
Dann wird es wieder verfügbar sein.
Und bis dahin schauen wir mal.
Ja, wo du es gerade sagst mit den Nachweisen, das ist ja auch gerade so ein bisschen was, das ab und zu hochpoppt, dass sie ihre allgemeinen Geschäftsbedingungen ändern und sowas wie Alterskontrollen und sowas da reinbringen.
Da merkt man schon, dass da irgendwie sie versuchen, irgendeine Form von Kontrolle über den Zugriff zu etablieren.
Das finde ich natürlich auch kritisch, wenn du da immer mehr quasi irgendwann wirklich mit Ausweiskontrolle nur noch diese Technik benutzen kannst.
dann sind wir natürlich echt in so einem Fahrwasser, wo wir eigentlich überhaupt nicht hinwollen.
Aber natürlich, man ist dann abhängig und muss dann da mitspielen.
Die spannende Frage ist ja, also die spannende Frage für mich ist, ob die Open-Source-Modelle wirklich noch ein Jahr hinterher sind oder ein halbes Jahr.
Wenn dem so wäre und wir erwarten können, dass ein DeepSig V5 in einem Jahr das als Open-Source liefert, dann bräuchten wir eigentlich dringend dieses Jahr unsere Systeme zu härten.
Andere Lesart sagen, vielleicht ist Anthropic doch weiter vorne, als man denkt.
Aber wenn, verlieren wir tatsächlich wertvolle Zeit, die wir eigentlich dringend benötigen würden.
Das hinterlässt so ein Scharen bei.
Ja klar, aber jetzt haben natürlich wahrscheinlich, ich würde es nicht wundern, wenn einfach einige Sicherheitslücken jetzt schon in der kurzen Verfügbarkeit gefunden wurden, jetzt irgendjemand in der Hinterhand hat, um sie dann eben zu benutzen.
Und jetzt kann sie halt...
Wahrscheinlich nicht so schnell jemand anders finden, aber ich vermute mal, jetzt haben einige ihre Kofferchen gefüllt mit Lücken.
Ich sehe es einfach, wir müssten eigentlich unsere Banken, unsere Systeme, unsere Behördensoftware, kritische Infrastruktur, das müsste ja...
Steuerung von Wasserkraftwerken, Strom, das muss ja alles eigentlich jetzt dringendst gehärtet werden, wenn man davon ausgeht, dass in einem Jahr das Open Source verfügbar ist.
Ich habe es ja schon mal gesagt, das war eigentlich schon auch vor 20 Jahren richtig und hat keiner gemacht, das Geld zu investieren.
Vielleicht führt das jetzt dazu, dass das Verständnis jetzt vielleicht so ein bisschen mehr nach vorne kommt, dass das halt einfach Investments sind, die man tun muss, wenn sonst einem die Infrastruktur eben weggetreten wird.
Ich bin auch gespannt, wann es wieder verfügbar wird.
Ich würde auch sagen, es wird wieder verfügbar sein in irgendeiner Form.
Es wird sich wahrscheinlich nicht groß verhindern lassen.
Gut, so viel vielleicht zum Mythos und Fable.
Wir beobachten das weiter und halten euch hoffentlich auf dem Laufenden.
Dann haben wir noch was aus dem Thema Firmen tun Dinge und IPOs und Geld.
Google hat ganz viel Aktien verkauft, um halt offensichtlich Kapital reinzuholen für Investments.
Google hat auf verschiedene Arten Geld geholt.
Unter anderem haben sie ein 80 Milliarden Aktienpaket verkauft oder sogar 84 Milliarden, damit der größte Börsengang ever.
Also ich glaube, der saudi-arabische Ölkonzern war vorher mit 70 Milliarden.
Der Führer, jetzt ist es Google mit 84 Milliarden und zusätzlich zu den 84 Milliarden haben sie nochmal knapp 80 Milliarden an Schulden bei Banken aufgenommen.
Also insgesamt fast oder über 160 Milliarden.
Vielleicht ganz kurz der Exkurs.
Als Firma, wenn du sowas finanzieren willst, hast du eigentlich drei Möglichkeiten.
Der freie Cashflow, das war bis jetzt so der übliche Weg, seine Rechenzentren zu bauen.
Das ist jetzt so langsam da vorbei.
Also die ersten Rechenzentren bis...
Ende letzten Jahres haben eigentlich Google, Amazon und Microsoft tatsächlich aus ihrem sehr gesunden Geschäft und ihrem Cashflow bezahlt.
Mittlerweile nehmen sie massiv Geld dafür auf.
Also Amazon entlässt auch 30.000 Leute, um mehr Cashflow zu generieren.
Das ist wirklich absurd.
Und Google hat jetzt halt nochmal sich 160 Milliarden am Markt besorgt.
Zum einen über das Aktiengeschäft, was eigentlich ein Schritt ist, den man nicht so gerne macht.
Weil damit verwässert man ja so seinen Aktienwert.
Früher haben die ganzen Tech-Konzernen immer die Aktien zurückgekauft.
Genau, das erinnert mich auch dran.
Und mittlerweile verkaufen sie.
Das kannst du jetzt, wenn du an die Blase, also jetzt...
könnte man sagen, dass das erste Mal so Anzeichen einer richtigen Blase ist, weil auf einmal wird angefangen, das uns auf Punkt zu finanzieren.
Also die Leute, die schon seit sechs Monaten sagen, die Blase platzt gleich, jetzt habt ihr einen wirklich Grund.
Die kriegen auf jeden Fall jetzt mehr Futter dafür, für dieses Argument.
Naja, das ist ja auch nicht weit hergeholt.
Das stimmt.
Auf der anderen Seite Warren Buffett oder er, wie gesagt, seine Firma, Berkshire Hathaway.
Genau.
Die sind einer der Hauptkäufer und haben sich mit 10 Milliarden bei Google eingekauft.
Und wer die Firma kennt, sie sind eigentlich sehr zurückhaltend, was Technologiewerte angeht.
Ja, konservativ.
Total konservativ.
Und bis auf Apple.
Bei Apple hat er...
Gut, kann man auch argumentieren, dass es mittlerweile konservativ ist, in Apple zu investieren.
Aber ansonsten hat er sich halt immer von Tech-Aktien ferngehalten.
Das ist halt auch...
Auf der einen Seite ist es so ein Ritterschlag.
Also die Leute, die keine Blase sehen wollen, würden sagen, Warren Buffett investiert jetzt.
Der würde nicht investieren, wenn.
Genau.
Also können wieder beide Seiten für sich lesen, wie sie wollen.
Ich bin ja auch immer noch unsicher, ob es eine Blase ist oder nicht.
Ja, sie offensichtlich versuchen, aber Google jetzt irgendwie massiv mit Geld aufzuholen.
Auf jeden Fall.
Also sie sehen da offensichtlich die Notwendigkeit, dieses Race noch weiter zu beschleunigen.
Wir kommen nachher noch zu so ein paar Sachen.
Google macht ja auch technisch spannende Dinge.
Insofern glaube ich auch, dass sie da auf jeden Fall, dass es nicht alles Luft ist, sondern dass die einfach meinen, dass sie die Kohle eben brauchen.
Eine spannende Zahl, die ich in dem Rahmen auch noch, die mir darauf, als ich dann bei Zahlen bei Google nachlas, diese, dass sie irgendwie pro Monat, wie war das, irgendwie, wie viele Millionen?
920 Millionen.
pro Monat einfach für die Nvidia-GPUs an SpaceX zahlen.
Das sind ja auch irgendwie dann 10 Milliarden im Jahr, die sie einfach da rüberschieben, einfach nur, um diese Nvidia-GPUs nutzen zu können.
Das ist doppelt spannend.
Zum einen, also...
SpaceX ist jetzt so eine Neo-Cloud, wie man sagt.
Erst haben sie den großen Deal mit Antropic gemacht, die 1,2 Milliarden pro Monat rüberschieben und Google jetzt auch fast, also 920 Millionen, die sie rüberschieben.
Aber das wirklich Spannende ist, dass Google ja eigentlich ganz stark auf die TPUs setzt.
Eigentlich haben sie ihre eigenen Prozessoren.
Und jetzt sehen sie die Notwendigkeit, auf einmal in Nvidia-Prozessoren zu investieren und zwar massiv.
Also das fand ich auch total spannend.
Und es gab verschiedene Spekulationen, ob sie die für ein Rollout auf Nvidia-CPUs trainieren wollen, ob die Latenz von den TPUs doch nicht so cool ist.
Aber ja, normalerweise setzen sie auf eine andere Technologie und vermarkten die ja auch ganz aggressiv.
Also Antropic hat ja viel von den Google-TPUs gekauft.
Schauen wir mal.
Ja, ich bin auch gespannt, was das bedeutet.
Meine Vermutung wäre jetzt, dass sie einfach was überbrücken damit.
Weil einfach wahrscheinlich auch die Chip-Produktion einfach nicht hinterherkommt.
Wahrscheinlich können einfach da TSM-10 nicht mehr Chips produzieren und dann müssen sie jetzt irgendwie überbrücken.
Ich kann mir schon vorstellen, dass sie langfristig schon eher auf die eigenen Chips gehen wollen.
Also das versuchen ja alle.
Heute Flo, war es an mir vorbei.
Das muss ich für nächstes Mal nochmal aufbereiten.
Das ist ja Open AI jetzt auch ihren ersten...
ersten eigenen Chip irgendwie vorgestellt hat, den sie irgendwie produzieren.
Also alle versuchen das jetzt, weil sie dann sich davon erhoffen, dass sie dann eben effizienter wahrscheinlich die Inferenz einfach anbieten können und dann mehr Marge rausholen können.
Ja, wir hatten es ja auch schon bei DeepSeek hatten wir darüber gesprochen, dass sie diese Huawei-Chips dafür oder Huawei-Chips benutzen.
Ja, also ich würde vermuten, dass es wahrscheinlich eine Übergangsgeschichte ist.
Haben wir noch mehr?
Geld-Themen bei Google oder?
Bei Google glaube ich nicht.
Nee, Google sind wir durch.
Aber du wolltest uns was über GLM 5.2 erzählen.
Ja, genau.
Das fand ich interessant.
Wir hatten ja vorhin schon mal gesagt, welche Vermutungen es auch gibt, wie eigentlich die chinesischen Open-Wights-Modelle es schaffen.
Irgendwie dann jetzt, also es gibt da so dieses GLM 5.2 von der ZAI und Leute vergleichen das jetzt mit, oh, das kann ja schon so viel wie Opus 4.7.
Das ist ja schon irgendwie ähnlich gut.
Und dann kamen eben auch die Gerüchte auf, dass eben das passiert, dass nämlich genau diese Modelle trainiert werden mit den Thinking Tokens der Anthropic-Modelle.
Und Anthropic beschwert sich auch immer und das vermutlich auch ein Grund war, warum sie eben nicht mehr über die AP, die Thinking Tokens nach außen gehen, weil offensichtlich ist schon reicht, so ein Thinking Token Trail, sage ich jetzt mal, zu einem bestimmten Prompt.
Wenn du das einfach für eine gewisse Anzahl von Prompts machst und dann diese Thinking Tokens beim Training einsetzt, dass es wohl extrem viel bringt, um die Art des Thinkings, was ja schon so ein bisschen der Schritt war, warum diese Opus-Modelle auch so gut waren, dass sie eben diese vielen Thinking Tokens intern auch benutzt haben, bevor sie eine Antwort generieren, dass, wenn man darauf trainiert, dann eben sehr gute Ergebnisse erzielt.
Und da war jetzt...
GLM 5.2, also ich bin mir jetzt nicht sicher, ob diese Gerüchte dort halt zutreffen, aber das war, in dem Kontext kam das halt hoch, weil das halt eben sehr gute Ergebnisse erzielt.
Und ich kann das soweit auch bestätigen.
Ich hatte dann in meinem lokalen Harness-Setup, habe ich ja letztes Mal erzählt, mit dem DeepSeek-Geschichten viel gemacht und bin dann da auch auf 5.2, auf GLM 5.2 mal geswitcht und fand auch, dass die Ergebnisse einfach besser waren.
Also, dass da einfach bessere Sachen bei rauskamen und das Gute eben bei dem Modell, Kann man eben auch in der EU gehostet jetzt schon kriegen von Providern.
Und dann sind wir da auch wieder so ein bisschen weg davon, dass man sich mit seinen Prozessen abhängig macht von bestimmten Providern eben.
Ich glaube, das ist hands-on das beste Open-Source-Modell gerade.
Und es gab sogar einen Benchmark irgendwie mit UX-Engineering, wo es vor Fable gelandet ist.
Ja, es gibt immer dann so, man pickt sich natürlich dann die Benchmarks raus, die für einen selbst gut funktionieren.
Aber ich kann nennen, ich habe auch noch zwei, drei Blogpost dazu, die packe ich in die Shownotes rein, wo auch Vergleiche gefahren wurden für bestimmte Anwendungsfälle, wo das eben einfach eben besser performt hat.
Genau, natürlich gibt es dann die Gegenbeispiele auch, aber das ist eben etwas, was man jetzt nicht lokal, aber sich selber auf dem Rechner hosten kann.
Dazu komme ich gleich noch.
Aber man kann es halt eben über Provider beziehen und dann eben auch nicht zu so irre hohen Kosten.
Und dafür also für Coding.
kann ich das momentan empfehlen.
Guckt euch das an, probiert es aus.
Ich freue mich da auch, wenn Leute da besonders gute Ergebnisse erzielen.
Schickt mir das gerne oder schickt uns das gerne.
Ich bin da gespannt, was ihr da ausprobiert.
Also ich bin da ganz happy mit.
Und auch wieder zu einem Bruchteil der Kosten natürlich.
Sie sind nicht ganz so günstig wie DeepSeek, aber immer noch, ich glaube, mit einem Faktor 15 oder 20 günstiger als die amerikanischen Modelle.
Ja, und man kann es halt eben, man muss es nicht über die chinesische API beziehen, sondern kann es halt selber machen.
Ja, das ist sowieso momentan so ein bisschen mein Pet-Peef, wo ich immer gucke, dass ich versuche, bestimmte Modelle zu finden, die für bestimmte Teilaufgaben funktionieren.
Wie habe ich es letztens im Gespräch formuliert?
Man kann natürlich auch immer mit dem Hubschrauber zum Bäcker fliegen.
Das ist halt, wenn du jeden Prompt einfach in das Opus wirfst oder jetzt in das Faible wirfst.
Da bekommst du schon ein Ergebnis, aber das ist dann halt häufig, wenn man eben den Kontext nicht vernünftig aufbaut, es ist halt wirklich wie so eine sehr teure Slot-Machine.
Wenn ich dann hundertmal daran ziehe, kriege ich vielleicht ein wirklich sehr, sehr gutes Ergebnis.
Aber ich weiß halt nicht, wann das kommt.
Und man kann auch einfach sich ein bisschen mehr Mühe geben bei seinem Kontext.
Und dann kann man mit einem anderen Modell für bestimmte Aufgaben genauso weit kommen für den Bruchteil des Aufwandes.
Aber es erfordert halt eben, dass man sich ein bisschen damit beschäftigt, welche Modelle wofür gut funktionieren.
Genau, du hast noch nicht 5.2 selber ausprobiert?
Ich habe es selber noch nicht ausprobiert.
Ich habe aber die sehr beeindruckenden Benchmarks gesehen und einige Stimmen auch aus der Community gehört, die auch alle eigentlich nur voll des Lobes davon kommt.
Gut, dann hatte ich tatsächlich noch ein zweites Thema.
Wir hatten ja berichtet, dass die Gemma 4 Modelle von Google kamen, die man eben wunderbar auf dem Smartphone ausprobieren kann, weil die eben dafür halt optimiert sind.
Und wir hatten dann nur so zwei Aspekte, die ich daran spannend finde.
Also ich habe die auch lokal davon ausprobiert und man kann auch auf Hugging Face sich zig modifizierte Varianten davon angucken, die für bestimmte Dinge modifiziert wurden.
Und dann kam ja später nochmal diese Mixed-of-Experts-Variante von, das war das 26b, glaube ich.
Was halt eben auch nochmal dafür, dass es eben diese vielen Parameter hat, sich sehr gut lokal betreiben lässt mit guten Ergebnissen, weil eben nicht alle Parameter aktiv sind.
Aber irgendwie habe ich das Gefühl, dass Google da halt wirklich viel Innovation macht, gerade was diese lokal betreibbaren Modelle angeht.
Und hier ist sie wirklich für Smartphones welche, dann welche, die eher für Laptops gedacht sind, Varianten, so wie dieses 31B, was man halt auch im Laptop gut benutzen kann.
Und da einfach zwei Punkte, die ich da interessant fand, war einmal dieses Multi-Token-Prediction.
Da gab es halt wirklich sehr interessante...
interessante Benchmarks auch.
So ein bisschen der Vorgänger davon war dieses Speculative Decoding, wo man so ein zweites kleines Modell gemacht hat, was halt irgendwie Token vorausberechnet hat und dann hatte man schon so ein, dann musste das Modell noch verifizieren, stimmen diese Token und dann konnte es die verwerfen und man hat dann halt, wenn das gepasst hat, schon mal Tokens hatten.
Das hat Google jetzt quasi in die Modelle eingebaut, dass sie so ein zweites kleines Modell davor schalten, was sozusagen versucht.
schon mal die richtigen Tokens zu raten.
Und dann kann das Hauptmodell diese Sequenz nur noch verifizieren.
Man muss die Tokens nicht mehr ausrechnen und verifiziert die halt.
Solange das Ergebnis halt stimmt, geht es halt weiter.
Und dann hat man halt jetzt in den Benchmarks teilweise eine Verdreifachung auf dem Laptop, dass dann irgendwie statt 10 Tokens pro Sekunde dann eben 30 Tokens rauskamen.
Das fand ich nochmal ganz gut.
Diese Modelle kann man jetzt eben auch benutzen in den verschiedenen Tools.
Also dieses MTB muss man immer dann...
MTP mal dazu schreiben und dann ist das da eingebaut.
Ich glaube, im OLAMA war das als erstes verfügbar, dass die die Engines darauf angepasst hatten.
Also das einfach nochmal diese krasse Beschleunigung.
Durch so einen Trick im Grunde bekommt man dann wirklich die Tokenraten auch lokal nach oben, dass es irgendwie Spaß macht, damit zu arbeiten.
Genau, und der zweite Punkt, den ich jetzt vergessen habe, was war das?
Ach genau, das war dieses QAT.
Das fand ich auch nochmal richtig gut.
Das war ein zweites.
Da packe ich euch auch den Link.
in die Shownotes rein.
Aber wenn man dann noch nach QAT googelt, das sind eigentlich nur Updates für die bestehenden JAMA4-Modelle.
Also die kann man einfach neu runterladen und dann haben die das mit drin.
Das ist jetzt ein Quantization-Aware-Training eigentlich.
Und das sorgt dafür, dass die Modelle einfach quantisiert kleiner dann sind, dass weniger Speicher verbrauchen.
Aber trotzdem diese Informationen...
dass die mal später quantisiert werden, berücksichtigt wird in dem Trainingsprozess und dadurch die Qualität halt, obwohl das Modell viel kleiner ist, gar nicht so viel geringer ist.
Also das fand ich auch gut, dass Google eben da wirklich aus der Zwangslage raus, das muss auf Smartphones laufen, aber dann eben sich wirklich mal um Effizienz kümmert.
Und nicht immer sagt, die werden immer, immer, immer größer, immer größer, die werden schlagen alles mit Hardware, das ist total super und dann hat man total tolle Ergebnisse, aber dann sind wir wieder beim Hubschrauber, der zum Wecker fliegt.
Ich sehe da eh gerade neun, Was heißt neuen Konflikt auf uns zukommen?
Oder viele Firmen probieren sich gerade den Markt.
Also Apple hat ja bei der letzten Developer-Konferenz auch mit Apple Intelligence.
Also ja, sie haben damit ihre Challenges gehabt, aber jetzt, 2026, wollen sie wirklich mal liefern, investiert aber auch ganz stark auf On-Device-Modellen.
Und Microsoft hat...
Project Solera vorgestellt.
Das sind ja auch Geräte.
Also einmal ein Smartphone, was witzigerweise auf Android basiert und nicht auf Windows.
Und auch ein Desktop-Rechner, der auch mit einem Android läuft.
Die auch sind quasi ein Einstiegspunkt von der AI, von Menschen zur AI.
darstellen sollen.
Um diesen Einstiegspunkt wird, glaube ich, gerade hart gekämpft, sowohl von Google als von Apple als auch von Microsoft-Seite.
Weil das will man im Griff haben, weil das halt auch wichtige Trainingsdaten sind.
Wenn man den direkten Kontakt des Kunden zu der AI kontrollieren kann, das ist das Rennen, was gerade läuft, glaube ich.
Ja, genau.
Und da versuchen natürlich Leute jetzt, die Smartphones sind eh schon in den Händen der Nutzerinnen und dann will man natürlich da ein möglichst capable Model drauf haben, dass man das direkt benutzen kann.
Ja, das finde ich, das beschäftigt mich gerade so ein bisschen, diese lokalen Modelle, was da für eine Entwicklung ist.
Und ich habe das Gefühl, da passiert einiges gerade.
Also das heißt, wir haben sowohl ganz oben in der Skala Dinge, die passieren, aber eben auch unten.
Und das finde ich halt irgendwie wichtig.
Gut, ich glaube, das war noch, was ich mitgeben wollte.
Wenn ich mal auf die Uhr gucke, sind wir schon die halbe Stunde drin.
Sind wir schon drin?
Wir hatten, glaube ich, viel Redebedarf, weil es nicht länger her war, die letzte Folge.
Aber ich würde vorschlagen, wir machen zu für heute.
Können wir gerne machen.
Und gehen ins Programm zurück.
Es sei denn, du hast noch einen wichtigen Punkt, den du noch unterbringen möchtest.
Nichts, was nicht bestimmen.
Versuchen wir vielleicht den Abstand zur nächsten Folge etwas kürzer zu halten.
Genau, machen wir den kürzer.
Und dann soll es das gewesen sein für die Folge aus dem schönen Salzburg.
Und dann hoffe ich, ihr habt ein schönes Wochenende gehabt.
Wahrscheinlich, wenn ihr die Folge hört.
Und es ist nicht zu heiß und die Temperaturen gehen runter.
Genau, ich hätte jetzt gern gesagt, wir gehen jetzt ins Freibad.
Aber bei uns geht das Programm vor vier Minuten weiter.
Dann wünsche ich euch alles Gute.
Bis dahin.
Macht's gut.
Ciao, ciao.