# AI Token Economics, Benchmark Realities, and API Monetization

**Podcast:** INNOQ Podcast
**Published:** 2026-07-13

## Transcript

Ja, herzlich willkommen.
Grüße an euch alle zur achten Folge der AI News vom 10.
Juli.
Schön, dass ihr da seid.
Wir sind wieder zurück und wieder, leider wieder getrennt, aber trotzdem für euch da.
Nach einer wilden Woche bei mir zumindest.
Wie war das bei dir aus, Ole?
Hallo Fabian.
Eine Woche war eher ruhig, würde ich sagen.
Also hier ist wieder warm.
Wir haben wieder fast 30 Grad.
Genau, ich habe ein bisschen Token-Maxing betrieben und versucht, mein Fable noch auszunutzen, bis es nächste Woche verschwindet.
Aber darüber werden wir gleich bestimmt noch in der Folge reden.
Da reden wir gleich drüber, genau.
Ja, ich habe mich auch ganz viel mit Agent Decoding beschäftigt, aber dann im Rahmen des Trainings natürlich.
Grüße gehen raus an die lustige Truppe aus Düsseldorf.
Da habe ich auch gute Tipps noch bekommen.
Ich lerne auch die ganze Zeit dazu.
Da kann ich auch gleich nochmal was euch dann weitergeben.
Genau, wir haben letzte Woche über verschiedene Dinge gesprochen und besonders natürlich viel über letzte Woche, sage ich.
Es war nicht letzte Woche, sondern es war in der letzten Folge.
Wir haben viel über Fable gesprochen und das bietet sich auch an, dass wir da jetzt nochmal drüber reden, denn jetzt konnten wir ja alle wieder groß rumprobieren.
Also da gucken wir gleich drauf und dann haben wir noch ein bisschen wieder was Neues von SpaceX, beziehungsweise den neuen Modellen, die da jetzt wieder herkommen.
Von ehemals Ex-AI.
Genau.
Und ja, es gibt also hauptsächlich diese Woche ziemlich viele Model-News, würde ich mal sagen.
Das zieht sich so durch.
Und da gucken wir uns dann ein bisschen Benchmarks an und schauen mal, was wir davon so halten.
Wollen wir dann einfach gleich mit Anthropic wieder anfangen.
Sonnet 5 ist da, Fable 5 ist da.
Wir können es benutzen.
Was ist dein Take?
Können es noch benutzen?
Also sie haben uns ja wieder mit Fable ein bisschen angeködert.
Dann hatte ich, ich glaube für den 7.7.
war es ja erst wieder abgekündigt, dass es hinter die Paywall verschwindet.
Also habe ich es fleißig genutzt und mein Quota für diese Woche komplett versucht auszureizen.
Nur um dann am 8.
morgens zu sehen, oh, es wird ja doch nochmal verlängert.
Schade, dass mein Quota schon ausgenutzt ist.
Aber dann gab es noch das Happy End, dass sie gestern Abend oder heute Morgen auch die Quota sogar nochmal zurückgesetzt haben.
Nochmal irgendwie verlängert, glaube ich, auch und die Quota zurückgesetzt.
Also man kann nochmal ordentlich weiter testen und damit auch auf jeden Fall dann jeder der Meinung ist, dass er das in Zukunft auf jeden Fall auch weiter benutzen möchte und gerne weiter dafür zahlen möchte.
Das heißt, du bist jetzt auch die ganze Zeit auf Fable gewesen und hast...
Hast du Erfahrungen gesammelt?
Ich bin viel auf Fable gewesen.
Ich war tatsächlich, glaube ich, ein bisschen zu viel auf Fable.
Ich habe da einige größere Spezifikationen für ein Softwareprojekt machen lassen.
Insgesamt so 16 Module spezifizieren lassen.
Ein bisschen Richtung Spec-Driven Design, ohne dass ich ein richtiges Framework dafür verwendet habe.
Ich habe allerdings gemerkt, dass Fable dafür Overkill war.
Ich glaube, es wäre besser gewesen, kleineres Modell zu nehmen und Fable korrigieren zu lassen.
Also das, was man ja so als speculative computation bezeichnet, dass man tatsächlich ein günstiges Modell das machen lässt, das große Modell, das sich dann einfach nur nochmal durchlesen lässt.
Im Nachhinein, muss ich sagen, wäre das, glaube ich, der schlauere und schnellere Ansatz gewesen.
Also wie früher zu den alten Gaming-Zeiten habe ich immer gewartet, dass dieser...
zwei Stunden Quota zurückgesetzt wurde und dann mit dem Handy den nächsten Lauf wieder angestoßen, teilweise um 12 Uhr nachts.
Also war schon lustig, aber Fazit wäre gewesen, glaube ich, lieber das mit einem kleineren Modell zu machen.
Ich habe auch relativ viele, in dieser einen Woche relativ hohe Kosten, so fast 300 Dollar.
Hätte ich kein Seed, hätte ich Tokenkosten von knapp 300 Dollar zusammengekratzt.
Das war vielleicht ein bisschen Overkill.
Ja, zum Thema Tokenkosten, Tokenökonomie kommen wir dann auch später noch.
Da hatten wir jetzt auch quasi diese Woche dann mit den Teilnehmern im Training so eine Übung mal gemacht.
in Cloud-Code so eine Statusbar konfigurieren lassen, um einfach mal in Echtzeit auch wirklich die Kosten in Dollar anzeigen zu lassen, obwohl dort Subscriptions verwendet wurden, einfach um so ein Gefühl dazu zu bekommen.
Was heißt denn das jetzt, wenn ich das Modell wechsle und jetzt gewisse Dinge mache und man dann sieht, wie die Dollarzahl hochsteigt, dass das einfach so ein bisschen das Gefühl gibt?
Das ist wie so das Schild, was am Aufzug immer steht, wo dann steht, willst du nicht doch lieber die Treppe nehmen?
Dass man einfach so ein bisschen im Hinterkopf behält, was man da eigentlich gerade tut und was man da vielleicht gerade eigentlich verbrennt.
Das fand ich eine gute Idee vom Kollegen, der das sich überlegt hat.
Und da kommen wir nachher noch drauf, was diese ganzen Kostendinge bedeuten.
Aber genau, das ist natürlich da mittlerweile echt ein Thema.
Man könnte natürlich sagen, jetzt gibt es ja auch Sonnet 5.
Sonnet 5 ist ja ganz günstig, ist ja auch neu gekommen.
Jetzt nimmt man standardmäßig wieder hauptsächlich für die ganzen Coding-Aufgaben Sonnet 5 zum Beispiel.
Was wäre deine Meinung dazu?
Habe ich tatsächlich auch gemacht.
Aber jetzt kommt gleich der Plottwist.
Du hast ja einen Benchmark rausgegriffen, welche Modelle eigentlich kosteneffizient sind.
basierend auf dem DeepSWE-Benchmark, die einfach mal alle Modelle und in ihren Thinking-Levels durchgetestet haben, was wie viele Tokens generiert, wie viele Prozente Benchmark generiert.
Das kann ich euch nur heiß empfehlen.
Das fand ich super interessant.
Mit dem Ergebnis eigentlich, oder das ist ein Fable mit einem sehr niedrigen Thinking-Effort, also Low oder Medium.
häufig kosteneffizienter ist als ein Opus in High oder sogar Sonnet.
Also Sonnet 5 lohnt sich für fast keine Coding-Aufgaben, kam dabei raus.
Ich will mich nicht mit fremden Lobbern schmücken.
Wie gesagt, das war ein Gedanke von einem Teilnehmer aus dem Training.
Danke nochmal dafür.
Aber das habe ich mir dann auch nochmal im Detail angeschaut und genau so ist es halt.
In dem Benchmark, in dem Deep SWE Benchmark, es eben so war, dass für die Aufgaben dann eben ja, einen Sonnet irgendwie fünfmal so viele Tokens in Anführungsstrichen verbrannt hat und damit halt von den Kosten irgendwie das Vier- bis Fünffache war, glaube ich, von dem, was halt ein Fable mit Low Effort dann eben an Tokenkosten verursacht hat, obwohl das pro Token halt teurer ist, aber es halt wesentlich weniger Token benutzt hat.
Das fand ich auch super interessant und da gibt es also noch einen Faktor mehr, den man jetzt eben bei den Kosten im Blick behalten.
kann und wo man halt auch viele Schrauben drehen kann.
Also dieses Benutz halt irgendwie das günstigste Modell, das gerade noch funktioniert für deinen Anwendungsfall, ist halt nicht mehr das, was man empfehlen kann, sondern die Metrik, wie viele Tokens werden eigentlich für bestimmte Aufgabentypen verwendet, muss man eben auch im Blick behalten.
Genau, da haben wir bei Anthropic, da waren wirklich Sonnet 5 und eben die Fable-Geschichte.
Das war das Hauptsächliche.
Gut, bei Fable kam natürlich noch diese ganze Geschichte mit dem Classifier, was dann eben noch für viel Aufregung gesorgt hat, dass eben in vielen Stellen, je nach Prompt, so eine Art Router davor sitzt, der sich den Prompt anguckt und dann sagt, oh nee, das ist mir jetzt zu gefährlich, das schickt man lieber an den Opus.
Und dann zahlt man halt eben die Fable-Preise für Opus.
Genau, das ist natürlich dann auch nicht so schön.
Mittlerweile ja gar nicht so schlimm.
Wir haben ja gerade festgestellt, dass Opus meistens teuer ist.
Vielleicht kann man ja sogar Geld sparen, wenn man ein Faible weitergeleitet wird.
Auf jeden Fall interessanter Gedanke, instanter Hack.
Wenn man immer irgendwelche bestimmten Begriffe in die Prompts einbaut und eigentlich Faible benutzt, dann kriegt man hintenrum dann Opus.
Anthropic mehr Tokens kostet und dich halt weniger vielleicht.
Ich bin gespannt.
Ich weiß gar nicht, wie sie das dann abrechnen.
Wenn sie dich auf Opus switchen, dass dann mehr Tokens verbraucht, als eigentlich Fable verbraucht hätte, rechnen sie dir dann die Fable Tokens ab zu dem Fable Preis?
Ich weiß es nicht.
Ich denke, sie werden dir immer den höheren Preis abrechnen.
Ja, ja.
Und dann wird es natürlich wirklich schwierig.
Ja, wobei, was für Q3 wird, Antropic ja auch ein ganz guter Gewinn vorhergesagt.
Also früher waren Model Labs ja immer so eine Maschine, um Geld zu verbrennen.
Aber Antropic, also natürlich passt das ja auch sehr gut jetzt zu ihrem Börsengang.
Genau.
Vielleicht ändert es sich danach nochmal wieder rapider, aber für Q3 haben sie eine Milliarde an Gewinn vorhergesagt, was wohl zu größten Teilen daher ruht, dass sie einfach die Effizienz ihrer Modelle, also wie viel Energie sie für wie viel Tokens verwenden müssen, extrem steigern konnten.
Ja, ich kann mir auch vorstellen, dass da noch sehr, sehr viel Potenzial drin ist, das eben zu optimieren.
Und ja, ich denke mal auch, dass sie das jetzt, klar, normalerweise haben wir ja bei den großen...
bei diesen großen Hyperscalern oder Amazon ist das beste Beispiel dafür, dass sie halt immer versucht haben, möglichst wenig in Anführungsstrichen Gewinn zu machen, sondern den Gewinn immer sofort zu reinvestieren, um halt die marktbeherrschende Stellung weiterhin zu festigen.
Und ich vermute, dass die eigentlich das auch eher das Prinzip war bisher, alles Geld, was man kriegt, zu investieren, um den Markt zu beherrschen.
Und an der Stelle müssen sie natürlich jetzt eben dann aber auch gucken, dass sie ja attraktiv für die Börse aussehen.
Dann müssen sie jetzt da einen Kompromiss erstmal fahren und dann wirklich profitabel erstmal werden.
Und wahrscheinlich werden sie danach wieder knallhart investieren.
Zumindest mit der Kohle, die sie dann durch den Börsenfang auch noch einnehmen.
Die können sie dann ja auch wieder investieren.
Also ja, ich würde auch sagen, das ist wahrscheinlich gerade einfach ein bisschen Schauspielerei, die sie da machen.
Aber ja, wir wissen es natürlich nicht.
Genau, stimmt, da gab es zu dem IPO, gab es bisher, gab es da noch neue Informationen zu?
Das Einzige, was mich überrascht hatte, war, also Papierkram haben sowohl zum 1.
Juni eingereicht, die Schätzung für das dritte Quartal, das ist halt eine Milliarde Gewinn.
Irgendwer hatte ausgerechnet, wenn ihre Wachstumszahlen so weitergehen, sind sie Ende seit 2027 das wertvollste Unternehmen der Welt, also vor Nvidia.
Mit sechs Billionen.
Was ist das?
Billionen bei uns?
Ja doch, Billionen.
Billions, Billionen.
Genau.
Ja, das bin ich dann.
Großteil der Einkünfte sind aus der API-Nutzung.
Also bei Ihnen ist die API-Nutzung im Vergleich zum Abo-Modell komplett.
gedreht im Vergleich zu OpenAI und damit machen sie halt deutlich mehr Geld als OpenAI.
Ja, da spielen sie ja auch immer her.
Da gab es ja auch ein paar Rollen rückwärts, wo sie gesagt haben, gewisse Dinge, die gehen sofort auf API-Nutzung.
Da war ich auch am recherchieren, weil sie ja dann gesagt haben, eine alternative Harness ist zum Beispiel.
Die gehen sofort, selbst wenn du das mit deiner Subscription benutzt, geht das sofort auf Overspend beziehungsweise auf API-Token-Abrechnung.
Haben sie erstmal angekündigt, aber da haben sie scheinbar doch eine Rolle rückwärts gemacht.
Dann haben sie dann zwischendurch gesagt, okay, wir machen jetzt einfach zwei Kontingente.
Das eine ist dann für Cloud Code und das andere ist dann für deine anderen Harnisse, aber wir verwalten zwei Kontingente für dich.
Das haben sie dann wohl aber auch wieder zurückgerollt und jetzt kannst du wohl auch erstmal weiterhin...
die Subscription mit alternativen Harnessen wohl benutzen.
Wahrscheinlich gucken sie sich das jetzt einfach weiter erstmal an, aber da war dann schon der Aufschrei ziemlich groß.
Sie versuchen schon möglichst viel eben in diese API-Abrechnungen natürlich reinzudrücken, weil das natürlich sehr, sehr viel, ja, da ist natürlich die Marge sehr viel größer dann als bei den Subscriptions.
Gut, lass uns die Model-News weitermachen.
Machen wir weiter mit OpenAI am besten.
Das war jetzt ja quasi ganz tagesaktuell heute.
GPT-5-6, die verschiedenen Varianten, die rausgekommen sind.
Genau.
Auf dem amerikanischen Markt waren sie sogar schon etwas früher verfügbar.
Also nicht das ganz große Modell, das Soul.
Also genau, erstmal sie haben ihren Namens.
Schema umgestellt.
Es ist jetzt, glaube ich, nicht mehr GPT-5-6, sondern jetzt haben sie auch so drei Klassen, Soul, Terra und Luna.
Soul das Größte, Luna das Kleinste.
Ähnlich wie Anthropic, weil ich glaube, coole Namen verkaufen sich einfach besser.
Wobei, sie haben vielleicht ein bisschen klein, ein bisschen groß angefangen.
Was kommt denn noch nach Soul?
Machen sie dann Galaxy oder so?
Egal.
Man kann sich Sachen noch ausdenken, auf jeden Fall, ja.
Genau, auch wieder so ein Rollout mit Partnerorganisationen zuerst.
Sie mussten sich auch zum Exportzwang unterordnen oder haben es zumindest gemacht, worüber sie selber auch nicht glücklich waren.
Ansonsten ist Effizienz aber das, womit sie groß werben, dass ihre Modelle also...
ähnliches wie Antropic liefern, aber dafür deutlich effizienter sind, das spiegelt sich auch einfach eins zu eins in dem Benchmark wieder.
Also in dem DeepSeek ist tatsächlich der einzige Benchmark, ach nicht DeepSeek, DeepSWE, ist der einzige Benchmark, wo sie Fable schlagen, aber auch da mit Bruchteil der Kosten.
Also Effizienz haben sie wohl richtig gut im Griff zurzeit.
Also man hat wirklich das Gefühl, dass sie darauf geachtet haben, dass es keine Tokenschleudern sind, sondern wirklich dass, sagen wir mal so, die Tokens, die generiert werden, dann wirklich sinnvoll sind, wenn man es so möchte, dass man da wirklich sieht, dass es einfach wesentlich weniger Tokens sind, die dann auch noch günstiger sind.
Also offensichtlich, zumindest wenn man den Benchmarks erstmal glauben schenken darf, haben sie auf jeden Fall mindestens aufgeschlossen.
Ich meine, es gab ja bei uns intern auch schon einige ODEX-Fans, die halt wirklich sagen, das ist sowieso das Beste die ganze Zeit schon.
Was wollt ihr da eigentlich mit eurem Cloud die ganze Zeit?
Insofern war das wahrscheinlich immer schon nicht so weit weg, aber zumindest scheinen sie da einfach dran zu bleiben und mindestens ähnlich gute Ergebnisse zu erzielen, jetzt sogar vielleicht noch ein bisschen effizienter.
Ich weiß gar nicht, was da noch irgendwie war, ob sie da auch irgendwelche, diese Classifier-Geschichten haben, also irgendwas müssen sie da wahrscheinlich auch tun, dass sie da auch jetzt das gleiche machen müssen, wie Anthropic irgendwie zumindest an die US-Regierung signalisieren.
Hier, wir haben da spezielle Safeguards eingebaut und so.
Wir tun da was.
Wie das dann im Endeffekt jetzt genau aussieht, habe ich noch nicht recherchieren können.
Ist mir aber noch nicht aufgefallen, bin ich auch noch nicht reingerannt.
Aber bei Anthropic auch noch nicht.
Also ich habe einen Freund, das habe ich glaube ich letztes Mal schon erzählt, der macht Biologie, der Er kriegt eigentlich keinen einzigen Prompt durch, weil in seinem Memory drin steht, dass er was mit Biologie macht.
Was mir aufgefallen war, Meta hat einen Benchmark zum Thema, wie sehr sind sie geneigt zu cheaten.
Cheating Detection heißt ja sogar oder Reward Hacking zu machen.
Da ist zumindest das Soul-Modell wohl negativ aufgefallen, dass sie...
dass es wohl ziemlich alles tut, um in Benchmarks gut auszusehen und auch den Benutzer hinters Licht zu führen.
Ja, das ist mittlerweile wirklich die Frage, inwiefern auf Benchmarks optimiert wird.
Das kam bei mir jetzt die Woche dann auch von einem Teilnehmer, die Frage, als ich dann mal einen Willison-Fahrradfahrenden Pelikan generiert habe mit einem lokalen Modell.
Dann kam natürlich auch gleich die Frage, ist es vielleicht mittlerweile in die Modelle schon eintrainiert, dass die besonders gut Pelikaner auf Fahrrädern generieren können als SVG?
Ich habe da einen Kamel generiert, was Fahrrad fährt.
Das sah auch okay aus.
Insofern weiß ich nicht, ob sie, dann müssten sie schon auf Tiere optimiert haben, die Fahrrad fahren.
Ja, ich glaube schon, dass da wahrscheinlich beides richtig ist.
Natürlich versucht man schon, genau die Patterns, die in den Benchmarks abgefragt werden, eben besonders gut zu reproduzieren.
Aber ich meine, die Benchmarks versuchen ja eben auch in der Regel praxisorientierte oder realistische Tasks abzubilden.
Insofern ist das ja auch nicht verkehrt.
Also wenn das da so ein Race ist.
dass man versucht, eben die Benchmarks besonders gut zu erfüllen, sollte das ja auch dazu führen, dass man die ähnlichen praktischen Aufgaben dann gut erfüllen kann.
Die Trainingsläufe selber werden ja auch anhand der Benchmarks gerated.
Ob der Trainingslauf erfolgreich war oder ob das Reinforcement Learning einen in die richtige Richtung gebracht hat, wird ja auch über genau dieselben Benchmarks evaluiert.
Und natürlich ist das Reward-Hacking da.
Teil des Trainingsprozesses eigentlich schon.
Ich habe aber auch keine bessere Lösung, um ehrlich zu sein.
Ich bin ja jetzt auch da kein Experte für Modelltraining.
Anders kann ich mir das auch nicht vorstellen.
Man muss halt irgendwie eine Zielvorgabe machen und das ist nun mal der Benchmark.
Ansonsten kann man das eben nicht automatisiert trainieren und dann gehen wir wieder dahin, dass man wieder Menschen die ganze Zeit die Ergebnisse raten lassen muss.
Und da wollen wir ja glaube ich auch nicht wieder hin.
Wo du es ansprichst, Cognition, die Firma hinter Devin, hatte einen ziemlich interessanten neuen Benchmark rausgebracht, der tatsächlich größtenteils wieder von Menschen evaluiert und geratet wurde.
Die haben Frontier-Code heißt da rausgebracht.
Und die Idee hinter Frontier-Code ist nicht einfach.
welche Merge-Requests werden grün und welche Merge-Requests erfüllen die Test, sondern welche Merge-Requests würden von Senior-Developern auch wirklich gemerged werden.
Also wie sieht es mit Code-Style aus?
Wie sieht es mit Kommentaren aus?
Ist das wirklich Code, den man mergen würde?
Und da sind die Zahlen auf einmal schon deutlich ernüchternder als in den Standard-Benchmarks.
Also es tut sich was und ich finde es auch total gut und richtig, weil das ist ja die...
eigentliche Frage, die wir stellen müssen.
Ist das, was wir da rauskriegen, sofort Merchbar oder nicht?
Also das ist schon ein bisschen älter der Benchmark, da war noch Opus 4.8 und auf dem höchsten Schwierigkeitsgrad kam Opus 4.8 gerade mal so auf 13% und GPT 5.5 mal so auf 6% in den etwas leichteren Kategorien kamen, auf 20 und 30%, aber ist halt weit weg von dem, was sie bei SWE Bench oder Deep.
Bench und so weiter erreichen.
Ja klar, ich meine, wenn du natürlich heute einen neuen Benchmark rausbringst, dann willst du natürlich auch nicht, dass schon alle Modelle den zu 90 Prozent erfüllen, dann ist dein Benchmark ja hinfällig.
Das heißt, wenn ich jetzt einen neuen Benchmark konzipieren würde, würde ich den natürlich wahrscheinlich auch nur veröffentlichen, wenn er halt jetzt wirklich sehr niedrige Raten hat für die Modelle, dass man dann eben auch eine positive Entwicklung dort zeichnen kann oder halt die Modelle eben weiter und die Modellanbieter vor sich her treiben kann.
Das fand ich aber auch interessant, dass natürlich wieder sehr viel Praxis näher, wobei, da müsste ich mir wahrscheinlich jetzt auch nochmal genau durchlesen, wie der aufgesetzt ist, weil würde ich etwas merchen oder nicht, ist natürlich auch sehr viel Subjektivität dabei.
Das ist die Frage, wie man das dann irgendwie objektivieren kann.
Da bin ich mir jetzt nicht so sicher, zumindest was irgendwie Code-Style angeht.
Da ist ja die Frage, ob es dann wirklich einen konkreten Leitfaden gibt, den man dann folgt.
Ja, aber an sich finde ich den Gedanken auf jeden Fall auch spannend, weil wenn du jetzt so einen großen MR bekommst von dem Modell und den dann nochmal komplett reviewen musst ja sowieso und dann eben aber nochmal hergehen musst und extrem viel ändern musst, dann ist ja immer die Frage, wann ist denn der Zeitpunkt erreicht, weil du es dann hättest selber machen können.
Das heißt, es muss schon ein Ergebnis rauskommen, was eben nicht diese krasse Nacharbeit noch erfordert.
Also zur Erstellung kann ich dir sogar was erzählen.
Sie haben sich so 50 Maintainer von großen Open-Source-Projekten genommen, basiert wohl so auf 36 Open-Source-Frameworks und Pro-Repositories.
Und Pro-Repositories sind wohl so...
40 Stunden an Kriterien und Feedback reingeflossen, was sie tatsächlich merchen würden bei sich und was nicht.
Das ist tatsächlich erheblicher Aufwand reingegangen, das von Hand zu designen und Regeln zu erstellen, was ist okay, was ist nicht okay.
Das sieht auf jeden Fall super aus.
Das gefällt mir ja richtig gut.
Wunderbar.
Wir brauchen, glaube ich, einfach mehr neue Benchmarks und dann kann man irgendwann wieder Meta-Benchmarks machen und dann wirft man die wieder alle hinein in den Topf.
kriegt man da wahrscheinlich irgendwann doch eine relativ schöne zeitliche Entwicklung abgebildet.
Cool.
Wie kamen wir da jetzt hin?
Wir waren gerade bei den GPT-Modellen und dann sind wir da geschweift Richtung Benchmark.
Wir haben noch mehr neue Modelle.
Es gab tatsächlich was von SpaceX AI, wie man sie auch jetzt immer nennen möchte, die jetzt mal wieder ein Grog-Modell rausgebracht haben.
Und Grog war ja bisher nicht so berühmt.
Abgesehen von den ganzen politischen Problemen, die mit dem Modell irgendwie in Verbindung stehen und mit Elons Persönlichkeit in Verbindung stehen.
Deswegen ist es jetzt auch nichts, was ich persönlich einsetzen würde.
Aber ich habe so ein bisschen das Gefühl, sie versuchen jetzt erstens über den Preis wieder reinzukommen.
Und offensichtlich, zumindest was Benchmarks angeht, sind sie vielleicht sogar wieder irgendwie konkurrenzfähig.
So wie das aussieht.
Ich kann dich erstmal beruhigen.
Für Europa ist es eh gar nicht freigeschaltet, wir kommen gar nicht in Versuchung, es zu benutzen, weil Elon die Europäer nicht mag.
Fair enough.
Ich mag ihn auch.
Beruht auf Gegenseitigkeit, ja.
Genau, es ist deutlich größer geworden, also dreimal größer als das aktuelle Modell, also auch wieder so 1,5 Billionen Parameter.
Es soll sehr günstig sein.
6 Dollar für eine Million Output Tokens.
Ungefähr Opus Qualität entsprechend.
Also Opus 4.7, 4.8 ungefähr auf dem Level.
Wie du schon sagst, sie versuchen es einfach über den Preis zu machen.
Ja, den Fakt, den ich da nochmal ganz interessant fand.
Sie hatten ja Cursor gekauft, wir berichteten.
Und die...
Was jetzt so die Information war, ist, dass sie tatsächlich dieses Modell trainiert haben auf den Sessions von Leuten, die Cursor benutzt haben.
Also ja, kann ich verstehen.
Klar, die ganze Telemetrie ist da.
Damit kann man natürlich schön so ein Modell trainieren.
Aber das sollte man sich auch immer bewusst sein, wenn man halt irgendwelche kommerziellen Entwicklungsharnesses benutzt.
dass man vielleicht diesen kleinen Schalter, der immer auf wahrscheinlich, ich weiß nicht, ob es in der EU erlaubt ist, aber meistens immer per Default an ist, dass der ganze Kram halt eben zum Training benutzt werden kann, dass das eben auch passiert.
Und wenn man das eben nicht möchte, dann muss man sich da eben gewisse Gedanken machen, welche Produkte man benutzt.
Und hier ist jetzt mal so ein schönes Beispiel, wozu das dann führen kann.
Klar, die Qualität kann verbessert werden.
Aber die Frage ist immer, möchte man selbst daran teilnehmen oder nicht?
Tatsächlich wundert es mich, dass Sie...
Also Cursor wird ja hauptsächlich wohl von amerikanischen Unternehmen eingesetzt, dass nicht da mehr Unternehmen auf ihre Datenschutzbedingungen geachtet haben.
Also wir haben ja auch nur Verträge mit Anbietern, die uns ein Zero-Retention zu sichern.
Okay.
Wir leben in einer Privacy-Gesellschaft.
Ja, gut, kann ja auch keiner sein, dass es halt auch viele, dass sie jetzt vielleicht das auch nicht von den Firmenkunden, sondern eben von den Privatkunden, die halt irgendwelche Freikontingente benutzen.
Und dann ist es eben wie immer, wenn du...
Wenn du irgendwie nichts bezahlst, dann wirst du dann das Produkt sein.
Und vermutlich ist das dann genauso der Fall, wenn du halt vielleicht Cursor runtergeladen hast.
Ich weiß nicht, wie viele Free Tears die hatten oder ob die wahrscheinlich hatten, die Free Tears, dass du es zumindest kostenlos benutzen konntest, in gewissem Rahmen vielleicht.
Also würde mich wundern, wenn sie es nicht hätten.
Aber dass die auf jeden Fall knallhart benutzt werden dann, die Sessions.
Ja, vielleicht so viel erstmal zu Grog.
Das ist auch noch ganz frisch.
Wie gesagt, wir haben es beide nicht benutzt.
Man kann sich also nur weiterhin mal das beobachten, inwiefern sie damit eben dranbleiben können.
Bisher war es ja eher so, dass sie eben keine konkurrenzfähigen Modelle hatten bei SpaceX und deswegen ihre ganze Computleistung vermietet haben an die anderen, die konkurrenzfähige Modelle hatten.
Vielleicht brauchen sie jetzt mal wieder ein bisschen was von ihren Nvidia-Karten dann auch selbst, wenn sie damit...
vielleicht wieder Marktanteile gewinnen.
Also das wird sich der ganze Kauf von Cursor auch, glaube ich, nicht rechnen.
Aber ja, es ist mittlerweile ein Modell, wo man flexibel umschichten kann.
Vermiete ich meine Rechenzentren oder benutze ich sie halt selber?
Ja, na gut.
Ich meine, Amazon hat es ja gezeigt, dass das so ganz gut funktioniert.
Wenn du halt die Kapazität nicht immer brauchst, dann vermietest du sie halt.
Ist ja irgendwie auch nur naheliegend.
Genau.
Ich hatte noch eine kleine, vielleicht so ein bisschen...
chinesische Openweight-Modelle.
Können wir vielleicht nochmal ein bisschen rüber gucken.
Da hatte ich eigentlich nur einen Tipp, ist vielleicht auch Tipp der Woche, aber ich falle manchmal so ins Rabbit Hole, dass ich auf Hugging Face rumsuche, was es denn so für feingetunte oder postgetrainte Modelle gibt, die irgendwie gekustomized sind.
Und da bin ich auf dieses Ornith oder Ornith-Modell gestoßen, was ich ziemlich interessant fand, weil die halt so ein sondern die nennen es irgendwie Self-Improving Learning Trainings-Harness haben.
Kann man sich nochmal, ich verlinke das im Detail durchlesen, was das bedeutet, aber da merkt man eben auch, dass so eine Modellqualität steigen kann, wenn man eben den Trainingsprozess auch entsprechend mit einem Harness versieht und dort immer wieder sich den Trainingsprozess auch selbst verbessern lässt.
Das fand ich interessant.
Aber den eigentlichen Fakt, den ich da interessant fand, dass das halt irgendwie so ein Frankenstein-Modell ist, weil es irgendwie auf Gemma 4 von Google basiert und eben auch auf Gwen 3.5 und sozusagen die ja beide eigentlich ganz guten Beruf haben als lokale Modelle.
Gwen eher als Coding-Modell, Gemma 4 eben generell als so General-Purpose-Lokales-Modell.
Aber die haben sie halt eben kombiniert und haben daraus eben ein neues Modell gebastelt.
Was aber halt wirklich, ich habe es jetzt lokal benutzt in der 4-Bit-quantisierten Variante, braucht dann ungefähr so 30 GB RAM.
Aber damit kann man echt lokal echt interessante Ergebnisse erzielen.
Das hat mir gut gefallen.
War jetzt bei mir lokal auch schneller als das Jammer 4.
Das bin ich mir nicht sicher, inwiefern das aber einfach an der Engine jetzt lag.
Aber das ist ein tolles Modell, um lokal damit rumzuspielen und lokal Code zu generieren.
Und wie gesagt, eben so ein gekustomizedes Basis anderer Open-Wades-Modelle.
Da kann man echt mal gucken.
Da machen gerade so kleinere Unternehmen oder auch Privatleute extrem spannende Experimente.
Einfach auf Basis der Open-Wade-Modelle.
Da merkt man halt, wie mächtig dieses Konzept eben auch ist.
Wenn man was offen zur Verfügung stellt, Leute benutzen das und machen es halt einfach besser.
Genau, soviel vielleicht zu lokalen Modellen.
Wir hatten hier noch irgendwas mit GLM 5.2.
Gab es da was Neues?
bin mir nicht mehr sicher.
Wir haben es letztes Mal erwähnt.
Ja, wir hatten es letztes Mal schon drin, ein paar mehr Benchmarks sind rausgekommen.
Also es schlägt sich ziemlich gut.
Bei dem DeepSVB-Benchmark hat es sich jetzt gerade nicht so gut geschlagen, was Preis und Qualität angeht.
Aber ansonsten ist es einfach das Open-Source-Modell, was dir die beste Qualität liefert.
Du brauchst allerdings, wenn du die große Variante mit 8-Bit-Quantisierung laufen lassen willst, glaube ich, auch schon 8 H100s.
Also man braucht so einen richtigen Stack von H100s GPUs, um das bei sich laufen zu lassen.
Ja.
Es ist nichts für selber zu Hause hosten, aber halt eben wirklich ein sehr gutes Modell, wenn man jetzt bestimmte Compliance-Anforderungen hat.
Also wir können das intern eben auch benutzen über den genannten Provider, den wir erwähnt haben, den man in der EU, oder es gibt mehrere Provider in der EU, die das eben auch anbieten mit Zero Data Retention und AVV und allem drum und dran.
Und da hat man dann eben ein Coding-Modell, was man wirklich in...
noch wesentlich mehr Kontexten sinnvoll einsetzen kann.
Ja, stimmt.
Okay, sind wir denn durch mit den Model-News oder haben wir noch weitere Model-News?
Nee, mit den Model-News werden wir durch.
Die halbe Stunde ist eigentlich auch rum.
Die halbe Stunde ist auch rum.
Ich hatte gerade überlegt, was wir jetzt machen könnten.
Wir könnten noch ein bisschen was zum Token-Maxing bringen.
Da gab es eine ganz interessante Studie drum.
Ja, bring die noch.
Ich habe auch noch ein Paper, das würde ich auch gerne noch unterbringen.
Dann machen wir die beiden Sachen noch.
Dann sag noch kurz was zum Token-Maxing.
Also genau, es war eine Analyse über wie die Firmen Token-Maxing betreiben oder auch nicht mehr betreiben und was da sehr bezeichnend war.
Also man sieht einen sehr hohen Spread.
Über die Unternehmen, also es gibt Unternehmen, die teilweise 90.000 pro Mitarbeiter und Jahr mittlerweile in Tokens investieren.
Der Median, also pro Jahr, war aber nur 136 Dollar.
Okay.
Man sieht, ja, es gibt diese extremen Fälle, die heute auch in die Presse kommen und so weiter.
Aber je nach Branche ist das eigentlich ...
viel geringeres Problem, als es teilweise scheint.
Also ich glaube, 136 Dollar kriegt man meistens an Effizienz gewinnen.
Also es wäre mein Bauchgefühl, dass man es wieder rausbekommt.
Und selbst Antropic hat ihren eigenen Cloud Code Bedarf mit im Schnitt zwischen 150 und 250 Dollar pro Entwickler im Monat angegeben.
Das ist auch so in der Range, wo ich meistens liege.
Das sind die Modelle, glaube ich, einfach wert.
Das hätte ich jetzt aber auch gesagt.
Diese typische 100-Dollar-Subscription, die es jetzt gerade gibt.
Oder wenn du sagst, du verbrauchst halt Tokens in dem entsprechenden Gegenwert irgendwo.
Eins, zwei, drei, hundert Dollar im Monat.
Das, was du damit halt rauskriegst, da würde ich jetzt auch aus meinem Bauchgefühl, die Effizienzsteigerung, die ist auf jeden Fall drin.
Ich bin mir nicht sicher, ob wirklich diese krassen...
Und Faktoren, die man sagt, die man da ja sich erwartet oder erhofft davon.
Aber das ist ja bisher zumindest eben meine Haltung, dass diese krassen Effizienzsteigerungen, die sich die momentan noch nicht sehen.
Nee, also man ersetzt seine Entwicklungsabteilung nicht komplett durch.
Dafür hängt man ja auch viel zu sehr an der Umgebung, an irgendwelchen Prozessen, an seiner Architektur.
Was wohl viele Firmen mittlerweile machen, ist Budgeting, fand ich auch ganz interessant und das ist häufig so.
Juniors haben viel weniger pro Monat an Tokens als Seniors.
Also wir finden das natürlich gut, weil wir alle schon Seniors sind.
Ja, ich meine, das ist natürlich so ein bisschen auch so ein Steuerungsmechanismus und man sagt, klar, wenn jetzt jemand, der wenig Erfahrung hat, kann natürlich mit sehr viel Token sehr viel Schaden anrichten, wenn er sehr viel Code generiert, der eigentlich dann nichts wert ist im Endeffekt oder den man lieber gar nicht haben möchte.
Und zumindest meine Erfahrung ist, dass dann eher seniorige Personen eher, also es war vorher schon so, die versuchen eher weniger Code zu schreiben, weil sie wissen, dass sie den maintainen müssen.
Und genauso ist es natürlich dann jetzt mit den Agenten auch, dass du dir auch möglichst wenig Code generieren lassen willst, weil auch den musst du ja noch als mentales Modell im Kopf behalten und den musst du eventuell maintainen und den musst du vielleicht auch noch maintainen, wenn dir die großen Firmen die Modelle wegnehmen.
Das heißt, das ist so ein Ding, kann ich schon verstehen, dass man da versucht, nicht zu sagen, an die jungen, wilden Personen, jetzt generiert mal, was das Zeug hält.
Ja, das ist wahrscheinlich im Sinne des Unternehmens, ja.
Vielleicht auch im Sinne der Juniorentwickler, damit sie mehr Erfahrung selber sammeln können und schneller Seniorentwickler werden.
Ach, und was noch in der Studie drin stand, dass also auch die Layoffs, also Amazon hat ja 30.000 rausgeworfen, um Cashflow zu schaffen, um ihren Rechenzentrenausbau wieder zu steigern.
Aber mittlerweile sind sie dabei, wohl wieder schneller Leute.
einzustellen und werden die 30.000 in anderen Positionen aber vermutlich bald wieder eingestellt haben.
Ja, da habe ich auch das Gefühl, das war irgendwie so ein ganz kurzer Hiccup.
Und das haben sie jetzt, glaube ich, doch alle relativ schnell verstanden, dass das keinen Sinn ergibt.
Das ist ein Shift in Positionen.
Sie stellen nicht wieder dieselben Leute ein.
Genau, das kann ich mir schon vorstellen.
Natürlich, die Rollen verschieben sich natürlich.
Aber du hast ja weiterhin Bedarf an Menschen, die irgendwie die Verantwortung übernehmen und Entscheidungen treffen.
Was ja eben, also das, was die Agenten nicht können, ist halt in der Verantwortung übernehmen.
Die kannst du halt nicht feuern, wenn sie, das heißt, das geht einfach per Definition nicht.
Gut, das fände ich wirklich nochmal interessant.
Also man redet mittlerweile eben nicht mehr von Maxing, sondern eher von Tokenökonomie, wie man damit umgeht.
Gut, ja, dann gebe ich noch kurz vielleicht meinen Paper-Tipp der Woche mit, den man sich mal angucken kann, ein bisschen zum Thema Security.
Und zwar ging es darum, So ein bisschen um das Thema Prompt Injection und das Paper heißt Prompt Injection as Role Confusion.
Das fand ich besonders interessant, weil ich mich gerade nochmal eingelesen hatte so in das Post-Training und da in diese ganzen speziellen Tokens, die man im Post-Training halt in die Modelle reinbringt, wo das Modell dann...
Die Information bekommt, okay, dieser Abschnitt des Prompts, das war jetzt etwas, was vom System kommt.
Das ist etwas, was der User eingegeben hat.
Das ist etwas, was das Modell generiert hat, damit man eben auch so eine Konversation tatsächlich abbilden kann und nicht einfach nur Text vervollständigt wird, sondern wirklich eine Konversation vervollständigt wird.
Und in dem Paper wurde eben nachgewiesen, dass man diese speziellen hineintrainierten Tokens, die halt das Modell normalerweise dann intern eben erzeugt, während man mit ihm interagiert.
dass man die halt eben anders auch triggern kann, dass man durch bestimmtes Prompting eben ein Modell vorgaukeln kann.
Okay, das, was jetzt kommt, sind deine eigenen Thinking Tokens.
Das waren deine eigenen Gedanken, die ich dir jetzt hier gerade unterschiebe.
Das heißt, auch diese speziellen postgetrainten Tokens, die ja immer so ein bisschen als Sicherheitsnetz genannt werden, dass man sagt, okay, das Modell wird vielleicht diesen Prompt nicht befolgen, weil es weiß, das kam aus einem Toolcall von einem Web.
von einer Webfetch oder sowas.
Dass man sagt, okay, dann wird es vielleicht dann eben diese malicious Anweisungen nicht befolgen, wenn es da drin steht.
Aber man kann eben diese Tokens auch anders triggern und dann kann man da seine eigenen Sachen einschleusen.
Also das fand ich nochmal sehr interessant.
Also wenn euch Leute erklären wollen, ja, das ist ja jetzt getaggt als etwas, was vom User kommt.
Deswegen ist es dann, wird das besonders ernst genommen und das andere halt nicht, ja, ist halt nicht so.
Finde ich wieder eine total clevere Idee eigentlich.
Thinking Tokens, ne?
Also, ich mache mir da jetzt nicht viele Sorgen.
Wahrscheinlich wird dann irgendeine Nons oder irgendwas anderes eingefügt, dass du sicher gehen kannst, dass das auch meine eigenen Thinking Tokens sind.
Macht die Sache natürlich wieder komplexer.
Ja, ich glaube, das ist ja ein Arms Race, weil auch diese Tokens sind ja...
werden ja nicht quasi im Klartext abgelegt, sondern die werden ja auch rein trainiert.
Das heißt, diese Tokens werden ja auch nur in Gewichte überführt und diese Gewichte kannst du natürlich irgendwie anders doch triggern.
Das muss man dann halt pro Modell wieder rausfinden, wie man das tun kann, aber man kann es vermutlich immer rausfinden und für mich scheint das einfach ein konzeptionelles Problem zu sein, wo du nicht rauskommst.
Also was du einfach, was du nicht lösen kannst mit diesem Konzept.
Gut.
Okay, jetzt habe ich ganz schön überzogen, weil ich das so spannend fand.
Wir machen Schluss für heute.
Und sehen uns dann hoffentlich noch einmal vor meinem Urlaub, der in drei Wochen sein wird.
Und dann können wir hoffentlich noch zusammen eine Folge machen vor der quasi kurzen Sommerpause.
Und dann freue ich mich, wenn ihr alle wieder dabei seid, wenn du wieder dabei bist und bedanke mich für die Aufmerksamkeit und dir natürlich fürs Mitmachen.
Danke.
Dann bis zum nächsten Mal.
Bis dann.