# AI Model Economics and Open Source Disruption

**Podcast:** INNOQ Podcast
**Published:** 2026-04-30

## Transcript

So, das sieht gut aus.
Ich denke, wir nehmen auf.
Hallo Ole, ich begrüße dich zu unserer neuen Folge.
Hallo, heute wieder im gewohnten Setup.
Genau, wieder heute aus dem Homeoffice.
Wir sind alle wieder heimgekehrt, trotz diverser Reiseschwierigkeiten, die wir da immer haben.
Aber alle sind wieder im Homeoffice angekommen und wir können wieder gemütlich von hier aus podcasten.
Das ist übrigens ein guter Hinweis, Podcast.
Manche hören uns ja im Podcast-Feed.
Ich wollte nochmal darauf hinweisen, dass wir aber natürlich auch auf unserem YouTube-Kanal sind und da eben auch mit Video.
Also wer aus irgendwelchen Gründen unsere Gesichter sehen möchte, während wir Dinge erzählen, mag auf YouTube gucken.
Nokia TV ist der Channel da.
Das fiel mir nur ein, weil jemand fragte, wie das denn mit dem Podcast ist.
Genau, in dem Podcast-Feed kein Video, auf YouTube-Video.
Gut, soviel zu den organisatorischen Sachen.
Inhalte haben wir natürlich auch mitgebracht.
Es gab richtig viel Model-Releases, allerdings irgendwie, wir haben gerade so kurz drüber gesprochen, nicht so richtig, was einen vom Hocker haut, sondern viel so Punkt-Updates, sowohl im kommerziellen als auch im Open-Source-Open-Weights-Bereich.
Wir gehen gleich mal durch und schauen, was da vielleicht trotzdem Spannendes für uns jetzt drin steckt.
Und ein bisschen Gossip haben wir auch noch.
Firmen kaufen andere Firmen und wir wissen nicht so richtig, warum.
Damit können wir vielleicht gleich mal einsteigen.
Der Grund ist einfach.
Leute haben genügend Geld geburten.
Ja, wahrscheinlich ist es so, ja.
Wir wissen nicht warum, aber es ist ja da ein wildes Hin und Her aufgekauft.
In dem Fall jetzt SpaceX kauft Cursor.
Ich bin mir nicht so sicher, ob jetzt SpaceX quasi schon gemerged ist mit Grog AI, wo ja der ganze AI-Firma vom Elon drin aufgegangen ist.
Ich vermute mal, dass das wahrscheinlich dann so eine Folge daraus ist, dass jetzt diese ganze AI-Thematik dort in SpaceX vereint ist und dass die jetzt versuchen, sich am Markt noch stärker zu etablieren.
Cursor ist ja eigentlich eine IDE oder eine Agent-Orchestrierungs-IDE.
Ich habe sie selber noch nicht benutzt, aber sie scheint ziemlich beliebt zu sein.
Und SpaceX übernimmt die jetzt also.
Und aus dem Tweet bin ich auch nicht so richtig schlau geworden.
Mein Take dazu oder mein Gedanke dazu war nur, es ist wirklich, glaube ich, gerade zu früh.
die ganze Firma auf jetzt ein Tool zu ziehen und sagen, Cursor gefällt uns gut, wir schulen jetzt alle in Cursor und passen unsere ganzen Workflows daran an, weil wir eben immer nicht wissen, wenn jetzt jemand jemanden kauft, ob das eben so ein Equihire ist und es eigentlich nur um die Talente geht und das Produkt dann einfach eingestampft wird.
Also ja, da ist so viel im Fluss, weswegen ich persönlich mich ungern auf Tools festlegen möchte, wobei wir natürlich viel Cloud-Code einsetzen, aber auch immer wieder mit den Alternativen eben schauen, was grundsätzlich geht.
Oder hast du dich schon ganz klamm eingeschossen auf irgendwelche Tools, auf die du gar nicht mehr verzichten könntest?
Oh, das ist eine gute Frage.
Tools, auf die ich gar nicht mehr verzichten wollen würde?
Nee, eigentlich glaube ich tatsächlich nicht.
Also Cloud würde mir schon wehtun, denke ich.
Wobei das auch übertrieben ist.
Also ich sehe da durchaus Bei den anderen auch stärken.
Ich glaube tatsächlich, dass alle mittlerweile gut genug geworden sind.
Und ja, der Harness ist ein bisschen an das Modell gekoppelt, jetzt aber auch nicht so weit.
Also wenn ich meine Skills und so weiter alles weiter benutzen könnte, dann hätte ich da auch überhaupt kein Problem.
irgendwie zu wechseln.
Ich meine, Cursor war immer schon so eine, ich hätte jetzt fast wilde Sau genannt.
Die waren ja immer sehr radikal, was ihre Redesigns anging.
Und ich hatte jetzt gehört, jetzt wollen sie den Code-View komplett abschaffen, was für eine Idee natürlich auch ein mutiger Move ist.
Also die Entwickler sollen eigentlich nur noch in Prompts und in Specifications arbeiten und sich gar nicht mehr um den Code kümmern.
Schauen wir mal.
Im Hintergrund habe ich irgendwas davon gehört, dass es primär um Geld und Rechenkapazität ging, dass SpaceX ihnen versprochen hat, extrem viel Rechenkapazität zur Verfügung zu stellen.
Aber ja, Cursor wäre jetzt tatsächlich auch eins der Tools, auf die es sich verzichten könnte.
Ja, ich habe gerade nur gedacht, das ist wirklich sehr gewagt, weil für mich die IDI eigentlich eher momentan dazu dient, Code zu reviewen.
Da will ich den Code besonders gut sehen, nämlich auch der, der eben generiert wurde.
Da möchte ich eben relativ schnell durchsteppen können, was die Änderungen sind.
Und ja, insofern ist für mich eigentlich eine IDE momentan eher ein Code Review Tool.
Deswegen finde ich diesen Schritt sehr interessant.
Ja, also wir wissen noch nicht genau, was wir davon halten können.
Die Botschaft ist wahrscheinlich, passt auf, an welche Tools ihr euch bindet und versucht eher Konzepte zu verinnerlichen, die übertragbar sind zwischen Tools.
Ja, dann haben wir den ganzen Newsreigen, die ganzen Modelle.
Womit fangen wir an?
Hast du einen Wunsch?
Wir fangen immer mit Antropic an.
Ich weiß nicht, ob es gut ist.
Bleiben wir dabei, würde ich sagen.
Wir haben es tatsächlich auch gerade verpasst.
Also ich glaube, unsere Aufnahme war zu Ende.
Wir saßen unten beim Bier und zwei Stunden später kamen irgendwie die News auf Twitter.
X heißt es ja jetzt, dass Opus 4.7 raus ist.
Genau, das hat mich dann kurz geärgert und habe gedacht, naja, das bedeutet, die nächste Folge muss halt schneller wiederkommen.
Genau, da kann man nicht immer dranbleiben.
Ja, Opus 4.7, also für mich war das als Cloud-Code-Benutzer, ich würde jetzt mal sagen, komplett reibungslos.
Also ich habe tatsächlich keine Unterschiede gemerkt.
Das ging für mich einfach durch und ich habe dann erst so ein bisschen im Nachgang.
die ganze Diskussion mitbekommen, dass jetzt die Sache mit den Tokens dort irgendwie komisch ist und dass das Modell jetzt in bestimmten Konstellationen irgendwie dreimal so viele Tokens verbraucht wie vorher, was natürlich dann für die Nutzer, die das über die API-Bepreisung nutzen oder halt auch für das Inklusivvolumen, dass man schneller in die Limits läuft, offensichtlich signifikante Auswirkungen hatte.
Bist du da auch reingelaufen oder hast du das gemerkt?
Ich bin selber noch nicht reingelaufen.
Ich hatte aber die ganze Diskussion auch verfolgt.
Ich weiß nicht genau, ob da nicht was Größeres noch hinter steckt.
Also das Problem ist, da ist ja noch vieles im Unklaren.
Sie haben das neue Vokabular noch nicht veröffentlicht.
Man weiß also gar nicht, welches Ziel dieser neue Tokenizer hat oder warum er jetzt besser sein soll.
Also in den Benchmarks hat man es nicht gesehen, dass es so signifikant besser sein soll.
Hat natürlich das Geschmäckle, dass es wirklich darum gehen kann, sie können die Preise nicht erhöhen, sie wollten die Quota nicht zu stark senken.
Na gut, dann schrauben wir jetzt am Tokenizer.
Auf der anderen Seite ist der Tokenizer, glaube ich, ein gutes Instrument, wenn es auch um Sicherheit geht.
Also es wäre ja vielleicht mal sinnvoll, Tokens einzuführen, die dann Toolcall Output vom User geschriebenen.
Prompts unterscheidet, dass das Large Language Model da differenzieren kann.
Was habe ich jetzt im Internet gelesen und was ist ein User Prompt?
Zurzeit werden die ja alles als Tokens gleich behandelt.
Ist so ein bisschen meine Hoffnung, dass sich da was in die Richtung tut.
Aber wie gesagt, zurzeit ist es noch Kaffeesatzleserei.
Aber ja, es fällt auf 30 Prozent mehr Tokenverbrauch und in den Benchmarks keine signifikante Änderung.
Das ist auch ein bisschen komisch.
Ja, die interne Kommunikation war oder nicht die interne, sondern die Kommunikation, war dann, dass durch diese höhere Tokenanzahl mehr differenziert wird, dass mehr zusammengesetzte Worte dazu führen, dass dann das Instruction-Following irgendwie besser funktioniert, also dass dann weniger Ambiguität zwischen verschiedenen Wortvarianten herrscht und deswegen das Modell eher den Anweisungen folgt.
Das war die offizielle Kommunikation, die dann zumindest auch mit rausgefallen ist nochmal im Nachgang.
Ja, ich habe jetzt tatsächlich da in der Nutzung, nichts in der Richtung gemerkt, hatte aber vorher jetzt auch keine Schwierigkeiten.
Insofern konnte ich jetzt da, habe ich da jetzt keine, außer die Benchmarks, die man überall liest, eben auch keine weitere Meinung zu.
Für mich hat es jetzt keine Verschlechterung ergeben.
Ich muss aber auch sagen, ich bin jetzt auch nicht jemand, der 37 Agents parallel laufen lässt und ständig in die Limits reinläuft.
Also ich mache das noch sehr gezielt.
Deswegen waren die Limits für mich jetzt kein Problem.
Also was ich noch gelernt habe, ist, dass es eben bei Anthropic in der API dann diese diese Tokenizer-API gibt, wo man eben Prompts hinschicken kann und dann eben zurückkommt, Informationen, in wie viele Tokens der Prompt denn jetzt zerlegt werden würde, dass man eher bestimmte Prompts testen kann oder bestimmte Inputs testen kann und dann schauen kann, wie viele Tokens würde das denn verbrauchen und diesen Endpunkt kann man eben einfach so benutzen, um bestimmte Sachen zu testen.
Das fand ich noch ganz spannend, was das angeht.
Ja, müssen wir mal gucken, ob dann mit Mythos da was ganz anderes passiert oder ob wir jetzt bei diesen Punkt-Updates bleiben, was diese Opus-Linie angeht.
Ja, für mich war es kein großer...
Ah, was noch interessant war, sie hatten noch Claude Design damit veröffentlicht.
Ihr eigenes AI-Design-System und haben damit auch gleich Figma auf eine Talfahrt der Aktienkurse geschickt und witzigerweise einer vom Seaboard, ich weiß nicht genau, einer von den Antropic...
war auch bei Figma mit in Bord und es in dem Zuge musste, ist er oder wurde zurückgetreten.
Ja, da würde mich dann auch mal der Gossip im Nachgang interessieren, was denn da Henne und was Ei war.
Ob sie dann gesagt haben, wenn er jetzt wirklich in direkteste Konkurrenz zu uns tretet, dann ist das hier vorbei, das Verhältnis.
Oder was da im Hintergrund war.
Das können wir natürlich auch nur mutmaßen.
Ja, aber das ist natürlich jetzt eine klare Konkurrenz, diese Modelle.
fressen halt bestimmte Geschäftsmodelle komplett auf.
Also das ist mir immer besonders in Erinnerung noch bei diesem ganzen OCR-Thema, wenn man früher spezielle Geschichten, Machine Learning Systeme hatte, die irgendwie, wir kennen es jetzt von der Belegerkennung, da gab es halt spezielle Anbieter und jetzt macht das halt eben so ein Modell halt eben auch noch nebenbei mit.
Man braucht keinen speziellen Produktanbieter mehr dafür und das frisst natürlich komplette Branchen.
auf.
Und auch da sieht man jetzt diesen Konflikt.
Ja, interessant.
Da bin ich auch mal gespannt, was dann mit solchen Firmen halt eben passiert.
Zumal Figma ja auch selber dann eben wahrscheinlich eigene AI-Produkte einbaut.
Da muss man dann gucken, ob die das dann nicht, weil sie mehr von Design verstehen als jetzt so ein General Purpose Modellanbieter, die dann nicht vielleicht doch am Ende als Sieger hervorgehen.
Wir werden es sehen.
So.
Machen wir weiter, ne?
Wir haben noch ein paar Releases.
Wir haben noch ein paar Releases, bevor wir uns hier verquatschen.
Also es gab noch einige, also jetzt wenn wir bei Anthropics sind, müssten wir wahrscheinlich einfach mit OpenAI weitermachen, ne?
Da kam GPT 5.5 raus und da warst du nicht so von begeistert, ne?
Ja, ja doch.
Punkt kann man eigentlich stehen lassen.
Also was ganz spannend war, ich habe mich ja eh schon gefragt, wie sie diese...
zwei Monats zu anderthalb Monat Release-Zyklen überhaupt hinbekommen, weil in meinem Kopf dauerten diese Pre-Trainings und Post-Trainings länger und in dem Zusammenhang kam raus, dass seit 4.5, dass der erste vollständige neue Trainingslauf war und alles, was nach 4.5 jetzt bis 5.5 kam, waren halt so Trainingsmeilensteine, die sie einfach danach released hatten.
Das war in meinem Kopf nochmal so das Aha-Erlebnis.
So funktioniert das also mittlerweile.
Und obwohl es der erste große Neubau ist und obwohl sie eigentlich die Preise erhöht haben, sie sind jetzt wieder das teuerste Modell, glaube ich.
Also wenn wir mal Mythos rausnehmen, kosten sie jetzt 30 Dollar pro eine Million Output-Tokens.
haben sie eigentlich keine radikalen Fortschritte gemacht.
Also die Halluzinationsrate soll jenseits von Gut und Böse sein, berichten die Leute.
Also teilweise 80 Prozent Halluzinationen bei speziellen Halluzinationsbenchmarks, wo ihnen dann so missverständliche Fragen gestellt werden, wo Opus, glaube ich, bei 37 Prozent ist.
Da ist 80 Prozent schon kritisch.
Sie haben auch den neuen Antropic Move.
dass es also ein 5.0 Cyber gibt, was zu gefährlich ist, dass man es releasen kann.
Und man ist jetzt auch nur an eine begrenzte Anzahl an Firmen released.
Und ich denke so, naja, okay.
Also es ist teuer, es ist nicht signifikant besser.
Es ist sogar, glaube ich, wenn ich das in der LLM-Arena richtig gesehen habe, im Coding-Benchmark liegt es sogar hinter 5.4.
Das ist dann schon ein bisschen schlecht, wenn man die Preise erhöht hat.
Ja, ich habe nur gedacht, okay, es werden einfach die Modelle, wo man die ganzen Security Guards halt eben nicht einbaut beziehungsweise ausbaut, werden dann quasi jetzt über so ein Gatekeeping-Mechanismus dann doch an spezielle Leute rausgegeben, wo man eigentlich weniger Aufwand treiben muss, weil man diese ganzen Security-Sachen da nicht einbaut.
Und dann verkauft man das als Feature.
Das ist irgendwie auch, ja.
Man verkauft eine Waffe ohne Sicherung und sagt, das ist jetzt ein Feature.
Das fand ich irgendwie auch schwierig, aber es wirkt für mich halt auch, als ob sie auf diesen Marketingzug einfach mit aufspringen und denken, ja, wir haben auch sowas, was noch mächtiger ist, aber was wir halt nur speziellen Gruppen zur Verfügung stellen.
Naja, finde ich auch kritisch.
Das hätte mich jetzt fast eigentlich zur Überleitung gebracht zu den Open-Source-Modellen, wo man dann eben zumindest mehr Dinge bewerten kann mit den Teilen, was da eigentlich passiert.
Oder hast du noch was zu GPT 5.5?
Simon Willison hat, glaube ich, geschrieben, dass es das Beste ist, was GPT 4.5 passieren konnte.
Das ist jetzt halb so teuer und immer noch ausreichend gut genug.
Okay.
Ich bin auch mal gespannt.
Ich habe das Gefühl so, dass...
man kann nicht mehr gerade sagen, wer so klar der Marktführer ist, sondern es ist wirklich alles extrem auf Kante und keiner kann so einen Sprung nach vorne irgendwie machen und alle versuchen sich jetzt entweder so wie Anthropic mit Mythos mutmaßlich über einfach pure Rechenpower irgendwie noch nach vorne zu arbeiten, wo es fehlt scheinbar so ein bisschen so ein, ja irgendwas, was dann wieder einen klaren Vorteil verschafft.
Ich vermisse so ein bisschen diesen Gemini-Moment, wo Google halt wirklich mit so einem Sprung aufgeholt hat und dann sogar gleich vorne war.
Das fand ich interessant.
Sowas haben wir schon jetzt länger nicht mehr gesehen, aber vielleicht sind wir einfach verwöhnt.
Und vielleicht kommt ja die Innovation tatsächlich aus dem Open-Source-Bereich.
Da habe ich tatsächlich noch auf der Liste mir verschiedene Dinge anzugucken, die ich auch lokal ausprobieren möchte.
Noch fehlt mir da ein bisschen RAM für.
Mit 32 GB RAM, was ich gerade lokal habe, komme ich nicht so weit.
Da komme ich vielleicht höchstens mit dem Gewinnmodell noch hin.
Aber ja, hast du noch mehr Informationen?
Wir haben hier auf der Liste auch DeepSeek V4 stehen, wir haben Kimi stehen.
Mit die beiden habe ich mich noch gar nicht angeschaut.
Ja, also ich habe es mir auch noch nicht DeepSeek V4 noch nicht live angeschaut.
DeepSeek hat in meinem Herzen immer so einen kleinen besonderen Spot, weil das damals der erste AI-Podcast DeepSeek V3 war, womit ich eigentlich angefangen habe.
DeepSeek ist das chinesische Modell und ich glaube, Und letztes Jahr, im Januar haben sie, nee, im Dezember hatten sie die, also vorletztes Jahr schon im Dezember haben sie die letzte V3 veröffentlicht und es war halt ein großer Erfolg oder zumindest ein Publikumserfolg, weil sie halt für ein Zehntel der Kosten nah an die Leistung der...
State-of-the-Art-Modelle rankam und es auch das erste Mal war, dass ein Open-Source-Modell so dicht an die State-of-the-Art-Modelle rankommt.
Sie sagen selber von sich, dass sie mit V4 jetzt so drei bis sechs Monate hinter den State-of-the-Art-Modellen hinterher sind, wo ich sagen muss, ich würde mit dem Opus 4.5 auch schon klarkommen.
Also ich habe es tatsächlich auch noch nicht live ausprobiert.
Die Preise sind natürlich...
extremst kompetitiv.
Also die wollen 3,50 Dollar für eine Million Output Tokens im großen Modell.
Sie haben auch eine Million Token Context Window.
Und ja, genau, sie haben wieder sehr viel Optimierung in den Attention Mechanismus gesteckt.
Das hatten sie ja bei V3 schon gemacht.
Sie sind da halt auch tatsächlich, sie sind keine Copycats mehr.
Sie sind bei der Forschung und bei der Effizienz ziemlich weit vorne.
Teilweise vielleicht den Amerikanern auch schon überlegen.
Da gab es ein Interview mit dem Chef von NVIDIA, Jason Wong.
Jensen, Jensen Wong?
Jensen war es, glaube ich, ja.
Jensen Wong, ja, genau.
Der halt auch gesagt hat, man sollte sich da keine Illusionen machen.
Die Chinesen sind gut, solche Systeme mittlerweile herzustellen.
Genau.
Ich hatte mal spaßeshalber mich mal umgeschaut, was müsste man denn einkaufen, wenn man das große Modell selber betreiben möchte.
Es kommt so auf eine Okta H200 raus.
Die kann man sich tatsächlich für Preise zwischen 30 und 35 Dollar die Stunde online mieten, also als Virtual, also als Cloud GPU.
Und ich denke, wir kommen da in interessante Bereiche, also für Firmen, für die halt...
Souveränität sehr wichtig ist.
Die können sich jetzt halt dafür eine H100 mieten, das Modell selber laufen lassen.
Das läuft dann abgeschottet.
Und man soll mit dem Setup so ungefähr 10 bis 15 Leute parallel betreiben können.
Und dann bist du halt bei Preisen zwischen 2 und 3 Dollar pro Person pro Stunde.
Das wäre ein interessantes Angebot.
Ja, das wäre, glaube ich, für uns intern auch mal ein Testcase, den wir aufsetzen sollten.
Vielleicht können wir dann da mal berichten.
Ich bin mir nicht sicher, inwiefern man über Open Router schon an die V4 Deep Seaks rankommt.
Da habe ich jetzt noch nicht geschaut, dass man die schon einfach über die API nutzen kann.
Das wäre für mich jetzt auch so der nächste Schritt, dass man da einfach mal was gegenwirft und ein bisschen Erfahrung mit sammelt.
Natürlich dann, wie du gerade sagst, wenn man das selbst betreiben kann, dann schauen, wie viele Arbeitsplätze sozusagen parallel kann ich damit eigentlich bespielen.
Dann könnte man da wahrscheinlich wirklich ein relativ gutes Preisschild auch mal dran kleben, was es denn bedeutet, wenn man das selber betreibt.
Ja, auf jeden Fall spannend.
Dann hatte ich jetzt, nach DeepSeek hattest du noch Kimi genannt.
Das ist etwas, wo ich noch gar nicht reingeschaut habe.
Da schwärmen ja auch viele Kollegen von.
die das benutzen und sagen, sie kommen damit völlig zurecht.
Ist halt eben auch günstiger als die Opus-Modelle signifikant.
Und für Coding zum Beispiel kommen da viele ganz gut klar mit.
Ich glaube auch.
Also Kimi ist der Champion, wenn es so um General Purpose geht.
Gwen ist eher spezialisiert Coding-mäßig.
Also Kimi gibt es in verschiedensten Größen.
Das große Modell hat auch eine Trillion.
Das betreibt man nicht ebenso lokal, aber genau in den Benchmarks sind sie auch ziemlich weit oben mit, hinter den ganzen Top-Modellen von Anthropic und Google und TTCPT.
Genau, ich habe es selber auch noch nicht in der Hand gehabt.
Ich sehe es nur ständig in den Benchmarks auftauchen, theoretisch auch.
Zu Hause betreibbar, also nicht zu Hause, mit genügend gemiedenen GPUs betreibbar, selbstbetreibbar.
Viel mehr kann ich dir aber auch gar nicht drüber erzählen.
Ja, ich habe tatsächlich das Gefühl, was wir letztes Mal ja auch schon so angedacht hatten, dass gerade wirklich viele Open Source Releases kommen, die jetzt in die Gegend stoßen, dass sie jetzt zumindest für die Use Cases, die uns so beschäftigen, was Softwareentwicklung angeht, einfach good enough werden.
Bin ich mal gespannt, wiefern die kommerziellen Modelle dann versuchen, eben ihre Kosten, die sie halt eben aufrufen, noch zu rechtfertigen.
Inwiefern sich das dann angleicht.
Oder dann die Kosten sich eigentlich nur noch damit messen lassen, was ich denn betreiben müsste, wie wir es gerade beschrieben haben.
Also was ich an Betriebskosten hätte, um ein Open-Source-Modell zu betreiben.
Sie müssten ja irgendeinen Mehrwert liefern, um über die reinen Betriebskosten hinaus eben...
zu rechtfertigen, dass man eben das geschlossene System benutzt.
Also ich finde, der Abstand muss groß sein, um zu rechtfertigen, dass man sich an so einen kommerziellen Anbieter bindet, wenn es Open Source eben gut enough ist.
Das finde ich interessant, wie das dann gerechtfertigt wird auf die Dauer.
Ich hatte auf Golem, ich glaube, heute war es sogar auch schon gelesen, dass immer mehr Firmen anfangen, ihre AI-Kosten zu hinterfragen, dass teilweise die Tokenkosten.
die Gehaltskosten der gesamten Entwicklerschaft matchen.
Und das wird dann natürlich schon heftig, gerade auch mit dem Hintergrund.
Jetzt wieder so ein etwas shady Tokenizer rausgebracht.
Die amerikanischen Firmen haben eigentlich nicht mehr diesen Vorsprung, um solche Preise zu rechtfertigen.
Jetzt ist natürlich Versorgungssicherheit auch ein Punkt und so weiter.
Das wird für viele Firmen interessant sein.
Aber ich denke mal, Und spätestens Herbst, Ende des Jahres werden wir das sehen, dass die ersten Firmen anfangen, entweder über AI-Router, Open Router oder so, zumindest für die einfachen Sachen, Open-Source-Modelle beizumixen, gerade wenn die halt nur ein Viertel bis ein Zehntel der Kosten haben.
Ja, bisher war es wirklich so, wir versuchen irgendwie alles mit einem Anbieter zu erschlagen.
Und ich denke jetzt, diese Diversifizierung, die wird jetzt einfach, wird jetzt reinschlagen, dass man...
mehr ein Gefühl dafür entwickelt, welche Use Cases kann ich halt mit welchem Modell erschlagen.
Und dann werden wir das genau, glaube ich, so sehen, dass man anfängt, auch unternehmensseitig da zu differenzieren.
Ja, würde ich genauso interpretieren.
Ja, das ist ja auch so.
Ich meine, momentan mache ich es meistens nicht mehr, aber jetzt in Cloud Code einfach habe ich ja auch schon häufig zwischen den Modellen gewechselt, dass ich halt, wenn ich ein Planning mache, dann eben Opus verwende und für Implementierung halt auf das Sonnet umgeschaltet habe.
Gut, was Cloud Code ja auch automatisch machen kann über die Agents, die drin sind, kann man ja das Modell auch festlegen.
Ja, aber vorher habe ich es halt manuell gemacht, aber das geht ja schon so ein bisschen in diese Richtung.
Genau, du hattest eben noch kurz Gwen erwähnt, das fand ich auch nur wieder lustig, weil ich beim Simon Willison, der ja seinen wunderbaren Pelikan-Benchmark hat, den ich ja tatsächlich irgendwie ziemlich gut finde, also der ja immer, also der Simon Willison ist eigentlich, der kommt aus so einem Data Analytics-Bereich, eigentlich hat er im Open-Source-Bereich ziemlich viel gemacht, so Python Libraries, Datasette, da kenne ich ihn noch, das war so ein Tool, wo man relativ einfach so Datenbanken im Browser bearbeiten kann, sehr schöner.
Sehr schönes Tool, der macht extrem viel.
Und der hat diesen Pelikan-Benchmark, dass er halt immer versucht, mit jedem Modell das Bild eines Pelikans, der Fahrrad fährt, generieren zu lassen, aber eben als SVG, also als Vektorgrafik, beschriebene Vektorgrafik aus Vektorprimitiven oder aus primitiven Formen.
Und da hat er gesagt, dass das Gwen-Modell, das 3.6-Modell, halt für die geringe Größe, also er hat so eine quantisierte Variante mit 17 Gigabyte benutzt.
Und da fiel tatsächlich ein gutes SVG-Pelikanbild raus, wo sonst schon viele sehr viel größere Modelle gescheitert sind, fand ich nur ein lustiges Titbit.
Also es ist offensichtlich nicht die schiere Modellgröße nur, die dazu führt, dass man bestimmte Ergebnisse erzielen kann.
Kann natürlich auch sein, dass mittlerweile wir schon so weit sind, dass die Modellanbieter jetzt auch schon auf seinen Benchmark optimieren.
Das kann natürlich auch sein.
Das weiß ich jetzt nicht.
Aber es ist so ein Nischending eigentlich.
Aber gut, er hat schon eine relativ große Reichweite.
Ich würde sagen, auch Simon Willison ist fast schon ein Goldstandard.
Ich kenne eigentlich kaum jemanden, der nicht zumindest gelegentlich mal seinen Podcast, nee, seinen Blog sich anschaut und ihm zuhört.
Hatte ich noch nicht gehört, ist aber ein interessanter Gedanke.
Ich würde wahrscheinlich definitiv auch Pelikane optimieren.
Ja, es ist halt irgendwie ein super einfacher Benchmark und jeder, der halt jetzt Entwickler ist und weiß, wie so intern SVG-Grafiken aufgebaut sind, wenn man die per Hand schreiben will und so, dann muss man schon ganz schön abstrahieren.
Das ist nicht, mach mal ein paar Pixel irgendwie bunt, sondern überlager irgendwelche geometrischen Formen, damit sich ein Bild ergibt.
Das ist schon...
muss man schon über mehrere Abstraktionsebenen gehen, gedanklich, als Mensch und für so ein Modell vermutlich auch nicht einfach.
Ja, lustig, also Gwenn 3.6 wird das Erste, was ich auf jeden Fall lokal jetzt testen werde, wenn ich mehr RAM habe und dann kann ich da vielleicht mal berichten.
Haben wir die Open-Source-Modelle alle durch, die wir erwähnen wollten?
Ich glaube, wir haben sie durch.
Okay.
Schauen wir mal zu GLM 5, das ist immer noch ganz weit oben.
Okay.
Ja, die sind noch nicht überholt worden.
Das ist mir auch aufgefallen.
Ja, aber dann haben wir, glaube ich, erstmal den Exkurs zu den Modellen.
Und dann habe ich, würde ich zum Tipp der Woche kommen, wenn du nicht noch irgendein Thema aufmachen willst.
Okay.
Ja, der Tipp der Woche ist tatsächlich angelehnt an diese ganze Opus 4.7-Token-Geschichte.
Da habe ich tatsächlich dann mal RTK installiert.
Also gibt es ein...
in Rust geschriebener, im Grunde ein Proxy für CLI-Tools, den man in verschiedene Agent-Harnesses integrieren kann und was der halt tut, ist die Ausgaben von CLI-Tools, also einfach einen LS oder einen Grab oder was auch immer, zu komprimieren, ohne dass Sinn verloren geht, aber dass es eben nicht schön formatiert ist für Menschen, um das zu lesen, sondern wenn man zum Beispiel mehrfach die gleiche Datei irgendwie aufgelistet hat beim LS, dann würde er einfach sagen, fünfmal die Datei oder so.
Und das führt dazu, dass gerade wenn so ein Agent irgendwie anfängt, Dinge mit CLI-Tools zu machen, dann es extrem viel Tokensparsamer ist und da kann man dann schon gute Ergebnisse erzielen.
Also ich habe das bei mir mittlerweile standardmäßig an und das führt dazu, dass ich jetzt irgendwie nicht in Limits reingelaufen bin mit 4.7.
Vielleicht kann das damit zusammenhängen, aber könnt ihr euch mal anschauen.
ist auf GitHub zu finden.
RTK minus AI ist da die Organisation.
Aber das finde ich einen spannenden Ansatz.
Es gibt da ja noch so ein paar weitere Kandidaten, die versuchen irgendwie die Tokenanzahl zu reduzieren.
Was bei uns noch so rumflog intern war, das Caveman.
Das fand ich auch ganz lustig.
Das habe ich nicht ausprobiert, aber das ist ja eher so ein Prompt-Ding.
Hast du das ausprobiert?
Ich habe es mal angeworfen.
Ja, es spart Tokens.
Aber ehrlicherweise muss ich sagen, ich bin mir nicht sicher.
Also gerade bei englischen Prompts musste ich schon nachdenken, was er meinte.
Und vielleicht liegt es daran, dass ich nicht so fließend ein Caveman bin.
Ich fand es schon störend, ehrlicherweise.
Und dann habe ich mir gesagt, ach, scheiß drauf.
Das RTK habe ich tatsächlich auch schon benutzt.
Bin auch sehr zufrieden mit.
Wichtig, das RTK-AI.
Sonst landet ihr nämlich beim Rust-Type.
System, da bin ich das erste Mal falsch abgebogen und dachte, hä, das hat doch gar nichts mit AI zu tun.
Aber ja, das kann man auf jeden Fall mal ausprobieren.
Es soll nicht für alle Tools gleich gut komprimieren, das hatte ich noch gelesen.
Die geben da verschiedene Raten an, so im Stil, wie weniger Tokens dann bei rauskommen.
Genau, das kann man sich aber auf jeden Fall mal anschauen.
Das hilft auf jeden Fall.
Ja, wer das Caveman noch nicht gehört hat, da ging es einfach nur darum, dass das Modell entsprechend gepromptet wird.
wirklich mit sehr, sehr kurzen, knappen Sätzen zu antworten, dass das Modell klingt wie ein Höhlenmensch.
Ich habe erst gedacht, das ist Satire.
Man ist sich manchmal nicht so richtig sicher, ob die neuen Projekte jetzt Satire sind oder wirklich ernst gemeint.
Leute benutzen das auch offensichtlich normalerweise, ohne als Witz das zu verstehen.
Ja, aber fand ich auch nochmal interessant.
Das geht alles in die Richtung, jetzt auf weniger Tokens zu optimieren.
Das ist ja generell eine gute Idee, gerade wenn man auch mit lokalen Modellen arbeiten will.
Ich packe euch auch noch einen Blogpost rein in die Shownotes, den ich ganz interessant fand, wo jemand wirklich noch mal mit, während er im Flugzeug saß, versucht hat, was mit lokalen Modellen möglich ist.
Das fand ich noch mal ganz interessant, so als Erfahrungsbericht.
Kommt noch in die Links.
Jo, ich glaube, damit sind wir wieder durch, durch die aktuellen Sachen, die uns beschäftigt haben.
Und dann bin ich mal gespannt, ob es demnächst wieder größere Sprünge gibt.
Alles klar, bis zum nächsten Mal.
Ah, vielleicht für die Kommentarsektion.
Also ich benutze ja auch RTK.
Ich weiß nicht, wie es bei dir ist.
Ich konnte keine Verschlechterung der Antworten irgendwie feststellen.
Vielleicht könnte uns ja jemand mal schreiben, wenn er tatsächlich erlebt hat, dass es bei ihm was schlechter gemacht hat.
Weil ansonsten wäre es ja eigentlich eine immer Empfehlung.
Ja, also bisher, also ich persönlich keine negativen Erfahrungen, aber schreibt uns gerne in die Kommentare rein, was ihr da mitgenommen habt, ob das bei euch einen negativen Effekt hatte.
Mir hat es auch eigentlich nur geholfen, ich habe da nichts Negatives festgestellt.
Das ist natürlich wieder, wie immer, eine Indirektion in deinem Toolset.
Musst du wieder gucken, wenn jetzt jemand natürlich irgendeine Lücke in RTK einschleust.
dann ist das natürlich wieder ein sehr, sehr, sehr interessantes Angriffsziel.
Also wenn man wieder ein neues Tool einführt, hat man wieder einen neuen Angriffsvektor.
Das vielleicht noch so als Gedanke dazu.
Gut, dann danke ich dir, dass du wieder dabei warst und dann sehen wir uns hoffentlich bald wieder mit neuen News.
Bis dahin wünsche ich ein schönes Wochenende.
Mal gucken, ob ihr das noch vom Wochenende bekommt.
Ich hoffe aber vor dem langen Wochenende.
Ciao, ciao.
Mach es gut.
Tschüss.