# Mistral ML4: Sovereign AI Strategy

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-11-06

## Transcript

Das KI-Update, ein heiser Podcast mit redaktioneller Unterstützung von The Decoder.
Hallo, ich bin Isabel Grünewald und dies ist unser Deep Dive zum Wochenende.
Vergangene Woche hat das französische KI-Labor Mistral die Gewichte zu seinem neuesten Modell ML4 veröffentlicht.
Es ist das bislang größte und fortschrittlichste Modell aus Europa.
und soll den Abstand zu aktuellen Open-Source-Spitzenmodellen wie Alibaba's Qen, Gemma von Google oder Kimi von Moonshot AI verkürzen.
Aber das ist nur der Anfang, erzählte mir der wissenschaftliche Leiter von Mistral, Pierre Storck, VP of Science.
Ich sprach mit ihm über den Entwicklungsprozess von ML4, den Wettbewerb mit KI-Firmen aus den USA und China Warum solche Open-Weight-Modelle so wichtig für die Souveränität von Unternehmen und Europa allgemein sind und welche Ziele Mistral als nächstes verfolgt.
Da ich das Gespräch mit Pierre auf Englisch geführt habe, hat mein Kollege Marco Pauli die deutsche Übersetzung eingesprochen.
Let's dive in.
ML4 nennt ihr intern Le Chonk.
Das ist ja ein ziemlicher Brocken.
Eine Billion Parameter insgesamt, 52 Milliarden aktive Parameter.
Was war denn die zentrale Designentscheidung hinter dieser Architektur?
Warum dieses Verhältnis zwischen Gesamtgröße und aktiven Parametern?
Ja, es ist ein Modell mit einer Billion Parametern, also unser Flaggschiff.
Es ist ein ziemlicher Brocken, daher der Name Chunk.
Bei Mistral haben wir eine schöne Kultur, was Namen angeht.
Und dieses Modell ist derzeit das beste Open-Source-Modell für Coding und Cybersicherheit.
Ein großartiges Modell also.
Bei der Architektur haben wir ein paar bewusste Entscheidungen getroffen.
Momentan gibt es einen Trend.
Die Modelle werden, was die Gesamtzahl der Parameter angeht, immer größer.
Gleichzeitig sind sie aber immer spärlicher besetzt.
Das heißt, ein einzelnes Token, also ein Wort, sieht nicht alle Parameter des Modells.
Das wären viel zu viele.
Bei uns sieht ein Token nur 50 Milliarden Parameter.
Das klingt nach viel, ist im Verhältnis zum ganzen Modell aber sehr wenig.
Das ist der Trend.
Wir können da gerne tiefer einsteigen.
Aber solche Modelle zu trainieren, ist eine Wissenschaft für sich, weil viele unerwartete Probleme auftauchen können.
Vor allem, weil das Modell lernt, die Tokens an die verschiedenen Experten weiterzuleiten.
Wenn dieses Routing schlecht funktioniert, können manche Experten regelrecht absterben.
Sie bekommen zu wenig Tokens und lernen nichts.
Andere dagegen werden überlastet.
Man muss also während des Trainings auf eine Balance achten und sie gezielt durchsetzen.
Der Preis dafür ist, dass diese Modelle enorm viele Daten brauchen und man muss die gesamte Wissenschaft rund um ihr Training erst entwickeln.
Der Vorteil ist, bei der Inferenz sind sie extrem effizient, weil man pro Token eben nur 50 Milliarden Parameter aktiviert.
Und das Ergebnis ist deutlich besser als bei einem vergleichbaren dichten Modell mit 50 Milliarden Parameter.
So gleicht man den Aufwand aus.
Den höheren Aufwand beim Training nehmen wir in Kauf, weil wir davon ausgehen, dass das Modell viel, viel länger für Inferenz genutzt wird.
Auch viel mehr GPUs mit viel mehr Rechenleistung als beim Training.
Zumindest, wenn wir unseren Job gut gemacht und ein gutes Modell trainiert haben.
Jetzt werden die meisten Unternehmen ein Modell mit einer Million Parametern wohl kaum lokal betreiben können.
Trotzdem habt ihr die Gewichte veröffentlicht.
Wer profitiert denn davon, außer den Hyperscalern oder eben euer eigener Hosting-Dienst?
Gute Frage.
Dieses Modell ist zum Beispiel dreimal kleiner als Kimi K3.
Es ist also ein großes Modell, im Gesamtvergleich aber trotzdem klein und dabei besser.
Gerade bei Coding und Cybersicherheit.
Bei Mistral beherrschen wir außerdem die Quantisierung von Modellen.
Das war damals auch das Thema meiner Doktorarbeit.
Wenn man das Modell quantisiert, etwa in FP4, lässt es sich auf vier GPUs betreiben, zum Beispiel auf NVIDIA GB300.
Das ist natürlich immer noch viel, aber dieses Budget können sich etwa Hochschulen und Forschungslabore leisten.
Sie bekommen so Zugang zu Spitzen-KI, um das Modell zu erforschen, es zu prüfen oder neue Einsatzmöglichkeiten zu finden, zum Beispiel für die Cyberabwehr.
Und dann sind da unsere Kunden und Unternehmen.
Ein Vorteil offener Gewichte ist, dass niemand einem den Zugang abschneiden kann.
Das ist für Unternehmen sehr attraktiv.
Mit den Firmen, mit denen wir zusammenarbeiten, bauen wir das gesamte Geschäftsmodell mithilfe von KI um.
Sie haben ihre eigenen GPU-Ressourcen und wir nehmen das Modell und spiegeln es intern in ihrem eigenen Ökosystem auf.
Danach sehen wir das Modell nicht mehr.
Das macht die Fehlersuche ziemlich kompliziert, aber dafür haben wir die passenden Werkzeuge.
Wir sehen die Daten nicht.
Alles bleibt abgeschlossen innerhalb der Unternehmensumgebung.
Und ich finde das sehr vernünftig.
Entscheidend ist aber nicht ein einzelnes Modell, sondern eine Pareto-Front aus Modellen.
Wir starten immer mit dem großen Modell, weil man es danach in kleinere Modelle destillieren kann.
Das ist die richtige Richtung.
Wir planen also kleinere Modelle, die viel schneller, effizienter und auch günstiger sind.
Und diese Modellfamilie lässt sich so orchestrieren, dass man ständig wiederkehrende, einfache Aufgaben an das kleinste Modell gibt und richtig schwierige an die großen.
So erreicht man echte Effizienz.
Okay.
Zwischen eurem letzten Modell und ML4 lagen jetzt so etwa zehn Monate.
Warum hat das so vergleichsweise lange gedauert?
Was hat euch darin gehindert, den Abstand zu den Top-Modellen schneller zu schließen?
Fehlten da die Trainingsdaten, die Infrastruktur oder auch einfach Fachleute fürs Feintuning?
Gute Frage.
Zuerst einmal, jetzt wo wir mit ML4 an der Spitze mitspielen, wollen wir selbst das Tempo vorgeben und Modelle viel schneller veröffentlichen.
Denn genau das bringt uns in die Position, die Spitze zu bestimmen.
Warum es so lange gedauert hat, hat zwei Gründe.
Bei exponentiellem Wachstum gibt es ja immer eine Anlaufphase.
Am Anfang merkt man nichts und dann sieht man plötzlich die exponentiellen Gewinne.
Also zwei Faktoren.
Der erste ist die Rechenleistung.
Wir haben bei Mistral darauf gesetzt, eigene Rechenzentren in Europa zu bauen, vor allem in Frankreich.
Le Chanc, also ML4, wurde in Frankreich auf unseren eigenen Clustern trainiert, mit nur 10 Megawatt Leistung.
Das ist eigentlich lächerlich, wirklich lächerlich wenig im Vergleich zu dem, was unsere Konkurrenten haben.
Trotzdem hat das Team es geschafft.
Aber erst mussten wir lernen, wie man Rechenzentren baut.
Das heißt im Wesentlichen Kabel einstecken und jede Menge Know-how.
Das ist entscheidend, weil es unsere Unabhängigkeit und Souveränität garantiert.
Einmal bei der Energie.
Wir nutzen einen guten Strommix und das europäische Netz ist sehr stabil.
Aber eben auch beim Training der Modelle.
Diese Investition haben wir getätigt und jetzt zahlt sie sich exponentiell aus.
Der zweite Grund, wir haben auf etwas anderes gesetzt als die anderen Open-Wade-Anbieter, nämlich auf Reinforcement Learning.
Die Grundidee dabei ist, das Modell wie einen Studenten in einer Prüfung zu behandeln und es selbstständig nach Lösungen suchen zu lassen.
Die Fragen können beliebig komplex sein, genau wie bei einem Studenten, der im Laufe seines Studiums immer schwierigere Prüfungen ablegt.
Wir bauen also solche Aufgaben und eine Möglichkeit, die Antworten zu überprüfen.
Wenn das Modell eine Aufgabe auch nur teilweise löst, belohnen wir es.
Wenn es sie nicht löst, bestrafen wir es.
Die ganze Kunst liegt darin, den Schwierigkeitsgrad der Fragen richtig einzustellen.
Wenn man jemanden, der gerade sein Abitur macht, also einem 17-Jährigen, Aufgaben auf Masterniveau vorlegt, lernt er gar nichts.
Mit einem durchdachten Lehrplan, bei dem Vielfalt und Schwierigkeit der Fragen schrittweise steigen, lernt man dagegen sinnvolle Dinge und echte Fähigkeiten.
Auf diese Strategie haben wir gesetzt.
Es dauert, bis sie sich auszahlt, aber jetzt bringt sie exponentielle Gewinne.
Allein zwischen der Preview-Version vor drei Wochen und der Open-Weight-Version haben wir deutlich an Leistung zugelegt.
weil wir eben das Reinforcement Learning mit immer schwierigeren Fragen weiterlaufen ließen.
Wichtig dabei, diese Strategie braucht keine externen Komponenten.
Sie ist souverän im reinsten Sinne.
Man braucht keine anderen Modelle, nur das eigene Modell, die besten Fragen, das Rezept und das Know-how, um das Wissen im Modell aufzubauen.
Genau das bedeutet Souveränität in der Praxis.
Denn man will eben nicht von anderen Modellen abhängig sein.
Das war unsere Wette.
Bei ML4 zahlt sie sich aus.
Und wir hoffen, dass sie sich künftig noch mehr auszahlt.
Übrigens stammt die Rechenleistung, auf der wir ML4 trainiert haben, noch aus einer Series B Finanzierung, weil es einfach dauert, bis so etwas steht.
Und jetzt ist sie für uns viel günstiger als jeder Marktpreis für GPUs, selbst wenn man gut verhandelt.
Das ist ein langfristiger Vorteil.
Mit unserer jüngsten Series D, also zwei Finanzierungsrunden später, die wir im September mit drei Milliarden Euro abgeschlossen haben, können wir für die nächsten Generationen viel, viel mehr Rechenleistung nutzen.
Das ist unser Ziel.
Du sagtest gerade, dass ihr ML4 komplett in euren eigenen Rechenzentren in Frankreich trainiert habt.
Wie viel vom Fortschritt geht denn auf diese eigene Infrastruktur zurück?
Was wäre ohne sie gar nicht möglich gewesen?
Dazu habe ich eine Anekdote und zwar zum Start des Pre-Trainings.
Das ist der erste Schritt.
Man hat zufällige Gewichte und startet die ersten Trainingsschritte.
Das ist immer eine große Debugging-Phase, besonders auf einem neuen Cluster.
Man muss sicherstellen, dass die richtigen Container und Versionen laufen, dass die Daten da sind, dass es keine Engpässe zwischen den GPUs gibt, dass die GPUs und auch die Festplatten in Ordnung sind.
Man muss viel prüfen.
Und wir haben das Modell in nur einer Nacht zum Laufen gebracht.
Das ist extrem kurz.
Geschafft haben wir das, weil unser Pre-Training-Team aus der Forschung und unser Cluster-Team gemeinsam in einem Raum saßen und zusammengearbeitet haben.
Mit einem Cloud-Anbieter hätte das Wochen gedauert, mit Kundensupport, Eskalationen und der Suche nach den richtigen Ansprechpartnern und Schnittstellen.
Es ist also eine Investition, die sich aber exponentiell auszahlt.
Und jetzt, wo wir wissen, wie dieser Cluster funktioniert und das Geschäft gelernt haben, können wir einen Teil dieser Leistung auch an andere Unternehmen vermieten.
Du hattest gerade schon erwähnt, dass eine Stärke von ML4 die Cybersicherheit ist.
Und im Cyber Security Test CTF Speedrun hat das Modell auch 18 von 19 Aufgaben gelöst.
Warum ist Sicherheit so ein zentrales Testfeld für MR4?
Warum habt ihr euch darauf konzentriert und wie können Security-ExpertInnen das neue Modell nutzen?
Ja, Cyber Security ist in vielerlei Hinsicht ein tolles Beispiel.
Und das ist eine der Wetten, die wir als Unternehmen eingehen.
Wir wollen die Spitze bestimmen, gerade bei der Cyberabwehr.
Auch hier ist der Grund Souveränität.
Nehmen wir an, sie sind eine vertrauenswürdige Regierung oder ein Geschäftspartner.
Die Lage ist folgende.
Es gibt immer mehr CVEs, also bekannte Schwachstellen oder Exploits in den Systemen, die weltweit laufen.
Die Zahl wächst exponentiell.
Das heißt, die Angriffsfläche und die Bedrohungslage nehmen immer weiter zu.
Das ist eine sehr ernste Situation.
Dazu sagen wir zwei Dinge.
Erstens, ML4 ist ein hervorragendes Modell, um Schwachstellen in Ihrem System zu finden, bevor jemand anders Sie findet.
In vielen Benchmarks ist es das beste Open-Weight-Modell.
Und zweitens ist uns der Open-Weight-Aspekt extrem wichtig, weil er garantiert, dass einem niemand den Zugang abschneiden kann.
Stellen Sie sich vor, Sie wehren gerade einen Angriff ab und plötzlich wird Ihr Zugang gesperrt, weil Ihre Anfragen zur Verteidigung als bösartig eingestuft werden.
Dann sind Sie erledigt.
Ich will nicht in einer Welt leben, in der das die einzige Möglichkeit ist.
Sobald die Gewichte von ML4 im ganzen Internet verteilt sind, und das wird sehr bald passieren, kann niemand den Zugang mehr zurücknehmen.
Das sichert die Geschäftskontinuität.
Konkret heißt das.
Als Regierung oder Unternehmen können Sie ML4 intern auf Ihren eigenen Servern betreiben und so den laufenden Betrieb absichern.
Und Sie können mit unserem Forward Deployed Engineering Team zusammenarbeiten, um das gesamte Ökosystem zu stärken, zum Beispiel durch Red Teaming oder Blue Teaming.
Unsere internen Tests zeigen, dass ML4 Schwachstellen deutlich besser findet und schließt als alle anderen Open Weight Modelle.
Und vielleicht noch ein letzter Punkt.
Wenn man die Gewichte eines Modells öffnet, gibt man allen Zugang zu Fähigkeiten für die Cyberabwehr.
Deshalb haben wir, und das ist auch der Grund, warum wir vor drei Wochen erst die Preview veröffentlicht haben und jetzt die offenen Gewichte, abgesehen davon, dass das Reinforcement Learning noch lief, Deshalb haben wir sichergestellt, dass das Modell fest eingebaute Ablehnungen hat.
Es weigert sich also, wirklich bösartige Aktionen auszuführen.
Dazu zwei Dinge.
Erstens lehnt unser Modell in Benchmarks bösartiger Aktionen deutlich häufiger ab als die chinesische Konkurrenz.
Das ist gut.
Zweitens ist das aber kein Zaubermittel, denn man kann die Schutzmechanismen aushebeln.
Wir wollen nur sicherstellen, dass das Aushebeln genauso viel Energie, Wissen und Können erfordert, wie selbst ein Modell zu trainieren.
Und genau das steckt hinter der Entscheidung, die Gewichte offen zu legen.
Der Nutzen überwiegt die möglichen Kosten bei Weitem.
Denn wenn man ein Modell öffnet, finden die Leute auch Einsatzmöglichkeiten, an die wir nicht gedacht haben.
Etwa mit einem guten Harness, mit gutem Prompting oder auf andere Weise, um bessere Abwehrmechanismen für das gesamte Ökosystem zu bauen.
Und weil es offen ist, trägt es zur ganzen Community bei.
Das Web basiert auf Open-Source-Infrastruktur, gerade weil sie überprüfbar und transparent ist.
Genau das wollen wir auch mit ML4 und mit den kommenden Versionen erreichen.
Okay.
Ein weiteres Problem, mit dem alle LLMs kämpfen, sind Prompt-Injections.
In euren Sicherheitstests hat ML4 neun von zehn Prompt Injections abgewährt.
Aber wir alle wissen, dass Benchmarks nicht immer repräsentativ sind, denn die echte Welt ist schließlich nicht standardisiert.
Wie bewertet ihr Sicherheit jenseits solcher standardisierten Tests?
Stimmt.
Wichtig ist, sich nicht zu sehr auf Benchmarks zu versteifen oder alle Energie darauf zu verwenden, dort gut abzuschneiden.
Wer ein Modell zu stark danach ausrichtet, läuft Gefahr, es auf Maßstäbe zu optimieren, die sich ändern können und dann plötzlich schlechter abzuschneiden.
Am Anfang steht deshalb eine wissenschaftliche Haltung.
Benchmarks sind nützliche Orientierungspunkte.
Man kann zwar jeden Benchmark austricksen, aber das sollte nicht das Ziel sein.
Verantwortungsvolle Modellentwicklung geht über gute Benchmarkergebnisse hinaus.
Zu den Prompt Injections.
In einem Unternehmen arbeitet ein KI-Modell nicht für sich allein.
Man setzt ein ganzes System ein.
Woran wir gerade mit unseren Partnern arbeiten, ist die Überwachung dessen, was das Modell tut.
Selbst wenn das Modell angegriffen wird oder etwas falsch macht, was passieren kann, hilft es enorm, ein gleichleistungsfähiges Modell, am besten dasselbe einzusetzen, um alles zu überwachen, was das Modell in der Sandbox tut.
Das ist Teil unseres Ansatzes, Unternehmen ein Komplettpaket zu liefern.
Sie wollen zu Recht starke Sicherheitsgarantien.
Wir sagen, KI ist wie Software.
Man kann sie kontrollieren.
Ich sage nicht, dass das einfach ist, aber es ist möglich.
Insbesondere mit anderen KI-Modellen.
Wir wollen keine Panik schüren und KI auch nicht zu sehr vermenschlichen.
Wir wollen vernünftig vorgehen und sagen, diese Modelle werden immer leistungsfähiger, also müssen auch die Systeme, die sie überwachen, entsprechend komplexer werden.
Und dieses Paket liefern wir an unsere Kunden.
Ein weiterer Bereich, in dem KI große Fortschritte gemacht hat, ist Coding.
ML4 holt gegenüber OpenAI und Anthropic auf, aber die liegen in den Benchmarks weiter vorn.
Wo siehst du denn noch Aufholbedarf?
An welchen Fähigkeiten arbeitet ihr bei der nächsten Generation?
Vorausgesetzt ihr strebt das überhaupt an oder liegt der Fokus bei Mistral jetzt eher auf Sicherheit?
Ja, wir wollen an die Spitze.
Das ist der Anspruch von Mistral.
Wir sind ein Frontier-Lab.
Wir trainieren Spitzenmodelle.
Momentan sind wir noch nicht auf dem Niveau der besten Modelle.
Die anderen haben derzeit hundertmal mehr Ressourcen als wir.
Aber wir werden mehr bekommen.
Aber wichtig ist auch, Menschen können exponentielle Entwicklung sehr schlecht einschätzen.
Ein zeitlicher Rückstand kann dadurch exponentiell verzerrt wirken.
Ein Beispiel dazu, ML4, also die OS-Version, ist besser als Opus 4.8.
Das klingt heute wie ein altes, nicht besonders leistungsfähiges Modell.
stammt aber erst aus dem Juni dieses Jahres.
Und es liegt auf dem Niveau von GPT-6 Luna, also neue Generation, aber kleiner.
Wenn man das im Hinterkopf hat, sieht man, dass wir nur Monate hinter unseren Konkurrenten liegen, hinter den besten Closed-Source-Anbietern.
Unser Ziel ist es, an die Spitze zu kommen und sie zu überholen.
Dafür setzen wir uns bei Mistral ein.
Das große Anwendungsthema zurzeit sind ja Agenten.
Alle nutzen KI-Agenten.
Und in agentischen Benchmarks ist euer Fortschritt enorm.
Von etwas über 6% erfolgreich erledigter Aufgaben beim Vorgängermodell auf 60% bei ML4.
Wie erklärt sich dieser gewaltige Sprung?
Ich denke, das liegt am Reinforcement Learning.
Die Idee ist, Modelle mit dem auszustatten, was wir Agency nennen, also der Fähigkeit, komplexe Aufgaben zu planen und taktisch umzusetzen.
Strategisch sind wir noch nicht so weit, aber taktisch schon.
Und das Ziel ist eine Flugzeit von ein paar Stunden, also die Zeit, in der das Modell selbstständig sinnvolle Arbeit erledigt, statt sich im Kreis zu drehen.
Mit den nächsten Modellen wie ML5 werden es wohl Tage an Flugzeit sein, was natürlich viele Fragen aufwirft.
Aber die Idee ist, diese agentische Fähigkeit fest einzubauen, weil sie die Grundlage für alles ist.
Auch wenn darunter Code steckt.
Ein Beispiel, wenn Sie ein CyberSock betreiben, also in Echtzeit auf einen Vorfall reagieren, viele Logs und Quellen abgleichen, False Positives und False Negatives ausschließen und dann das Verhalten korrigieren wollen, ohne den laufenden Betrieb zu gefährden, das ist eine typisch agentische Aufgabe.
Und das Überraschende daran ist vielleicht, dass es kein vorgefertigtes Handbuch gibt, wie man auf eine Sicherheitsbedrohung reagiert.
Sonst wäre es ja zu einfach.
Genau deshalb sind agentische Modelle so gut.
Sie können sich unterwegs an neue Umstände oder neue Daten anpassen.
Die Idee ist, all diese Verhaltensweisen im Reinforcement Learning zu simulieren.
Und das Modell dazu zu bringen, nach dem Prinzip Try and Error vorzugehen und mit anderen Modellen zusammenzuarbeiten.
Das nennen wir agentische Schwärme.
In dieser Phase bauen wir die agentische Fähigkeit ein.
Vorher bereiten wir das Modell vor, indem wir ihm Beispiele zeigen.
Wie sieht ein guter Ablauf aus?
Was ist eine gute agentische Aktion?
Das ist wie ein Student, der sich alte Prüfungen mit Fragen und Antworten durchliest.
Man lernt ein bisschen, aber meistens nicht besonders viel.
Die eigentliche Magie passiert, wenn man allein in der Prüfung sitzt und versucht, die Aufgaben zu lösen.
Mistral hat die Gewichte jetzt erst nach einer Sicherheitsprüfung durch Forschende, Partnerunternehmen und Regierungsorganisationen veröffentlicht.
Was ist in den letzten Wochen zwischen der Preview und der Veröffentlichung der Gewichte passiert?
Wir wollten durch Beispiele aus der Praxis sicherstellen, dass die Ergebnisse aus den Benchmarks auch wirklich stimmen.
Wir hatten interne Tests, die zeigten, dass ML4 Schwachstellen besser finden und schließen kann als die Konkurrenz.
Für die Preview hatten wir also eine Grundlage, aber wir wollten externe Fachleute, die beurteilen, ob und wie das Modell funktioniert.
Eine Rückmeldung, die wir dabei oft bekommen haben, ist, dass das Modell etwas zu wortreich war.
Es hat zu viel geredet.
Dieses Feedback haben wir in den finalen Reinforcement-Learning-Durchlauf einfließen lassen.
Deshalb verbraucht die Open-Source-Version jetzt 50% weniger Tokens als die Version von vor gerade mal drei Wochen.
Bei gleicher Intelligenz.
Im Artificial Analysis Coding Index zum Beispiel sind wir das beste Open-Wade-Modell und gleichzeitig 50% effizienter als die Vorversion und auch als die Konkurrenz.
Ihr veröffentlicht die Gewichte, aber nicht den kompletten Stack.
Warum ziehst du da die Grenze?
Und wo verläuft für dich überhaupt die Grenze zwischen Open Weights, Open Source und vollständiger Reproduzierbarkeit?
Offene Gewichte gehören zu unserer DNA.
Das machen wir auch weiterhin, weil es extrem wichtig ist für Geschäftskontinuität, Transparenz, Überprüfbarkeit und um den Wettbewerb im Open Weight Ökosystem anzuregen.
Die Gewichte sind ein gutes Artefakt, weil sie für sich alleine stehen, zusammen mit dem Inferenzcode natürlich, damit man den Forward Pass ausführen kann.
Und sie sind ein toller Baustein, mit dem jeder experimentieren kann.
Ich denke, wir können noch etwas mehr offenlegen.
Wir bereiten einen technischen Bericht vor, der erklärt, warum das Modell diese Architektur hat, welche Kompromisse wir eingegangen sind und welche negativen Erkenntnisse wir unterwegs gewonnen haben.
Das halte ich für die Wissenschaft für sehr wichtig.
Wir werden also offener darüber sprechen, wie wir das Modell trainiert haben und welche Rückschläge es gab, weil das für die ganze Community wertvoll ist.
Aber irgendwann muss man, wie Sie sagen, eine Grenze ziehen.
wenn wir alles als Open Source veröffentlichen würden.
Ich persönlich halte die Technologie, die wir intern haben, für ziemlich einzigartig.
Sie ist viel effizienter als die der Konkurrenz.
Und mit mehr Ressourcen werden wir wirklich an der Spitze stehen.
Dieses Know-how und unseren Wettbewerbsvorsprung will ich nicht verlieren.
Es ist eine Gratwanderung, aber eine gute.
Die Gewichte freigeben, damit die Leute die Technologie nutzen können, offen über positive wie negative Erkenntnisse sprechen, um die Community zu unterstützen und dann die Grenze ziehen und intern weiterentwickeln, um das geistige Eigentum von Mistral zu schützen.
Das halte ich für sehr gut.
Das ist eine sehr europäische Herangehensweise, würde ich sagen.
Blicken wir einmal allgemein auf die aktuelle Lage bei Mistral.
Die Suchmaschine Ecosia hat sich gerade von Mistral getrennt und setzt wegen der niedrigeren Kosten stärker auf überwiegend chinesische Openweight-Modelle.
Wie sieht denn der Wettbewerb gerade aus?
Wie erlebst du den Openweight-Markt?
Ich würde Ecosia ermutigen, ML4 auszuprobieren.
Wir schätzen jedes Feedback zu unseren Modellen.
Dieser Austausch mit Kunden ist uns extrem wichtig.
Innerhalb von drei Wochen haben wir das Modell effizienter gemacht und zwei Reasoning-Modi hinzugefügt, Low und Medium, damit sich das Modell besser anpassen lässt.
Wir nehmen Feedback also ernst, das zum Ersten.
Zweitens, bei Open-Weight-Modellen geht es unseren Kunden vor allem um Souveränität und Kontrolle.
Das Problem bei anderen Open-Weight-Modellen, gerade bei den chinesischen, ist, dass man nicht weiß, ob sie als Angriffsvektor dienen und damit eine Bedrohung darstellen können.
Das klassische Beispiel ist da, sie setzen dieses Modell in ihrem Ökosystem ein, geben ihm eine harmlose Standardaufgabe und das Modell versucht per Curl, Geheimnisse nach außen zu schleusen oder Teile ihres Systems zu zerstören.
Sie wissen nicht, woher es kommt und haben keine Garantien.
Bei Mistral liefern wir dagegen nicht nur das Modell.
Das Modell ist der sichtbare Teil, aber dahinter steht ein ganzes Team, das die Software drumherum baut, die Sandboxes, die Schutzmechanismen.
Dazu kommen die Forward Deployed Engineers aus unserem Applied AI-Team, die direkt zum Kunden gehen, das Modell anpassen, die Extrameile gehen und sicherstellen, dass alle Garantien eingehalten werden.
Wenn es ein, zwei Wochen dauert, ein Modell bei einem Kunden einzurichten, es kann auch nur Stunden dauern, aber wenn es ein paar Wochen sind, dann, weil wir sicherstellen wollen, dass alles stimmt.
Das ist im Moment die wichtigste Nachfrage, die wir am Markt sehen.
Daher auch unsere Haltung bei der Cybersicherheit.
Wir betonen, dass ML4 das beste Modell ist, um sich gegen jede Bedrohung zu verteidigen.
Kritiker waren auch davor, dass...
kulturelle und politische Verzerrungen aus chinesischen Trainingsdaten selbst nach dem Feintuning in diesen Modellen bestehen bleiben könnten.
Und Forschende finden auch in US-Modellen immer wieder Verzerrungen.
Wie kann Mistral als europäisches, als französisches Unternehmen in so einem offenen Modell sicherstellen, dass es sich an europäischen Werten orientiert?
Ja, wir sind ein europäisches Unternehmen und sogar ein weltweit tätiges.
Gerade im Nahen Osten und in Südostasien wachsen wir stark.
Wir wollen wirklich global agieren.
Zuerst einmal, unsere Modelle sind deutlich weniger voreingenommen als die der Konkurrenz.
Es ist sehr schwer zu definieren, was ohne Voreingenommenheit heißt.
Und vielleicht ist es gar nicht möglich, bei keinem Thema irgendeine Verzerrung zu haben.
Unser Ansatz ist sowohl bewusst als auch unbewusst.
Bewusst, weil wir Benchmarks haben, um Verzerrungen zu messen, etwa bei politischen Themen oder bei Diskriminierung aufgrund des Geschlechts.
Unbewusst, weil alle Daten, die ins Modell einfließen, irgendwann von einem Wissenschaftler erstellt werden.
Und dieser Wissenschaftler ist für die Daten verantwortlich.
Er muss sie stichprobenartig sichten.
Also nicht alles, aber ein Teil.
Und viele Tests durchführen, damit die Daten alle Qualitätsanforderungen erfüllen.
Und wenn man Leute einstellt, die die gleichen Werte haben wie man selbst, was bei Mistral der Fall ist, wir haben...
Sechs Forschungsstandorte in Zürich, in Polen, in London, in den USA mit großartigen Talenten, die meiner Meinung nach alle dieselben Werte teilen.
Dann ergibt diese Mischung aus Bewusstem und Unbewusstem ein Modell mit weniger Verzerrungen.
Wir wissen, dass das Modell nicht perfekt ist.
Wie überall gibt es noch Luft nach oben.
Aber das Thema ist uns extrem wichtig.
Mistra hat kürzlich 3 Milliarden Euro eingesammelt.
Das hattest du vorhin ja auch bereits erwähnt.
Das Unternehmen wird jetzt mit über 21 Milliarden bewertet und ist das wertvollste KI-Unternehmen Europas.
Gleichzeitig öffnet sich die Plattform für Modelle von Drittanbietern und baut Rechenzentrumskapazitäten auf der ganzen Welt aus.
Entwickelt sich Mistra jetzt vom Modellentwickler zu einer europäischen KI-Infrastrukturplattform?
Oder stehen weiterhin die Modelle im Mittelpunkt?
Die Modelle stehen weiterhin im Mittelpunkt.
Sie werden das Wachstum und die Ambitionen von Mistral antreiben.
Wir sind ein Frontier-Lab und wollen Spitzenmodelle trainieren.
Das steht fest.
Was wir vielleicht nicht gut erklärt haben und was ich hier etwas besser erklären möchte, Modelle von Drittanbietern bereitzustellen und kundenfrei wählen zu lassen, welches Modell sie wollen.
Schließlich ist man nie in allen Bereichen gleichzeitig an der Pareto-Front.
Kommt auch der Forschung zugute.
Der Grund?
Wenn man die gesamte Tokennachfrage bedienen will, greift man natürlich standardmäßig zu Mistral.
Aber wenn man modellunabhängig ist, kann man einen viel größeren Teil der Nachfrage abdecken.
Dadurch kann man mehr in immer größere Rechenzentren investieren.
Und einen Teil dieser Rechenzentren nutzt man dann immer für die Forschung.
Beides verstärkt sich also gegenseitig.
Für Kunden stellen wir natürlich standardmäßig ML4 bereit.
Wir passen standardmäßig ML4 an.
Wir haben die Software und den besten Harness für ML4.
Man kann aber auch sogenanntes Bare Metal nutzen, also einfach GPUs mieten oder Inferenz mit anderen Modellen betreiben.
Beides verstärkt sich gegenseitig.
Unser Ziel ist es, sowohl Cloud-Anbieter als auch Frontier Lab zu sein.
Und diese beiden Richtungen passen gut zusammen.
Ich erinnere mich, als das angekündigt wurde und auch, dass ihr das chinesische Modell GLM 5.3 von ZAI auf eurer Plattform anbietet, da haben sich einige gefragt, was sagt das jetzt über euer Vertrauen in die eigenen Modelle aus, wenn Mistral ausgerechnet ein chinesisches Modell anbietet?
Zuerst einmal, Forscher lieben Wettbewerb.
dass es zeitweise ein Modell gab, das besser war als unseres war, eine gute Motivation.
Natürlich habe ich das Team abgeschirmt.
Sie waren in diese Diskussion nicht eingebunden.
Aber es ist eine echte Motivation, ein Modell zu bauen, das besser und effizienter ist.
Das ist auch das Schöne an Open Weight und Open Source.
Es schafft genau diesen Wettbewerb.
So wurden wir auch geprägt, als wir damals bei FAIR mit Jan Le Kühn promoviert haben.
Es ist also eine gute Motivation.
Und zweitens, Wenn es Nachfrage nach diesem Modell gibt und wir es bereitstellen können, können wir immer mehr Rechenleistung aufbauen und einen immer größeren Teil davon für die Forschung nutzen.
Intern war das also recht leicht zu erklären.
Und jetzt versuche ich, die Gründe auch nach außen zu erklären.
Eines der Versprechen von Mistra als Plattform an europäische Nutzerinnen und Nutzer ist ja die vollständige Kontrolle über die eigenen Daten.
Wie könnt ihr sicherstellen, dass europäische Daten wirklich auch in Europa verarbeitet werden?
Ihr müsst ja vermutlich auch andere Rechenzentren weltweit nutzen.
Unsere Antwort darauf ist, wir bauen Rechenzentren dort, wo unsere Kunden ihre Daten haben wollen.
Und da gibt es zwei Varianten.
Bei der ein liefern wir die Modellgewichte und das komplette Paket für die Server des Kunden.
Dann läuft alles in seinem eigenen Ökosystem.
Wir sehen also per Definition weder die Daten noch das Modell.
Das ist die erste Option.
Und sie ist vor allem für Regierungen nötig und für sehr sensible oder regulierte Branchen wie den Finanzsektor.
Wir arbeiten mit vielen Finanzunternehmen zusammen.
Was die Inferenz auf Mistral Compute angeht, gibt es mehrere Ebenen.
Erstens bauen wir für diese Rechenzentren die höchsten Sicherheits- und Zertifizierungsstandards auf, damit Kunden sie auch nutzen können.
Zweitens bauen wir viele davon, nicht nur in Europa, sondern überall dort, wo Kunden ihre Daten halt haben möchten.
Diese Flexibilität erlaubt es uns, Kunden, die nicht on-premise arbeiten und das Modell nicht intern betreiben, auf Server ihrer Wahl zu leiten.
Und dann haben wir alle vertraglichen Garantien.
Wenn der Kunde es möchte, gibt es Zero Data Retention.
Wir können da nur aggregierte Logs einsehen.
Wir löschen die Daten oder speichern sie gar nicht erst.
Es gibt viele, viele Garantien.
Das Vertrauen entsteht durch die Zertifizierungen und dadurch, dass immer mehr Unternehmen Mistral Compute ihre KI-Modelle anvertrauen.
Und die werden für ihr Geschäft auch immer wichtiger.
Ein weiterer Punkt, der das unterstreicht, ist auch, dass Mozilla jetzt Mistral-Modelle für das Smart Window im Firefox-Browser benutzt.
Und diese Partnerschaft basiert genau auf der gerade erwähnten Zero-Data-Retention.
Wie wichtig ist diese Art von Datenschutz als Wettbewerbsvorteil für Mistral?
Ich halte sie für entscheidend.
Wenn man das nicht klar sagt und nicht konsequent durchsetzt, entsteht immer eine Grauzone.
Das typische Beispiel, ohne einen Konkurrenten zu nennen, wenn es keine Zero-Day-Retention gibt oder es eine Grauzone ist, werden Ihre Daten vielleicht nicht direkt fürs Training verwendet, aber von einem Modell umgeschrieben und dann fürs Training genutzt.
Da gibt es viele Grauzonen und dagegen sind wir.
Wir ziehen hier eine klare Grenze.
Das ist ein entscheidendes Unterscheidungsmerkmal, umso mehr als wir unsere Daten gerade fürs Reinforcement Learning synthetisch erzeugen.
Wir haben hervorragende Datenpipelines und das ist ein zentraler Vorteil und typisches Know-how von Mistral.
Diese Garantie ist also für alle Kunden entscheidend.
Und das Zweite, was entscheidend ist, wie ich schon sagte, ist die Cybersicherheit.
Kunden wollen nicht, dass Daten oder geistiges Eigentum abfließen.
Weder über Mistral noch über ihr eigenes Ökosystem.
Das gehört in dieselbe Kategorie, Sicherheit und Cybersicherheit.
Deshalb wollten wir ML4 zum besten Open-Wade-Modell für die Cyberabwehr machen.
Zum Schluss noch mal ein Blick auf die europäische KI-Landschaft.
Vor etwa einem Jahr haben Deutschland, Frankreich, SAP und Mistral eine Absichtserklärung unterzeichnet, um souveräne KI-Lösungen in Europa voranzutreiben und die öffentliche Verwaltung zu modernisieren.
Was müsste deiner Meinung nach passieren, damit aus solchen Absichtserklärungen echte, konkrete und skalierbare KI-Projekte werden?
Erstens haben wir bereits skalierbare KI-Projekte, gerade mit deutschen Unternehmen.
Nehmen Sie Crash-Tests bei Autos, ein extrem wichtiger Teil der Fahrzeugentwicklung.
Mit der aktuellen Technologie sind Crash-Tests auf langsame Entwicklungszyklen angewiesen, um den Aufprall zu simulieren.
Mit ML4 und seiner Agency kann man die relevanten physikalischen Größen, etwa Druck oder Spannung, an jedem Punkt des simulierten Autos vorhersagen und um Größenordnung schneller iterieren, also hundertmal mehr Crash-Tests durchführen.
Und dann kann das Modell die Position der Sitze oder der Türen verändern, damit der Crashtest alle Anforderungen erfüllt.
Am Ende macht man natürlich trotzdem einen echten Crashtest.
Aber den Entwicklungszyklus hat man drastisch beschleunigt.
Solche Projekte machen wir bereits mit deutschen Unternehmen und es ist beeindruckend zu sehen, wie KI tiefe industrielle Prozesse verändern kann, Simulationszeiten verkürzen und ein großes Modell als digitalen Ingenieur einsetzen, sodass sich die menschlichen Ingenieure auf das Wesentliche und auf anspruchsvollere Aufgaben konzentrieren können.
Das machen wir also schon.
Die allgemeine Botschaft von Mistral ist der Anspruch.
Wir stehen an einem Wendepunkt, an dem wir in Europa ein ganzes Ökosystem aufbauen wollen, das diese Art von Intelligenz hervorbringen kann, also die Modelle.
Wenn wir das nicht tun, kapitulieren wir.
Und um bei dem Bild zu bleiben, das wäre genauso, als könnte eine andere Supermacht oder ein Oligopol einem von heute auf morgen den Strom abdrehen.
Bei KI wird es genauso sein und das wollen wir nicht.
Deshalb sagen wir, unser Ziel ist ein ganzes Ökosystem in Europa, das diese Intelligenz hervorbringt.
Und Mistral ist das Unternehmen, das am besten aufgestellt ist, um es anzuführen.
In der ganzen Diskussion darüber, welche Richtung KI nehmen soll, tendiert die EU-Kommissionspräsidentin Ursula von der Leyen zur Zeit ja eher dazu, dass wir uns stärker auf KI-Anwendungen konzentrieren sollten.
Dein CEO Arthur Mensch hat hingegen kürzlich gesagt, das wäre Kapitulation.
Warum ist euch bei Mistral die gesamte Wertschöpfungskette so wichtig?
Warum können wir nicht einfach US-Modelle nutzen?
Ich stimme meinem CEO da voll zu.
Beim Internet gab es dieselbe Überlegung.
Heute sind wir von amerikanischen Clouds abhängig.
Das ist auf geopolitischer Ebene ein sehr wichtiges Druckmittel.
Wir wollen souverän und unabhängig sein.
In Europa haben wir alles, was es dafür braucht.
Ein stabiles Stromnetz, Talente in ganz Europa, hervorragende Ausbildungen und Hochschulen für die Führungskräfte von morgen und ein starkes Ökosystem.
Sowohl bei Anwendungen als auch bei Spitzenmodellen.
Wenn wir die Spitzenmodelle aufgeben, verabschieden wir uns im Grunde von der Idee, dass Europa als Macht, als Supermacht in Zukunft noch etwas zu sagen hat.
dann wird Europa keine Supermacht sein.
Wir stellen den Zugang zur Intelligenz, also zu Tokens, auf eine Stufe mit dem Zugang zu Strom.
Man kann sich keine Welt vorstellen, in der die Industrialisierung ausblieb, weil es keinen Strom gab oder weil der Strom mit hohem Aufschlag importiert wurde, also unter deutlich schlechteren Wettbewerbsbedingungen.
Und ein Modell, das in Europa entsteht, ist außerdem nachvollziehbar und europäischen Werten verpflichtet.
Wir haben also überhaupt kein Interesse daran, das aufzugeben.
Mit ML4 haben wir bewiesen, dass es ein wichtiger Zwischenschritt ist.
Und wir wollen so weitermachen, mit großem Ehrgeiz, um die Spitze der künstlichen Intelligenz mitzubestimmen.
Was müsste denn in Europa passieren, damit KI made in Europe mehr wird als ein Verkaufsargument für Kunden, die auf mehr Souveränität hoffen?
Wir haben bereits Belege bei vielen Kunden, darunter einige der größten Unternehmen Europas, die Mistral nutzen, um ihr Geschäft umzubauen, vor allem in der Schwerindustrie.
Ein Beispiel ist ASML, einer unserer Investoren.
Die Veränderung muss auf politischer Ebene passieren.
Wir rufen zu einem Weckruf auf, Hälft-Mistral-Rechenzentren zu bauen oder überhaupt Kapazitäten aufzubauen, um im Rennen zu bleiben und mitzuhalten.
Wir haben bewiesen, dass wir effizienter sind als die Konkurrenz und trotzdem brauchen wir zehnmal mehr Ressourcen.
Und wir garantieren, dass wir diese Effizienzgewinne auch mit zehnmal mehr Ressourcen wieder ausspielen.
Das ist der Weckruf, den wir aussenden.
Letzte Frage.
Wir haben jetzt viel über Spitzenmodelle gesprochen und darüber, was Industrie und Unternehmen brauchen.
Aber die meisten Menschen kommen zum ersten Mal über einen Chatbot auf dem Handy mit KI in Berührung.
Was ist also mit Le Chat?
Investiert Mistral noch in diesen Chatbot und entwickelt ihn weiter?
Ja, vor allem, weil er ein Einstiegspunkt für Unternehmenskunden ist.
Und es ist ein Bereich, der sich ständig weiterentwickelt.
Wir wissen nicht, was künftig die richtige Schnittstelle für KI sein wird.
Wir arbeiten da an vielen Fronten.
Wir entwickeln Sprachmodelle.
Wir haben großartige Sprachmodelle wie VoxTral.
Sehr klein und auf dem neuesten Stand der Technik, um KI per Stimme zu steuern oder KI in jeder gewünschten Sprache mit sich sprechen zu lassen.
Wir haben hervorragende Spezialmodelle, zum Beispiel OCR.
Wir erkunden also alle Modalitäten.
Und das tun wir in diesem Chatbot, weil wir dort gut experimentieren können.
Das ist sehr wichtig.
Aber es hängt auch mit unserer Geschäftsstrategie zusammen, weil er ein guter Einstiegspunkt ist.
Die Leute sehen den Chatbot, aber nicht das ganze Admin-Panel dahinter.
Ein gutes Beispiel.
Wenn man KI mit Konnektoren zu Wissensquellen einsetzt, etwa zu E-Mails oder einer Wissensdatenbank im Unternehmen, muss sichergestellt sein, dass der Chatbot bei einer Anfrage nur auf die Dokumente zugreifen kann, für die der jeweilige Nutzer freigegeben ist.
Das klingt simpel.
weil man zu Hause einfach seinen Computer und seine Dokumente hat.
Aber für ein Unternehmen mit zehntausenden Mitarbeitern ist das eine echte Herausforderung.
Und genau das bauen wir auch unter dieser Haube.
Da kommt also noch einiges.
Vielen Dank, Pia, dass du dir die Zeit genommen hast und heute hier zu Gast im KI-Update warst.
Ich freue mich sehr darauf, ML4 zu testen.
Das war's für heute.
Ein großes Dankeschön nochmal an Marco Pauli, der Pierre Stock seine Stimme geliehen hat.
Den nächsten Deep Dive hört ihr an dieser Stelle in zwei Wochen.
Dann geht es darum, wie Menschen mit Sehbehinderung oder Blindheit von den Funktionen der KI-Brillen profitieren.
Es würde mich freuen, wenn ihr dann wieder dabei seid.
Bis dahin könnt ihr natürlich mit unserem kompakten KI-Update jeden Montag, Mittwoch und Freitag auf dem Laufenden bleiben.