# Mistral ML4 Release and Sovereign AI Investment

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-10-30

## Transcript

Das KI-Update – ein heiser Podcast mit redaktioneller Unterstützung von The Decoder.
Ich bin Isabel Grünewald und dies sind heute unter anderem unsere Themen.
Mistral veröffentlicht ML4 als Open-Ways-Modell.
Schwarzgruppe investiert Milliarden in KI-Startup Coher.
Fachleute übernehmen unbemerkt die Empfehlungen ihres KI-Agenten.
Und die Community soll Indie-Spiele vor KI-Klonen schützen.
Das französische KI-Labor Mistral hat am Donnerstag die Gewichte seines neuesten Modells ML4 veröffentlicht.
Gewichte sind die Parameter, die ein Modell beim Training lernt.
Werden sie offen bereitgestellt, kann jeder das Modell selbst betreiben und anpassen.
Mit einer Billion Parametern insgesamt und 49 Milliarden aktiven Parametern hat sich ML4 seinen Spitznamen Le Chong verdient.
Es ist das bislang größte und fortschrittlichste Modell aus Europa und soll den Abstand zu Open-Source-Spitzmodellen wie Qwenn von Alibaba, Gemma von Google oder Kimi von Moonshot AI verkürzen.
Ich hatte in dieser Woche die Gelegenheit, mit Pierre Stock, Vice President of Science, bei Mistral zu sprechen.
Pierre, was war die zentrale Designentscheidung hinter dieser Architektur?
Warum dieses Verhältnis zwischen Gesamtgröße und aktiven Parametern?
Momentan gibt es einen Trend.
Die Modelle werden, was die Gesamtzahl der Parameter angeht, immer größer.
Gleichzeitig sind sie aber immer spärlicher besetzt.
Das heißt, ein einzelnes Token, also ein Wort, sieht nicht alle Parameter des Modells.
Das wären viel zu viele.
Bei uns sieht ein Token nur 50 Milliarden Parameter.
Das klingt nach viel, ist im Verhältnis zum ganzen Modell aber sehr wenig.
Das ist der Trend.
Wir können da gerne tiefer einsteigen.
Aber solche Modelle zu trainieren, ist eine Wissenschaft für sich, weil viele unerwartete Probleme auftauchen können.
Vor allem, weil das Modell lernt, die Tokens an die verschiedenen Experten weiterzuleiten.
Wenn dieses Routing schlecht funktioniert, können manche Experten regelrecht absterben.
Sie bekommen zu wenig Tokens und lernen nichts.
Andere dagegen werden überlastet.
Man muss also während des Trainings auf eine Balance achten und sie gezielt durchsetzen.
Der Preis dafür ist, dass diese Modelle enorm viele Daten brauchen und man muss die gesamte Wissenschaft rund um ihr Training erst entwickeln.
Der Vorteil ist, bei der Inferenz sind sie extrem effizient, weil man pro Token eben nur 50 Milliarden Parameter aktiviert.
Und das Ergebnis ist deutlich besser als bei einem vergleichbaren dichten Modell mit 50 Milliarden Parameter.
So gleicht man den Aufwand aus.
Den höheren Aufwand beim Training nehmen wir in Kauf, weil wir davon ausgehen, dass das Modell viel, viel länger für Inferenz genutzt wird.
Auch viel mehr GPUs mit viel mehr Rechenleistung als beim Training.
Zumindest, wenn wir unseren Job gut gemacht und ein gutes Modell trainiert haben.
Die meisten Unternehmen werden ein Modell mit einer Billion Parametern wohl kaum betreiben können.
Trotzdem habt ihr die Gewichte veröffentlicht.
Wer profitiert davon?
Gute Frage.
Dieses Modell ist zum Beispiel dreimal kleiner als Kimi K3.
Es ist also ein großes Modell, im Gesamtvergleich aber trotzdem klein und dabei besser.
Gerade bei Coding und Cybersicherheit.
Bei Mistral beherrschen wir außerdem die Quantisierung von Modellen.
Das war damals auch das Thema meiner Doktorarbeit.
Wenn man das Modell quantisiert, etwa in FP4, lässt es sich auf vier GPUs betreiben, zum Beispiel auf NVIDIA GB300.
Das ist natürlich immer noch viel, aber dieses Budget können sich etwa Hochschulen und Forschungslabore leisten.
Sie bekommen so Zugang zu Spitzen-KI, um das Modell zu erforschen, es zu prüfen oder neue Einsatzmöglichkeiten zu finden, zum Beispiel für die Cyberabwehr.
Und dann sind da unsere Kunden und Unternehmen.
Ein Vorteil offener Gewichte ist, dass niemand einem den Zugang abschneiden kann.
Ihr habt ML4 komplett in euren eigenen Rechenzentren in Frankreich trainiert.
Wie viel vom Fortschritt geht auf diese eigene Infrastruktur zurück und was wäre ohne sie nicht möglich gewesen?
Dazu habe ich eine Anekdote und zwar zum Start des Pre-Trainings.
Das ist der erste Schritt.
Man hat zufällige Gewichte und startet die ersten Trainingsschritte.
Das ist immer eine große Debugging-Phase, besonders auf einem neuen Cluster.
Man muss sicherstellen, dass die richtigen Container und Versionen laufen, dass die Daten da sind, dass es keine Engpässe zwischen den GPUs gibt, dass die GPUs und auch die Festplatten in Ordnung sind.
Man muss viel prüfen.
Und wir haben das Modell in nur einer Nacht zum Laufen gebracht.
Das ist extrem kurz.
Geschafft haben wir das, weil unser Pre-Training-Team aus der Forschung und unser Cluster-Team gemeinsam in einem Raum saßen und zusammengearbeitet haben.
Mit einem Cloud-Anbieter hätte das Wochen gedauert, mit Kundensupport, Eskalationen und der Suche nach den richtigen Ansprechpartnern und Schnittstellen.
Es ist also eine Investition, die sich aber exponentiell auszahlt.
Und jetzt, wo wir wissen, wie dieser Cluster funktioniert und das Geschäft gelernt haben, können wir einen Teil dieser Leistung auch an andere Unternehmen vermieten.
Mistral hat die Gewichte jetzt erst nach einer Sicherheitsprüfung durch forschende Partnerunternehmen und Regierungsorganisationen veröffentlicht.
Was ist in den letzten Wochen zwischen der Preview und der Veröffentlichung der Gewichte passiert?
Wir wollten durch Beispiele aus der Praxis sicherstellen, dass die Ergebnisse aus den Benchmarks auch wirklich stimmen.
Wir hatten interne Tests, die zeigten, dass ML4 Schwachstellen besser finden und schließen kann als die Konkurrenz.
Für die Preview hatten wir also eine Grundlage, aber wir wollten externe Fachleute, die beurteilen, ob und wie das Modell funktioniert.
Eine Rückmeldung, die wir dabei oft bekommen haben, ist, dass das Modell etwas zu wortreich war.
Es hat zu viel geredet.
Dieses Feedback haben wir in den finalen Reinforcement-Learning-Durchlauf einfließen lassen.
Deshalb verbraucht die Open-Source-Version jetzt 50% weniger Tokens als die Version von vor gerade mal drei Wochen, bei gleicher Intelligenz.
Im Artificial Analysis Coding Index zum Beispiel sind wir das beste Open-Wade-Modell und gleichzeitig 50% effizienter als die Vorversion und auch als die Konkurrenz.
Ich habe mit Misstreiz wissenschaftlichem Lighthapier Stock noch ausführlicher über den Entwicklungsprozess von ML4, den Wettbewerb mit US-amerikanischen und chinesischen Firmen und den Stellenwert eigener Frontier-Modelle für die Souveränität Europas gesprochen.
Das ganze Interview hört ihr im nächsten Deep Dive des KI-Updates in einer Woche.
Das kanadisch-deutsche KI-Unternehmen Cohear hat eine Rekordfinanzierung abgeschlossen.
Angeführt wird die Runde von der Schwarz-Gruppe, zu der Lidl und Kaufland gehören.
Auch die kanadische Regierung und Nvidia beteiligen sich.
Cohear hatte in diesem Jahr Aleph Alpha aus Heidelberg übernommen.
Das Unternehmen setzt auf souveräne KI für Firmen und Regierungen.
Seine Modelle lassen sich in privaten Clouds oder isolierten Umgebungen betreiben, unabhängig von großen US-Anbietern.
Das ist ein wichtiges Argument für stark regulierte Branchen.
Die Schwarzgruppe will die Modelle jetzt in ihre eigene Cloud einbinden.
Mit dem Kapital will Cohere Modellentwicklung, Infrastruktur und Expansion ausbauen.
Beobachter sehen daran auch eine Vorbereitung auf einen möglichen Börsengang.
Erst vor vier Wochen hat Google sein Spitzenmodell Gemini Argon freigegeben.
Da lässt es schon das nächste Spitzenmodell vom Stapel laufen.
Es heißt… Carbon und löst Argon ab.
Allerdings bleibt der Zugang zunächst beschränkt.
Google folgt damit einer Aufforderung des Weißen Hauses und öffnet das Modell vorerst nur für US-Geheimdienste und ausgewählte Partner.
Denn Carbons Stärke liegt laut Google in der Entwicklung von Angriffen auf Software und im Schließen von Sicherheitslücken.
In mehreren Benchmarks übertrifft es Argon und Konkurrenzmodelle.
Carbon soll weniger halluzinieren und bei Unklarheiten öfter nachfragen.
Als KI-Agent könne es zudem tagelang an schwierigen Programmieraufgaben arbeiten.
Angriffe per Prompt Injection seien laut Google bisher nicht gelungen.
Ob und wann Carbon allgemein verfügbar wird, ist noch unklar.
Ein Experiment von Anthropic zeigt, wie stark KI-Agenten das Urteil von Fachleuten prägen können.
Die Teilnehmenden folgten meist den Empfehlungen der KI und hielten das Ergebnis trotzdem für ihr eigenes.
Jonathan Kemper von The Decoder erklärt, wie die Studie aufgebaut war.
Für die Studie haben 50 Fachleute für Statistik gemeinsam mit einem KI-Agenten Daten ausgewertet.
Es ging um einen fiktiven Verbund aus Bauernhöfen und um die Frage, ob ein Beratungsprogramm die Höfe produktiver macht.
Am Ende sollten die Fachleute empfehlen, das Programm auszuweiten oder einzustellen.
Auf dem Weg dahin standen mehrere Entscheidungen an, für die es keine eindeutig richtige Lösung gibt, etwa wie man Produktivität misst oder welche statistische Methode passt.
Für jede Entscheidung gab es zwei vertretbare Optionen.
Welche davon der Agent empfiehlt, hatten die Forschenden vorab zufällig festgelegt.
Der Agent war angewiesen, nur korrekte Angaben zu machen und alle Daten offen zu legen.
Er sollte lediglich die stärksten Argumente für seine Option anführen.
In 86% der Fälle entschieden sich die Fachleute für die Option des Agenten.
Auch wer sich vorher schon festgelegt hatte, wechselte oft die Seite.
Berufserfahrung, Fachwissen oder Vertrauen in KI machten dabei keinen erkennbaren Unterschied, Allerdings ist die Stichprobe für solche Aussagen recht klein.
Auf die abschließende Empfehlung hatte der Agent kaum direkten Einfluss.
Sie beruhte aber auf der berechneten Produktivität und die hing von den Entscheidungen davor ab.
Trotzdem hielt gut die Hälfte der Teilnehmenden die Empfehlung eher für ihre eigene.
Viele begründeten sie mit Argumenten des Agenten, teils fast wortgleich, die KI selbst erwähnten dabei aber nur wenige.
Gleichzeitig arbeiteten die Fachleute mit KI schneller und machten deutlich weniger schwere Fehler.
Die Forschenden sehen vor allem ein Risiko für die Wissenschaft.
Wenn viele Teams dasselbe Modell nutzen, könnten sie sich nur scheinbar einig sein.
Heikel wäre das auch bei der Sicherheitsprüfung neuer KI-Modelle, für die Forschenden zunehmend selbst KI-Agenten einsetzen.
Anthropic schlägt deshalb vor, dass Agenten bei solchen Entscheidungen beide Optionen gleichwertig darstellen oder die Fachleute zuerst nach ihrer eigenen Einschätzung fragen.
Vielen Dank, Jonathan.
GitHub vereinfacht die Lizenzverwaltung für Unternehmen.
Das neue Modell heißt Copilot Access.
Wer eine Enterprise Cloud Lizenz besitzt, erhält den KI-Assistenten künftig ohne Zusatzgebühr.
Bestehende Kunden dürfen ihren Tarif behalten oder freiwillig wechseln.
Zusätzlich führt GitHub den Modell-Router Copilot Fusion ein.
Er wählt für jede Anfrage das passende KI-Modell aus, auch lokal installierte, und soll so einen Großteil der Tokenkosten sparen.
Oracle hat auf der Oracle AI World in Las Vegas die Deep Trust AI Architecture vorgestellt.
Sie führt Funktionen aus Oracle AI Database, Autonomous AI Database und dem Apex AI Application Generator zusammen.
Sicherheits- und Geschäftsregeln sollen durch die Bündelung nun unabhängig davon greifen, welcher Anwendung oder welcher KI-Agent auf Unternehmensdaten zugreift.
Mit Deep Data Security sollen Administratoren Zugriffsregeln für Nutzende direkt in der Oracle AI Database festlegen.
Oracle App Composer soll die Bereitstellung und den Betrieb von Anwendungen übernehmen, die Beschäftigte beispielsweise mit Codex erstellen.
Der Dienst AI Security Mesh lässt KI-Agenten nach Schwachstellen und Angriffspfaden suchen.
Vorgeschlagene Korrekturen werden zur Prüfung vorgelegt und erneut getestet.
Darüber hinaus vertieft Oracle die Zusammenarbeit mit OpenAI.
Im neuen AI Workspace können Beschäftigte per ChatGPT ein Geschäftsziel beschreiben, woraufhin die KI Informationen aus den verbundenen Systemen zusammenführt und die erforderlichen Schritte koordiniert.
Um sich vor KI-generierten Klonen ihrer Spiele zu schützen, sollen Indie-Entwickler eine treue Community aufbauen und regelmäßiger Updates veröffentlichen.
Das im Fall war Steam Business Team bei einer Entwicklerveranstaltung für koreanische Studios.
Eine echte Lösung ist das nicht, sagt Daniel Herbig von heise online.
Also eine Sorge, die Entwickler da auf dieser Konferenz geäußert haben, ist eben die Angst vor KI-Klonen ihrer Videospiele.
Gerade Indie-Spiele sind ja teilweise kommen eben über die Spielidee oft und nicht unbedingt über die Produktionswerte.
Und so Spielideen kann man natürlich recht schnell mit KI nachstellen.
Und das ging halt so weit, dass manche Entwickler meinten, sie trauen sich nicht, Demos von ihren Spielen zu veröffentlichen.
Eben aus Sorge dafür, dass dann andere KI-Klone davon erstellen könnten.
Das gab wohl sogar schon Beispiele von Erpressungen, wo dann Erpresser eben meinten, zahle mir diesen und jenen Betrag oder ich baue dein Spiel mit KI nach.
Und davon waren dann, glaube ich, auch die Valve-Angestellten ein bisschen überrumpelt.
So eine Patentlösung hatten sie zumindest nicht parat.
Also sie meinten auch, sie hören zum ersten Mal von solchen Fällen und sie sehen sich jetzt nicht unbedingt als KI-Gatekeeper und Erpressungsversuche müsse man halt an Behörden melden.
Und dass gute Spielideen geklont werden, sei jetzt eben auch nicht neu.
Es geht jetzt eben nur eben deutlich schneller.
Also ja, Valve...
Wirkt da auch ein bisschen ratlos, sag ich mal.
Also wie sollte so eine Lösung für dieses Problem auch aussehen?
Das ist natürlich ein Problem, dass jetzt gerade die Videospielbranche völlig überrumpelt.
Und mit anderen Softwarebranchen ist es ja gerade auch so.
Und ja, wer wird das auf jeden Fall nicht im Alleingang lösen können?
Dankeschön, Daniel.
Der malaysische Zoll hat am Flughafen von Kuala Lumpur Server mit leistungsfähigen KI-Chips beschlagnahmt.
Die Lieferung war als gewöhnliche Elektronik deklariert.
Herkunfts- und Zielland nannten die Behörden nicht.
Sie vermuten dahinter jedoch ein organisiertes Netzwerk, das Malaysia als Transitland nutzt, um Exportbeschränkungen zu umgehen.
Es handelt sich hier bereits um den fünften Fall, den die Ermittler der Gruppe zuordnen.
Festnahmen gab es bislang jedoch noch nicht.
Malaysia hat seine Kontrollen für KI-Chips unter politischem Druck der USA in letzter Zeit verschärft.
Washington will verhindern, dass China Zugang zu Halbleitern für KI und für das Militär erhält.
Amazon hat fünf neue Geräte mit dem KI-Assistenten Alexa vorgestellt.
Der Lautsprecher Echo Studio 3 besitzt eine Kamera.
Sie erkennt, wer spricht und spielt passende Musik.
Außerdem soll Alexa Gegenstände erkennen und Fragen dazu beantworten.
Der Wecker Echo Time analysiert per Ultraschall die Atmung und weckt Schlafende in einer leichten Schlafphase.
Auch der Echo Dot 6 bekommt einen stärkeren KI-Chip und mehr Smart Home Funkstandards.
Diese drei Geräte sind in Deutschland erhältlich.
Zunächst nur in den USA starten ein digitaler Bilderrahmen, der Fotos per Zuriff auswählt und das Smart Display Echo Show 16, dessen neue Oberfläche verschiedene Themen automatisch bündelt und Inhalte per KI anordnet.
Das war das KI-Update von heise online vom 30.
Oktober 2026.
Eine neue Folge gibt es montags, mittwochs und freitags ab 15 Uhr.