# Regulating AI Superintelligence: Strategy and Market Dynamics

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-10-23

## Transcript

Das KI-Update – ein heiser Podcast mit redaktioneller Unterstützung von The Decoder.
Hallo, ich bin Isabel Grünewald und dies ist unser Deep Dive zum Wochenende.
Als die Entwickler Dario Amadei und Sam Altman vor wenigen Wochen noch einmal eindringlich vor den Gefahren der eigenen Technologie warnten, tauchte auch der Ausdruck Superintelligenz immer wieder auf.
Ortman sprach schon vor einem Jahr davon, dass bis zum Ende des Jahrzehnts KI in der Lage sein wird, Dinge zu tun und wissenschaftliche Entdeckungen zu machen, zu den Menschen allein nicht in der Lage wären.
Und dieser Zeithorizont schrumpft mit jedem neuen, mächtigeren KI-Modell weiter zusammen.
Damit ist das erklärte Ziel längst nicht mehr nur eine allgemeine künstliche Intelligenz, die AGI, die in etwa so intelligent ist wie ein Durchschnittsmensch.
Nein, eine KI soll in allen Bereichen besser sein als ein Mensch, eben superintelligent.
Nicht alle teilen Ortmans Enthusiasmus dafür.
Dazu gehört auch Benjamin Balde.
Der Tech-Unternehmer leitet die Aktivitäten von Control AI in Deutschland.
Die Nichtregierungsorganisation setzt sich bei Politikerinnen und Politikern in den USA, Kanada, Großbritannien und jetzt eben auch hier bei uns dafür ein, dass dieser Schritt über die Grenzen der menschlichen Intelligenz hinaus gesetzlich verboten wird.
Weil eine Technologie, die uns in allem übertrifft, von uns auch nicht mehr kontrolliert werden könnte.
Hallo Benjamin, schön, dass du heute da bist.
Hallo Isabel.
Mal so, um eine Grundlinie zu schaffen, nach all den Horrorszenarien, was KI angeblich kann oder was sie auch nicht kann oder was Hype ist oder auch nicht.
Was kann KI heute und...
Worauf arbeiten die KI-Konzerne gerade hin, dass sie können soll?
Ja, so KI kann heute wahrscheinlich schon besser programmieren als der Großteil aller Menschen und mittlerweile wahrscheinlich auch als der Großteil der programmierenden Leute.
Ich kenne keinen einzigen Programmierer mehr, der nicht zumindest irgendwo noch ein KI-Tool am Benutzen ist, sei es für das Generieren von Code, das Überprüfen oder sei es auch, wenn man einfach nur mal ein paar kompliziertere Merges.
überdenken muss.
Das gleiche gilt für viele andere Teilbestände, also von der KI-Entwicklung.
KI übernimmt heute schon bis zu 26 Prozent der KI-Forschung selber.
Das ist jetzt eine Zahl, die Anthropik so rausgegeben hat.
Sollte man immer mit einer Prise Salz mitnehmen.
Aber KI macht heute schon einen Großteil der Forschungsarbeit mit.
Genauso sehen wir, dass KI auch heute schon mathematische Probleme lösen kann.
Da hatte OpenAI ja erst vor kurzem einen riesigen Tag, wo sie einfach mal hunderte offene Probleme in der Mathematik einfach getackelt haben und gelöst haben.
Und da sehen wir, dass ein paar dieser Beweise, wenn die ein Mensch vollbracht hätte, wahrscheinlich zu einer Fields-Medaille geführt hätten, also dem Nobelpreis-Äquivalent aus der Mathematik.
Wir sehen die KI auch in vielen anderen Bereichen, wo sie Geschwindigkeit erhöht.
Also seien es noch ältere Sachen wie Alpha-Fold, die natürlich dann in diesem Protein-Falt-Problem, in der Erforschung neuer Proteine, die Geschwindigkeit massiv erhöht haben, aber auch in der Erkennung, In radiologischen Bildern, da hilft KI heute auch schon mittlerweile massiv.
Also es gibt eine Vielzahl an Dimensionen, wo KI entweder Menschen massiv schon am unterstützen ist, Preise extrem am senken ist oder den Menschen mittlerweile bei weitem überflügelt hat.
Wir sehen aber, dass es eine Art, da spricht man im Englischen von einem Jagged Frontier gibt.
Das heißt, in einzelnen Dimensionen ist die KI extrem stark.
wie die gerade eben besprochenen.
Es gibt aber immer noch einige Dimensionen, wo die KI auf einfache Falsstricke sozusagen reinfällt.
Hier muss man auf jeden Fall dazu sagen, dass das ja nicht das Ziel der KI-Unternehmen ist, generell in allen Bereichen gleichmäßig zu wachsen, sondern das Ziel der KI-Unternehmen ist es ja, die KI-Forschung zu automatisieren.
Aber Sie arbeiten ja auf die allgemeine künstliche Intelligenz hin, also zumindest OpenAI und Anthropic.
sagen das ganz offen, das ist eigentlich ihr Ziel und die müsste dann ja theoretisch alles können, oder?
Ja, also das Endziel ist ja wirklich, also das Endziel ist ja Superintelligenz.
Also sie wollen ja KI haben, die in allen Domänen besser ist als der Mensch.
Wohlgemerkt nicht die Superintelligenz, von der Trump gerade spricht, sondern eine echte Superintelligenz, die besser ist als das, was wir jetzt haben.
Genau, also das, was früher auf jeden Fall Superintelligenz genannt wurde, womit man ja KI meint, die die Menschen in allen Dimensionen überflügelt.
Und der jetzige Weg, den man sich vorstellt, um dahin zu kommen, ist, indem man die KI-Forschung automatisiert.
Also das heißt, es gibt Teilbestände, die brauche ich, um die nächste Generation an KI-Modellen zu entwickeln.
KI wird ja nicht klassisch programmiert, also ich schreibe ja nicht Zeile für Zeile, sondern ich entwickle eine Trainingsumgebung.
In dieser Trainingsumgebung habe ich dann einen evolutionären Algorithmus, der da durchläuft und da entwickelt sich dann dieses KI-System drin.
KI übernimmt mittlerweile einen Großteil der Programmierung dafür.
Das heißt, wenn wir uns angucken, dass intern die Unternehmen vielleicht 20, 24, 5 bis 10 Prozent des Nachfolgemodells mit Hilfe des vorherigen Modells erstellt haben, sind wir mittlerweile da schon bei 80, 90 Prozent, wo das Modell am unterstützen ist.
Das heißt nicht, dass die KI schon 80, 90 Prozent der KI-Forschung übernimmt, aber dass der Großteil des Codes, der geschrieben wird, von der KI selbst geschrieben wird.
Das heißt, wir sehen, dass sozusagen der Weg für die Unternehmen erstmal darüber führt, dass sie die KI-Forschung automatisieren und sobald sie das hinbekommen haben, kann es sein, dass man auch den Schritt einer AGI, wie man sich den vorher vorgestellt hat, also einer KI auf Menschen-Niveau, überspringt.
Das heißt, dass die KI schnell in vielen Domänen übermenschlich werden kann.
Ah, okay.
Und kommen daher jetzt auch diese Untergangsszenarien, vor denen Dario Amodei und seine Kollegen...
selber warnen von ihren eigenen Produkten, die angeblich so mächtig sind, dass sie uns auch einfach mal auslöschen können?
Ja, da muss man dazu sagen, dass Dario zum Beispiel schon seit mindestens 13 Jahren darüber am warnen ist.
Das war, bevor er noch bei OpenAI war und da der Research-Chef war.
Das war noch, bevor er Anthropic gegründet hat offensichtlich.
Auch andere Leute wie Sam Ortman haben auch schon vor über zehn Jahren davor gewarnt.
Viele von den Leuten kommen ja aus dem Feld und beschäftigen sich mit der Thematik, weil sie ja auch eine große Gefahr darin sehen, was diese Technologie, wozu sie in der Lage sein wird.
Auf der einen Seite sehen wir, dass man diese ganzen Sachen schon gesagt hat, als GPT-2 damals rausgekommen ist.
Also das KI-Modell, was noch gar nicht Chat-GPT war, sogar schon noch davor.
Woran liegt das?
Die Leute haben sich quasi vorgestellt, dass wenn diese unterliegende Architektur skalierbar ist, wir zu immer leistungsfähigeren Modellen kommen und dass diese Modelle dann halt dazu in der Lage sind, immer größere und komplizierter Probleme zu lösen.
Wenn wir, das nennt sich Alignment, also die Ausrichtung der KI, wenn wir das nicht gemeistert haben, dass uns dann sozusagen die Kontrolle über die Systeme entgleisen wird.
Wenn man von so einem Untergangsszenario spricht, dann muss das nicht unbedingt irgendwie ein Terminator-Szenario sein oder ein Szenario, wo die Killer-Drohnen losfliegen, sondern es geht auch unterliegend darum, dass der Mensch in der Kontrolle darüber ist, was als nächstes passiert.
Und wir sehen, dass der Mensch sich zumindest im Kontext von KI auch pöpö am Entmachten ist.
Wir lagern mehr Verantwortung und Entscheidungen an KI-Systeme aus.
Und zu einem gewissen Grad muss man das natürlich auch in einer immer komplizierter werdenden Welt machen.
Gerade wenn man zum Beispiel auch von Abwehrsystemen redet.
Viele Systeme müssen schneller funktionieren, als ein Mensch eine Entscheidung treffen kann.
Dennoch müssen wir uns Gedanken darüber machen, wir sind die ganzen Systeme insgesamt aufgesetzt und wo hat der Mensch sozusagen noch Entscheidungsspielraum.
Das heißt, das, wovor auch unter anderem gewarnt wird, ist, dass wir sehen, dass die Systeme immer leistungsfähiger werden in allen möglichen Domänen.
die uns sozusagen dann in den meisten Dimensionen und Bereichen verdrängen können.
Natürlich sehen wir auch Fälle wie jetzt gerade bei dem OpenAI-Hugging-Face-Fall, dass wir die derzeitigen Modelle nicht mal wirklich einsperren können, nicht mal richtig kontrollieren können.
Das heißt, an vielen Fällen ist es natürlich...
dass der Mensch eine menschliche Übersicht hat.
Also ich kann eine sehr gute Sandbox konfigurieren.
Ich kann mir sehr viele Gedanken darüber machen, dass ich alle IT-Sicherheitsaspekte beachte.
Und dann ist es natürlich auch viel, viel schwieriger, dass so etwas wie bei diesem Fall passieren kann, wo ja die Produktivsysteme von OpenAI auch komprimiert worden sind.
Ich glaube aber, dass es wahrscheinlich nicht möglich ist, dass man zu 100 Prozent sauberen Code schreiben kann.
Also es gibt ja auch teilweise menschlichen Code, wo wir seit 28 Jahren keine Softwarelücken mehr gefunden haben.
Und dann finden die neuesten Modelle innerhalb von sechs Tagen mehrere Lücken, die denen vielleicht sogar Kernel-Zugang geben.
Und das wäre sozusagen die Fragestellung, die man sich hier stellen muss.
Wenn ich es mit einem immer schlauer werdenden oder stärker werdenden Akteur zu tun habe, wie lange kann ich mir halt noch sicher sein, dass ich überhaupt irgendeine Form von Gefängnis oder Einsperrung schaffen kann, die dann halt auch hält?
Jetzt ist ja so ein bisschen das Absurde an diesen Warnungen für den Leiden als Beobachter, also auch für mich.
Dass wir da sitzen und denken, okay, die warnen vor ihren eigenen Modellen, aber niemand hält ihnen irgendwie eine Pistole an den Kopf und sagt, du musst jetzt weiterentwickeln.
Man könnte doch einfach auch gerade aufhören oder man könnte doch auch sagen, das ist jetzt ein ganz gutes Niveau, da bleiben wir jetzt erstmal und versuchen dieses allein in den Griff zu kriegen, bevor wir weiterarbeiten.
Aber sie arbeiten trotzdem weiter und sagen, bitten andere darum, sie zu regulieren.
Warum?
Also wieso warnt man vor dem eigenen Produkt und hört dann nicht einfach auf, es zu machen?
Also da gibt es, glaube ich, mehrere Dimensionen, die man beachten muss.
Ich glaube, die wichtigste Komponente ist die Wettrennendynamik.
Das heißt, ein Aspekt ist ja, dass es innerhalb von Amerika ein Wettrennen gibt und dass es insgesamt ein Wettrennen gibt zwischen Amerika und China.
Das heißt, das immerere Wettrennen ist quasi, selbst wenn, sagen wir mal, Anthropic oder OpenAI sagen, wir pacen the frontier und wir verlangsamen jetzt bei uns, dann gibt es ja immer noch andere Partizipenten auf dem Markt, wie Google, Meta, die sich dann zum Beispiel nicht daran halten.
Und die können dann einfach den Markt aufessen, den sozusagen OpenAI und Anthropic gerade den anderen anbieten sind, weil sie da dann kein stärkeres Modell mehr rausbringen, sondern weil sie dann zum Beispiel mehr Computersourcen auf Alignment aufbringen.
Jetzt ist das zweite Komponente, die da dran hängt, dass wenn ich derjenige bin, der die Kosten für das Alignment trägt, der andere ja tendenziell weniger Kosten für Alignment trägt, weil ich möchte ja eigentlich, dass diese Alignment-Technologie in den Markt rein diffundiert.
Das heißt, ich habe kein Interesse daran, die Alignment-Sachen für mich zu behalten.
Das heißt, der Akteur, der sich sozusagen ethischer verhalten würde, würde jetzt gerade in unserer Marktsituation bestraft werden.
Das könnte man sich auch ein bisschen so vorstellen, wie wenn man sich vorstellt, in einer anderen ökonomischen Situation, wir haben zwei Marktteilnehmer, das könnte zum Beispiel auch einfach Treibstoff sein und der eine Treibstoffanbieter gibt zum Beispiel den Rabatt, den der Staat ihnen gegeben hat, direkt an die Bürger irgendwie weiter.
Aber das sorgt nicht unbedingt dafür, dass er irgendwie markttechnisch dafür belohnt wird, dass jetzt super viel mehr Leute bei ihm einkaufen, sondern er verliert einfach nur Geld im...
im Vergleich zum Beispiel dem Anbieter, der das nicht am Machen ist.
Das heißt, in dieser Situation würde der Markt ihn nicht dafür belohnen, dafür, dass er sozusagen den Preis senkt.
Und in dem Fall würde der Markt, Anthropic oder OpenAI oder wen auch immer, der jetzt als Erster defektet oder sozusagen sagt, ich bin nicht mehr beim Wettrennen dabei, würde diesen Teilnehmer bestrafen und würde den auch wahrscheinlich rausselektieren.
Jetzt kann man nochmal eine Ebene genauer reingehen.
Es wäre auch wahrscheinlich so, OpenAI ist mittlerweile ein Profitunternehmen, Anthropic genauso.
Wenn ich mir jetzt vorstelle, Der CEO sagt von einem profitgesteuerten Unternehmen, ich möchte jetzt nicht mehr das machen, was in der derzeitigen Marktsituation den meisten Profit erwirtschaftet.
Dann kann es einfach sein, dass der CEO ausgetauscht wird durch jemanden, der dann wieder Profit maximiert in der derzeitigen Marktsituation.
Jetzt muss man nochmal den Schritt raus machen und jetzt gehen wir auf die Makro-Ebene und schauen uns das Wettrennen zwischen Amerika und China an.
Wenn die ganzen amerikanischen Wettbewerbs-Teilnehmer pausieren, gibt es sicherlich einen Effekt, der auch nach China diffundiert, weil die Chinesen ja auch unter anderem Fortschritte dadurch machen, dass die die Modelle destillieren.
Das heißt, die nehmen sich ein großes amerikanisches Modell, quetschen das aus und können ein kleineres chinesisches Modell da machen, was aber viele von den Vorteilen irgendwie mitnimmt.
Viele, die das Wettrennen aus Amerikas Perspektive am Anheizen sind, heizen das ja an mit der Gefahr vor China.
Wenn wir jetzt nicht weitermachen, dann holen die Chinesen uns in sechs Monaten auf, dann ist unser Vorsprung weg und dann können sie permanente technologische Dominanz irgendwie mit der Hilfe von künstlicher Intelligenz erzielen.
Das heißt, ja, klar könnten die amerikanischen Teilnehmer jetzt zuerst sagen, wir stoppen, wir gehen in die Selbstverpflichtung rein, wir machen hier einiges.
Die Frage ist, was hat das dann für den globalen Effekt, wenn wir weiter in dieser Wettrennen-Dynamik sind?
Und viele von diesen Teilnehmern sind auch, glaube ich, sehr offen dafür, dass man eine Form von Regulation einführt, so wie ich das auch, glaube ich, bei vielen Unternehmen zum Beispiel in...
Deutschland oder in Europa sehe, wenn es um Klimafreundlichkeit geht.
Viele von den Unternehmen wären sehr viel breiter, glaube ich, auch viel mehr im Bereich Klimaschutz zu machen, wenn sie wüssten, dass das halt alle Teilnehmer auf der Welt irgendwie am Machen sind, weil das ja dann irgendwie diese fairen Gegebenheiten darstellt.
Und ich glaube, das ist sozusagen der eine Anspruch, warum man hier irgendwie an den Staat appelliert.
Und ich sehe das eigentlich auch selten in Branchen, dass...
unternehmerische Selbstregulation hilft.
Also bei Social Media Unternehmen hilft ja zum Beispiel auch keine Selbstregulation.
Da reguliert sich ja auch niemand selber.
Sondern wir könnten ja jetzt sagen, oh, liebe Facebook oder liebes Instagram, wie auch immer, welche Division, wir würden gerne, dass ihr mehr Bildungsinhalte an Jugendliche ausschüttet.
Das wäre doch netto positiv für die Gesellschaft.
Wir sehen nicht, dass irgendwie X und Facebook sich ein Wettrennen bieten, der kann mehr Bildungsinhalte an Jugendliche geben.
Also das passiert ja auch nicht über eine Selbstregulation, sondern da muss man halt, glaube ich, mit dem Staat reingehen.
Und der Staat hat ja auch aus einem Grund das Gewaltmonopol, damit er halt auch genau solche Marktgegebenheiten schaffen kann.
Und genau da setzt ja die Arbeit von Control.ai an.
Ihr seid...
Kann man das eine Lobbyorganisation, eine NGO, wie nennt ihr euch selber?
Wir sind eine Nichtregierungsorganisation.
Ich nehme lieber das liebere Wort Interessensvertreter, aber man kann natürlich auch Lobbyist sagen.
stehen halt dafür ein und sagen halt, okay, gut, wir haben ein großes Risiko in Bezug auf künstliche Superintelligenz, wo wir halt denken, wir können die derzeitigen Systeme nicht kontrollieren, wir wollen die zukünftigen Systeme kontrollieren, die mal ein Vielfaches noch leistungsfähiger sind, die euch wahrscheinlich sogar in den meisten Domänen bei Weitem überflügeln, sodass da einfach ein Abstand ist, also wie wenn man so jemanden überprüft.
Ich gebe immer die Metapher des Vierjährigen rein, der versuchen soll, den Erwachsenen ins Bett zu bringen.
Das wird sich als schwierig gestalten.
Und vielleicht gibt es irgendein System, eine Form von Rahmenbedingungen, unter der der Vierjährige das schaffen kann.
Aber ich glaube, ohne ein passendes System macht der Erwachsene, was er will, weil er halt stärker ist, mehr Wissen hat, weil er einfach mehr Möglichkeiten hat, auch Zugang zu mehr Ressourcen.
Und ja, die Systeme werden rapide, schneller, schneller, schlauer.
Und deswegen sollten wir uns, glaube ich, zügig Gedanken darüber machen, wie wir solche Rahmenbedingungen hinkriegen.
Jetzt arbeitet ihr ja schon eine ganze Zeit lang in den USA und Kanada und dem Vereinigten Königreich und jetzt auch in Deutschland.
Wie groß ist denn deiner Erfahrung nach das Wissen bei den ParlamentarierInnen über KI?
Verstehen die, was sie da regulieren sollen oder ist da sehr viel Erklärarbeit nötig?
Also wir haben ja in Deutschland das System, dass wir Fachpolitiker...
...bestimmte Thematiken haben und ich würde sagen, dass jeder Fachpolitiker, mit dem ich bis jetzt gesprochen habe, der sich mit KI auseinandersetzt, dass die sich auch damit auseinandergesetzt haben.
Also da fängt man nie bei null an, sondern die haben immer schon Informationen.
Jetzt muss man aber auch sagen, dass die meisten...
Politiker ja dann nicht nur KI-Politiker sind, sondern die kriegen dann noch ein zweites Thema und dann haben die noch einen zweiten Ausschuss, wo die drin sitzen und dann soll sich ja im besten Fall auch die Aufmerksamkeit gleichmäßig irgendwie auf die Themenfelder aufteilen.
Das heißt, ich glaube, die wenigsten Politiker, die auch KI behandeln, können sich einfach so viel mit KI auseinandersetzen wie ein externer Experte, der sich nur mit KI auseinandersetzt, weil ich einfach de facto mehr Zeit wahrscheinlich habe.
und mich die ganze Zeit auf das Thema konzentrieren bin.
Das heißt, ich glaube auch bei jedem Fachpolitiker ist eigentlich die Situation da, dass man nochmal so zwei, drei gute Informationen mit reingeben kann.
Und dann ist ja die eine Frage, die sich eigentlich jeder stellt.
Was ist denn der Lösungsvorschlag?
Was ist denn der Lösungsansatz?
Wie kann denn sowas aussehen?
Wie will man das denn eigentlich regulieren?
Und da muss man den Leuten, glaube ich, häufig immer nochmal so ein bisschen Fantasie mitgeben.
Also einerseits, Deutschland ist nicht ohnmächtig.
Wir sind nicht nur die drittgrößte Volkswirtschaft.
auf dem Planeten, sondern wir haben auch Hebel, also auf die Wertschöpfungskette von künstlicher Intelligenz.
Es gibt Europa.
Europa ist immer noch der größte Absatzmarkt für sowohl China als auch die USA, außerhalb des domestischen Marktes für deren eigenen Produkte, also explizit auch KI-Produkte.
Und das heißt, da muss man jetzt mal nochmal ein paar Werkzeuge wieder in die Hand geben und dann halt, wie kann so ein Regulierungsansatz aussehen.
Und da habe ich es in Deutschland und mein Kollege zum Beispiel in Brüssel auch, wir haben es relativ leicht, weil in Großbritannien letzten Monat schon ein Gesetzesvorschlag ins Parlament eingereicht wurde und in den USA ja ebenfalls.
In Amerika wurde der Superintelligence Act von Bernie Sanders und Greg Casar eingereicht und in Großbritannien die Superintelligence Bill von Alex Sobel.
Und da haben wir auf jeden Fall schon mal so ein paar Orientierungen.
Und dann ist es auch immer noch gut, wenn die Person von der Organisation kommt, die da mitberaten hat, die da mitgeholfen hat.
Das heißt, da sind dann auch die passenden Verbindungen da, wie man es halt machen kann und wie sowas halt aussehen kann.
Wie kann denn sowas aussehen?
Erzähl doch mal, was in diesen beiden Gesetzesentwürfen drinsteht.
Was für Regulierungen oder auch Verbote fordert ihr denn?
Ja, es ist wichtig, dass man das nochmal, glaube ich, klar macht, die Differenzierung zwischen Superintelligenz und allen anderen Arten von KI.
Der Großteil von KI-Anwendungen ist relativ harmlos oder hat Risikokategorien, die wir schon kennen.
Das heißt, wir kennen die Kategorie des Bias schon.
Wir kennen die Möglichkeiten, Desinformationen zu schaffen.
KI erhöht das natürlich.
Also heute kann ein Angreifer oder jemand...
aus dem Ausland relativ schnell Disinformationen produzieren, würde ich behaupten.
Dennoch sind das Kategorien, die wir schon kennen.
Superintelligenz kommt mit eigenständigen neuen Risiken daher, weil wir es noch nie mit einer Technologie zu tun hatten, die den Mensch selbst überflügeln kann oder die an sich diesen Grad an Autonomität aufweist.
Das heißt, da ist erstmal die große Differenzierung.
Was wir fordern, ist ein Verbot auf Superintelligenz, weil wir glauben, dass wir damit Skypell-artig reingehen können und damit erstmal den größten Teil der existenziellen Probleme, die irgendwie durch KI entstehen können, rausnehmen.
So ein Verbot auf Superintelligenz löst das Problem natürlich domestisch nicht.
Das heißt, jetzt sagen wir manchmal Deutschland und ich verbiete den Atomkrieg oder Atomwaffenlokal, dann ist damit noch nicht viel getan.
Wir glauben aber, dass das der erste essentielle Schritt ist, damit sich Nationen koordinieren können.
Das heißt, Deutschland sagt Superintelligenz.
sollte es global nicht geben, sollten wir nicht entwickeln.
Da kann man natürlich auch immer noch diesen Nebensatz dran fügen, dass Superintelligenz oder unkontrollierbare Superintelligenz, falls jemand eine kontrollierbare Superintelligenz kreieren könnte, das gerade fraglich, ob das theoretisch überhaupt machbar ist.
Ich bin wieder bei der Metapher von dem kleinen Kind und dem Erwachsenen.
Es gibt sicherlich vielleicht irgendein System, was die beiden aneinander erleint und das...
das kleine Kind dem Erwachsenen dann sagen kann, was er zu tun hat.
Müsste aber, glaube ich, ein sehr ausgefeiltes, sehr kompliziertes System sein.
Deswegen Frage, geht Superintelligenz kontrollierbar überhaupt?
Aber sagen wir mal, sie würde kontrollierbar gehen, dann kann man sie entwickeln.
Derzeitige Superintelligenz oder KI ist nicht vollständig kontrollierbar, deswegen sollte man sowas nicht machen.
Außerdem große Gefahr, dass man einen Nationalstaat damit einfach aushebeln kann.
Das heißt, wir wollen ein Verbot auf Superintelligenz.
Das geht dann von einzelnen Nationalstaaten aus, die sich aber dann international in einer Koalition einsetzen können, dass halt so ein internationales Sicherheitsregime entsteht.
Das kann vielfältige Formen annehmen.
Das muss kein klassisches Abkommen sein, was zehn Jahre lang verhandelt wird.
Das kann auch ein Vertrag sein, den China und USA zum Beispiel schließen und dann schließen sich Deutschland, Großbritannien, Kanada etc.
an und helfen zum Beispiel beim Verifizieren.
Da gibt es viele Möglichkeiten, wie es dazu kommen kann.
Der sollte aber, dieses Abkommen sollte aber beinhalten, keine Superintelligenz.
Keine reklusive Selbstverbesserung im generellen Domänen.
Mein Auto kann gerne versuchen, immer besser zu werden im Autofahren und auf dieser sehr schmalen Domäne.
Und dann erreichen wir vielleicht auch die Vision Zero, also dass vielleicht mal kein Mensch mehr im Straßenverkehr stirbt, weil die KI ist entweder die ganze Zeit im Hintergrund an und selbst wenn mal ein Mensch vor einem Baum fahren will, schaltet die KI sich ein und sorgt dafür, dass man vor dem Baum irgendwie abbremst.
Oder halt, falls irgendjemand vor das Auto rennt, das noch super splitzartig gebremst wird.
Oder fährt selber.
Also in schmalen Domänen kann die KI sich auch gerne selber weiterentwickeln.
Wir wollen aber keine generelle autonome KI, die den Menschen dann halt in einer vielfältigen Form von Feldern überflüssig auch machen würde.
Und das ist, glaube ich, so die Kerndifferenzierung.
Und da müssen wir uns natürlich Gedanken darüber machen, wenn jemand sowas entwickelt.
muss der bestraft werden.
Das heißt, wir müssen die Leute ja auch abschrecken.
Wenn jemand zum Beispiel Nuklearwaffen jetzt in seinem Garten anfängt zu entwickeln, kommt er auch ins Gefängnis.
Also wenn er dafür keine Lizenz hat.
Gleichzeitig brauchen wir auch wahrscheinlich Schutzmaßnahmen für Leute, die Informationen an diese Koalition oder an Staaten rantragen.
Das heißt, wenn ich jetzt zum Beispiel Ich bin nordkoreanischer Bürger und ich weiß, Nordkorea hat das Untergrund-Superintelligenz-Projekt gestartet.
Das ist unwahrscheinlich.
Nordkorea hat die Ressourcen dafür gar nicht.
Aber nehmen wir mal an, dass er als Brüsselblower vielleicht dann nach Amerika kommen könnte oder nach Deutschland kommen könnte, sagen kann, hier, ich habe diese Informationen, ich bin selber Forscher.
Und dass dem und seiner Familie dann vielleicht Unterschutz gewährt wird.
Also da gibt es viele Komponenten, die man in so einem Gesetz mitbehalten muss.
Wir müssen aber hier das Rad nicht neu erfinden.
Also wir haben als Menschheit schon mal internationale Regulation hinbekommen.
ABC Waffenkonvention ist hier ein gutes Stichwort.
Und wir sehen, dass viele der Ideen, die ich hier gerade am formulieren bin, eigentlich sehr analog zu den Dingen sind, die wir auch bei Nuclearwaffen haben.
Jetzt haben wir noch den Riesenvorteil, dass künstliche Superintelligenz zu bauen eigentlich nur für eine Handvoll Akteuren möglich ist, vielleicht zwei Hände voll.
Das heißt, es gibt vielleicht vier chinesische Konzerne, sechs amerikanische, die das machen können.
Ansonsten gibt es jetzt gerade keine großen Akteure auf dem Planeten, die dazu in der Lage wären.
Das heißt, auch die Übersicht und Verifikation von diesen Akteuren.
ist sehr, sehr überschaubar.
Okay, weil gerade da hätte ich gedacht, also bei Atomwaffen das zu kontrollieren, ist ja, sagen wir mal, relativ einfach, weil es halt strahlende Elemente gibt, die man nachverfolgen kann und finden kann.
Auch bei chemischen Waffen, du kannst eben diese Chemikalien irgendwie nachweisen.
Für eine Superintelligenz braucht man ja eigentlich nur die Rechenpower.
die man sich still und heimlich irgendwo hinstellen kann, ohne dass es jemand nachweisen kann, dass das das ist, woran ich gerade arbeite, oder?
Da würde ich sofort reingehen.
Jedes 1 Gigawatt-Datenzentrum ist eigentlich so groß, dass ich das aus dem Weltall mit dem nackten Auge sehen kann.
Die produzieren so viel Abwärme wie Kleinstädte.
Das heißt, nehmen wir mal einfach an, Russland, China, wer auch immer, setzt ein Untergrund-Datenzentrum irgendwo nach Sibirien oder in Xinjiang oder nach Tibet, dann würden wir sehen mit Thermalsensor-Satelliten, die um die Erde fliegen, warte mal kurz, per Satellitenbild oberflächlich leben da 3000 Leute.
Da wird so viel Abwärme produziert, wie als würden da 700.000 Menschen leben.
Da sollte man mal vielleicht den KI-Superintelligenz-Inspektor hinschicken und mal überprüfen, was da im Untergrund irgendwie am Laufen ist.
Okay.
Das heißt, dann gibt es noch weitere Punkte.
Für Uran gibt es einen Schwarzmarkt.
Es gibt Länder wie Nordkorea, die verkaufen Uran auf dem Schwarzmarkt.
Uran anzureichern, ist nicht kompliziert.
Ich kann mir Baupläne von den Sowjets aus den 80ern, 90ern ziehen und dann weiß ich, wie ich eine Zentrifuge baue.
Eine Zentrifuge zu betreiben, kostet nicht unfassbar viel Energie.
Deswegen kann man die auch in Berge reinsetzen, ohne da auf einen speziellen Akteur hinaus zu wollen.
Ich brauche nicht viele Leute, um das Ganze zu betreiben.
Das heißt, ich könnte mir wahrscheinlich ein paar normale Masterphysiker, Doktoranden holen, die vielleicht ein bisschen aus dem Bereich sind, 4, 5.
Dann würde ich mir mit einem Managementbudget von 10, 20 Millionen die einzelnen Einzelteile, es gibt ja auch mehr als einen Anbieter auf dem Schwarzmarkt für Uran, dann kriegt man wahrscheinlich schon so ein Atomwaffenprojekt gestartet.
Länder wie Indien und Pakistan sind ja trotz Nichtproliferation an Atomwaffen gekommen.
Ich glaube, das liegt daran, dass sozusagen von der Komplexität her sind Atomwaffen schon komplex, aber nicht so komplex.
Biowaffen sind ja die niedrighängigste Frucht.
Ohne jetzt zu erklären, wie das geht.
Man kann Biowaffen vor unter 10.000 Euro herstellen.
Und chemische Waffen halten sich auch eigentlich in einem Millionenerbereich.
Also Sachen zusammenzumixen, die eine chemische Waffe ergeben, ist nicht unfassbar kompliziert.
Bei der Superintelligenz, es gibt keinen Schwarzmarkt für 0,8 bis 1,6 Nanometer Chips.
Die Maschinen, die ich brauche, um das herzustellen, werden nur von einem Unternehmen auf der Welt, also die Chips werden nur von eigentlich einem Unternehmen hergestellt, das ist TSMC.
Es gibt nur einen Produzenten für Lithographiemaschinen, das ist ASML.
Es gibt nur einen Produzenten für die Optik, das ist Carl Zeiss hier in Deutschland.
Und keine Ahnung, 80 Prozent der weltweiten CO2 Laser, die in Lithographiemaschinen verbaut sind, sind von Trumpf, auch Deutschland.
Also es gibt so einzelne Monopolisten.
Micron und jetzt ist der Name von den sülkoreanischen Unternehmen mir entfallen, die ganz viel Memory haben.
Also Sülkorea hält 85 Prozent des Marktes in Memory.
Und Japan macht 50 Prozent der Silizium-Wave aus.
Also es gibt Monopolisten, die außerhalb von China und den USA liegen, wo man sagen kann, wenn der den Hahn jetzt zudreht, klar wäre das ein bisschen schmerzhaft für das Land und deren Profitmarge.
Aber dann hast du sofort einen Schock in der Wertschöpfungskette.
Also die Maschinen von ASML werden ja 400 Tage im Voraus bestellt.
Und die sind ausgebucht bis 2028.
Die haben jetzt gerade erst ihren Jahresumsatz irgendwie rausgebracht.
Die Chipproduktion kann ja gar nicht so schnell steigen, wie gerade der Bedarf ist.
Und das spiegelt sich ja dann auch quasi in der Börsen-Evaluation und sonst irgendwas wieder.
Also wir hätten bessere Interventionsmöglichkeiten als bei der Atomenergie, also bei Nuklearwaffen.
Es gibt viel weniger Akteure.
Ich habe noch zwei Dimensionen vergessen, Entschuldigung.
Kaum ein Akteur hat so viel Geld, um das zu machen.
Ich brauche ja 50 Milliarden, um irgendwie ein 5 Gigawatt-Datenzentrum oder sowas zu bauen.
Also es gibt kaum Akteure.
Jetzt sind wir jetzt schon irgendwie in einer Kategorie, da brauche ich einen staatlichen Akteur.
Und jetzt gibt es kaum Vorhaben.
die so gut sind, dass die ein großes Modell überhaupt trainieren können.
Es gibt auf der ganzen Welt vielleicht zwischen 10.000 und 50.000 KI-Forscher, die das machen könnten.
Okay.
Die meisten von denen sind schon bei Google, Microsoft, Anthropic, OpenAge und die kriegen sehr viel Geld bezahlt.
Also die zu poachen ist auch relativ schwierig.
Es gibt wenig Forscher, es gibt wenig Akteure, es gibt wenig Leute, die so viel Geld haben.
Es gibt so spezifische Stellen, wo man Verifikation einführen kann.
Und es sind ja kaum Akteure.
Also jedes kleine Start-up...
Die müssen nicht überprüft werden, die sind keine Superintelligenz am entwickeln.
Die meisten anderen Unternehmen, die auch in der Chip-Produktion oder sonst irgendwas sind, produzieren nicht für diese großen Anbieter in den Quantitäten, dass die relevant sind.
Das heißt, wir müssen ja auch nicht irgendwie jeden überprüfen, dass wir uns auch kein riesiges Bürokratiemonster werden, sondern man hat halt eine spezifische Anzahl an Akteuren, die man gut überwachen kann.
Okay, das räumt ja schon mal ein paar der Bedenken aus, die viele vielleicht so haben könnten.
Wie ist es denn, Um die restliche Forschung bestimmt, wenn man dieses Endziel der Superintelligenz da rausnehmen würde und sagen würde, das dürft ihr sowieso nicht, würde das vielleicht auch die Forschung generell verlangsamen in den Bereichen, wo man sagt, das ist aber total sinnvoll?
Also wenn ich jetzt zum Beispiel an die Medizin denke oder so?
Ja, also wir können in der Medizin die größten Vorteile mit schmaler KI kriegen.
Also das, was ja OpenAI sich immer auf die Fahne schreibt, ist ja, wir wollen Krebs lösen.
Stattdessen starten sie eine Social Media Plattform für ein Jahr, wo man mit KI generierten Inhalten jeden Menschen auf dem Planeten deepfaken kann.
Das ist nicht Krebslösen.
Also ich bin sehr offen dafür, dass diese Unternehmen sich auf das sehr profitable Geschäft von wir erforschen Medizin konzentrieren.
Damit kann man sicherlich auch viel Geld verdienen.
Damit kann man Menschen helfen.
Da ist ein geringeres Kontrollrisiko irgendwie mit dabei.
Es gibt genügend schmale Domänen, wo die Unternehmen sehr viel Geld machen können, wo die weiterforschen können, wo man auch spezifische Forschung betreiben kann.
Also ich bin immer noch ein Riesenfan von Google DeepMinds AlphaFold, weil AlphaFold halt einfach die Forschungskosten im Proteinbereich um einen Faktor einer Million gesenkt hat, Pi mal Daumen.
Und es ist schmal.
Also AlphaFold wird jetzt nicht irgendwie aus Versehen das australische Gesundheitsportal hacken.
Hust, Hust und MEI-Agenten.
Glaub also, dass sozusagen diese ganzen schmalen Sachen, bitte mehr davon, damit kann man auch gute Profitabilität erzielen.
Und es gibt ja mehrere Dimensionen als jetzt nur die Medizin.
Autonomes Fahren, Materialforschung.
Ich wäre dafür, dass mal jemand sich dransetzt und vielleicht versucht, eine KI zu finden, die eine Plastikderivat findet.
Es gibt ja einen Grund, warum wir Plastik überall benutzen.
Weil es hat ja schöne viele Eigenschaften.
Aber warum kann niemand ein Plastik finden, was biologisch abbaubar ist?
Ist vielleicht möglich.
Das klingt mir nach einem klassischen Suchproblem, für die KI-Systeme ja besonders gut geeignet sind.
AlphaFode ist ja auch am Ende dieses Suchproblem.
Ich suche sozusagen die passende Konfiguration an Aminosäuren, die dieses Protein ergibt.
Und da wäre das ja quasi, ich suche die Konfiguration an Stoffen, die die Eigenschaften von Plastik hat, also es beweglich, aber trotzdem fest, reißt nicht, ist aber vielleicht biologisch abbaubau oder ich gieße eine andere Chemikalie drauf und dann löst es sich auf.
Also viele coole Ideen, die man mit KI machen kann, wo die Unternehmen weiter forschen können, wo die viel Geld mitmachen können, aber wir nicht die ganzen Risiken haben.
Apropos viel Geld mitmachen, das ist ja ein anderes Problem der KI-Unternehmen, dass sie eigentlich kein Geld machen gerade.
Also sie bringen das Geld, was sie ausgeben, bekommen sie von Sponsoren und von Finanzrunden und von Investoren, aber nicht wirklich, weil sie mit ihren KI-Modellen Geld verdienen in dem Sinne.
Könnte es sein, dass sich dieses Superintelligenzproblem sowieso...
irgendwann löst, weil sie merken, wir können uns das eigentlich langfristig gar nicht leisten, daran weiter zu forschen, sondern wir müssen Geld verdienen und machen dann lieber die kleinen Sachen?
Das ist eine sehr interessante Frage grundsätzlich.
Anthropic ist mittlerweile Cashflow-positiv.
Ich würde aber mitgehen, dass der Punkt bei Anthropic, was deren positive Bilanz angeht, bedingt ist, weil ja die eine große Zentralisierung haben.
Also 2025 war 10 Prozent.
des Umsatzes von Anthropic-Waren, Mitarbeiter von Meta.
Also da gibt es so gewisse, also auch was Circular Financing etc.
angeht, wer sind die Kunden von den ganzen Leuten, Uberschraub zum Beispiel dann auf einmal zurück, wie viele KI-Tools können deren Mitarbeitende benutzen.
Viele Fragen, die irgendwie daran hängen.
Ich glaube, die KI-Unternehmen müssen nicht direkt profitabel sein.
Das beste Beispiel dafür sind für mich die Unternehmen, die aus der Dotcom-Blase herausgegangen sind.
Selbst wenn jetzt eine Blase entsteht und die platzt, das heißt es ja nicht, dass die unterliegende Technologie nicht trotzdem diesen Mehrwert für die Menschen hat, beziehungsweise nicht trotzdem immer noch mächtig ist.
Amazon ist für mich ein sehr, sehr gutes Beispiel.
Amazon war dekadenlang nicht profitabel, weil das, was die gemacht haben, jetzt kann ich ein bisschen theoretisch werten, es gibt dieses Modell ja des Plattformkapitalismus, wo die Idee ist, ich ersetze den Markt.
Und werde selber der Markt.
Das ist ja das, was Amazon macht.
Das ist ja das, was YouTube macht.
Es ist nicht die Frage, oder es ist auch was Google macht, es ist nicht die Frage, suche ich etwas im Internet, sondern google ich es.
Es ist bei Google vorhanden.
Oder hast du es auf YouTube geschaut?
Also die Plattformen versuchen, gewisse Teilaspekte der Öffentlichkeit dann halt zu privatisieren.
So würde ich zum Beispiel auch sagen, hat Facebook es essentiell geschafft, einen Teil auch der politischen Öffentlichkeit zum Beispiel zu privatisieren.
Und das heißt, dasselbe versuchen die KI-Anbieter natürlich auch.
Also die sind große Akteure, die eine Art von Plattform-Technologie natürlich auch haben.
Das heißt, die KI-Plattformen, die sie ja benutzen, auch die Infrastruktur, Coding-Tools etc.
sind massiv subventioniert.
Das machen sie, um die Adoption weiter voranzutreiben.
Das ist quasi dasselbe Modell, was auch dahinter ist, wenn Uber die ganze Zeit Gutscheine rausgibt.
Irgendwann sind die Leute darauf so sehr gepolt, um noch Uber zu benutzen und dann kann Uber halt...
die Preise anziehen, weil sie dann halt sozusagen die Vormachtstellung sozusagen haben.
Das heißt sozusagen, die Profitabilität bei vielen von diesen Unternehmen kommt erst nach hinten heraus.
Das heißt, sie können unfassbar lange Cashflow negativ sein.
Es ist quasi sozusagen nur die Frage, können sie den Markt verkaufen, dass da weiteres Wachstum drin ist?
Kann ich weiter wachsen?
Kann ich dem Markt sein?
Und dann kriegt man weiteres Kapital.
Dann kann man weiter als auch Growth-Aktie irgendwie gesehen werden.
Okay.
Das ist so ein bisschen hinter der Finanzierungskomponente.
Das heißt, ich glaube nicht, dass die Unternehmen zwangsweise jetzt unbedingt profitabel werden müssen.
Die werden weiterlaufen können.
Die kriegen ja natürlich auch immer weiter Cash rein, also spätestens, wenn sie nochmal eine IPO machen.
Und selbst wenn einer der Akteure implodiert, bin ich mir recht sicher, können die anderen den relativ gut absorbieren.
Also das heißt, nehmen wir mal einfach an, OpenAI geht bankrott, dann fällt der Großteil von OpenAI Daten, Intellektuellen, Recht etc.
nach meinem Verständnis, müsste das Microsoft zufallen.
Und Microsoft kann den Verlust, den sie in OpenAI investiert haben, wahrscheinlich ganz gut nehmen, dafür, dass sie dann halt die Plattform übernehmen können, die dann in Anführungszeichen Chat-GPT ist, dass sie dann viele Leute benutzen, in ihren Alltag integriert haben, die API benutzen und so weiter.
Und dass die unterliegende Technik sich natürlich weiterentwickelt.
Selbst wenn Anthropic und OpenAI beide...
explodieren sollten.
Google, kann ich mir nicht vorstellen, dass Google jetzt gerade irgendwie beim Brot gehen wird.
Too big to fail.
Keine.
Es ist auf jeden Fall gigantisch.
Und bei XAI, weil die Leute ja zum Beispiel jetzt auch mit der SpaceX IPO, ja Elon Musk noch mehr Geld gegeben haben.
Ich glaube auch nicht, dass der auf kürzere Hinsicht irgendwie an dem das Geld mangeln wird.
Und bei Amazon sieht es leider genauso aus.
Also das sind drei Giganten, wo ich mit unfassbar schwierig nur vorstellen kann, dass die, selbst wenn der Markt jetzt um 40, 50 Prozent fallen sollte, dass die aufhören, weil deren Profiterwartungen sind ja in den Billionen.
Deren Profitvorstellungen sind ja, wenn wir die intellektuelle Arbeit von einfach allen Menschen wegautomatisieren können, dann sind wir nicht nur in Anführungszeichen die Könige der Welt, sondern das ist das profitabelste Geschäft, was es gibt.
Es wird ja auch häufig immer über die letzte Entwicklung des Menschen gesprochen.
Ja, auch das Gruseligste, was das...
Gibt, glaube ich, gerade so die Vorstellung, dass wir alle, also wir Denkarbeiter alle mehr oder weniger überflüssig werden.
Aber das ist eine gesellschaftliche, keine technologische Diskussion, die man wahrscheinlich irgendwie führen sollte.
Fließt diese gesellschaftliche Komponente mit in eurer Arbeit ein oder ist es wirklich bei Control AI eher so dieser Fokus auf keine Superintelligenz wegen der technologischen Gefahren?
Das ist auch natürlich eine gesellschaftliche Komponente dabei.
Niemand hat ja die Welt gefragt, ob die ganze Welt Superintelligenz haben möchte.
Also ich würde mich zum Beispiel besser fühlen, nehmen wir mal einfach an, es gäbe eine gut funktionierende Basis demokratische Abstimmung und die ganze Welt kann abstimmen.
Wollen wir Superintelligenz ausprobieren und gucken und die Welt riskieren oder nicht?
Dann würde ich mich auf jeden Fall besser damit fühlen, als so wie es jetzt gerade am passieren ist.
Weil jetzt gerade wurde ja niemand gefragt.
Jetzt gerade entscheiden eine Handvoll.
CEOs, die sich vorstellen, dass sie unsterblich werden, mit der Maschine fusionieren können, dass sie die Galaxie kontrollieren können.
Also Teilsvorstellungen, die viele von denen haben.
Die haben diese Ideologie, treiben dieses unnachhaltige Wettrennen weiter voran und spielen halt, glaube ich, mit der Sicherheit und dem Risiko von vielen Bürgern.
Ich finde die Metapher eigentlich, dass...
Das ist so, als würde ich ein Kernkraftwerk bauen, aber ich habe keine Ahnung, wie ich ein Kernkraftwerk baue und um mich herum sind einfach andere Menschen.
Und die interessiert das halt nicht, weil die sitzen dann irgendwo anders und wenn das Kernkraftwerk in die Luft geht, dann sind das ja nur irgendwelche anderen Menschen.
Ich glaube, da ist eine gewisse Schwierigkeit mit dabei, bei den Akteuren selber.
Und dann natürlich, wir können mit allen gesellschaftlichen Fragen besser umgehen, wenn wir mehr Zeit haben.
Ich glaube, wenn wir rekursive Selbstverbesserung haben und Superintelligenz...
erzwingen, dann haben wir einfach weniger Zeit, dann können wir uns keine Gedanken über Arbeit machen, über was macht das mit den Beziehungen von Menschen, also all diese weiteren Fragestellungen oder was macht das mit Kindern, wie wird das überhaupt sein, wie sieht Bildung aus in der Zukunft, wie kann überhaupt eine Welt aussehen, wo wir den Großteil von vielleicht intellektueller Arbeit oder Arbeit, die am Computer stattfindet, automatisiert haben.
Wie sieht das im nächsten Schritt aus, wenn wir Robotik kriegen?
Das sind ja alles fundamentale gesellschaftliche Fragen, mit denen wir uns in den nächsten 40, 50 Jahren auseinandersetzen müssen.
Wir werden aber vielleicht diese Zeit einfach nicht haben, weil die Menge an Entwicklung, die einfach passiert, massiv erhöht wird, wenn wir immer leistungsfähigere Systeme bekommen.
Deswegen glaube ich, hängen die gesellschaftlichen Fragen auch immer mit aneinander.
Also wir brauchen mehr Zeit, um mit den gesellschaftlichen Fragen besser umgehen zu können.
Okay.
Zum Schluss nochmal, also um den Transparenz willen, wie genau finanziert sich die Arbeit von Control AI?
Ja, sehr gerne.
Control.ai ist spendenfinanziert.
Also wir erhalten von keinem der Länder, in denen wir aktiv sind, irgendwelche Förderungen oder irgendwelche Fördermittel.
Der größte Spender von Control.ai ist Jan Thalen, der betreibt seit, jetzt weiß ich nicht wie lange, also der interessiert sich, glaube ich, für dieses Thema Künstliche Intelligenz und seine Risiken seit über 20 Jahren.
Hat auch sehr viel dazu irgendwie veröffentlicht selber.
setzt sich auch viel für diese anderen existenziellen Themen ein, wie zum Beispiel Klimawandel, wie sieht es vielleicht auch mit anderen Themen ein, die so diese globale Ausspannung haben.
Und ja, das ist so, glaube ich, der größte Unterstützer von Control.ai, der so zu benennen ist.
Das ist der Gründer von?
Skype.
Der sitzt in Estland, also ist auch Europäer, was ich immer so eine ganz gute Komponente finde, dass das dann nicht alles irgendwie Silicon Valley Big Tech Guys sind.
Und wie viel Einfluss hat er als größter Spender auf eure Arbeit?
Gar nicht.
Also unser Funding ist nicht gegaden-fans.
Das heißt, uns wird nicht gesagt, ich soll jetzt mit dir zum Beispiel reden oder ich soll das machen oder das, sondern der mag die Arbeit, die wir gemacht haben.
Wir kriegen Summe X und dann entscheidet unser CEO Andrea.
Also wer entscheidet, was ich mache, ist mein CEO quasi.
Aber Jan Thalen sagt uns nicht, was wir zu tun haben.
Okay.
Nochmal auch provokative Frage, wie unterscheidet sich eure Arbeit denn von der Einflussnahme, also ihr wollt ja quasi unsere Gesetzgebung beeinflussen in eurem Sinne, wie unterscheidet sich das von dem Einfluss, den gerade die Tech-Unternehmen auf die Politik ausüben, der ja auch kritisiert wird?
Richtig.
Ich würde sagen, man kann sich die Frage sozusagen stellen, wer profitiert von was.
Also man kann sich diese Quo Vates-Frage stellen.
Und wenn man sich dann zum Beispiel anguckt, was für andere Regulationen an anderen Stellen, ich gehe jetzt auf nichts Explizites ein, um da niemanden spezifisch in die Pfanne zu hauen.
Aber dann sehe ich, dass der Mehraufwand irgendwie für deutsche Unternehmen, die klein oder im Mittelstand sind, um ein Massives steigt.
Die haben keine Compliance- oder Rechtsabteilung.
Und für andere Unternehmen, die substanziell größer sind, ist das kaum mehr Aufwand, weil die haben eine Rechtsabteilung.
Das, was wir vorschlagen, trifft vielleicht, wie ich schon sagte, ist darauf gezielt, auf vielleicht zehn globale Akteure, vielleicht 15 einzugehen.
Das sind die größten, von denen die größte Gefahr ausgeht.
Der Rest der Akteure ist vergleichsweise harmlos und tangiert uns an der Stelle nicht.
Das heißt, das ist sozusagen die Fragestellung oder sozusagen so das Bild, was ich einmal mitgeben würde.
Es wäre sehr, sehr komisch, also wenn wir irgendwie auf dasselbe hinaus wollen würden, wie zum Beispiel Einflussnahme von Google oder sowas oder von irgendeinem anderen Akteur, der jetzt irgendwie, irgendein anderer Big Tech Akteur, weil die wollen ja nicht auf das hinaus, was wir wollen.
Es ist jetzt lustig, wo...
an dem Tag, wo wir sprechen, ich glaube, vor zwei Tagen oder drei Tagen, ist von Anthropic eine Draft Bill rausgekommen, was die nicht vorstellen an KI-Regulation.
Ich empfehle jedem, der sich angucken möchte, wie unterscheidet sich Control AI und was wir wollen von dem, was Anthropic dann zum Beispiel irgendwie vorschlägt an Regulation oder an vorgestellter Regulation, ist ja noch nicht irgendwie offen oder sonst was, soll sich die beiden Gesetzesvorschläge angucken.
Wir versuchen, die großen, gefährlichen Akteure zu tacklen.
Und viel von dem, was ich da sehe, sieht mir wie Regulatory Capture aus, also die Vereinnahmung der Regulierungsbehörden durch verschiedene Unternehmen.
Und ich glaube, da ist einfach der große, große Unterschied zwischen.
Und ich glaube auch im Personal.
Also die Leute bei uns sind ja Leute, die technische Sicherheitsforscher waren, die versucht haben zu gucken, wie kann ich dafür sorgen, dass wir die KI vielleicht einsperren können, wenn die anderen die KI schon immer stärker machen.
Wie kann ich dafür sorgen, dass die zumindest das macht, was wir wollen.
Die einfach festgestellt haben, wir haben nicht genug Zeit dafür.
Die Sicherheitsforschung hinkt halt fünf bis zehn Jahre der Fähigkeitsforschung hinterher.
Die Fähigkeitsforschung kriegt 200 Mal mehr Geld.
Das ist eine sehr simple Milchmädchenrechnung, dass wir das Ganze nicht mehr einholen werden.
Das heißt, wir müssen halt einfach den einen Mechanismus benutzen als Menschheit, den wir haben, wenn wir sozusagen auf so ein Koordinationsproblem drauf steuern.
Und das ist Politik.
Das ist halt eine Form von Regulation.
Das ist halt eine Form von auch Demokratie, glaube ich.
Und das vergessen viele Leute ja auch.
Es ist auch...
eine demokratische Aufgabe, glaube ich, als Bürger, zu seinen Mandatsträgern zu gehen und denen zu sagen, ich sehe hier ein Problem, ich bin vielleicht Expertin für XY, hier, das sind meine Ideen, hier hast du ein Papier vor mir oder wenn du mich weiterleiten kannst, leite mich gerne weiter.
Und gerade wenn man sich auch Gedanken zu diesem Thema KI macht, einfach mal seinem Abgeordneten zu sagen, hey, ich schreibe einen Brief, ich schreibe eine E-Mail, ich rede vielleicht mal kurz mit dem, das kann Welten bewegen.
Weil wenn fünf Leute mal zu einem Abgeordneten gehen, manche Abgeordneten haben...
in mehreren Wochen vielleicht ein oder zwei Personen, die in das Wahlkreisbüro reinkommen.
Also das ist immer eine Möglichkeit, die man, glaube ich, wahrnehmen kann.
Und es ist wieder diese Frage, wer hat uns eigentlich gefragt, dass die das am Entwickeln sind?
Und ich glaube nicht, dass wir irgendwelchen Silicon Valley Tech-Oligarchs die Entscheidung darüber geben sollten, wo die technologische Entwicklung für die Menschheit hingeht.
Okay, also klarer Aufruf.
Wenn wir einen Gedanken dazu haben, könnten wir uns ruhig mal direkt an unsere politischen Vertreterinnen und Vertreter in Berlin wenden.
Würde ich immer empfehlen.
Eine letzte Frage zum Erwartungshorizont.
Der AI-Act, der ja momentan unsere einzige Regulierung ist, da gingen die Verhandlungen los, lange bevor ChatGPT veröffentlicht wurde.
Und selbst nach den langen Verhandlungen sagt man heute, es hapert an vielen Ecken und Enden und ist nicht ganz so, wie man sich das wünschen würde und greift nicht so, wie man sich das wünschen würde.
Wie wahrscheinlich ist es, dass so eine Regulierung tatsächlich in einem zeitlich absehbaren Rahmen kommt, um das Ganze einzuhegen?
Das ist eine gute Frage.
Ich gebe mal zwei Zahlen mit rein, um noch mal so ein kleines Gefühl zu geben.
Einige Experten gehen davon aus, dass wir in ein bis zwei Jahren rekursive Selbstverbesserung haben, also zu einem fast vollständigen Grad, also dass die KI-Forschung dann sich nochmal beschleunigen wird.
Wir reden jetzt gerade, wenn wir auf die letzten zwei Jahre gucken, von Verdopplungsraten von ungefähr unter 90 Tagen.
Das heißt, in einem Jahr für achtfachen sich die KI-Fähigkeiten, wenn nicht sogar ein bisschen mehr.
Wenn das noch schneller wird, haben wir noch mehr Veränderungen in einer noch kürzeren Zeit.
Das heißt, ich glaube, dass wir so schnell wie möglich zu einer Form von Regulierung hinkommen sollten.
Das heißt, selbst wenn sich diese Experten irren und es kommt erst in vier oder fünf Jahren, dass wir vielleicht sogar schon was haben, um das aufzufangen.
Der UAI Act konzentriert sich darauf, was wir machen, wenn Modelle auf den Markt kommen.
Wie wir bei OpenAI sehen, sind die Modelle aber schon ein Problem, wenn die nur trainiert werden und die dann intern betrieben werden, weil die dann schon einfach aus deren Produktivsystem rausflutschen können oder...
da schon irgendwie anfangen, das Unternehmen selbst zu komprimitieren.
Und dann geht es ja nochmal einen Ticken tiefer, wenn das System wirklich die Produktivsysteme von einem Unternehmen komprimitiert, dann kann es ja auch einfach sein, dass die Software, die ab dem Zeitpunkt von diesem Unternehmen veröffentlicht wird, also...
zum Beispiel bei Anthropic Cloud Code oder bei OpenAI Codex, dass das auch direkt komprimiert ist.
Das heißt, selbst wenn ich dann nicht mal irgendwie das neueste Modell benutze oder das neueste Modell sich nicht richtig verhält, kann es einfach sein, dass die Software und die restlichen Produkte von dem Unternehmen einfach mit Chartsoftware voll sind, sich erstmal verbreiten.
Ich muss das Szenario, glaube ich, nicht zu sehr ausführen.
Also es kann sein, dass wir in kürzester Zeit zu größeren Problemen kommen.
Den EU-EI-Act anzupassen, dauert Ewigkeiten.
Deswegen glauben wir, dass die Lösung halt unter anderem über die nationalen Parlamente geht, weil die schneller Sachen beschließen können und man danach international einfacher zu einer Form von Regulierung finden kann.
Es muss kein klassisches Treaty sein, was in der UN unterzeichnet wird, was zehn Jahre, 15 Jahre zum Verhandeln braucht.
Das kann man gerne parallel aufmachen.
Man sollte aber zuerst zu irgendeiner Form von Abkommen kommen, wo man sagt, okay, wir haben...
Gewisse Formen der Verifikation.
Wir haben einen Sanktionskatalog festgelegt.
Wir haben alle eh schon ein relativ ähnliches nationales Gesetz.
Synthetisieren wir das mal auf Spielregeln irgendwie international.
Der Prozess kann viel schneller gehen und der Prozess kann...
wenn man super optimistisch ist, in ein bis zwei Jahren komplett durch sein.
Ich sage immer, der Handlungswille steigt natürlich auch, wenn was passiert.
Ich habe es gesehen, dass nach dem Open-Eye-Hugging-Face-Vorfall viel Handlungswillen drin ist und dann passiert auch was und dann gibt es eine aktuelle Stunde im Bundestag und dann macht man hier nochmal eine Anhörung und ein paar Parlamentarier, die vorher nicht so richtig sich mit dem Thema vielleicht auch auseinandergesetzt haben, haben es jetzt auf dem Schirm.
Ich hoffe halt nur, dass es kein...
Und Leute sagen, es braucht einen Hiroshima oder Nagasaki, der KI, damit da richtiger politischer Handlungswillen entsteht.
Ich hoffe, dass es das nicht braucht.
Ich hoffe, dass man nicht irgendwie 15 Flugzeuge braucht, die aus dem Himmel am Fallen sind, bevor die Politik ins Handeln kommt und sagt, okay, KI ist zwar digital oder existiert auf dem Computer, aber kann halt Schaden in der echten Welt anrichten.
Und ich hoffe, es braucht halt nicht sowas, damit wir schon vorher handeln können.
Das sind so ein bisschen meine Zeitlinien.
Das heißt, ich glaube, es kann sehr schnell gehen, dass man ein Abkommen macht.
oder dass man einen Vertrag findet oder dass man auch ein nationales Gesetz verabschiedet.
Die Frage ist, wie schnell geht es unter den derzeitigen politischen Gegebenheiten und mit dem derzeitigen Kontext?
Ja, in meinem Kopf gehen gerade ganz viele Alarmglocken los.
Aber gut, vielleicht ändert der November ja auch ein bisschen die Richtung in den USA, in die es da gerade abdriftet.
Man wird schauen, wohin das geht.
Falls in unserem Publikum jetzt Menschen sind, die sagen, ich würde mich sehr gerne mit meinem Abgeordneten darüber unterhalten, werde ich den Link, unter dem man im Bundestag gucken kann, welche Abgeordnete eigentlich für einen zuständig ist, in den Shownotes verlinken.
Prima, vielen Dank, dass du da warst.
Vielen Dank, dass wir miteinander reden konnten.
Isabel hat sehr viel Spaß gemacht.
Das war's für heute.
Den nächsten Deep Dive hört ihr an dieser Stelle in zwei Wochen.
Es würde mich freuen, wenn ihr dann wieder dabei seid.
Bis dahin könnt ihr natürlich mit unserem kompakten KI-Update jeden Montag, Mittwoch und Freitag auf dem Laufenden bleiben.
Und falls ihr einen Deep Dive verpasst habt, findet ihr eine Sammlung aller Folgen auf heise.de slash thema slash ki minus update.
Den Link dahin findet ihr natürlich in den Shownotes.