# AI in Law: Efficiency, Liability, and the Rise of AI Slop

**Podcast:** Kollegin KI
**Published:** 2026-04-21

## Transcript

Sein Anwalt ist ein Chatbot.
Als ich das gelesen habe, musste ich ein bisschen schmunzeln.
Das war auf jeden Fall die Headline letzter Woche für mich.
Wenn ihr Kollegin KI Snackbox gehört habt am Freitag, dann wisst ihr schon, worum es ungefähr geht.
Für alle anderen, es geht um David Hinz.
David Hinz hat sich offenbar mit KI vor Gericht selbst verteidigt.
Und zwar erfolgreich.
Und das ist tatsächlich eine ziemlich crazy Story, die ich natürlich...
unbedingt tiefer bearbeiten muss hier.
Da müssen wir drüber sprechen und dafür habe ich mir Tobias Vossberg eingeladen.
Tobias Vossberg ist Anwalt für geistiges Eigentum und er ist Podcast-Host vom Podcast Jura und KI.
Und ich freue mich sehr, dass er heute hier ist und einmal mit mir diesen irren Fall aufrollt, beziehungsweise vielleicht grundsätzlich mal ein bisschen erzählt, wie KI eigentlich im Arbeitsalltag von Anwälten und Anwältinnen hilft.
Ihr hört Kollegin KI, ich bin Max Mundhenke.
Herzlich willkommen, Tobi.
Hi Max, danke für die Einladung.
Freut mich sehr, dass ich hier sein kann.
Ja, sehr gerne.
Schön, dass du so spontan Zeit gefunden hast.
Das war ja jetzt alles irgendwie relativ fix.
Die News sind aufgeploppt.
Ich habe dir geschrieben, habe gesagt, ey, wir müssen darüber reden.
Du bist ja jemand, der sich dann auch bei LinkedIn im Grunde über solche Sachen auch äußert.
Und dein Take fand ich ganz spannend.
Gucken wir uns einmal den Fall vielleicht zusammen an.
David Hinz ist wegen Betruges angeklagt gewesen und hat dann mit ChatGPT sich offenbar rausgeboxt.
Was ist da dran?
Also genau, das ist zumindest so ein bisschen der Spin, den die Medien aus diesem Fall gemacht haben oder wie die Medien den verstanden haben.
In der Realität war es so, dass gegen ihn ein Strafbefehl erlassen wurde.
Also er stand jetzt nicht vor Gericht und irgendwie Chachibiti hat ihm ins Ohr geflüstert, wie man es ja auch schon mal in den USA hatte, sondern gegen ihn wurde ein Strafbefehl erlassen.
Also das ist ein schriftliches Verfahren, womit quasi die Justiz ein bisschen entlastet werden soll, sodass so lauter Kleinkramfälle einfach tot gemacht werden, indem einfach geschaut wird, okay.
Worum geht es hier?
Dann schätzt man, wie hoch dein Eigentum ist und dann kriegst du eben eine kleine Geldstrafe per Post, ohne dass du jetzt irgendwo vor einem Richter sitzt.
Und er hat dann gegen diesen Strafbefehl Einspruch eingelegt und diesen Einspruch mithilfe von ChatGBT begründet, beziehungsweise einen Befangenheitsantrag gegen den Richter.
Aber er hat sich jetzt eben gerade nicht vor Gericht mit ChatGBT selbst verteidigt, auch wenn es ein bisschen in den Medien jetzt so anklang.
Ja, es klingt so ein bisschen so.
Ich habe mir das direkt bildlich vorgestellt, wie da so ein Roboter neben dem Angeklagten auf der Bank sitzt und den dann verteidigt.
Ganz so ist es natürlich nicht.
Okay, also er hat sich hier...
ChatGPT bedient, um im Grunde einen Antrag einzureichen.
So könnte man das uncool herunterdrücken.
Genau, ein Befangenheitsantrag gegen den Richter.
Und da muss man eben auch ein bisschen differenzieren, weil jetzt eben durch die Medien so geht.
Also dadurch, dass er die KI eingesetzt hat, wurde er am Ende freigesprochen.
Also so wirkt es ein bisschen so.
Aber so ist es nicht, sondern wir müssen hier zwischen zwei Sachen differenzieren.
Er hat mithilfe von ChatGPT einen Befangenheitsantrag eingelegt.
Dem wurde auch stattgegeben.
Also tatsächlich hat dann das Gericht gesagt, okay, der Richter hier ist befangen.
Das Verfahren wurde allerdings nicht eingestellt wegen irgendwas, was ChatGBT geschrieben hat, sondern aufgrund des Opportunitätsprinzips, also wo vereinfacht gesagt die Staatsanwaltschaft auch in bestimmten Fällen mal sagen kann, ja, okay, das ist hier so ein Kleinkram, verfolgen wir jetzt nicht weiter und stellen wir einfach ein.
Okay, und der hat jetzt auch nichts mehr zu befürchten?
Nee, das Verfahren ist dann jetzt durch für ihn, ja.
Würdest du anderen Leuten auch dazu raten, wenn sie einen Strafbefehl bekommen, einfach mal denen vielleicht einen Chat-GPT, einen eigenen Bot hauen vielleicht in so einen Custom-GPT und dann sagen, ja, ich schreibe jetzt hier mal einen Widerspruch oder Befangenheitsantrag oder so?
Das ist eine extrem gute Frage, weil Strafbefehle ein bisschen spezielles Thema sind, weil bei Strafbefehlen, da gibt es auch Untersuchungen dazu.
Das betrifft vor allem so ein bisschen benachteiligte Bevölkerungsgruppen.
Also da geht es, das ist einfach so ein bisschen so diese ganze Kleinkriminalität von irgendwie Schwarzfahren bis so kleinere Betrugsdelikte und sowas.
Weswegen es auch Kritik am Strafbefehlsverfahren gibt.
Weil eben viele gar nicht checken, was sie jetzt genau machen sollen, wenn du so einen Strafbefehl bekommst.
Du kriegst dann eben einen Brief und du checkst gar nicht, was sind eigentlich deine Rechte.
Was kannst du jetzt dagegen machen?
Kannst du dich da jetzt gegen noch verteidigen oder nicht?
Klar, kannst du immer zu einem Anwalt gehen.
Und deswegen muss man da so ein bisschen differenzieren.
Also ich würde natürlich als Jurist selbst sagen, oh, bloß nicht Chachibiti nehmen und da kann total viel schief gehen.
Aber man könnte natürlich auf der anderen Seite auch sagen, dass vielleicht vielen Leuten mit Chachibiti besser geholfen wäre als so, wie es jetzt aktuell ist.
Nämlich, dass die sich einfach dagegen gar nicht verteidigen und dann vielleicht am Ende sogar noch im Knast landen, weil sie die Geldstrafe nicht zahlen.
Vor allem ist Chachibiti natürlich deutlich günstiger als ein Anwalt.
Muss man ja an der Stelle mal sagen.
Also für 20 Euro im Monat kriege ich keinen Anwalt, der mir einen entsprechenden Widerspruch reißt.
Ja, und man muss auch sagen, also wenn man jetzt Cloud Opus nutzt und genau weiß, wie man die KI bedient in diesem Fall, dann kann ich mir auch vorstellen, dass da wirklich richtig gute Sachen rauskommen, ja.
Also weil hier in diesem Fall war eben das Besondere, dass da 18 Seiten Müll rauskamen und irgendwie trotzdem was dabei war, was dann wohl irgendwie dem Gericht gereicht hat.
Aber wenn du Cloud Opus, wenn er Cloud Opus benutzt hätte, wäre es garantiert viel besser gewesen.
Okay, es gibt also unterschiedliche Qualitätsstufen in den Large Language Models, natürlich, haben wir hier auch schon besprochen.
Jetzt sprichst du das natürlich schon an, da sind 18 Seiten Quatsch im Grunde entstanden, also 18 Seiten irgendwie, die ChatGPT ausgespuckt hat, die eingereicht wurden, das Ganze ist durchgegangen.
Ist das eine normale Länge für so einen Befangenheitsantrag?
Also ich mache kein Strafrecht.
Im Spiegelartikel stand dazu, irgendwie die normale Länge sind so zwei bis drei Seiten.
Das kann ich mir auch vorstellen.
18 Seiten.
Wir kennen ja, wie Chetty dann ist.
Der wird dann da noch rumgelabert haben mit Rechtsstaatsprinzip und sonst was.
Also ich wette davon waren wahrscheinlich 80 Prozent tatsächlich Quatsch.
Okay, genau darauf wollte ich hinaus.
Also am Ende des Tages ist das ja alles andere als effizient.
Also das hatte ich im Artikel natürlich auch gelesen und online auch ein bisschen recherchiert.
Das geht eigentlich deutlich kürzer und deutlich schnell, wenn man pontiert ist.
Aber gucken wir mal, du hattest die Modelle schon angesprochen.
Du bist ja nun selbst Anwalt, du arbeitest als Anwalt.
Nutzt du denn eigentlich KI, um irgendwie Schriftstücke aufzusetzen oder solche Sachen zu machen?
Ja, also ich benutze tatsächlich KI schon seit Dezember 2022 dazu, also seitdem ChatGBT 3.5 raus ist.
Also ich habe zum Anfang noch für irgendeinen Schwachsinn benutzt, wie wir alle.
Irgendwelche lustigen Gedichte mit Kumpels hin und her schicken oder so.
Aber gerade in dem Bereich, in dem ich tätig bin, nämlich im geistigen Eigentum, geht es total viel ums Storytelling.
selten geht es da wirklich jetzt darum, dass du die Sachen irgendwie rechtlich am Hochreck total entscheiden musst, sondern es geht am Ende darum, sehen jetzt zwei Produkte gleich aus.
Oder wie verstehen Verbraucher bestimmte Werbeaussagen, wenn du jetzt ein Produkt als klimaneutral bewirbst und es ist gar nicht klimaneutral, sondern du kompensierst nur die Ausstöße oder sowas.
Und das ist einfach unglaublich viel Schreiben, Erzählen, Storytelling und da ist natürlich KI mega geil.
Also es hat mir schon super früh geholfen, auch irgendwelche Studien.
einem Gericht zu erklären oder sowas.
Das ist echt Riesenhilfe da.
Was für Tools nutzt du da so?
Also ich habe ewig jetzt tatsächlich nur die Basismodelle benutzt.
Das Problem ist natürlich, darauf werden wir auch noch zu sprechen kommen, man kann die nur sehr eingeschränkt nutzen, weil du eben keine Mandantendaten reinknallen kannst.
Aber du kannst natürlich trotzdem jederzeit irgendeine Studie reinhauen und sagen, hier bereite mir die für ein Gericht auf oder so, solange da ...
sich nicht daraus ableiten lässt, wer jetzt deine Mandanten sind.
Das geht natürlich.
Und ansonsten hatte ich so durch unseren Podcast die Möglichkeit, eigentlich mal so alle Legal-AI-Tools, die es so gibt, zu testen, weil dieser Markt ist auch total riesig.
Ja, das stimmt.
Da gibt es tatsächlich auch in Deutschland Noxtour.
Ich bin über die mal gestolpert in der Recherche.
Das scheint irgendwie so das deutsche KI, ja.
ich weiß nicht, Lawyer-Tool schlechthin zu sein oder Legal-AI-Tool schlechthin.
Kennst du das?
Nutzt du das auch?
Und spart das am Ende viel Zeit?
Das ist ja immer die Frage, die man sich dann eigentlich stellt.
Genau, also in Deutschland gibt es Becnox Tour und Libra.
Das sind so die zwei großen deutschen Tools.
Es gibt natürlich noch unzählige andere.
Also wir haben auch welche im Podcast getestet und da haben uns auch so lauter Kleinanbieter geschrieben, ja, warum habt ihr nicht noch uns getestet?
Also man kann jetzt natürlich nicht alle aufzählen.
Dann gibt es Legora aus Schweden und Havi aus den USA.
Das sind so die Platzhirsche auch mit insgesamt Milliardenbewertungen.
Und die Frage mit der Effizienzsteigerung, die ist wahnsinnig schwierig zu beantworten, weil es da noch nicht so richtig einen Benchmark gibt.
Also ich sitze andererseits auch immer noch, wenn ich diese Tools nutze, immer noch sechs, sieben Stunden an so einem Vertrag.
Und jetzt müsste man natürlich eigentlich dann einen Benchmark machen, wo man schaut, wie lange hätte ich denn gebraucht ohne diese Tools.
Vielleicht genauso lang.
Und man müsste schauen, welche Qualität es wäre rausgekommen, wenn ich sie nicht benutzt hätte.
Also eigentlich sind es verschiedene Faktoren, die man sich anschauen müsste.
Und da fehlt bisher noch so ein bisschen der Benchmark.
Aber in vielen Bereichen ist es natürlich eine irrsinnige Beschleunigung.
Also gerade wenn es so darum geht, ja, was steht eigentlich in dem und dem Vertrag drin?
Können wir das mal schnell erklären oder so?
Da ist das super geil und geht alles viel schneller.
Ich erinnere mich an so eine Studie aus den Frühzeiten der Large Language Models, wo es relativ schnell hieß, KI ist jetzt schon schneller und effizienter als Notare, weil Verträge einfach schneller gelesen werden können, auf Fehler hin überprüft werden können und so weiter.
Das heißt, man muss eigentlich jetzt gar nicht mehr eine Herrscher von Anwälten oder Notaren an so ein Schriftstück setzen, sondern kann das im Grunde mit einem Large Language Model checken.
Das Large Language Model weiß, worauf es zu achten hat und dann wirft es im Grunde die Passagen aus, die man irgendwie vielleicht nochmal überarbeiten sollte.
stelle ich mir das zumindest vor.
Ja, so stellt man sich es vor und das ist auch ein bisschen das Problem.
Das glaubt man auch, wenn man sich so den Markt anguckt, aber das ist tatsächlich noch überhaupt nicht so.
Es wird zwar schon seit drei Jahren erzählt, ja, dass jetzt durch die großen Anbieter alle Anwälte arbeitslos werden und man Unternehmenskäufe jetzt in zehn Minuten machen kann, statt in drei Monaten und so, aber das ist alles totaler Quatsch.
Also, weil da einfach das Haftungsrisiko von Anwälten Ist ja unendlich hoch.
Also wenn du so eine Transaktion verboxt und jetzt den Paramount-Deal deinetwegen an die Wand fährt, dann haftest du ja dafür.
Und da einfach nur KI-Modelle einmal rüber rattern zu lassen, wäre totaler Wahnsinn.
Also weil wir kennen es ja alle, deine HörerInnen ja auch, dieses Halluzinationsrisiko, auch dass eine KI dir einfach mal sagt, ja, in dem Dokument steht das und das drin, dann sagst du, das stimmt gar nicht.
Und der sagt dir auch so, hoppla, ja, ich konnte es nicht öffnen, die Datei ist kaputt.
Das macht es im Jura-Bereich super schwierig, das verlässlich zu benutzen.
Verstehe.
Du hattest in deinem LinkedIn-Post so ein bisschen salopp geschrieben, dass du durch KI eigentlich sogar mehr Arbeit zu tun hast.
Kannst du das vielleicht einfach nochmal erläutern?
Das fand ich sehr spannend.
Ja, das ist so ein bisschen ein Fakt, der noch nicht so richtig beleuchtet wird, finde ich.
Und zwar, es ist zwar auf der einen Seite natürlich so, dass viele Laien jetzt Arbeit mit KI selbst erledigen können und die dann vielleicht auch gar nicht bei den Mandanten ankommt.
Auch viele Rechtsabteilungen werden jetzt mit KI Sachen selbst erledigen, die sie früher vielleicht an der Kanzlei rausgegeben hätten.
Nur es ist andererseits aber die Kehrseite der Medaille, dass man jetzt als Anwalt auch wiederum mit unendlich AI-Slop der MandantInnen zugemüllt wird.
Wo es eben früher so war, früher hatte ich einen Mandant angeschrieben und gesagt, ja, hallo Herr Vossberg, ich wurde hier abgemahnt, Sie schreiben an bei.
Was machen wir denn jetzt?
Können wir mal telefonieren?
Und heute kriegst du dann eben von denen irgendwie drei Seiten mit irgendwelchen Bullets zu.
Ja, besonders fragen wir uns, ist das Zeichen überhaupt kennzeichnungskräftig und könnte man nicht bla bla bla, wo schon irgendeine Verteidigungsstrategie mit drin ist.
Und da kannst du natürlich als Anwalt sagen, ja wunderbar, wenn jetzt die Mandantin 30 Fragen hat, beantworte ich ihr die auch.
Mache ich mal die Uhr an und let's go.
Und früher hättest du zehn Minuten telefoniert und gesagt, ja, ich entwerfe ihnen mal ein kleines Schreiben für die Antwort.
Ja, okay.
Ich finde es super spannend, dass KI dann im Grunde eigentlich eher kontraproduktiv ist, zumindest für die Rechtssuchenden, die sonst eher zum Telefonhörer gegriffen haben und gesagt haben, okay, das ist das Dokument, kümmere dich drum.
Und jetzt tatsächlich versuchen, das erstmal selbst so weit herzuleiten.
Wahrscheinlich in der Annahme, dass man euch Anwälten damit Zeit spart oder dass man sich selbst Zeit spart.
Ja, auf jeden Fall.
Oder dass wir dadurch auf tolle Sachen kommen, auf die wir sonst nicht gekommen wären.
Aber es ist ein Riesenproblem.
Also die Behörden und Gerichte, die leiden total unter diesem AI-Slop.
Also weil da gerade natürlich so in der Sozialgerichtsbarkeit und so, wo du teilweise keinen Anwalt brauchst, werden die jetzt natürlich mit seitenweisen KI-Müll zugehauen.
So wie hier auch in unserem Strafrechtsbeispiel.
Und das ist echt schwierig für die.
Ja, natürlich eine Möglichkeit, es zu lassen, ist aber eher unwahrscheinlich.
Eine andere wäre natürlich, die Gerichte entsprechend auch so mit KI auszustatten, dass sie vielleicht ein bisschen vorfiltern können.
Ja, aber das wird in Deutschland auch noch dauern, leider.
Ja, verstehe.
Jetzt gibt es ja aber gewisse Prozesse, gewisse Verfahren, die laufen mehr oder weniger automatisiert.
Ich erinnere da gerne an so Konzepte wie Flightride.
Ja, wenn ihr irgendwie jetzt euren Flug verpasst habt, dann könnt ihr mit den Daten, die ihr zu diesem Flug habt, könnt ihr auf Flightride gehen, könnt die Daten eingeben und dann wird mehr oder weniger zumindest teilautomatisiert gecheckt, ob ihr einen Anspruch habt auf Entschädigung oder nicht.
Und das sind im Grunde...
Fälle, die sind an sich relativ schnell abgehandelt.
Die folgen immer dem Schema F und durch diese Repetitierbarkeit kann da durchaus ein Algorithmus oder auch KI schon helfen und natürlich so eine Ersteinschätzung geben.
Vielleicht kennt ihr das auch, wenn ihr irgendwie mal eine Website gebaut habt und ihr braucht ein Impressum und eine Datenschutzbestimmung.
Da gibt es Anbieter online, die generieren einem das.
Das sind Textblöcke.
Ihr gebt dann im Grunde ein, wo euer Gerichtsstand ist, wie er heißt und so weiter.
Und dann kriegt ihr Textblöcke und die könnt ihr rechtssicher für...
wenige Euro tatsächlich Copy-Pasten und auf eure entsprechenden Pages packen.
Jetzt gibt es natürlich solche Sachen und andere Sachen.
Wo ziehen wir denn da die Grenze, Tobi?
Weißt du, was kann man denn alles irgendwie automatisieren in Sachen Recht?
Ja, das ist ein sehr guter Punkt, den du da aufwirfst, weil in der öffentlichen Debatte das jetzt auch alles ein bisschen in einen Topf geworfen wird.
Also diese Automatisierung wie mit Flightright, die haben wir ja schon seit Jahren.
bevor es eben die Large Language Models gab, sondern das sind ja einfach nur, die werden da eben irgendwelche einfachen, in Anführungszeichen, Automatisierungslösungen haben.
Und diese ganze LLM-Diskussion, die hat total Fahrt in diesen Markt reingebracht, wodurch jetzt irgendwie alles so ein bisschen AI gewaschen wird und dadurch sich jetzt alle Kanzleien auch für bestimmte Probleme, die die haben, KI-Lösungen angucken, wo sie vielleicht gar keine KI bräuchten, sondern nur eine Automatisierung.
Kann eben auch sein.
Und die sich dann wirklich da die falschen Unternehmen auch pitchen lassen.
Und die Frage, wo man jetzt eben, ja, welche Grenze genau meinst du eigentlich?
Ja, ich meine, so ein schneller Strafprozess oder so.
Dann gebe ich dem Chatbot vielleicht die ganzen Aussagen auch transkribiert oder vielleicht sogar mit einem Videotranskript, dass man sieht, wie sich die Leute verhalten haben.
KI kann ja durchaus auch Stimmung erkennen und kann möglicherweise sogar besser als einen Richter oder eine Richterin erkennen.
könnte man sagen irgendwie, dass da eine Person gerade flunkert oder achtet vielleicht mehr auf gewisse Anzeichen.
Dann könnte man doch eigentlich unser gesamtes Rechtssystem automatisieren oder nicht?
Da würden wahrscheinlich jetzt viele sagen, oh, das ist ja eine totale Dystopie.
Das wird wahrscheinlich auch nicht gehen, weil so Sachen wie menschliche Verhaltenserkennung und so vom AI-Act verboten sind.
Aber ich sehe es grundsätzlich so wie du, dass in bestimmten Bereichen, glaube ich, eine KI sogar vielleicht ...
genauso gut Entscheidungen schreiben könnte wie so mancher Mensch, weil ich finde diese Diskussion, ehrlich gesagt, immer so ein bisschen scheinheilig, wenn gesagt wird, ja, aber der Mensch hat ja nur Empathie und die KI weiß ja gar nicht, wie die Stimmung vor Ort war und so weiter.
Und es gibt ja tausende Studien dazu, wie Richter auch biased sind und wie die vor und nach der Mittagspause entscheiden.
Richter sind natürlich auch ...
teilweise rassistisch oder haben Vorurteile, wenn sie da die Angeklagten sehen oder den Parteivortrag sich durchlesen oder haben vielleicht einfach an dem Tag keinen Bock, entscheiden heute so, morgen so.
Da sehe ich nicht, warum eine KI da jetzt schlechter geeignet sein sollte.
Also vor allem, wenn es so um Rechtsbereiche geht, wo es vielleicht auch wirklich richtige und falsche Antworten gibt.
Und ja, einfach nun mal eine KI, anders als jetzt der Richter, der am Amtsgericht sitzt, die KI ja nun mal vielleicht echt auch einfach 50.000 Urteile kennt und dann auch vielleicht viel mehr in einer Linie entscheiden kann mit anderen Gerichten als jetzt der Richter oder die Richterin.
Genau, der Wissensschatz ist natürlich deutlich größer als bei den Menschen.
Da hat uns die KI durchaus schon überholt.
Aber ich wollte mal sicherstellen, das ist nicht meine Meinung.
Also ich bin auf gar keinen Fall davon ein Befürworter dafür, dass sämtliche Strafverfahren auch irgendwie jetzt automatisiert ablaufen.
Auch wenn KI natürlich Menschen in gewisser Weise überlegen ist, Wissensschatz, Schnelligkeit, vielleicht auch wirklich dieses rein Datengetriebene.
Wenn man sich das Beispiel anguckt, in Albanien gibt es ja, glaube ich, eine Ministerin, die jetzt oder einen Ministerposten, der mehr oder weniger durch KI ersetzt wurde, auch wenn das ein riesen Marketing-Gag ist.
Ja, aber da geht es vor allem um Korruption, weil man sagt, hey, wenn du Anträge stellst auf Fördermittel oder irgendwie Ausschreibungen, dann brauchst du eigentlich gar keinen Menschen, den du möglicherweise auch einladen kannst zum Mittagessen.
und Hinterzimmergespräche führen kannst oder wie auch immer, sondern du brauchst nur die nackten Fakten, die Daten.
Und das ist im Grunde perfekt für KI.
Inwiefern das Ganze tatsächlich dann so auch umgesetzt wird, ist fraglich, auch wie die KI tatsächlich dann auch reagiert.
Weil eigentlich müsste die natürlich öffentlich sein, sodass Menschen wissen, wie entscheidet hier eine KI eigentlich, auf welcher Grundlage.
Und wenn das bewusst ist, dann könnte man das theoretisch natürlich als Antragsteller auch wieder ausnutzen.
Also es ist alles so ein bisschen der Marketing-Gag von der albanischen Regierung, die dafür wohl auch bekannt sein soll.
Aber genau das sind so Überlegungen, die man natürlich anstellen kann.
Aber ein Punkt, den du gerade gesagt hast, der ist eben im Bereich Jura und KI total wichtig, nämlich Jura ist natürlich eine wahnsinnig sprachgetriebene Wissenschaft und deswegen für Large Language Models natürlich wie gemacht.
Also weil es ist sprachbasiert und wahnsinnig wissensbasiert und beruht auch immer total auf dem Wissen, was eben schon in der Welt ist und was schon mal entschieden wurde und darum ist dieser Legal-AI-Markt total prädestiniert und eben so ein Milliardenmarkt, wie er jetzt auch in den letzten Jahren geworden ist.
Vorausgesetzt, er ist dann natürlich datenschutzkonform.
Kommen wir da vielleicht mal drauf.
Du hattest das schon angesprochen, du kannst in dieser Open-Modelle natürlich keine Mandanten-Sachen reingeben, keine personenbezogenen.
Wie erlebst du das auch mit den entsprechenden Legal-AI-Tools und den Sicherheitsbarrieren, Sicherheitslücken, die es vielleicht da auch gibt?
Wiegen wir uns da alle in Sicherheit oder sind wir vielleicht zu panisch auch mit KI-Tools?
Als es anfing mit KI, haben natürlich erstmal alle Kanzleien gesagt, nee, auf keinen Fall, das dürfen wir niemals benutzen, denn die Mandantendaten sind ja heilig und wer weiß, wo die landen und so.
Fun Fact, dieselbe Diskussion gab es damals bei der E-Mail auch.
Also da gab es auch die Riesendiskussion.
Jetzt sind wir natürlich völlig weg davon und alle benutzen jetzt auch Microsoft Outlook und so weiter.
Und dann haben irgendwann alle Kanzleien erstmal sich so ein eigenes ChatGBT gebaut und dann aber gemerkt, dass da eigentlich nur Müllball rauskommt und es jetzt auch keine Riesenhilfe ist.
Und deswegen dann angefangen, jetzt zu diesen League-AI-Anbietern, die ich am Anfang schon genannt habe, vor allem zu gehen, weil deren großes Versprechen gegenüber den Basismodellanbietern, also OpenAI und so weiter eben ist, dass du da...
Datenschutz- und berufsrechtskonform die Mandantendaten reinknallen kannst, weil die eben in Europa bleiben.
Die dürfen nicht in die USA gehen, wegen des Cloud-Acts, weil die US-Regierung ja die Möglichkeit hat, auf alle Daten zuzugreifen, die bei US-Anbietern liegen.
Deswegen darfst du eben als Anwalt nicht auf US-Server dein Kram hochladen.
Das kann eben auch strafbar sein, wenn du Mandantendaten verrätst, also weil du ja Berufsgeheimnisträger bist.
Und deswegen können tatsächlich diese ganzen AI-Anbieter richtig dankbar sein, dass hier die Regeln so streng sind, weil wenn sie es nicht wären, dann würden wahrscheinlich die meisten einfach mit Claude und so weiter arbeiten und nicht für ein paar hundert Euro so eine Lizenz abschließen.
Von der Sidenote machen natürlich wahrscheinlich aber schon unendlich viele.
So unter dem Stichpunkt Schatten-KI, weil ich meine, wie hoch ist die Wahrscheinlichkeit, dass es irgendwer rausfindet?
Also ich bin mir sicher, dass tausende Kollegen...
einfach alles in diese Basismodelle reinballern und sich darauf verlassen, dass es eh niemals rauskommt.
Ja, das ist halt immer die große Frage.
Also ich befasse mich damit ja auch, seitdem es KI irgendwie schon gibt, was passiert eigentlich, wenn ich Sachen in so eine offene Version reingebe?
Und die Gefahr, die ja immer besteht, ist, dass die Dateien oder die Anfragen, die man gestellt hat, dass die auch Teil der nächsten Iteration des Large Language Models werden.
Also die Daten werden knapp, das ist bekannt, das Internet ist mehr oder weniger abgefischt.
Deshalb versucht man, oder zumindest die Hyperscaler, die noch den Ansatz verfolgen, je mehr Daten in einem Large Language Model drin sind, desto besser ist es am Ende auch und performt am besten.
Es gibt mittlerweile andere Ansätze, so Small Language Models zum Beispiel, die dann sagen, wir brauchen hier vielleicht nicht die finnische Sprache, weil wir vielleicht auch gar nicht irgendwie da in der Zielgruppe unterwegs sind.
Genau und die Überlegung ist ja immer, wenn ich jetzt irgendwie hier meine Krankenakte irgendwie bei ChatGPT reinpacke und die auslesen lasse, dann ist diese Krankenakte für alle öffentlich verfügbar in Zukunft.
Also wenn ChatGPT dann irgendwie oder OpenAI mit dem nächsten Large Language Model um die Ecke kommt, dann könnte jeder fragen, wie ist eigentlich Max Krankenakte und dann könnte man die sehen.
Ganz so einfach ist es ja nicht, muss man sagen.
Also es ist erstmal nicht so, dass bei weitem nicht alle Daten irgendwie zu Trainingszwecken herangezogen werden.
Das würde auch absolutes Chaos geben bei den Anfragen, die da teilweise gestellt werden.
Auf der anderen Seite ist es natürlich eine rechtliche Unsicherheit, wenn man nicht genau weiß, was mit diesen Daten dann am Ende passiert.
Das Risiko wiederum, und das kann ich sagen, weil ich einfach selbst in der Krisenkommunikation gearbeitet habe und mich mit solchen Fällen auch befasst habe, nachdem das Kind in den Brunnen gefallen ist, das Risiko ist eigentlich der Mensch.
ist wirklich das Risiko.
Ich habe noch nie irgendwie einen Fall gesehen oder behandelt, der tatsächlich durch irgendwie einen falschen Datei-Upload oder so zustande gekommen ist.
Es waren eigentlich immer Scam-Mails, irgendwie sowas wie Social Engineering, dass du halt im Grunde dann auf den falschen Link geklickt hast, dass du vielleicht irgendwie einen falschen Ansprechpartner Geld überwiesen hast, solche Sachen.
Das hat aber nie was mit tatsächlich der technischen Schnittstelle zu tun gehabt.
Obwohl wir eigentlich das viel höher hängen, auch in den Medien, und das viel breiter diskutieren, als tatsächlich grundsätzlich solche Sachen wie Medienkompetenz.
Wie klicke ich auf Links?
Auf welche Links sollte ich klicken und welche nicht?
Finde ich irgendwie spannend.
Siehst du das ähnlich oder hast du ähnliche Erfahrungen gemacht?
Ja, das ist ein total guter Punkt von dir, dass ja tatsächlich die Risiken viel mehr auf der menschlichen Ebene sind, die irgendwie, genau wie du sagst, irgendwas verbocken und immer noch nicht checken, dass es sowas wie Phishing gibt.
Und wir machen uns dann Sorgen darum, dass man...
weiß ich nicht, mal eine Patientenakte auf irgendeinem US-Server hochlädt.
Aber es ist natürlich eine wirklich schwierige Diskussion, finde ich, wo eben so ganz viele Aspekte eine Rolle spielen, weil auf der einen Seite sind wir uns natürlich alle einig, dass wir jetzt nicht ...
also Mandatsgeheimnisse und wirklich hochsensible Daten auf irgendwelchen US-Servern haben wollen.
Auf der anderen Seite ist natürlich auch wieder die Frage, wie sehr können wir denn wirklich sicherstellen, dass die da nicht landen?
Also selbst können wir Legora oder sonst was benutzen.
Klar können die uns sagen, ja, das ist ja alles nur in Frankfurt und läuft über Amazon Cloud Services und was weiß ich was, mit denen wir die und die Vereinbarung geschlossen haben.
Aber am Ende können wir uns ja trotzdem nicht sicher sein, dass es nicht da landet.
Und ich finde auch ein Punkt, den man nicht vergessen darf, ist ja, wenn es einem wiederum um die Sicherheit der Daten geht, könnte man ja auch wieder fast die These aufstellen, dass deine Patientenakte auf einem Server von OpenAI vielleicht sicherer ist als auf deinem Homeserver, weil OpenAI wird wahrscheinlich schwieriger zu hacken sein als deine eigene Cloud.
Ja, möglich.
Ich würde aber immer irgendwie gucken, auch nach dem Einfluss von Regierungen in jeweiligen Ländern und der Unabhängigkeit von Unternehmen.
Und da ist in den USA gerade, zumindest aus meiner Sicht, relativ wenig Vertrauen in die entsprechenden Unternehmen, dass die Sachen dann auch wirklich auf den Servern bleiben.
Man hat gesehen, was das Ganze ausgelöst hat bei Anthropic.
Anthropic, das ist der Anbieter von Claude und so weiter, hat zum Beispiel den Pentagon verweigert, die entsprechenden Modelle auch für militärische Zwecke oder im Grunde zur Überwachung von Straftaten in Anführungszeichen zur Verfügung zu stellen.
Und hat richtig Ärger bekommen von der Regierung.
Also da wurden Gelder entzogen und so weiter.
Das heißt, da würde ich tatsächlich auch immer drauf achten.
Und ich möchte auch gar kein Plädoyer dafür halten, dass man alles jetzt in KI reinballern soll.
Ja, auf gar keinen Fall.
Aber grundsätzlich sich mal zu überlegen, was passiert eigentlich oder wo ist denn der Unterschied zwischen jetzt den OpenAI-Servern oder den Google-Servern, wenn wir alle Google Drive benutzen oder AWS oder wie auch immer, finde ich schon eine Überlegung wert.
Ja, es ist auch technisch wahnsinnig komplex, wenn du dann versuchst nachzuvollziehen, was ist eigentlich der Unterschied, dann geht es genau los mit, wer schließt mit dir welche Vereinbarung ab und wo wird was wie verschlüsselt und sowas.
Das ist wirklich super komplex zu versuchen, das nachzuvollziehen, wo was wie lang fließt und was der Unterschied dazu ist, wenn du dir ein eigenes Tool baust mit irgendwie einer OpenAI-RP.
Ja, es gab ja irgendwie vor ein paar Jahren oder gibt es immer mal wieder dieses Gerücht, dass hochkommt, dass Microsoft beziehungsweise auch Google eigentlich Börsenkurse vorhersagen.
könnten, weil im Grunde natürlich alles über deren E-Mail-Server läuft und du da als erstes mitbekommst, wenn irgendwie jemand gefeuert wird oder wenn irgendwie ein großer Deal abgeschlossen wird, weil einfach alles digital stattfindet und rein theoretisch hätten die natürlich damit die krasse Übermacht eigentlich alles vorherzusagen, was so passiert.
Von daher muss man überlegen, was macht man eigentlich mit seinen Daten und grundsätzlich vorsichtig zu sein, ist glaube ich sinnvoll, grundsätzlich auch Datenminimalismus zu betreiben, also wirklich, ich habe es schon ein paar Mal in diesem Podcast ja auch erzählt, nur die Sachen in eine KI zu geben, die wirklich wirklich zur Lösung des Problems benötigt werden und nicht mehr.
Das ist ein guter erster Schritt.
Und bevor ihr euren eigenen Namen oder die von Freunden oder Kunden, Kundinnen irgendwie reinpackt, ja, denkt nochmal drüber nach vorher.
Ein Aspekt, den ich da auch immer sage, ist, dass man nicht vergessen sollte, es ist ja zum Beispiel auch eine Urheberrechtsverletzung, wenn du urheberrechtlich geschützte Werke in die KI reinknallst, was natürlich extrem viele machen.
Also einfach mal ein Buch oder ein Vertrag und was steht hier eigentlich drin?
Und da kann man natürlich auch sagen, na, wie hoch ist die Wahrscheinlichkeit, dass das rauskommt?
Also, dass irgendwer mal rausfindet, dass du jetzt Harry Potter da als PDF hochgeladen hast.
Man weiß ja aber nie, wie sich die Rechtslage ändert.
Und wer weiß, ob wir nicht in ein, zwei Jahren irgendein EU-Gesetz haben, was einen riesigen Auskunftsanspruch gegen diese Plattformbetreiber den Rechteinhabern gibt und dann vielleicht einfach mal sagt, ja, gib uns jetzt mal eine Liste, wer in den letzten drei Jahren wann und wo Harry Potter hochgeladen hat.
Weiß man ja nicht.
Spannend, ja, gute Überlegung.
Da muss ich aber auch nochmal gerade nachhaken, du bist ja Anwalt für geistiges Eigentum.
Hast du ein schlechtes Gewissen, wenn du KI nutzt?
Machen wir uns das vor, die Large Language Models basieren auf Daten, die zusammengeklaut sind.
Da wurde das Internet abgefischt, da wurden Bücher gescannt, gewisse Bilder gescannt, auch von KleinkünstlerInnen, die im Grunde vielleicht auch gar nicht mal so das große Geld damit verdienen, werden von Milliardenkonzernen, muss man ja sagen, geklaut und werden im Grunde als Trainingsdaten benutzt, um besseren Output an die zahlende Kundschaft zu haben.
Und die gehen natürlich leer aus, die das eigentlich ursprünglich mal gefüttert haben mit ihren Daten.
Wie siehst du das denn als Anwalt für geistiges Eigentum?
Ja, also ich habe kein schlechtes Gewissen, diese Tools zu benutzen.
Aber ich finde total gut, dass sich die Rechteinhaber jetzt in den letzten Jahren wirklich auch dagegen wehren.
Also es gab jetzt auch in Deutschland erste größere Verfahren.
Einmal hat die GEMA gewonnen gegen OpenAI.
Also einmal wegen Songtexten, die du aus Chachibiti rausziehen konntest von Herbert Grönemeyer und so.
Und jetzt ist noch ein Verfahren anhängig von der GEMA gegen Zuno, also dieses Musikgenerierungstool, wo ich mir auch vorstellen könnte, dass Zuno da verliert.
Und es gibt jetzt auch ein Verfahren, wo der kleine Ritter mit der Kokosnuss, beziehungsweise der Verlag dahinter, Random House, OpenAI verklagt, weil du eben Bilder von diesem Drachen generieren kannst.
Und das finde ich tatsächlich sehr gut.
Also ich finde diesen Aspekt, den du gesagt hast, dass mit Hilfe geschützter Werke wie KIs trainiert werden, eigentlich schon schlimm genug, aber auf irgendeine Art und Weise noch vertretbar, wenn man jetzt sagen würde, naja gut, es dient ja auch der Allgemeinheit.
Aber wenn es so weit geht, dass die KIs wiederum Urheberrechtsverletzungen produzieren, dann habe ich wiederum kein Mitleid mit denen und finde auch wirklich gut, wenn die da zur Rechenschaft gezogen werden.
Ich finde es auch gut, dass da entsprechende Klagen laufen und dass da auch zugunsten der Verwertungsgesellschaften auch entschieden wurde schon.
Ich finde es aber nicht weitreichend genug, denn man muss am Ende sagen, weil die GEMA oder Random House jetzt irgendwie Klagen gewinnen.
profitieren nicht automatisch alle Künstler von diesen Urteilen, sondern nur die, die tatsächlich auch von denen vertreten werden.
Das heißt, so eine ganzheitliche Lösung, die auch Menschen berücksichtigt, die vielleicht nicht Teil dieser Kulturindustrie sind, indem sie Verlagshäuser hinter sich haben oder im Grunde andere große Gesellschaften.
Die bleiben natürlich außen vor.
Die haben in der Regel nicht die Mittel, dagegen zu klagen.
Und da wird sich dann fröhlich weiter dran bedient.
Das finde ich tatsächlich irgendwie nicht so cool.
Und deshalb muss ich auch dieses GEMA-Urteil beispielsweise kritisch sehen, weil die einfach gesagt haben, in Zukunft lizenziert ihr das einfach.
Also ihr zahlt uns Geld und dann dürft ihr im Grunde die ganze Musik hier nutzen in unseren Katalogen.
Und am Ende wird das auch ausgeschüttet an Herbert Grönemeyer und Helene Fischer, aber halt nicht an die kleinen Indie-KünstlerInnen, die genauso dazu beigetragen haben, die Modelle zu verbessern.
Aber immerhin ist es schon mal so, dass wenn du jetzt die KI fragst, dann gibt sie dir keine Songtexte mehr.
Ich habe zu diesem Verfahren letztens auch eine Keynote von Herbert Grönemeyer gesehen und der ist richtig sauer auf die KI-Anbieter.
Also der macht das richtig aus einem persönlichen Drive heraus.
Gibt es die online?
Nein, leider nicht.
Es war bei der Kanzlei, die das Verfahren betreut.
Ich recherchiere dazu nochmal und packe euch sonst hier was in die Shownotes, dass ihr das auch nochmal nachlesen könnt.
Das ist ein super spannendes Feld, was uns mit Sicherheit die nächsten Jahre auch noch beschäftigen wird.
Und ich bin auch gespannt, was die EU tatsächlich mit dem AI-Act dann in Zukunft auch noch vorhat.
Ich werde übrigens auch in Zukunft mit EU-Parlamentariern sprechen.
Im August geht es ja los mit dem AI Act und ich glaube, wir sollten vorher da auch nochmal drüber sprechen, mehr Infos folgen.
Ansonsten, Tobi, vielleicht noch eine letzte Frage.
Werden Anwälte jetzt günstiger für uns alle?
Denn dadurch, dass es KI gibt und du sagst, ja, natürlich, das Anwaltsgeschäft ist ein schriftliches Geschäft und KI kann Schrift relativ gut, Sprache relativ gut imitieren.
Kann es sein, dass Anwälte in Zukunft irgendwie wirklich, lass es 30, 40 Prozent schneller sind im Aufsetzen von Verträgen oder in all diesen anderen Sachen, die du ja auch irgendwie mit KI-Unterstütz machst?
Werden Anwälte dann günstiger oder brauchen wir vielleicht ganz neue Bezahlmodelle, wie das in der Wirtschaft immer wieder auch gefordert wird?
Ach ja, das ist ein Thema, was tatsächlich seit drei Jahren, wie die Sau durchs Dorf getrieben wird in der Anwaltsbubble, stirbt jetzt die Billable Hour, also das Abrechnen pro Stunden und wird es jetzt erfolgsbasierte Abrechnungsmodelle geben und so weiter.
Ich sehe das tatsächlich alles ein bisschen entspannt.
Also ganz oft diese Artikel, die man dazu liest, sind eigentlich von Leuten, die noch nie juristische gearbeitet haben.
Das ist immer ganz witzig, sondern irgendwie nur irgendwelche Tools selber bauen.
Die Entwicklung, die ich sehe, ist, es wird wahrscheinlich darauf hinauslaufen, dass viele Leute mit KI Sachen selbst machen können.
Wie ich vorhin ja auch schon meinte, Rechtsabteilungen, Privatpersonen und so weiter.
Die können sich natürlich genau dieselben Tools holen, die auch die Kanzleien haben.
Also es ist ja dir ohne weiteres möglich, dir für 200 Euro im Monat eine Libra-Lizenz zu holen.
Und dann kannst du genau dieselben Sachen damit machen, die die Kanzlei auch macht.
Dann wird wahrscheinlich...
Dieses Produkt, was du produzierst oder die Kanzlei natürlich weniger wert haben, wenn alle dasselbe machen können.
So, dann bleibt eben auf Kanzleiseite ja nur noch natürlich immer noch Zeug übrig, was die KI nicht kann.
So, dieses Zeug wird einen Wert haben oder diese Zeit, die man dafür aufwendet.
Und diese Zeit wird man wahrscheinlich einfach genauso abrechnen wie jetzt auch.
Also ich verstehe immer nicht, warum sich das jetzt großartig ändern sollte, weil wenn ich...
eine KI entsetze und dann brauche ich immer noch 6,5 Stunden für den Vertrag, dann rechne ich halt 6,5 Stunden ab.
Und vor allem bringt einem das Abrechnen pro Stunde auch so ein bisschen Flexibilität, weil eben Jura-Arbeit dann doch oft länger dauert, als du denkst.
Du brauchst dann 6 Stunden für den Vertrag, dann hast du nochmal zig Abstimmungsrunden, die Gegner wollen nochmal was und so weiter.
Also das ist kein Selbstzweck, dieses stundenbasierte Abrechnen, sondern auch einfach so ein Ergebnis einer Mischkalkulation.
Verstehe ich.
Und ich glaube, ein zusätzlicher Punkt noch, am Ende des Tages werde ich nicht zum Anwalt, nur weil ich eine Anwalts-KI habe.
Das ist bei allen KI-Tools so, du brauchst Expertise, um am Ende auch ein Output zu erzielen, der irgendwie einen Wert hat, verkauft werden kann und so weiter, sonst ist es Slop.
Muss man halt sagen, wie halt im Fall von David Hinz in Leipzig vorm Amtsgericht, den wir besprochen haben, wie halt in all diesen Sachen, die wir jetzt gerade auch im Creative-Content-Bereich online sehen, wo wir halt sagen, das fickst mich nicht an, weil es ein Was wirklich von Leuten gemacht wurde, die keine Ahnung von Kommunikation haben oder eben von Juristerei.
Tobi, irgendwelche letzten Worte?
Ich danke dir für die Einladung.
Hat sehr großen Spaß gemacht.
Ja, vielen Dank, dass du da warst.
Da konnten wir doch alle wieder ein bisschen was lernen.
Und ja, vielen Dank.
Bis dahin.
Bis dann.
Ciao.
Ja, liebe Leute, wird KI-Anwälte ersetzen?
Vermutlich erstmal eher nicht.
Ich glaube, wenn eins aus der Folge mitgenommen werden sollte, dann, dass KI natürlich bestehende Expertise verstärken kann, Prozesse automatisieren oder verbessern kann, gerade textbasiert sehr, sehr effizient arbeiten kann.
Aber am Ende des Tages braucht es irgendwie einen Experten oder eine Expertin, die vorgibt, in welche Richtung KI arbeiten soll.
Oder, wie wir an dem Beispiel aus dem Spiegelartikel sehen, von Herrn Hinz aus Leipzig, der durch KI natürlich so eine Stellungnahme erstmal draften konnte und damit vielleicht auch so ein bisschen das Selbstvertrauen hatte, die einzureichen.
Am Ende ist es gut für ihn ausgegangen.
Also who am I to judge?
Ja, wenn es funktioniert, dann funktioniert es.
Auf der anderen Seite werden natürlich Gerichte damit dann auch belastet.
Das heißt, da sollte man vielleicht irgendwie einen Mittelweg finden, würde ich mal behaupten.
Vielleicht ist KI-Einsatz an Gerichten dahingehend auch gar nicht so verkehrt.
Das wollen wir aber jetzt hier nicht nochmal aufmachen.
Was ich aber sagen kann, nach der Aufnahme der Folge ist ein heiser Artikel erschienen, den verlinke ich euch auch mal in den Shownotes.
Ganz spannend, dass in den USA gerade ein Riesenproblem ist, dass immer mehr Anwälte und Anwältinnen KI-Schriftstücke einreichen, die teilweise komplett zusammenhalluziniert sind.
Da wurden schon Bußgelder verhängt.
Erste Gerichte wollen Kennzeichnungspflichten einführen für mit KI generierte anwaltliche Schreiben.
Also das Problem ist über dem Teich auch schon deutlich größer als hier.
Sind wir mal gespannt, ob das auch nach Europa schwappt.
Ja, ansonsten bleibt mir noch übrig, die Kollegin KI einmal zu bitten.
Liebe Kollegin, roaste doch mal meine Folge.
Ach, mein Lieber.
Dein Fazit war solide, aber ich sag mal so, du hast KI so brav verteidigt, dass ich fast gedacht hab, sie zahlt dir Honorar.
Ein bisschen mehr Kante hätte nicht geschadet.
Aber hey, dein Humor blitzt charmant durch und das lassen wir dir.
In dem Sinne, weiter so, aber nächstes Mal vielleicht etwas weniger KI-Streicheleinheiten.
Okay, oh, okay, wenn du das sagst, nächstes Mal werde ich richtig salty hier.
Ja, ich wünsche euch eine schöne Woche.
Ich werde auf jeden Fall eine schöne Woche haben.
Ich habe nämlich morgen Geburtstag, wenn ihr das hier hört, am Mittwoch, dem 22.
Ihr dürft mir gerne gratulieren in den Kommentaren.
Ihr dürft gerne diesen Podcast weiterempfehlen oder wenn ich mir was wünschen dürfte, bleibt einfach, wie ihr seid.
Ich bin wirklich...
sehr, sehr happy darüber, dass wir das jetzt hier schon ein halbes Jahr lang machen, dass das jede Woche irgendwie mehr Leute werden, die diesen Podcast hören, dass wir jetzt auch den zweiten Slot mit der Snackbox am Freitag haben.
Finde ich wirklich eine wirklich coole Entwicklung, die das Ganze genommen hat und bin deshalb eigentlich echt glücklich zu meinem Geburtstag mit meinen 34 Jahren, die ich dann auf dem Kehrpols habe.
Vielen lieben Dank für alles, für den Support.
Und wir hören uns dann nächsten Freitag wieder zur Snackbox oder wie gewohnt nächsten Dienstag.
Bis dahin.
Ciao, ciao.
Dieser Podcast wird produziert von Podstars bei OMR.