# Healthcare AI: Data Privacy and Strategic Risk

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-09-04

## Transcript

Das KI-Update – ein heiser Podcast mit redaktioneller Unterstützung von The Decoder.
Hallo, ich bin Isabel Grünewald und dies ist unser Deep Dive zum Wochenende.
Künstliche Intelligenz wird im Gesundheitswesen an vielen Stellen als Antwort auf drängende Probleme wie zu wenig Personal, zu viel Bürokratie, unstrukturierte Daten und steigende Kosten präsentiert.
Oft ist das Motto Schnell KI nutzen, um Versorgungsengpässe zu verhindern.
Dann wird sich schon zeigen, was wird.
Aber gerade im Gesundheitswesen geht es nicht nur um effizientere Prozesse, sondern um sehr persönliche Informationen und um konkrete Entscheidungen über die Versorgung.
Und es geht um die Frage, wer künftig über diese Daten und Systeme verfügt.
Meine Kollegin Marie-Claire Koch ist bei heise online unsere Expertin zu Gesundheitsthemen.
Sie sprach über die besonderen Herausforderungen von der KI-Nutzung, wenn es um Gesundheitsdaten geht, mit Paulina Jopesh.
Die ist Juniorprofessorin für Recht und Digitalisierung, Datenschutz und Künstliche Intelligenz an der Friedrich-Alexander-Universität Erlangen-Nürnberg.
Und hier kommt ein Mitschnitt ihres Gesprächs.
Du hast einen sehr weiten Blick auf die ganzen Themen.
Du schaust auch in andere Länder.
Und ja, aktuell ist es...
so, dass immer mehr Wege in die medizinische Versorgung über Apps, Portale und digitale Identitäten laufen.
Anbieter wie Dr.Lib und Yameda bauen ihr Angebot immer weiter aus, von Terminvergabe über Praxissoftware bis zur KI-gestützten Dokumentation im Behandlungszimmer, also die KI hört mit, und auch größere Anbieter wie Amazon, Microsoft oder Palantir bauen ähnliche Angebote aus.
Haben wir das jetzt alles so weiterlaufen lassen?
Was könnte aus deiner Sicht da drohen?
Also bei so Gesundheitsdaten bestehen zum Beispiel Risiken, wenn irgendwie bekannt wird, dass ich eine bestimmte Erkrankung habe, eine Infektion.
Mit dem HIV-Virus, das immer noch mit einem großen Stigma verbunden ist, obwohl heutzutage Medikamente zur Prävention und zur Therapie super geeignet sind.
Was können da die Risiken sein?
Also vielleicht entscheidet sich irgendjemand, mich nicht einzustellen wegen meiner Gesundheitshistorie.
Oder kann man sich vorstellen, auch wenn das natürlich gesetzlich beschränkt oder ausgeschlossen ist, dass man irgendwann vielleicht eine Krankenversicherung.
nicht bekommen kann, weil was Bestimmtes über meinen Gesundheitszustand bekannt wird.
Deshalb sind so besonders riskante Daten.
Und da sind wir natürlich gerade in so einer Ära, auch mit dem aktuellen KI-Hype, der sich natürlich hauptsächlich um so generative Sprachmodelle dreht, aber KI generell wieder sehr stark hyped, dass einfach Daten ohne Risiken vernünftig abzuwägen verwendet werden, um KI-Modelle zu entwickeln, um überhaupt datengetriebene Technologien zu entwickeln.
Und ja, die Betroffenen sich hinterher wundern, was das für Konsequenzen zu sie hat.
Wir wollen erst mal Innovationen betreiben und dann gucken wir, was wird.
Das ist ja so ein bisschen die Devise aktuell.
Jetzt haben wir aber immer wieder auch Datenlakes.
Letztens hatte wieder eine Versicherung eine Schnittstelle offen gelassen.
Und die Frage ist ja dann, wer trägt die Verantwortung?
Das wird ja dann teilweise auch so ein bisschen, ja.
Das ist manchmal nicht so ganz klar.
Und in vielen Fällen kümmern sich die Anbieter ja auch überhaupt nicht, wenn man sie darauf hinweist.
Das hatten wir auch schon in der Vergangenheit.
Wen siehst du da in der Verantwortung?
Und muss da vielleicht auch ein bisschen mehr noch geschehen, dass auch Dinge umgesetzt werden, wenn was schief geht?
Ja, also so Data Breaches, wenn jetzt irgendwo Datenlags entstehen, sind ja immer eine Frage irgendwie von schiefgegangener IT-Sicherheit.
Datensicherheit ist auch eine Datenschutzanforderung.
Unternehmen haben natürlich auch so Reputationsinteressen daran, nicht Daten einfach zu verlieren.
Wenn ich jetzt aus der rechtlichen Seite darauf gucke, ist datenschutzrechtlich verantwortlich immer die Stelle, die allein oder gemeinsam mit anderen Stellen über die Zwecke und Mittel der Datenverarbeitung entscheidet.
Unter Zwecke und Mittel fällt ganz viel.
Also was sind das überhaupt für Daten?
Was mache ich mit denen?
Zu welchem Zweck verarbeite ich die?
Und da können auch mehrere gemeinsam verantwortlich sein, sogar wenn die nicht alle Zugriff auf die Daten haben.
Bei einem einfachen Daten-Lag, wo einfach irgendjemandem Daten verloren geht, würde man gucken, wer ist für diesen Datenverarbeitungsvorgang verantwortlich.
Also die Daten, der zum Beispiel auf einem Server gespeichert, der da fälschlicherweise...
ohne Zugangssicherung erreichbar war und das dann die verantwortliche Stelle.
Wo das komplexer ist, ist bei so Entscheidungsunterstützungssystemen, Risikobewertungen, kann man sich auch im Gesundheitsbereich irgendwie denken, denn ganz viele Akteure zusammenkommen.
Da ist eine Softwareanbieterin, da würde man normalerweise erstmal sagen, die sind jetzt nicht verantwortlich dafür, was die Nutzerinnen mit der Software machen.
Die meisten Softwareanbieterinnen, genau wie Cloudanbieterinnen.
Sagen aber, die nutzen die Daten auch, um ihre Services zu verbessern.
Oder im KI-Bereich ist das so, dass die Anbieterinnen da ganz besonders, also für spezialisierte Anwendungsfälle vor allem, besonders großen Einfluss darauf haben, wie genau die Daten verarbeitet werden, was da genau für Ergebnisse rauskommen.
Und die Nutzerinnen eigentlich so verhältnismäßig wenig Einfluss und Einblick haben.
Da kann man immer denken, ob die nicht auch gemeinsam verantwortlich sind.
Und wenn wir dann so...
Modelle haben oder Systeme, die Daten von ganz verschiedenen Datenbanken, von ganz verschiedenen Datensets heranziehen, wie auch so bei Risikobewertungssystemen in ganz anderen Bereichen, so im Polizei- und Grenzbereich, dann hast du auch noch ganz viele Daten, die irgendwer, wer irgendeine Stelle mal in die Datenbank eingetragen hat, in die jeweilige.
Vielleicht sind die gar nicht mehr richtig oder aktuell.
Und da kann man eigentlich auch darüber nachdenken, sind die verantwortlich.
Und dann trennt sich natürlich auch mal die Frage davon, der jetzt formell verantwortlich ist, von der, was Betroffene eigentlich machen können, um da weitere Risiken abzuwenden, um nachzuvollziehen, was ist irgendwo schiefgelaufen bei einem Datenverarbeitungsvorgang?
Warum sind Daten über mich bekannt geworden?
Warum ist eine Entscheidung über mich falsch getroffen worden?
Warum ist ein Risiko um mich betreffend?
falsch eingeordnet worden.
Und da ist dann so ganz viele Zusammenwirken total schwer nachvollziehbar, was da geschehen ist.
Deswegen muss man da immer die Risiken im Blick halten und ist immer echt schwierig, wenn viele Daten an einer Stelle zusammenlaufen.
Wir haben jetzt auch schon gehabt, also bei 23andMe gab es ja auch einen Datenleck und dann wird das Unternehmen hinterher noch aufgekauft, weil es insolvent ist.
Und die Daten ziehen dann ja mit.
Also ist das eigentlich legal?
Die Daten ziehen mit, dass die Teil des Unternehmens dann sind.
Genau, also dass die Daten dann mit übernommen werden.
Das hatten wir jetzt auch bei Pokémon Go, dass dann Apps samt Daten an jemand anders gehen.
Ja, weil die dann in die Rechtsposition eintreten.
Ich habe mich da im Datenschutzkontext noch nicht so genau mit befasst.
Das wird wohl auch davon abhängen.
auf welcher Rechtsgrundlage die Datenverarbeitung beruht.
Im Datenschutzrecht haben wir ja erstmal ein Verbot der Verarbeitung personenbezogener Daten und es gibt dann immer dieses Erlaubnis vorbei.
Das heißt, wenn eine Rechtsgrundlage einschlägig ist, darf man ausnahmsweise doch Daten verarbeiten.
Und das kann sich zum Beispiel auf Einwilligungen stützen oder manchmal auch auf berechtigtes Interesse.
Man wird definitiv.
mindestens eine Transparenz den Betroffenen gegenüber herstellen müssen und denen zum Beispiel sagen müssen, ihr könnt jetzt auch die Einwilligung widerrufen, wenn die eine erteilt haben.
Das kann man schon machen.
Bei Vertragsverhältnissen kann man es vielleicht anders sehen.
Läuft ja auch nicht immer alles so ab, wie es sein sollte wahrscheinlich.
Also, dass das vielleicht auch mal untergeht.
Ja, ich glaube auch, das ganze Datenschutzrecht als europäische ist eigentlich gemünzt auf informationelle Selbstbestimmung.
Das ist eigentlich ein Begriff, der kommt nicht aus dem europäischen Datenschutzrecht, sondern aus dem deutschen Verfassungsrecht.
Aber der gibt das Konzept, wie wir die Risiken der Verarbeitung personenbezogener Daten regulieren, auch für den europäischen Level gut wider.
Es soll der Einzelne so in die Lage versetzt werden, bestimmen zu können, was mit den eigenen Daten passiert.
Das ist natürlich...
Vielleicht gar nicht so ein guter Ansatz.
Viele Leute interessieren sich einen Scheiß für ihre Daten und sagen einfach, mit meinen Daten kann passieren, was auch immer passieren wird und kann ich eh nichts machen oder ich habe nichts zu verbergen.
Und das hat natürlich, wenn das ganz viele machen, gesamtgesellschaftliche Konsequenzen, weil man aus den Daten aller Leute um mich herum auch wieder vielleicht Rückschlüsse auf mich ziehen kann.
Und das ist...
ja, schon mal ein großer Missstand bei dem Ganzen.
Dann, wenn wir über Gesundheitsdaten sprechen oder auch über komplexe Technologien, dann müssen wir uns auch mal fragen, was können denn Betroffene da eigentlich einsehen?
Im Gesundheitsdatenbereich, es sind ja so riskante Daten, da läuft eigentlich alles über Einwilligungen.
Und jetzt ist da so, dass so datengetriebene Technologien da einerseits an ganz vielen Stellen wirklich sinnvoll sind und andererseits der potenzielle Nutzen, wenn das gelingt, eine gute Technologie zu entwickeln, total hoch ist.
Da kann ich vielleicht dann Krankheiten mitheilen, ganz vielen Betroffenen ein besseres Leben ermöglichen.
Gerade Leute, bei denen selber eine Krankheit geheilt wurde oder die dankbar sind für ihre Behandlung oder bei denen es nicht geklappt hat, die haben eine ganz hohe Bereitschaft, einzuwilligen, dass ihre Daten zum Beispiel zu Forschungszwecken verwendet werden.
Die wollen was zurückgeben, die wollen dazu beitragen, dass in der Medizin was passiert ist, ist ja total nachvollziehbar.
Und da arbeitet man im Gesundheitsbereich auch noch mit Broad Consent.
Das heißt, die können einwilligen nicht nur für ein bestimmtes Projekt oder Forschungsprojekt und für ganz bestimmte, eng umgrenzte Forschungszwecke, sondern kann ja sein, dass die Daten in fünf Jahren irgendwie schon was anderes gut sind.
Und die Datenschutzbehörden, die akzeptieren das so aus der Abwägung heraus, dass der Nutzen so hoch sein kann.
Und das natürlich total aufwendig ist und vielleicht nicht klappt, immer wieder einzelne Einwürdigungen einzuholen.
Und weil die Betroffenen auch alle sagen, cool.
Jetzt ist eh schon schwierig zu verstehen, was mit meinen Daten passiert in der medizinischen Forschung, was die Risiken angeht.
Noch schwerer ist natürlich abzusehen, was ist, wenn die zu Forschungszwecken in den nächsten Jahren verwendet werden.
Da kommt auch hinzu, wir haben ja diese Datensets, der europäische Gesundheitsdatenraum soll noch erleichtern und regulieren, dass solche Datensets auch für Forschungszwecke geteilt werden können, dass die trotzdem irgendwie sicher sind und da sind jetzt meine Daten drin, sage ich mal und da sage ich, okay, die können für Forschung benutzt werden und vielleicht sage ich das für ein paar Datensets.
Und was passiert jetzt eigentlich, wenn in drei Jahren bei einem Forschungsprojekt alle drei Datensets zusammengeführt werden?
Ändert sich dann mein Risiko?
Da arbeitest du normalerweise mit Pseudonymisierung.
Das heißt irgendwie, dass das Datenset hinterher so aussieht, dass man die Betroffenen nur mit Zusatzinformationen identifizieren kann, die irgendwo gesondert sicher verwahrt werden.
Oder mit Anonymisierung.
Da sagt man, kann man gar nicht identifizieren.
Zumindest ist es nicht nach allgemeinem Ermessen wahrscheinlich.
Und das ist sowieso eine Gummifarmel irgendwie.
So anonym oder nicht anonym klingt so binär.
Aber technisch ist es eine graduelle Geschichte.
Das kannst du besonders gut sehen an verschlüsselten Festplatten.
Da kannst du immer sagen, ich brauche so und so viel Rechenleistung und so und so viele Jahre, um die zu entschlüsseln.
Und vielleicht.
In zwei Jahren ist der Verschlüsselungsalgorithmus kompromittiert und dann geht es plötzlich ganz schnell.
Und genauso kann man bei den Gesundheitsdaten sagen, jetzt sind die vielleicht als anonym anzusehen, aber was ist denn in fünf Jahren?
Und das ist denn, wenn wir das mit diesem Datenset und noch einem anderen zusammenführen und jene KI damit trainieren.
Wissen wir nicht genau.
Das heißt, da stößt die informationelle Selbstbestimmung und die ganze Regulierung schön an ihre Grenzen.
Wie können Betroffene denn dann noch die Kontrolle behalten?
Ich glaube, dass die Kontrolle durch Betroffene jetzt eh nicht der goldene Weg ist, habe ich ja schon so angedeutet.
Aber die, die das wollen, sollen das natürlich haben.
Und aus meiner Sicht müssen wir neue Ansätze entwickeln, um Betroffenen, die...
die wollen, dass die medizinische Forschung von ihren Daten profitiert, die aber auch die Kontrolle erhalten wollen, es erleichtern, da zu gucken, was passiert mit meinen Daten.
Da könnte man zum Beispiel ein Portal haben, das die Einwilligungen und auch das Widerrufen der Einwilligungen erleichtert, dass Betroffenen immer sagt, wir wollen jetzt die Daten hier für dieses Forschungsprojekt nutzen.
Und dann...
müsste das auch ineinandergreifen mit Forschungsbeteiligten, also Projektbeteiligten und Aufsichtsbehörden, die wirklich substantiiert die Risiken darlegen.
Weil wir müssen nicht über jedes Fantasierisiko nachdenken.
Und manche Risiken, gerade in der Zukunft, sind schwer bezifferbar.
Aber es wird eh viel zu wenig gemacht, dass Risiken vernünftig irgendwie errechnet werden, dass es verschiedene Szenarien gibt, die da modelliert werden.
Im allgemeinen KI-Bereich haben wir dann auch ein größeres Problem.
Da werden einfach alle Daten in Modelle geschmissen, die dann auf die Menschheit losgelassen werden, anstatt dass Meta oder OpenAI vielleicht erstmal ein internes Forschungsprojekt macht.
Dann können die die Daten auch auf grundberechtigten Interesses verarbeiten und dann einfach mal die Risiken ermittelt, dass Daten wieder aus dem Modell extrahierbar sind und was im Datenschutzbereich eigentlich noch schlimmer ist, dass Daten halluziniert werden über Betroffene aus den Datensets oder auch über Dritte.
Und wenn man so ein Portal hätte, das Betroffenen irgendwie die Risiken nachvollziehbar machen, dann müssen die nicht die Technologie im Einzelnen kapieren oder das Forschungsprojekt.
Aber dann kann man sagen, da sind informierte, freiwillige Einwilligungen.
Und da hat nicht nur jemand vergessen oder den Überblick verloren, dass er meine Einwilligung erteilt hat.
War das aus deiner Sicht dann auch etwas, wo man drüber Einwilligungen widerrufen kann?
Ja.
Oder war das nochmal gesondert?
Ja, ich bin tatsächlich auch an einem Forschungsantrag beteiligt, wo wir das mal entwickeln wollen.
Also einerseits ein Risikobewertungstool und andererseits eine Plattform für Einwilligungen, weil dieser Broad Consent total nachvollziehbar ist im Gesundheitsbereich.
Aber da wirklich die Kontrolle den Betroffenen, hinterher völlig aus den Händen geglitten ist.
Und auch die Aufsichtsbehörden, die können natürlich immer näher hingucken bei den einzelnen Forschungsprojekten dann.
Aber das muss auch gemacht werden und dafür sind die auch zu schlecht ausgestattet, meine ich.
Das habe ich auch gehört.
Und auch jetzt sieht man bei den aktuellen Einwilligungen, was die Patientenakte angeht, da gibt es ja auch mehrere Möglichkeiten zu widersprechen.
Dort haben wir aktuell ja schon total das Chaos.
Deswegen wäre das natürlich sehr wichtig, da herauszufinden, ob Und inwieweit, in welchen Abstufungen da solche Prozesse möglich sind.
Also es gibt ja 400 Register und so weiter.
Also man kann ja nicht für jedes dann ein eigenes Einwilligungsmanagement bauen, oder?
Genau, also gerade wenn auch...
wie es im Interesse aller Beteiligten hier ist, ihre Einwilligung unabhängig von bestimmten Projekten erteilen sollen.
Deswegen gibt es ja nur diesen Broad Consent, der irgendwie akzeptiert ist und mit dem Zweckbindungsgrundsatz im Datenschutzrecht im Spannungsverhältnis steht gelinde gesagt.
Die wollen natürlich dann nicht, also das kann man dann nicht über die einzelnen Projekte immer machen, aber wenn man da so einen One-Stop-Shop hätte, so eine Plattform, auf der das leicht möglich ist, dann wäre viel gewonnen.
Gesamtgesellschaftlich, wie gesagt, glaube ich, es wollen gar nicht so viele diese Kontrolle ausüben und ist noch wichtiger, dass wir auch schauen, wo können wir Risiken von von Betroffenen, potenziell Betroffenen von der Gesellschaft weghalten, indem wir mal genau schauen, welche Datensätze werden zusammengeführt und was wird damit gemacht.
Gibt es da auch aus deiner Sicht klare Grenzen, die wir nicht überschreiten sollen oder wo du sagst, das sind Informationen, die sollten unter keinen Umständen damit einfließen oder Kombinationen aus Informationen?
Ich würde nie so...
So ganz harte Grenzen formulieren nicht so apodiktisch sein.
Sicherlich ist zum Beispiel in der KI-Regulierung gut, dass es bestimmte KI-Systeme gibt oder bestimmte verbotene Praktiken damit.
Zum Beispiel bei bestimmten Systemen im Bereich von Emotionserkennung.
Das ist eh antiwissenschaftlicher Schmuh aus meiner Sicht.
Aber wenn wir jetzt über bestimmte Daten sprechen, so Datenschutzrecht ist eine Risikoregulierung.
Und da geht es im Prinzip häufig...
oder immer in der Anwendung darum, dass wir grundrechtlich geschützte Interessen der verantwortlichen Stellen abwägen mit grundrechtlich geschützten Interessen, vor allem dem Datenschutzgrundrecht der Betroffenen.
Und da können auch sensibelste Daten mal verarbeitbar sein, wenn die Risiken vernünftig unter Kontrolle sind.
Und da muss man sicherlich auch berücksichtigen, zu welchen Zwecken ist denn das, welcher Nutzen kann daraus gezogen werden.
Häufig besteht die Lösung in starken IT-Sicherheitsmaßnahmen.
Es ist halt nur ein Problem, wenn man wen in den USA Gesundheitsdatensets zum Beispiel einfach raushaut öffentlich.
Weil wenn die anonym sind, aber dann später durch technischen Fortschritt oder Datenzusammenführung reidentifizierbar werden, dann kann man nichts mehr machen, um da Kontrolle auszuüben.
Deswegen ist eine Veröffentlichung von Daten immer problematisch und das sollten wir auch nicht machen.
Und findest du, dass da eine Transparenz noch mehr hermüsste bei den ganzen KI-Systemen, wenn die jetzt zum Beispiel Entscheidungen über unsere Behandlung beeinflussen, sei es jetzt bei der Versicherung oder auch direkt?
In der Praxis oder im Krankenhaus?
Also generell ist Transparenz natürlich wichtig.
Da muss man einmal so an die Transparenz für Betroffene denken, was mit den Daten passiert.
Und dann gibt es eine Transparenzanforderung für so Risiko-KI-Systeme.
Da geht es um Transparenz für die AnwenderInnen, dass die denn da auch interpretieren können, was die KI denen gibt und vielleicht im Rahmen der menschlichen Aussicht dann doch das nicht einsetzen.
Ich finde, über Transparenz wird meistens zu...
schwarz-weiß gesprochen oder da wird nicht genug unterschieden.
Ich glaube, wir müssen uns für jeden Anwendungsfall, jeden Wertenverarbeitungsvorgang, jedes KI-System, jedes Tool und die Nutzer in den Gruppen angucken, was brauchen wir für eine Transparenz.
Und bei KI denken wir ja vor allem daran, dass Machine Learning-Modelle Blackboxes sind.
Das heißt, dass wir nicht genau wissen, warum ein bestimmter Input zu einem bestimmten Output führt.
Und da ist ein großer Unterschied.
ob ich, gerade im juristischen Bereich zum Beispiel, ob ich da ein generatives Sprachmodell habe, das mir einen Text auswirft und den Text kann ich dann prüfen.
Da kann ich gucken, stehen da Sachen falsch drin, die in der Akte eigentlich anders drin stehen, sachlich?
Also Tatsachen?
Oder ist die rechtliche Würdigung falsch?
Das ist trotzdem eine Herausforderung, sicherzustellen, dass dann der das Ergebnis benutzt, nicht sagt, ach, stimmt schon oder dem Computer zu sehr vertraut.
Aber da ist eigentlich die Transparenz nicht so ein Ding.
Natürlich kann man sagen, wenn wir so an Diskriminierungsfaktoren denken, an Bias, die natürlich auch generative Sprachmodelle zeigen, da muss man natürlich...
dann trotzdem gute Technologien haben, gute Techniken, um das zu vermeiden.
Aber das ist eine völlig andere Risikosituation mit einem intransparenten Blackbox-Modell da, als bei einer Risikobewertung, wo einfach hinten rauskommt, Person ist nicht kreditwürdig.
Oder Person wird Terroranschlag begehen in der Zukunft.
Das kann ja keine Sau überprüfen.
Und wenn man da nicht irgendwie eine Form von Interpretierbarkeit hat, ist man ziemlich ausgeschmissen.
Nun muss man sich auch im einzelnen Fall fragen, man hat oft nicht die Wahl zwischen beidem, weil erklärbare oder interpretierbare Systeme viel schlechter sind.
Das ist dann meistens, ist damit nichts gewonnen.
Da muss man sich aber dann fragen, ob man intransparente Systeme überhaupt verwenden will.
Häufig sind die auch gar nicht so toll.
Also dieses viel zitierte Beispiel von COMPASS, das die Rückfallwahrscheinlichkeit von Straftätern in den USA bestimmt, das basierte, glaube ich, auf über 120 Kriterien.
Man kann genauso präzise die Rückfallwahrscheinlichkeit bestimmen mit drei Transparenten, irgendwie nur mit Alter.
Gender und Zahl der Vorverurteilungen.
Da kann man relativ klar sagen, das ist wohl vorzugswürdig, wenn man da über die Regeln diskutieren kann, ob die uns gut genug sind.
Und dann muss man sich einfach fragen, wie ist bei einem bestimmten Anwendungsfall das?
Man muss sich natürlich auch vor Augen führen, KI ist nicht das Einzige, was intransparent ist.
Also so Credit Scorings.
waren für diejenigen, die die Entscheidungen getroffen haben, auch als sie einfach transparente mathematische Formeln waren, wahrscheinlich nicht verständlich, nachvollziehbar.
Deswegen, also Transparenz ist gut, aber wir müssen uns immer überlegen, was ist der Zweck?
Und das auch abwägen mit so Trade-offs, wie funktioniert das Modell dann vielleicht schlechter?
Aber hingucken müssen wir da auf jeden Fall.
Und eine Frage, die da auch noch nicht geklärt ist, ist, wer dann...
überhaupt die Verantwortung trägt.
Also das treibt jedenfalls den Ärztetag sehr um.
Wer dann bei Behandlungsfehlern verantwortlich ist, ist aber genau so ein Thema bei Medizinprodukten, also Geräten und also ist immer ein Thema.
Ja, bei den Behandlungsfehlern, das ist ja dann nochmal nicht Datenschutzrecht, sondern das sind so Haftungsregelungen.
Da kann das natürlich, je nachdem wie der Fall gelagert ist, entweder der Arzt sein.
Oder auch die Anbieterin.
Aber das kann im Einzelfall anders liegen.
Aber es ist natürlich wichtig, sich darüber Gedanken zu machen.
Es gibt ja auch viele Modelle oder Technologien im Bereich von Gesundheit, wo zumindest in Diskussion steht, ob diese gut funktionierenden Systeme zu einem Verlust von Fähigkeiten, zu einem Deskilling bei den Anwenderinnen führen.
Das ist auch nicht unbedingt schlimm.
Also wenn das super funktioniert, die Ergebnisse von bildgebenden Verfahren wie Röntgenbilder oder CT-Bilder oder MIT-Bilder maschinell anzugucken und das verlernen dann all die Menschen, kann man jetzt mal darüber diskutieren, gesellschaftlich, ob das so schlimm ist, aber man muss sich da natürlich über die Verantwortungszuweisung dann Gedanken machen.
Jetzt ist es ja noch, kennt man vom Hautkrebsscreening, dass die Technologie sehr gut zu sein scheint, aber die ÄrztInnen, dass man das genauso gut sehen.
Das stimmt.
Ja, und dann ist natürlich noch das große Thema, was so über allem so ein bisschen hängt, wem vertrauen wir die Daten an?
Also das sind auch immer sehr schöne Beispiele aus den USA.
Da gibt es ja auch immer mehr dubiose Unternehmen, die sich jetzt in den Markt drängen und da alles übernehmen wollen.
Hatten wir eben schon kurz angerissen.
Ich weiß, dass du das auch schon mal in der Vergangenheit gesagt hattest, dass es natürlich nicht so leicht ist, selber eine Cloud aufzubauen.
oder überhaupt Systeme lokal laufen zu lassen, ist natürlich ein...
Kann viele gar nicht leisten.
Ja, aber man muss ja sich Gedanken machen, was setzt man überhaupt für Technologien ein?
Und wenn wir uns jetzt schon im ersten Schritt mal fragen, wem geben wir unsere Daten, wenn wir einen Termin machen oder irgendeine Diagnostik, dann ist unsere Freiheit dieser Entscheidung schon sehr stark begrenzt.
Manche Leute werden keine ADHS-Diagnostik bekommen, wenn die nicht zustimmen, die bei jemandem zu machen, der ein Sprachmodell mitlaufen lässt, damit der mehr Diagnosen machen kann.
Weil es ist nie zu wenige.
Leute gibt, die sich um so eine neue Divergenz-Dinge kümmern.
Vielleicht kriege ich auch gar keinen Termin, wenn ich nicht Dr.
Lip benutze.
Dann nach der anderen Seite, bei AnwenderInnen, das stellt sich ja nicht nur im Gesundheitsbereich, da ist natürlich immer die Frage, wo läuft die Software, wo liegen die Daten rum?
Und das Datenschutzrecht ist ja eigentlich so, ja, wir wollen die Daten in Europa liegen haben.
Jetzt sind wir natürlich in einer Welt, wo die USA in eine Autokratie Und im Softwarebereich sind einfach viele US-Anbieterinnen.
Und faktisch ist das also völlig egal, ob eine US-Anbieterin in der EU was betreibt oder außerhalb der EU.
Das ist nicht sicher.
Und da sind auch irgendwelche Zusicherungen von Biden, die Trump noch nicht offiziell zurückgenommen hat oder irgendwann plötzlich doch, nichts wert.
Also das muss man unbedingt vermeiden.
Das hat auch zu tun mit Abhängigkeiten einfach.
Da habe ich den Eindruck, dass viele das nicht bedenken.
Wenn ich so gucke, was Behörden öffentlich äußern oder mit Behörden spreche, zum Beispiel die darüber nachdenken, will ich irgendeine KI-Lösung, will ich Palantir, dann ist da ganz vielen immer wichtig, dass das on-premise läuft, dass das lokal verarbeitet wird.
Und das ist auch gut.
Worüber die nicht nachdenken, ist, dass wenn die irgendwann abhängig von einem Service sind, dass die Anbieterin den einseitig diktieren kann, dass sie es doch in die Cloud ziehen oder die verlieren halt alles.
Dann ist vorbei und dann zahlen die auch das Dreifache, weil die ja jetzt so schön abhängig sind.
Und diese Abhängigkeiten sollte man vermeiden.
Wir haben auch gerade bei Microsoft gesehen und auch im Kreditkartenbereich, dass da einfach...
Leute, die aus Den Haag, was beim Internationalen Strafgerichtshof, ich will jetzt nichts Nahrungsgesagen sagen, ich meine schon, einfach durch Transaktionen betroffen waren, wahrscheinlich mehr nutzen konnten.
Wir sollten nicht davon abhängig sein, unsere Behörden, Universitäten, Krankenhäuser mit amerikanischer Software und den amerikanischen Clouds zu betreiben.
Und da müssen dann gute alternative Lösungen her.
Mal gucken, wie gut man mit Open Source zu Rande kommt.
Natürlich ist das manchmal praktisch nicht so gut umsetzbar und Clouds verwenden, aber da sollte man sich echt überlegen, welche.
Und ja, es ist halt häufig so, dass Leute sagen, das ist aber fürchterlich schwer.
Das haben die auch gesagt, als irgendwie die Datenschutz-Grundverordnung mit langer Vorlaufzeit in Kraft oder anwendbar wurde.
Da hieß es plötzlich, wir können nicht DSGVO-konform werden, weil es so wahnsinnig kompliziert ist, unsere Datenverarbeitungsvorgänge auch nur nachzuvollziehen.
Die meisten galt ja vorher schon das gleiche Datenschutzrecht über die Richtlinie, die umgesetzt sei im nationalen Recht.
Sorry, wenn jemand nicht in der Lage ist, Datenverarbeitungsvorgänge zu dokumentieren und sich da im Einzelnen Gedanken zu machen, was die Risiken ist, ist das völlig okay, wenn das reguliert ist.
Und klar ist das dann teuer, wenn man das vorher nicht gemacht hat.
Genau wie bei IT-Sicherheit, wenn man irgendwie die Kontrolle verloren hat über immer komplexer gewordene Systeme.
Ja, ist jetzt doof, aber wir können nicht verzichten auf die Anforderungen auf der Mikroebene über...
über Sicherheit und Risiken nachzudenken.
Es ist auch ein Effizienzthema.
Ja, also bei uns haben sich auch immer wieder welche gemeldet, also die haben eine Psychotherapie-Praxis und wurden die einfach in die AWS-Cloud umgezogen, ohne dass sie irgendwie eine Einwilligung erteilt haben und sowas.
Da habe ich halt mit einem Datenschützer geredet, ja, das passiert immer wieder.
Finde ich dann schon ein bisschen schockierend.
Ja, es passiert wahnsinnig viel.
schockierendes im Datenschutzbereich.
Da hat einfach viele keinen Bock drauf.
Und es ist ja auch so eine Kultur, wo Innovation plötzlich definiert wird als sonst was für Mülldaten niedriger Qualität in Machine Learning Modelle aufgebläht zu schmeißen, die jetzt schon schlechter werden von der Menge und Qualität an Daten.
Das ist so die Definition von Innovation.
Dass Innovation darin bestehen könnte, Dass wir regulatorische Anreize für datenschutzfreundliche, sichere, effiziente Technologien nicht nur haben, sondern auch effektiv durchsetzen, das scheint den Leuten nicht in den Sinn zu kommen.
Und gerade ist so im Datenschutz- und KI-Regulierungsbereich auch die Devise, wir passen uns einfach mal einer konsolidierten Autokratie und den USA, die in Faschismus kippen, an.
Und anstatt hier zu sagen, wir machen hier mal richtig coole Modelle, weil so KI-Modelle ja auch schon an ihre Grenzen stoßen.
Und ja, da ist halt einfach häufig zu viel Einfluss der Anbieterinnen.
Und es wurde jetzt auch ziemlich umgebaut in der Regierung.
Und jetzt ist ja jemand Gesundheitsminister geworden, der sich auch dafür einsetzt, ein Register für psychisch Kranke aufzubauen.
Es ist wahrscheinlich dann nicht so rosig, was so auf uns zukommt noch.
Ja, ich weiß gar nicht, da muss ich ja äußerst aufpassen, wie ich mich dazu öffentlich äußere.
Aber es stellt sich wirklich die Frage, was da gerade passiert generell.
Politisch, ich habe das Gefühl, es hat keine Fundierung in einem technischen oder ökonomischen Verständnis.
Ich denke mir ja manchmal, wenn man jetzt kein soziales Bewusstsein auch für Leute hat, kann man ja wenigstens...
kapitalistisch überzeugende Lösungen sich überlegen.
Also nicht, dass ich jetzt ein großer Fan von bin, aber...
Das scheint auch nicht zu funktionieren.
Und ich kann mir wirklich teilweise nicht erklären, ob Innovation verwechselt wird mit ganz viele Daten haben.
Das ist ja totaler Quatsch, weil Innovative, da kann man sich natürlich, wenn man jetzt China werden möchte, streiten.
Aber ein Innovationstreiber ist natürlich auch Freiheit.
Das ist zumindest die Idee bei uns.
Und ein freier Staat hat auch viel Datenschutz.
Das sind nie die, die viel Überwachungsstaat haben.
Ich weiß nicht, was ein verdammtes Verzeichnis für psychisch Kranke überhaupt soll, ehrlich gesagt.
Ja, das ist ein Graus momentan auch, dass so die Budgets für psychotherapeutische Behandlungen und ich weiß nicht, ob sie bei den Honoraren wie geplant reduziert haben, dass da gerade so reduziert wird und ich glaube, das kann nur auf einem absoluten Unverständnis.
davon beruhen, was da eigentlich passiert.
Also diese grundlegende Absehaltung gegen Psychotherapie ist in Deutschland ja sicherlich auch durch den Nationalsozialismus begründet.
Es ist nicht so viele Jahre her, dass jemand, der in eine Psychiatrie geht, da mitrechnen musste, eingesperrt, misshandelt, umgebracht zu werden.
Und das hängt in Deutschland natürlich noch tief.
in den Systemen und verhindert leider, dass ganz viele sich Hilfe suchen, dass sie sich befassen mit diesen Themen und wahrscheinlich auch, dass sie verkennen, was das ihnen und anderen und der Gesellschaft bringt.
Dabei kann man es ja auch in ganz knallharten Zahlen ausdrücken.
Also es ist ein Thema, was mich wirklich ärgert und ich glaube, wir können weder Datenschutz noch Innovation erwarten von Menschen, die so entscheiden.
Oder Behinderte wurden ja auch, also...
euthanasiert und all sowas.
Vor gar nicht allzu langer Zeit.
Ja, und dann auch, was mich auch nervt, ist, wir haben dann so, wir haben irgendwie so plötzlich so einen Hype um Neurodivergenz.
So, ich bin selber Neurodivergent und ich sehe, da war plötzlich Alex Karp von Palantir im Interview im Handelsblatt und übte so so vielen Druck aus auf deutsche Behörden.
Palantir braucht.
die nicht, aber die uns-mäßig.
Und der sprang plötzlich so auf und ab und stellte sich also ganz hyperaktiv da und sagte dann, ja, die neurodivergenten Menschen, vor allem die autistischen Menschen, die sind die einzigen, die hier KI überleben, die dann noch einen Job haben, so auf die Tour.
Und gleichzeitig wird in den USA darüber diskutiert, Leute auf dem autistischen Spektrum einzusperren.
Da können wir uns dann alle fragen, in welcher Gruppe Autisten bin ich.
Aber das ist total absurd einfach, was da gerade passiert.
Und ja, da müssen wir wirklich aufpassen.
Und ich erkenne das auch aus dem privaten Bereich.
Da sind Leute, die sind richtig froh gewesen, dass ihre Kinder...
eine gute Diagnostik, eine gute therapeutische Versorgung haben können.
Und die haben jetzt Schiss, dass das Konfequenzen für die hat, dass die Therapien nicht fortgesetzt werden.
Und das ist ein großes Elend.
Und ich glaube, dass in diesem ganzen Daten-Technologie-getriebenen Hype, und da ist ganz vieles dran gut, dass wir da auch ein großes Risiko haben.
Ich habe ja früher Blockchain erforscht, das war auch so ein Hype-Thema.
Und jetzt KI ist auch ein Halbthema.
Und ich höre oft, dass jemand sagt, diese Lösung mit KI oder früher mit Blockchain, die ist besser als das, was wir jetzt haben.
Anstatt das zu vergleichen mit einer gut gemachten Lösung ohne die Technologie.
Um wirklich zu gucken, was wäre denn eigentlich effizient.
Und das ist einfach ein logischer Fehlschluss.
Und so heißt es dann im Bereich von Hautkrebs-Screenings.
Die funktionieren mit KI super bei weißen Menschen, nicht ganz so super bei schwarzen Menschen.
Die können wir ein bisschen besser machen, wenn wir Bilder künstlich generieren von schwarzer Haut mit Hautkrebs.
Aber wollen wir nicht mal darüber nachdenken, ob wir vielleicht doch Fotos machen und das dann noch besser?
funktioniert, kann man für jeden einzelnen Fall entscheiden.
Auch so KI-Tutoren.
Da hat man so ein Jurastudium, wo dann so 700 Leute in den Anfängervorlesungen sitzen.
Kann man vielleicht überlegen, ob die Universitäten für Lehre und Forschung mehr Leute und mehr Budget haben, anstatt da Sachen auszulagern auf wirklich nicht intelligente KI-Modelle?
Und können wir uns mal fragen, ob zwischenmenschliche Kontakt und Kommunikation nicht einen besonderen Wert hat.
Wir würden uns ja nicht erzählen lassen von Mark Zuckerberg oder so, dass mit großen Sprachmodellen, also sowas, was so Chatsy-Bitty zugrunde liegt, eine Superintelligenz kommt, die irgendwie Menschen in fast allen Aufgaben aussticht.
Das würden wir ja nicht in Betracht ziehen, wenn wir verstehen würden, was wir selber eigentlich können, wie wir uns von automatisierten Systemen absetzen.
Wir sind voller Sensoren.
Wir haben wahnsinnige sensorische Fähigkeiten, auch was so Emotionen in anderen Personen angeht, deutlich besser als irgendeine bescheuerte Emotionserkennung.
Und ich glaube, da müssen wir den Blick so ein bisschen auf Menschen richten und uns auch fragen, wie gut wollen wir es machen und nicht immer eine shitty Lösung mit KI-Slop in Betracht ziehen und sagen, brauchen wir ja doch nicht mehr Geld.
Das wäre schön.
Stattdessen gibt es noch eher einen Hype um Trauerbots oder Lovebots.
Und Leute, die Chat-GPT, Chatty nennen, gibt es ja auch.
Ja, ich habe gerade gehört, dass Jugendliche vielfach angeben, dass das für die ein echtes Problem wäre, wenn der Chatbot den Charakter ändert.
Das ist natürlich mit jeder neuen Modellversion passiert.
Dann gibt es natürlich wahnsinnig viele Chatbots für parasoziale Beziehungen.
Habe ich letztens auf einer Seite geguckt, die fällt mir gerade nicht ein.
Da kann man dann in die Kategorie Romance oder so gehen oder Dating und dann kann man sich ein Chatbot aussuchen aus der Liste dabei, 17-jähriges, obdachloses Mädchen.
persönlichkeitsgestörter Stiefbruder.
Also schon irgendwie spezielle Kings einerseits, aber andererseits, wenn wir jetzt mal, wir suchen uns jetzt einen netten KI-Partner.
Wenn dann Leute sagen, ja, das erzeugt nicht so viele Friktionen, er ist immer für mich da, wir haben keinen Streit, dann denke ich mir auch so, eventuell erfüllt das nicht all die Funktionen, die eine zwischenmenschliche Beziehung erfüllt.
Und da müssen wir, glaube ich, schauen, dass wir der Junge auch mitnehmen.
Wobei ich da auch nicht so denken würde, dass die jüngsten Generationen da die bescheuertsten sind.
Also wenn wir uns angucken, wer beim Zoom-Scrolling für Dopamin hooked ist, das sind häufig auch Boomer, die sich jetzt Instagram installiert haben.
Da muss man halt mal drüber sprechen und vielleicht auch überlegen, ob wir in der Schule, so im Bildungsbereich mehr über diese genuin menschlichen Sachen lernen wollen und nicht nur KI-Prompten üben.
Kann man ja beides machen.
Ja, das fände ich auch wichtig.
Also vielleicht kannst du ja noch ein Fazit ziehen, was du beim gesamten Einsatz von KI, was dir besonders wichtig ist, was nicht zu kurz kommen darf.
Mir ist beim Einsatz von KI oder generell Automatisierungstechnologien immer wichtig, dass wir uns fragen, was für ein System setzen wir zu welchem Zweck ein, welche Leute benutzen das und was müssen wir denn da so sicherstellen und was ist uns da auch gesellschaftlich wichtig und dass wir dann diese Anforderungen, wie zum Beispiel, dass Menschen Aufsicht noch ausüben und nicht was rein automatisiert ist, dass wir dann schauen, sind die auch wirklich eingehalten und das gut empirisch belegen und dass wir nicht vorschnell immer annehmen, dass KI oder überhaupt ein datengetriebener Ansatz zu einer besseren Lösung führt, sondern dass wir auch weiterhin für nicht so fancy, unsexy Modelle und technische Ansätze offen sind, weil die effizienter sind, transparenter und oft auch besser funktionieren.
Und dass wir da einfach uns die Mühe machen, immer im Einzelfall zu schauen und gleichzeitig sicherstellen, dass unsere zwischenmenschliche Kommunikation und unser und unser Verständnisprozess nicht vermeintlich ausgelagert wird auf KI, weil das nicht geht.
Also wenn ich zum Beispiel lange Texte schreibe oder lese, habe ich am Ende das Thema erst verstanden, da kann ich mir hier eine Stichpunktliste in Chat-GPT hacken, mir die ausgeben lassen und den gleichen Effekt auf mein Gehirn erwarten.
Also für uns da einfach immer im Einzelnen Gedanken machen und den Menschen nicht aus dem Blick verlieren, das finde ich am wichtigsten.
Das war's für heute.
Mehr zum Thema Gesundheit hört ihr von Marie-Claire Koch in ihrem Digital Health Podcast auf der Plattform eurer Wahl oder natürlich bei heise.de slash podcasts.
Der nächste Deep Dive ist eine ganz besondere Folge bereits in einer Woche.
Denn das KI-Update gibt es auf der IFA zum ersten Mal live zu sehen.
Zusammen mit meiner CT-Kollegin Sabrina Patsch spreche ich dort am Sonntagnachmittag über KI in der Popkultur.
zwischen Vision und Wunschdenken.
Und weil ihr ja nicht alle in Berlin dabei sein werdet, gibt es den Mitschnitt nächsten Freitag hier zu hören.
Es würde mich freuen, wenn ihr dann wieder dabei seid.
Bis dahin könnt ihr natürlich mit dem kompakten KI-Update am Montag und Mittwoch auf dem Laufenden bleiben.