# Strategic AI Bias Mitigation in Medical Diagnostics

**Podcast:** KI-Update – ein heise-Podcast
**Published:** 2026-06-26

## Transcript

Das KI-Update – ein heiser Podcast mit redaktioneller Unterstützung von The Decoder.
Ich bin Isabel Grünewald und dies ist unser Deep Dive zum Wochenende.
Künstliche Intelligenz in der Medizin verspricht, Diagnosen zu unterstützen und Behandlungen zu verbessern.
Doch die Modelle sind nur so gut wie die Daten, mit denen sie trainiert werden.
Und da diese Daten oft einen verzerrten Ausschnitt der Realität darstellen, sind auch die KI-Modelle voreingenommen.
Ein Phänomen, das als Bias bezeichnet wird.
Stanislav Frohloff ist wissenschaftlicher Mitarbeiter am DFKI.
Er hat sich im Rahmen des Projekts MedGenAI intensiv mit dieser Herausforderung beschäftigt und erklärt im Gespräch mit meinem Kollegen Robin Ahrens von der CT, dass die Lösung für das Problem KI-generierte Bilder sein können.
Wie das funktioniert, hört ihr heute im Deep Dive.
Ja, hallo Stanislav, schön, dass du da bist.
Genau, wir wollen jetzt heute ein bisschen über generative KI und Bildsynthese und vor allem den KI-Bias reden.
Jetzt gibt es teilweise Utopien, in denen KI-Modelle nicht mehr durch große Technikkonzerne kontrolliert werden, sondern die Technologie eben vergesellschaftet ist und sich am Allgemeinwohl orientiert.
In diesen Szenarien, in diesen idealen Szenarien, könne KI dann weniger biased sein.
Das wird zumindest teilweise behauptet.
Meine Frage wäre da jetzt...
Können KI-Modelle denn überhaupt unvoreingenommen sein?
Ja, das ist eine spannende Frage.
Ich würde sagen, wahrscheinlich nicht ganz.
Eine KI lernt ja auch immer aus Daten.
Und diese Daten sind irgendwo immer ein Ausschnitt der Welt, gesammelt und auch ausgewählt von Menschen.
Es ist irgendwo auch also eine Art Spiegel.
Das heißt, alles, was in unserer Gesellschaft angenommen wird oder in Anführungszeichen auch schiefläuft.
steckt am Ende auch in diesen gesammelten Daten und in den Daten, mit denen wir die KI trainieren.
Im Gegenzug heißt das also auch, selbst wenn eine KI nicht von großem Konzern kontrolliert würde, sondern allen gehört, auch dann muss ja jemand entscheiden, welche Daten sammelt man und was ist die richtige Antwort für eine Frage.
Das sind also auch immer Wertentscheidungen, Kulturentscheidungen, persönliche Entscheidungen, subjektive.
Deswegen glaube ich, realistisches Ziel bei KI-Modellen ist nicht Null-Bias, sondern sichtbar zu machen, welche Biases gibt es, wie kann ich diese messen und was kann ich gegen Biases tun, die wirklich schaden.
Also so zum Beispiel auch bei einem KI-Modell, welches Hautkrebs detektieren soll und dann aber zum Beispiel bei verschiedenen Hauttüten, verschieden performt.
Du hast es gerade schon ein bisschen angesprochen, was wären denn jetzt verschiedene Arten des Bias?
Ich glaube, der klassische Aspekt von Bias ist, wenn ein Modell über verschiedene Eingabedaten verschieden gut performt oder zum Beispiel gewisse Gruppen benachteiligt.
Und welche Möglichkeiten gibt es da jetzt, einen Bias abzuschwächen?
Also man hat ja schon mal von synthetischen Daten irgendwie gehört, das ist mir zumindest schon mal untergekommen.
Gibt es auch noch andere Möglichkeiten, den KI-Bias abzuschwächen?
Ja, Bias abzuschwächen kann man grob an drei verschiedenen Stellen.
Zum einen beim Training von diesem KI-Modell, in dem man bessere und ausgewogenere Daten sammelt.
Oder zum Beispiel künstliche Daten erzeugt für Gruppen oder Kombinationen von Input-Labels, die fehlen.
Und genau das machen wir auch mit generativen Modellen.
Man kann mit diesen synthetischen Daten, wenn man sie im Training nutzt und echte Daten anreichert, deutlich fairere Modelle trainieren.
Der zweite Aspekt ist während dem Training.
Also man kann auch, wenn man das Modell trainiert, ganz direkte Fairness-Regeln mit in den Lernprozess mit einbauen.
Und der dritte Aspekt ist nach dem Training.
Also wenn mein Modell fertig trainiert ist, dann kann man nach diesem Training nochmal schauen, okay, wie verhält sich mein Modell auf verschiedenen Gruppen?
Und wenn man da einen Bias feststellt, kann man zum Beispiel nochmal nachjustieren mit einem Feintuning.
Wie würde so ein Feintuning jetzt zum Beispiel aussehen?
Das finde ich ganz schön schwer vorstellbar.
Genau, und Fine-Tuning ist letztendlich auch eine Art von Training, nur nicht mehr auf einem großen und, sage ich mal, diversen Datensatz, sondern für eine speziellere Task.
Im Hautkrebsfall würde man trotzdem natürlich diverse Daten sammeln, aber speziell für die Fälle, die im vortrainierten Modell schlechter formen oder zum Beispiel nicht ganz fair behandelt werden.
Würdest du da jetzt zum Beispiel auch was bringen, an den trainierten Parametern zu drehen, also den sogenannten Weights?
Ja, natürlich.
Das macht ja auch dieses Feintuning.
Die Gewichte eines Modells, da steckt genau die Information drin, die in das Modell eingeflossen sind.
Also da ist so eine Art komprimiertes Wissen oder ein komprimierter Datensatz, der genutzt wird, um Vorhersagen zu treffen.
Der häufigste Weg, um diese Gewichte nachzujustieren, ist eben dieses Nachtrainieren oder Feintuning.
Man nimmt also ein fertiges Modell und trainiert es nochmal mit ausgewogeneren Daten nach auf die spezielle Aufgabe, an der man interessiert ist.
Und so könnte man die Vorhersagen dieses Modells oder auch die Biases in eine fairere Richtung versuchen zu drehen.
Wir hatten es ja jetzt eben schon angesprochen, dass es die Möglichkeit gibt, einen KI-Bias abzuschwächen, indem man eben synthetische Daten verwendet.
Und das heißt ja dann tatsächlich auch, dass diese Daten KI-generierte Trainingsdaten sein können.
Woher weiß ich jetzt, dass die KI-generierten Trainingsdaten keine Falschinformationen enthalten und eben jetzt zum Beispiel völlig halluziniert sind?
Ja, das ist eine wichtige Frage und die Sorge ist vollberechtigt.
verzerrten Daten gelernt hat, gibt diese Fehler letztendlich wieder.
Und wenn ein Modell oder die nächste Generation der Modelle immer wieder die eigenen Ergebnisse als Futter bekommt, also als Input im Training, werden diese auch stärker.
Also das Modell könnte diesen Beiß noch stärker sogar reproduzieren in der nächsten Generation.
Da gibt es interessante Fälle, wo genau das Gegenteil passiert.
Also zum Beispiel im generativen Bereich für Bilder ist es noch vor einiger Zeit so gewesen, dass menschliche Gesichter nur sehr schlecht dargestellt wurden.
Da gibt es ganz viele Details, auf die wir Menschen sehr sensibel sind, aber die Modelle konnten das noch gar nicht richtig trainieren.
Wenn man solche synthetische Daten dann im Training nutzt, dann hat man herausgefunden, dass die nächste Generation weniger beißt auf zum Beispiel das Geschlecht hat, weil eben diese synthetischen Daten so unscharfe Gesichter erstellt haben.
Das ist ja auch spannend.
Aber so hundertprozentig sicherstellen kann ich letztendlich nicht, dass die synthetischen Daten wirklich keine falsche Information enthalten.
Oder geht das irgendwie doch?
Ja, das ist schon schwierig.
Es braucht Qualitätskontrolle auf mehreren Ebenen.
Zum einen muss man prüfen, wie nah die künstlichen Daten an den echten Daten dran sind.
Zweitens kann man eigene Prüfmodelle, also Modelle, die getrennt trainiert worden sind von dem Modell, das ich gerade prüfen will, die unrealistische Trainingsdaten zum Beispiel aussortieren, bevor man sie sogar verwendet.
Und drittens, und in der Medizin unverzichtbar, ist es, Fachexpertise einzuholen.
Also Fachärzte, die sich diese Bilder anschauen und prüfen, ob sie klinisch plausibel sind.
Ein wichtiger Aspekt ist, dass künstliche Daten echte Daten nicht ersetzen sollten und nicht komplett.
Sie sollten diese am besten nur ergänzen.
relativ viel Support in der Community und auch in der Wissenschaft, dass die Ergänzung von echten und synthetischen Daten sehr gut funktioniert.
Aber wenn man nur synthetische Daten benutzt fürs Training, dann kriegt man A nicht eine gute Performance auf echten Testdaten und diese generalisieren dann nicht.
Genau, ich glaube, das klang jetzt auch schon ein bisschen an, dass du dich unter anderem mit KI im medizinischen Bereich beschäftigst.
Und da hast du eben an einem Projekt mitgearbeitet als wissenschaftlicher Mitarbeiter, an einem Forschungsprojekt des Deutschen Forschungszentrums für Künstliche Intelligenz, des DFKIs.
Und das Projekt nannte sich MedGenAI.
Da habt ihr ein KI-Modell entwickelt, das synthetische Bilder von Hautkrankheiten erzeugen kann und damit eben den Bias von sogenannten Diagnosemodellen letztendlich abschwächen kann.
Habe ich das so richtig verstanden?
Und wenn ja, dann erklär doch mal ein bisschen vielleicht, welche Ausgangslage ihr da eigentlich verbessern wolltet.
Sehr gerne, genau.
Also Matching AI ist entstanden im Kontext von Mission KI.
Mission KI ist ein sehr großes Projekt, in dem wir als DevKI auch involviert waren.
Es geht grundsätzlich um vertrauenswürdige KI.
Und ein Teilprojekt, das wir bearbeitet haben, ist...
Ja, Fairness-Aspekte in der KI für Medizin.
Wir haben uns angeschaut Hautkrebs, vor allem das Melanom, weil es die gefährlichste Form von Hautkrebs ist.
Es gibt jedes Jahr sehr viele neue Fälle und es werden immer mehr.
Die gute Nachricht ist oder die Hoffnung auch, dass die Heilungschancen sehr gut stehen, wenn man das Melanom frühzeitig erkennt.
Und KI könnte uns dabei helfen, diese Untersuchungen erstens viel zugänglicher zu machen.
Vielleicht sogar automatisch per Smartphone, wobei das glaube ich noch sehr weit weg ist.
Das Problem aber ist, dass beim Training dieser KI-Modelle zur Hautkrebserkennung die Datensätze wieder ungleich verteilt sind.
Und das betrifft nicht nur die Trainingsdaten, sondern auch die Testdaten.
Also zum Beispiel kommen dunklere Hauttypen und auch...
jüngere Menschen viel seltener vor und das ergibt dann zwei Folgen.
Erstens, die KI funktioniert für diese Gruppen ziemlich sicher schlechter und zweitens, und das ist eigentlich auch vielleicht der wichtigere Punkt, weil man diese Daten nicht hat oder nur wenig Daten von seltenen Cases, kann man erst gar nicht prüfen, wie fair denn ein Modell ist, weil es die Testbilder schlicht gar nicht gibt für diese Gruppe.
Okay.
Mit was für Daten habt ihr denn euer Bildmodell trainiert, damit es eben synthetische Bilder von Hautkrankheiten generieren kann?
Das hört sich ja erstmal ein bisschen suspekt an irgendwie.
Ja genau, vielleicht zuerst zum Lösungsvorschlag.
Also unsere Idee war halt eben genau das, wie ein Modell, ein generatives Modell trainieren für die Erzeugung von synthetischen Hautkrebsbildern und zwar gezielt steuerbar nach verschiedenen Parametern.
Also zum Beispiel das Geschlecht, Alter und auch den Hauttyp und jede Kombination davon.
Und so können wir dann mit diesem generativen Modell Testgruppen bauen, also auch Kombinationen, die es in echt kaum gibt.
Diese Testdaten können dann genutzt werden, um die Vorhersagemodelle besser zu analysieren.
Genau, und das jetzt auch, was du ansprichst, das klingt erstmal suspekt, weil die echten Daten gibt es nicht oder nur sehr wenige davon.
Das heißt, das generative Modell hat natürlich auch schon Schwierigkeiten, diese Gruppen zu lernen.
Kommen wir vielleicht nochmal zu diesem Punkt des Verifizierens zurück.
Kann ich denn sicherstellen, dass ein KI-generiertes Bild einer Hautkrankheit jetzt wirklich auch dem realen Krankheitsbild entspricht und eben nicht halluziniert ist?
Und wenn ja, wie kann ich das sicherstellen?
Ja, das ist insgesamt schwierig für ein einzelnes Bild.
kann man das kaum sagen.
Man kann nicht hundertprozentig garantieren, dass ein Bild genau der Wirklichkeit entspricht.
Aber man kann es systematisch absichern.
Und das ist auch genau, was wir in unserem Projekt gemacht haben.
Wir haben drei echte Erkennungsmodelle genommen, die vortrainiert waren und diese mit unseren künstlichen Bildern in der Testphase gefüttert.
Und was wir gesehen haben, ist, dass die Modelle sich bei den künstlichen Bildern, bei den synthetischen Bildern ähnlich verhalten wie bei den echten Bildern.
Und wenn das der Fall ist, also wenn ein Erkennungsmodell sich ähnlich verhält bei künstlichen, synthetischen Melanomen und diese ähnlich behandelt wie echte, dann stimmen also so die wichtigsten Merkmale in den Bildern, die zur Erkennung einer Krankheit genutzt werden.
Natürlich wäre es...
Am besten im Idealfall, wenn man Fachexpertise, also Fachärzte zur Verfügung hat, die uns unterstützen können.
In der Phase des Trainings eines Modells, in der Auswahl der richtigen Daten.
Aber das ist eben sehr zeitaufwendig und auch teuer.
Okay, das heißt also, es geht sozusagen eher darum, dass die Masse der synthetischen Daten insgesamt keine Fehler enthält und nicht sozusagen um das Einzelbild.
Genau, wir trainieren ein Modell ja immer auch auf einem großen Datensatz, in dem Fall ISIC, das ist International Skin Imaging Collection und wir nutzen ungefähr eine halbe Million Bildern.
Und genau wie du gesagt hast, ist für uns wichtig, wie verhält sich dieses Modell im Durchschnitt sozusagen.
Also das durchschnittliche synthetische Bild liegt es in der Verteilung von echten Bildern.
Digitalisierung, wenn ich das schon höre.
Jetzt muss ich mich neben meiner Arbeit auch noch um die Cloud kümmern.
Müssen Sie doch gar nicht.
Ach so, machen Sie das dann für mich?
Nee, aber Vodafone Business.
So ist es.
Wir haben die passende Cloud-Lösung für jedes Unternehmen.
Von der Migration bis zum laufenden Betrieb.
Zusammen für Ihr Business.
Vodafone.
Together we can.
Sind solche generativen KI-Modelle in der Medizinbranche, wie ihr...
das ihr jetzt erstellt habt oder produziert habt, ist das eher die Ausnahme oder ist das schon der Regelfall?
Weil ich habe das jetzt zum ersten Mal gesehen, wir haben uns ja auf der Hannover Messe kennengelernt, da hattet ihr einen Stand.
Aber ist das der Regelfall oder eher die Ausnahme?
Ich muss dazu sagen, ich bin nicht Arzt.
Also ich weiß nicht ganz genau, was in der Medizin schon alles zugelassen ist und was nicht.
Aus meiner persönlichen Erfahrung würde ich behaupten, dass im echten Klinikalltag, also an Patienten zugelassene Projekte, eher die Ausnahme.
Die KI, die heute in der Medizin zum Einsatz kommt, hat immer noch Schwachstellen.
In der Forschung sieht es natürlich ganz anders aus.
Da boomen generative Modelle und wir forschen seit vielen Jahren an KI-Modellen für die Medizin.
Also vertrauenswürdige KI in der Medizin ist auch ein Kernthema am DFKI und auch in unserem Team.
Aber wir interessieren uns zwar auch für die Diagnose, also KI-Modelle zur Diagnose, aber vor allem auch für unterstützende Aufgaben.
Also zum Beispiel, um fehlende Daten aufzufüllen mit synthetischen oder Bilder zu verbessern, diese trainierten KI-Modelle zu analysieren.
Was können die gut, was können sie nicht so gut?
Warum treffen sie Entscheidungen?
Und der Grund, dass generative Modelle nicht super geeignet sind für die Diagnose, ist, dass, wie wir vorher schon auch besprochen haben, die können halluzinieren.
Also sie können Bilder generieren und Daten generieren, die plausibel aussehen, aber vielleicht einfach falsch sind.
Das ist natürlich sehr gefährlich.
Es gibt zum Beispiel, wenn es in einem Datensatz eine gewisse Kombination von Hauttyp und Krankheit nicht gibt, dann kann mein generatives Modell ja trotzdem solche Bilder erzeugen.
Am Ende des Tages ist es eine Maschine, die gelernt hat, beliebige Inputs zu Outputs zu generieren.
Aber woher weiß ich denn, dass dieses...
Bild auch der Realität entspricht.
Das weiß ich in dem Fall nicht.
Da müsste ich Fachärzte fragen.
Die wissen es hoffentlich, aber vielleicht auch nicht, wenn sie diese Fälle noch nicht gesehen haben.
Und kritisch ist halt eben auch, dass eine Krankheit ja vielleicht auch verschiedene Merkmale oder verschiedene Symptome bei verschiedenen Geschlechtern oder Hauttypen zeigen kann.
Das heißt einfach dieser Transfer von so einem Von so einer Hautläsion auf einen anderen Hauttyp ist auch nicht immer so ganz einfach.
Kann man denn synthetische Daten, wie ihr das gemacht habt, eben zur Bias-Abschwächung, kann man die für alle möglichen Arten von KI-Modellen benutzen?
Also beispielsweise Large Language Models oder Bild- oder Audio-Generierungsmodelle?
Oder gibt es da auch irgendwie Beschränkungen?
Also welche Modelle weniger gut oder besser geeignet sind?
Ja, grundsätzlich ja.
Überall dort, wobei es entsteht, weil eine Gruppe in den Daten fehlt, kann man mit synthetischen Daten nachsteuern, also auch bei Audio oder Text.
Bei Bildern, würde ich behaupten, ist das am einfachsten, weil man sich diese Bilder eben anschauen kann.
Man kann die Qualität prüfen und sehen, ob es so aussieht, wie es aussehen soll oder nicht.
Bei Audio ist das auch möglich.
Zum Beispiel, um seltene Dialekte besser zu verstehen.
Bei Sprachmodellen natürlich auch.
Künstliche Texte werden auch genutzt, um die Frontiermodels zu trainieren.
Ich würde aber behaupten, dass Bias in der Sprache vielleicht ein bisschen diffuser ist, weil er in Stereotypen oder Denkmustern steckt und nicht wirklich in der Grammatik oder Syntax von Text.
Euer Bildmodell, was ihr entwickelt habt, das kann ja auch sogenannte Counterfactuals generieren.
Den Begriff habe ich so vorher noch nicht gehört.
Magst du das vielleicht nochmal erklären?
Ja.
Gibt es überhaupt diesen deutschen Begriff, kontrafaktisch?
Ja, im Prinzip her glaube ich schon.
Hört sich auf jeden Fall richtig an.
Ich weiß nicht, ob kontrafaktisch jetzt im KI-Kontext so geläufig ist, aber...
Ja, wahrscheinlich eher nicht.
Genau, also ein Counterfactual ist im Grunde so eine Was-wäre-wenn-Frage.
Also was wäre, wenn an genau diesem Bild ein Aspekt anders wäre und alle anderen wären gleich.
Also zum Beispiel, ich habe hier eine Hautstelle, also ein Melanom auf einer Hautstelle und erzeuge sie einmal mit einem helleren Hauttyp und einmal mit einem dunkleren Hauttyp.
Also die Krankheit selbst.
Wird medizinisch gesehen die gleiche bleiben?
Gehen wir mal davon aus.
Nur der Hautton ändert sich.
Und wie verhält sich dann mein Modell?
Also gibt es mir immer noch die gleiche Diagnose mit der gleichen Sicherheit?
Oder fängt es an, sich unsicher zu werden?
Oder gibt es sogar eine andere Diagnose?
Und das ist halt nützlich, solche Counterfactuals zu generieren, weil man damit...
den Bias analysieren kann und messen kann.
Wenn ich sehe, dass ein Modell bei dunkler Haut schlechter performt, dann weiß ich erstmal nicht warum.
Vielleicht liegt es an der Krankheit.
Vielleicht haben die Bilder eine andere Qualität oder wurden mit einem anderen Gerät, Mikroskop aufgezeichnet.
Oder liegt es vielleicht daran, an etwas ganz anderem?
einer versteckten Variable wie zum Beispiel dem Licht im Labor oder genau sowas.
Und was man mit diesen Counterfactuals eben machen kann, ist zu analysieren, auf was eigentlich das Modell reagiert.
Also auf welchen Aspekt in einem Bild reagiert es und welche Aspekte in einem Bild sind mehr sensibel und weniger sensibel.
Die Generierung von Counterfactuals ist Wichtig, weil bei manchen Kombinationen weiß man ja, dass sie keine Rolle spielen sollten.
Also wenn ein klinisches Symptom oder Merkmal, so ein Melanom auf der Haut oder eine Läsion, eine gewisse Krankheit, Krankheitsmerkmale zeigt, dann sollte die Diagnose von meinem Modell und die Sicherheit in meinem Modell ja komplett unabhängig sein, ob es sich hier um eine Frau oder einen Mann handelt oder ob es sich um eine junge oder alte Person handelt.
Wobei, kann ja sein, in der echten Welt gibt es vielleicht eine Korrelation zwischen Dingen, aber man könnte jetzt trotzdem erstmal sagen, okay, wir nehmen an, Krankheiten sind gleich verteilt.
Aber wenn ich dann mit Counterfactuals feststelle, dass mein Modell einer Gruppe sehr häufiger eine Krankheit zuweist als eine andere.
dann ist das schon etwas, wo ich genauer hinschauen sollte.
Also das heißt, man kann die Fehleranfälligkeit von dermatologischen Analysemodellen zum Beispiel in eurem Fall mithilfe von Counterfactuals verbessern.
Zuerst einmal messbar machen.
Also was genau sind die sensiblen Aspekte oder Biases in meinem Modell?
Kann man mit Counterfactuals aufdecken?
Im zweiten Schritt kann man natürlich auch dann die...
die man generiert aus dieser Analyse mit Counterfactuals nutzen, um zum Beispiel die richtigen synthetischen Daten zu generieren oder die echten Trainingsdaten besser zu filtern oder etwas am Modell, an der Loss-Funktion etc.
tunen.
Okay, und die Counterfactuals sind jetzt quasi immer eine Bandbreite von Bildern, die da generiert wird, also mehrere Bilder.
Oder wie muss ich mir das vorstellen?
Die Pipeline in der Counterfactual-Generierung ist häufig so, dass man ein gewisses Bild hat.
Das kann ein echtes Bild sein.
Man hat ein Erkennungsmodell fortrainiert.
Das gibt mir gegeben diesem Eingabebild eine Verteilung über die Diagnosen zum Beispiel.
Und jetzt kommt ein generatives Modell dazu.
Also dieses generative Modell kann das Signal aus dem Erkennungsmodell nutzen, um dann das originale Eingabebild leicht zu verändern, sodass zum Beispiel eine andere Diagnose herauskommt.
Dann hat man also zwei verschiedene Bilder.
Das originale Bild mit der Vorhersage einer Diagnose und dieses leicht veränderte synthetische Bild mit einer anderen Vorhersage.
Und diese Diskrepanz, also wie viel musste ich am Bild ändern, damit die Vorhersage springt zu einer anderen Diagnose zum Beispiel, Kann ich nutzen, also diesen Vergleich der zwei Bilder, um mir zu überlegen, okay, auf was guckt eigentlich mein Erkennungsmodell?
Was sind die wichtigen Merkmale?
Hat es die richtigen Merkmale erändert, um zum Beispiel einen rösartigen, zu einem gutartigen Krebs umzuwandeln?
Okay, also das heißt, man nutzt Counterfactuals vor allem in einem Zusammenspiel von mehreren KI-Modellen, also einem Erkennungsmodell.
einem generativen Modell.
Genau.
Okay, ja.
Vielleicht so als abschließende Frage.
Wie können jetzt solche wie eure Forschungsergebnisse künftig in KI-basierte medizinische Diagnosetools einfließen?
Ich sehe da hauptsächlich drei Säulen.
Die erste Säule ist ein Prüfwerkzeug.
Das heißt, bevor ein Diagnose-KI-Modell auf den Markt kommt, Testet man es gegen ausgewogene Testgruppen, echte, soweit vorhanden, aber auch synthetische, um alle Kombinationen von zum Beispiel Geschlecht, Alter und Hauttyp abzudecken.
Und das passt auch direkt zu den Anforderungen des europäischen Gesetzes.
Es ist datenschutzfreundlich, weil man dafür keine echten Patientendaten braucht.
Zweitens als Trainingsbaustein, was wir auch vorher besprochen haben.
gezielt synthetische Daten nutzen, um Lücken in den Trainingsdaten zu schließen und so von vornherein deutlich fairere Modelle und robustere Modelle bauen zu können.
Und drittens, das geht jetzt wieder in diese Richtung Counterfactuals oder gröber gesprochen Erklärbarkeit, Interpretierbarkeit.
Nicht nur messen, dass ein Modell unfair ist, sondern auch verstehen, warum.
Welche Merkmale nutzt es, um unfaire Vorhersagen zu treffen?
Genau.
Und was mir halt persönlich auch wichtig ist, bevor so ein Modell in der Klinik wirklich zum Einsatz kommt, braucht es trotzdem echte Studien mit echten Patienten und die Prüfung von Fachleuten, von Experten, die sich diese Bilder anschauen, die sich die Vorhersagen anschauen und die sich auch anschauen, ob das Modell die richtigen Merkmale nutzt, um eine Diagnose zu treffen.
Ganz, ganz wichtig für vertrauenswürdige KI in der Medizin.
Also, dass letztendlich irgendwie immer noch mal medizinische Fachexpertise auf, da drauf guckt und das letztendlich testet.
Da frage ich mich dann nur wieder, das meinst du jetzt auch gerade vorhin schon, dass das gar nicht so einfach und vor allem auch teuer ist, dass medizinisches Fachpersonal sich jetzt jedes einzelne generierte Bild anschaut.
Wie könnte dann aber so ein Workflow aussehen, wo sowas quasi gegengecheckt wird?
besser einschätzen können, ob die richtigen Daten genutzt werden, weil sie sich auch diese Bilder anschauen können und vergleichen können, ob es vielleicht Schwierigkeiten gibt in der Datenerfassung.
Zum Beispiel verschiedene Praxen haben verschiedene Geräte, verschiedene Lichteinflüsse.
Ist das ein Problem oder könnte man das vielleicht standardisieren?
Und dann natürlich auch vor allem in der Testphase, also wirklich.
dieses Modell nehmen, in der Praxis testen, sich noch nicht hundertprozentig darauf zu verlassen, sondern so eine Art paralleler Workflow.
Also die KI gibt eine Vorhersage und man selbst trifft eine Diagnose, ohne sich vorher die Vorhersage des Modells anzuschauen und vergleicht dann.
So kann man aufdecken, wo es Unterschiede gibt und dann in der nächsten Iteration verbessern.
Ja, okay.
Das klingt schlüssig.
Genau, ja, dann danke ich dir für deine Zeit.
Es war ein sehr spannendes Gespräch und vielleicht hören wir uns ja mal wieder.
Ja, vielen Dank.
Ja, danke, sehr gerne.
War schön, mit dir darüber zu sprechen.
Das war's für heute.
Das Interview von Robin mit Stanislaw Frohloff könnt ihr bei heiseplus nachlesen.
Und falls ihr noch kein Abo habt, dann bekommt ihr als Podcast-Hörerinnen und Hörer jetzt zwölf Wochen heiseplus mit 50 Prozent Rabatt.
Das bedeutet, ihr könnt alle heiseplusartikel lesen und habt Zugriff auf alle unsere Magazine online und in den Apps.
Das Angebot findet ihr unter heiseplus.de slash audio.
Den nächsten Deep Dive hört ihr hier in zwei Wochen.
Da geht es um ein Thema, bei dem wir vielleicht nicht sofort an die großen Veränderungen durch KI denken, nämlich um das Handwerk.
Es würde mich freuen, wenn ihr dann wieder dabei seid.
Bis dahin könnt ihr natürlich mit dem kompakten KI-Update Montag, Mittwoch und Freitag auf dem Laufenden bleiben.
Hört mal rein in den CT-Uplink, überall, wo ihr Podcasts hören könnt.
Wir versprechen euch, es wird garantiert nerdig.