Die Versicherer und Finanzdienstleister nutzen immer mehr Künstliche Intelligenz (KI) und Maschinelles Lernen (ML). Die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) mahnt nun vor Risiken. Unter anderem müssten die Anbieter gewährleisten, dass die entsprechenden Tools keine Kundengruppen benachteiligen - Diskriminierung sei möglich.
Dass Versicherer und Banken bereits umfassend KI-Tools nutzen, ist keine neue Erkenntnis. Chatbots zur Kundenberatung und Schadenbearbeitung, Software, um Versicherungsbetrug und manipulierte Bilder aufzudecken, das Extrahieren von Daten aus Texten: Die Einsatzmöglichkeiten sind vielfältig. Und bei Banken werden auch individuelle Daten der Kunden analysiert, um zu entscheiden, ob eine Person kreditwürdig ist oder nicht. Je ausgereifter die Technik wird, desto mehr Raum nimmt sie in den Prozessen der Unternehmen ein.
Das ruft nun auch die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) auf den Plan. „KI bei Banken und Versicherern: Automatisch fair?“, ist ein Fachbeitrag auf der Webseite der Behörde überschrieben. Er wurde gemeinsam verfasst von Autorinnen und Autoren der Versicherungs- und Bankenaufsicht. Schon die Überschrift lässt erkennen, dass sie den massiven Einsatz von KI auch mit Sorge sehen. Wenn Maschinen Entscheidungen treffen, „kann es problematisch werden. Denn sie folgen nur auf den ersten Blick einer neutralen Logik. Hochgradig automatisierte Entscheidungsprozesse mit geringer menschlicher Überwachung können bestehende Diskriminierungsrisiken verstärken“, heißt es in dem Text. Finanzdienstleister und Aufsicht seien verpflichtet, ungerechtfertigte Diskriminierung von Kundinnen und Kunden zu vermeiden.
Zunächst gehen die Autorinnen und Autoren auf den Unterschied zwischen direkter/unmittelbarer und indirekter/mittelbarer Diskriminierung ein. Beide seien nach EU-Gesetzgebung voneinander unterschieden:
- Bei direkter Diskriminierung wird eine Person oder Personengruppe aufgrund einer geschützten Eigenschaft benachteiligt: etwa aufgrund seiner Rasse, seines Geschlechts, der sexuellen Ausrichtung oder Religion. In Deutschland verbietet sie unter anderem das zivilrechtliche Allgemeine Gleichbehandlungsgesetz (AGG).
- Indirekte Diskriminierung liegt hingegen vor, wenn ein scheinbar neutrales Verfahren eine Person oder eine Gruppe mit gleichen geschützten Merkmalen benachteiligt. Indirekte Diskriminierung stellt nicht mehr auf die Ungleichbehandlung selbst ab, sondern auf die Auswirkungen von scheinbar neutralen Vorschriften, Verfahren oder Kriterien. Sie wirkt entsprechend subtiler. Ein Beispiel: Wenn ein Unternehmen Aufstiegschancen und Bonizahlungen von der Bereitschaft abhängig macht viele Überstunden zu leisten, könnten Frauen mit kleinen Kindern benachteiligt sein: Sie haben schlechtere Einkommens- und Aufstiegschancen auch bei gleicher Qualifikation und bei ähnlicher Leistungsbereitschaft.
Drei Dimensionen von Fairness
Im Bereich der künstlichen Intelligenz und des maschinellen Lernens werden Fragen der Diskriminierung unter dem Terminus „Fairness“ zusammengefasst, berichtet die BaFin weiter. Hierbei werden drei Aspekte unterschieden:
- Algorithmische Fairness: Finanzdienstleister müssen sicherstellen, dass ihre KI- und ML-Algorithmen fair arbeiten und keine Gruppen systematisch benachteiligen. Dieser Aspekt wird als „algorithmische Fairness“ bezeichnet. Dabei ist es wichtig, dass Algorithmen so gestaltet sind, dass sie gleiche Chancen für alle Personengruppen gewährleisten. Oft werde dies mithilfe quantitativer Methoden umgesetzt, wie etwa dem Vergleich des Anteils positiver Kreditentscheidungen bei Frauen mit dem bei Männern. Ein solcher statistischer Ansatz, der auf Gruppenmerkmale fokussiert, reiche jedoch meist nicht aus, um individuelle Diskriminierung zu erkennen, warnt die BaFin. Daher seien je nach Situation zusätzliche Maßnahmen notwendig, um Diskriminierung gezielt zu verhindern.
- Juristische Anforderungen und Diskriminierung: Die rechtlichen Rahmenbedingungen, insbesondere die Anti-Diskriminierungsgesetze, definieren klare Grenzen dafür, was als Diskriminierung gilt. Diese unterscheiden sich je nach nationaler Rechtsprechung. In Deutschland regelt das Allgemeine Gleichbehandlungsgesetz (AGG) beispielsweise, unter welchen Umständen eine Ungleichbehandlung unzulässig ist. Finanzdienstleister müssen daher sicherstellen, dass ihre KI-Systeme keine verbotenen Diskriminierungen vornehmen, insbesondere bei Merkmalen wie Geschlecht, Alter, ethnischer Herkunft und weiteren geschützten Eigenschaften.
- Bias und Transparenz: Ein weiterer wichtiger Punkt ist die Vermeidung von „Bias“ oder Vorurteilen in den KI-Systemen. Ein Bias kann entstehen, wenn der Trainingsdatensatz eines Algorithmus bestimmte Gruppen nicht ausreichend repräsentiert, etwa alleinstehende Frauen. Dies kann dazu führen, dass die Ergebnisse verzerrt und unfair sind. Um dies zu verhindern, fordert die BaFin von Finanzdienstleistern, transparente und nachvollziehbare Modelle zu verwenden, die auch für Nicht-Experten verständlich sind. Erklärbare Künstliche Intelligenz (Explainable AI) soll helfen, die Entscheidungsfindung der KI-Systeme offenzulegen und mögliche Diskriminierungen frühzeitig zu erkennen.
Das "Black Box"-Problem: Vorurteile in den ausgewerteten Quellen
Die BaFin warnt, dass die Problematik unzureichender Fairness und damit diskriminierender KI-Funktionen sich verschärfen könnte, wenn generative Künstliche Intelligenz, wie beispielsweise Large Language Models (LLMs), eingesetzt wird. Diese KI-Modelle sind darauf trainiert, menschliche Sprache zu verstehen, zu verarbeiten und zu erzeugen. "Trainiert" werden diese Modelle, indem sie auf riesige Mengen an Textdaten zurückgreifen, etwa aus dem Internet, aus Büchern, Nachrichten und anderen Quellen. Dabei nutzen sie Millionen bis Milliarden von Parametern (Gewichten), um Sprachmuster zu erkennen. In diesen Datenquellen können jedoch bereits bestehende Vorurteile und Stereotype enthalten sein. Zudem sind die Modelle nicht immer in der Lage, den Kontext von geschützten Eigenschaften wie Geschlecht, Ethnie und Alter korrekt zu erfassen. Dies kann dazu führen, dass solche Vorurteile innerhalb der KI fortgeschrieben und stereotypisiert werden.
Das Problem verschärft sich dadurch, dass Versicherer und Banken derartige KI-Tools in der Regel von Drittanbietern beziehen. Damit sind sowohl der Trainingsdatensatz als auch die detaillierte Funktionsweise des eingesetzten Modells nur grob bekannt. „Dieser Grad an Intransparenz besteht bei herkömmlichen mathematischen Modellen nicht. Denn sie bilden kausale Beziehungen zwischen verschiedenen Inputfaktoren und dem Modellergebnis explizit ab und sind damit besser nachvollziehbar“, schreibt die BaFin - auch mit Blick auf konventionelle Verfahren, bei denen Risikogruppen anhand transparenter und nachvollziehbarer aktuarieller Methoden gebildet werden. Diese haben hinsichtlich ihrer Transparenz und der Vermeidung von Diskriminierung Vorteile.
BaFin blickt Versicherern und Banken auf die Finger
Die BaFin weist darauf hin, dass sie mögliche Diskriminierungen, die durch die Automatisierung der Finanzindustrie entstehen können, in ihrer aufsichtlichen Tätigkeit berücksichtigt. Die allgemeinen Governance-Anforderungen gelten auch für KI- und Machine-Learning-Prozesse. Unternehmen müssen ihre internen Kontrollsysteme entsprechend anpassen. Dadurch könne die BaFin bereits jetzt ungerechtfertigte Diskriminierung im Zusammenhang mit KI/ML regulieren und deren Einhaltung überwachen. Generell sei die Thematik für den Tatbestand der ordnungsgemäßen Geschäftsführung relevant (bei Versicherern gemäß § 23 Absatz 1 Versicherungsaufsichtsgesetz).
In der Aufsicht erwartet die BaFin, dass Verantwortlichkeiten klar geregelt sind, auch beim Einsatz von KI/ML. Die Schulung von Mitarbeitenden, die an der Entwicklung und Nutzung dieser Technologien beteiligt sind, sei entscheidend, um Risiken zu minimieren. Zudem regele die Datenschutzgrundverordnung (DSGVO), in welchem Umfang Menschen durch automatisierte Entscheidungen betroffen sein dürfen.
Ein wichtiger rechtlicher Schritt ist die europäische Verordnung über künstliche Intelligenz (AI Act), die seit dem 1. August in Kraft ist. Diese Verordnung legt umfassende Regeln für KI-Systeme fest, insbesondere für Hochrisiko-KI-Anwendungen wie in der Kreditwürdigkeitsprüfung und in bestimmten Versicherungen, die vor allem den Zweig der Lebens- und Krankenversicherung betreffen. Ziel sei es, Diskriminierung zu vermeiden und Fairness sowie Transparenz zu fördern, beispielsweise durch strenge Vorgaben für Risiko- und Qualitätsmanagement, Dokumentation und Datenqualität. Artikel 10 der Verordnung enthalte hierbei spezifische Regelungen zur Minimierung von Vorurteilen in KI-Systemen.
Die Aufsichtsbehörde schreibt: "Für die BaFin ist klar: Finanzdienstleister müssen eine ungerechtfertigte Diskriminierung von Kundinnen und Kunden durch den Einsatz von KI/ML vermeiden. Die Unternehmen müssen Überprüfungsprozesse einrichten, um mögliche Diskriminierungsquellen zu identifizieren und Maßnahmen zu deren Beseitigung zu ergreifen. Dabei sind die Grenzen bestehender Verfahren zur Vermeidung ungewollter Diskriminierung zu beachten. Eine zuverlässige und transparente Daten-Governance und Datenverwaltung sind von entscheidender Bedeutung, um eine faire und diskriminierungsfreie Behandlung der Verbraucherinnen und Verbraucher zu gewährleisten". Dabei könne eine menschliche Aufsicht erforderlich sein, "um einen verantwortungsvollen Betrieb zu gewährleisten, technische Unzulänglichkeiten auszugleichen und Datenlücken zu schließen". Bei vergleichbaren Ergebnissen sollen einfache Modelle den komplexen Blackbox-Methoden vorgezogen werden.