Diskriminierung: BaFin sieht potentielle Probleme der Versicherer bei KI-Nutzung

Dass Versicherer und Banken bereits umfassend KI-Tools nutzen, ist keine neue Erkenntnis. Chatbots zur Kundenberatung und Schadenbearbeitung, Software, um Versicherungsbetrug und manipulierte Bilder aufzudecken, das Extrahieren von Daten aus Texten: Die Einsatzmöglichkeiten sind vielfältig. Und bei Banken werden auch individuelle Daten der Kunden analysiert, um zu entscheiden, ob eine Person kreditwürdig ist oder nicht. Je ausgereifter die Technik wird, desto mehr Raum nimmt sie in den Prozessen der Unternehmen ein.

Das ruft nun auch die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) auf den Plan. „KI bei Banken und Versicherern: Automatisch fair?“, ist ein Fachbeitrag auf der Webseite der Behörde überschrieben. Er wurde gemeinsam verfasst von Autorinnen und Autoren der Versicherungs- und Bankenaufsicht. Schon die Überschrift lässt erkennen, dass sie den massiven Einsatz von KI auch mit Sorge sehen. Wenn Maschinen Entscheidungen treffen, „kann es problematisch werden. Denn sie folgen nur auf den ersten Blick einer neutralen Logik. Hochgradig automatisierte Entscheidungsprozesse mit geringer menschlicher Überwachung können bestehende Diskriminierungsrisiken verstärken“, heißt es in dem Text. Finanzdienstleister und Aufsicht seien verpflichtet, ungerechtfertigte Diskriminierung von Kundinnen und Kunden zu vermeiden.

Zunächst gehen die Autorinnen und Autoren auf den Unterschied zwischen direkter/unmittelbarer und indirekter/mittelbarer Diskriminierung ein. Beide seien nach EU-Gesetzgebung voneinander unterschieden:

• Bei direkter Diskriminierung wird eine Person oder Personengruppe aufgrund einer geschützten Eigenschaft benachteiligt: etwa aufgrund seiner Rasse, seines Geschlechts, der sexuellen Ausrichtung oder Religion. In Deutschland verbietet sie unter anderem das zivilrechtliche Allgemeine Gleichbehandlungsgesetz (AGG).
• Indirekte Diskriminierung liegt hingegen vor, wenn ein scheinbar neutrales Verfahren eine Person oder eine Gruppe mit gleichen geschützten Merkmalen benachteiligt. Indirekte Diskriminierung stellt nicht mehr auf die Ungleichbehandlung selbst ab, sondern auf die Auswirkungen von scheinbar neutralen Vorschriften, Verfahren oder Kriterien. Sie wirkt entsprechend subtiler. Ein Beispiel: Wenn ein Unternehmen Aufstiegschancen und Bonizahlungen von der Bereitschaft abhängig macht viele Überstunden zu leisten, könnten Frauen mit kleinen Kindern benachteiligt sein: Sie haben schlechtere Einkommens- und Aufstiegschancen auch bei gleicher Qualifikation und bei ähnlicher Leistungsbereitschaft.

Drei Dimensionen von Fairness

Im Bereich der künstlichen Intelligenz und des maschinellen Lernens werden Fragen der Diskriminierung unter dem Terminus „Fairness“ zusammengefasst, berichtet die BaFin weiter. Hierbei werden drei Aspekte unterschieden:

1. Algorithmische Fairness: Finanzdienstleister müssen sicherstellen, dass ihre KI- und ML-Algorithmen fair arbeiten und keine Gruppen systematisch benachteiligen. Dieser Aspekt wird als „algorithmische Fairness“ bezeichnet. Dabei ist es wichtig, dass Algorithmen so gestaltet sind, dass sie gleiche Chancen für alle Personengruppen gewährleisten. Oft werde dies mithilfe quantitativer Methoden umgesetzt, wie etwa dem Vergleich des Anteils positiver Kreditentscheidungen bei Frauen mit dem bei Männern. Ein solcher statistischer Ansatz, der auf Gruppenmerkmale fokussiert, reiche jedoch meist nicht aus, um individuelle Diskriminierung zu erkennen, warnt die BaFin. Daher seien je nach Situation zusätzliche Maßnahmen notwendig, um Diskriminierung gezielt zu verhindern.
2. Juristische Anforderungen und Diskriminierung: Die rechtlichen Rahmenbedingungen, insbesondere die Anti-Diskriminierungsgesetze, definieren klare Grenzen dafür, was als Diskriminierung gilt. Diese unterscheiden sich je nach nationaler Rechtsprechung. In Deutschland regelt das Allgemeine Gleichbehandlungsgesetz (AGG) beispielsweise, unter welchen Umständen eine Ungleichbehandlung unzulässig ist. Finanzdienstleister müssen daher sicherstellen, dass ihre KI-Systeme keine verbotenen Diskriminierungen vornehmen, insbesondere bei Merkmalen wie Geschlecht, Alter, ethnischer Herkunft und weiteren geschützten Eigenschaften.
3. Bias und Transparenz: Ein weiterer wichtiger Punkt ist die Vermeidung von „Bias“ oder Vorurteilen in den KI-Systemen. Ein Bias kann entstehen, wenn der Trainingsdatensatz eines Algorithmus bestimmte Gruppen nicht ausreichend repräsentiert, etwa alleinstehende Frauen. Dies kann dazu führen, dass die Ergebnisse verzerrt und unfair sind. Um dies zu verhindern, fordert die BaFin von Finanzdienstleistern, transparente und nachvollziehbare Modelle zu verwenden, die auch für Nicht-Experten verständlich sind. Erklärbare Künstliche Intelligenz (Explainable AI) soll helfen, die Entscheidungsfindung der KI-Systeme offenzulegen und mögliche Diskriminierungen frühzeitig zu erkennen.

Das "Black Box"-Problem: Vorurteile in den ausgewerteten Quellen

Die BaFin warnt, dass die Problematik unzureichender Fairness und damit diskriminierender KI-Funktionen sich verschärfen könnte, wenn generative Künstliche Intelligenz, wie beispielsweise Large Language Models (LLMs), eingesetzt wird. Diese KI-Modelle sind darauf trainiert, menschliche Sprache zu verstehen, zu verarbeiten und zu erzeugen. "Trainiert" werden diese Modelle, indem sie auf riesige Mengen an Textdaten zurückgreifen, etwa aus dem Internet, aus Büchern, Nachrichten und anderen Quellen. Dabei nutzen sie Millionen bis Milliarden von Parametern (Gewichten), um Sprachmuster zu erkennen. In diesen Datenquellen können jedoch bereits bestehende Vorurteile und Stereotype enthalten sein. Zudem sind die Modelle nicht immer in der Lage, den Kontext von geschützten Eigenschaften wie Geschlecht, Ethnie und Alter korrekt zu erfassen. Dies kann dazu führen, dass solche Vorurteile innerhalb der KI fortgeschrieben und stereotypisiert werden.

Das Problem verschärft sich dadurch, dass Versicherer und Banken derartige KI-Tools in der Regel von Drittanbietern beziehen. Damit sind sowohl der Trainingsdatensatz als auch die detaillierte Funktionsweise des eingesetzten Modells nur grob bekannt. „Dieser Grad an Intransparenz besteht bei herkömmlichen mathematischen Modellen nicht. Denn sie bilden kausale Beziehungen zwischen verschiedenen Inputfaktoren und dem Modellergebnis explizit ab und sind damit besser nachvollziehbar“, schreibt die BaFin - auch mit Blick auf konventionelle Verfahren, bei denen Risikogruppen anhand transparenter und nachvollziehbarer aktuarieller Methoden gebildet werden. Diese haben hinsichtlich ihrer Transparenz und der Vermeidung von Diskriminierung Vorteile.