Die BaFin weist darauf hin, dass sie mögliche Diskriminierungen, die durch die Automatisierung der Finanzindustrie entstehen können, in ihrer aufsichtlichen Tätigkeit berücksichtigt. Die allgemeinen Governance-Anforderungen gelten auch für KI- und Machine-Learning-Prozesse. Unternehmen müssen ihre internen Kontrollsysteme entsprechend anpassen. Dadurch könne die BaFin bereits jetzt ungerechtfertigte Diskriminierung im Zusammenhang mit KI/ML regulieren und deren Einhaltung überwachen. Generell sei die Thematik für den Tatbestand der ordnungsgemäßen Geschäftsführung relevant (bei Versicherern gemäß § 23 Absatz 1 Versicherungsaufsichtsgesetz).
In der Aufsicht erwartet die BaFin, dass Verantwortlichkeiten klar geregelt sind, auch beim Einsatz von KI/ML. Die Schulung von Mitarbeitenden, die an der Entwicklung und Nutzung dieser Technologien beteiligt sind, sei entscheidend, um Risiken zu minimieren. Zudem regele die Datenschutzgrundverordnung (DSGVO), in welchem Umfang Menschen durch automatisierte Entscheidungen betroffen sein dürfen.
Ein wichtiger rechtlicher Schritt ist die europäische Verordnung über künstliche Intelligenz (AI Act), die seit dem 1. August in Kraft ist. Diese Verordnung legt umfassende Regeln für KI-Systeme fest, insbesondere für Hochrisiko-KI-Anwendungen wie in der Kreditwürdigkeitsprüfung und in bestimmten Versicherungen, die vor allem den Zweig der Lebens- und Krankenversicherung betreffen. Ziel sei es, Diskriminierung zu vermeiden und Fairness sowie Transparenz zu fördern, beispielsweise durch strenge Vorgaben für Risiko- und Qualitätsmanagement, Dokumentation und Datenqualität. Artikel 10 der Verordnung enthalte hierbei spezifische Regelungen zur Minimierung von Vorurteilen in KI-Systemen.
Die Aufsichtsbehörde schreibt: "Für die BaFin ist klar: Finanzdienstleister müssen eine ungerechtfertigte Diskriminierung von Kundinnen und Kunden durch den Einsatz von KI/ML vermeiden. Die Unternehmen müssen Überprüfungsprozesse einrichten, um mögliche Diskriminierungsquellen zu identifizieren und Maßnahmen zu deren Beseitigung zu ergreifen. Dabei sind die Grenzen bestehender Verfahren zur Vermeidung ungewollter Diskriminierung zu beachten. Eine zuverlässige und transparente Daten-Governance und Datenverwaltung sind von entscheidender Bedeutung, um eine faire und diskriminierungsfreie Behandlung der Verbraucherinnen und Verbraucher zu gewährleisten". Dabei könne eine menschliche Aufsicht erforderlich sein, "um einen verantwortungsvollen Betrieb zu gewährleisten, technische Unzulänglichkeiten auszugleichen und Datenlücken zu schließen". Bei vergleichbaren Ergebnissen sollen einfache Modelle den komplexen Blackbox-Methoden vorgezogen werden.