Künstliche Intelligenz (KI) ist seit Jahren im Aufschwung. Selbstfahrende Autos, menschenähnliche digitale Assistenten und andere revolutionäre Anwendungen sind marktreif oder zum Greifen nah. Doch Entscheidungen – menschliche wie maschinelle – beinhalten Risiken. KI-Kritiker befürchten Diskriminierung, Persönlichkeitsverletzungen, Gefahren für Leib und Leben bis hin zu apokalyptischen Szenarien. Die EU möchte „Hochrisiko“-KI per Verordnung regulieren. Ein Überblick über den Entwurf und Diskussionsstand.

Hintergrund

In der Digitalen Agenda der EU-Kommission für die Zeit bis 2020 spielte KI kaum eine Rolle. Ganz anders der im März vorgestellte Digitale Kompass, die politische Vision bis 2030: Die EU strebt nun einer Vorreiterrolle in „ethischer KI“ an. Der Begriff zeigt, dass man neben Chancen auch Risiken sieht. Die „ethische“ Qualität der KI soll daher durch Regulierung sichergestellt werden.

Im April 2021 hat die EU-Kommission dazu den Entwurf einer EU-Verordnung zur Künstlichen Intelligenz (KI-Gesetz) vorgestellt. Vorarbeiten in Form der Ethikrichtlinien für eine vertrauenswürdige KI hat eine Expertengruppe im April 2019 präsentiert.

Die Bestrebungen für eine gesetzliche Regelung kommen nicht zu früh. Zuletzt hatten immer mehr Verbände und Organisationen Empfehlungen zum Einsatz Künstlicher Intelligenz herausgebracht (so etwa der BDI, der ZVEI, das Forum Privatheit, der Bitkom und der DAV). Auf eine Selbstregulierung zu setzen, erscheint jedoch weder den Risiken angemessen, noch schafft es ausreichende Rechtssicherheit für die Entwickler und Anwender von KI. Das KI-Gesetz geht einen Mittelweg zwischen einem weitgehend freien Markt (Beispiel USA) und einem autoritären Ansatz (Beispiel China).

Weiter Anwendungsbereich (Vermarktung und Nutzung von KI)

Das zukünftige KI-Gesetz betrifft die Vermarktung, Inbetriebnahme und Nutzung von KI. KI wird im Entwurf weit definiert und bezeichnet Software, die Techniken des maschinellen Lernens, wissensbasierte Systeme oder statistische Such- und Optimierungsmethoden umsetzt.

Bei dem Entwurf handelt es sich um eine horizontale Verordnung, deren Anwendung nicht auf bestimmte Sektoren beschränkt ist. Alle Anbieter und Nutzer von KI werden erfasst. Dies gilt auch, wenn sie außerhalb der EU sitzen, aber ihre KI-Systeme sich auf Personen in der EU auswirken. Eine ähnliche extraterritoriale Geltung hat bereits die EU-Datenschutzgrundverordnung (DSGVO). Und dies bleibt nicht die einzige Parallele zur DSGVO: So sollen KI-Anbieter außerhalb der EU einen Vertreter in der EU benennen.

Verbotene KI-Systeme

KI-Systeme werden nach dem Entwurf klassifiziert. Einige Einsatzzwecke werden gänzlich untersagt. Diese Verbote sind zum Teil sehr unscharf formuliert:

• Nachteilige Beeinflussung von Menschen
• Ausnutzung von Schwächen
• Allgemeine Überwachung: KI-Systeme, die unterschiedslos für die Überwachung „aller natürlicher Personen“ eingesetzt werden, zum Beispiel in Form großangelegter Überwachung und Tracking mit personenbezogenen Daten in digitalen oder physischen Umgebungen,
• Soziales Scoring: KI-Systeme, die zur allgemeinen Beurteilung der Vertrauenswürdigkeit von Personen auf Basis ihres Verhaltens oder ihrer Persönlichkeitsmerkmale genutzt werden, wenn dies zu systematischen Benachteiligungen auch in anderen Kontexten oder insgesamt zu unverhältnismäßigen Benachteiligungen führt.

Für die genannten Zwecke soll KI nur ausnahmsweise durch Behörden eingesetzt werden dürfen, wenn ein Gesetz dies im Sinne der öffentlichen Sicherheit erlaubt. Ob das Ziel der öffentlichen Sicherheit den Einsatz von KI-Systemen zu den genannten Zwecken verfassungsrechtlich rechtfertigen kann, ist allerdings sehr fraglich. Ferner vermisst man eine Aussage zu kontroversen Einsatzszenarien wie autonomen, tödlichen Waffensystemen.

Hochrisiko-KI-Systeme

Hauptsächlich befasst sich der Entwurf mit Regelungen für „Hochrisiko-KI-Systeme“ (HRKI). Hierzu sollen zählen:

• Sicherheitskomponenten von Fahrzeugen (Straße, Schiene, Wasser, Luft)
• Sicherheitskomponenten regulierter Produkte (für die das EU-Recht eine Konformitätsprüfung und CE-Kennzeichnung vorschreibt)
• Sonstige HR-KI (mit Konformitätsprüfung): Der Entwurf verlangt ferner eine Prüfung und CE-Kennzeichnung für KI-Systeme zur biometrischen Fern-Identifikation in öffentlich zugänglichen Räumen sowie KI-Systeme als Sicherheitskomponenten für wesentliche öffentliche Infrastrukturnetzwerke (wie Wasser, Gas, Elektrizität).
• Sonstige HR-KI (mit Selbsteinschätzung): Eine Selbsteinschätzung zur Konformität soll genügen für KI-Systeme zur
  • Priorisierung von Notfalldiensten wie Feuerwehr oder medizinischer Hilfe,
  • Bestimmung des Zugangs zu Einrichtungen der Aus- oder Berufsbildung,
  • Beurteilung bei Bewerbungsverfahren, Beförderungen, Kündigungen sowie der Zuweisung von Aufgaben und der Leistungs- und Verhaltenskontrolle im Arbeitsverhältnis,
  • Bestimmung der Kreditwürdigkeit,
  • Bestimmung des Zugangs zu öffentlichen Leistungen,
  • Verhinderung, Untersuchung, Aufdeckung oder Verfolgung von Straftaten oder im Zusammenhang mit freiheitsbeschränkenden Maßnahmen,
  • Vorhersage von Straftaten oder sozialen Unruhen zwecks Planung von Patrouillen und räumlicher Überwachung,
  • Bearbeitung von Asyl- und Visaanträgen und -beschwerden sowie dem Einlass ins Gebiet der EU,
  • Unterstützung von Richterinnen und Richtern (außer bei Hilfsaufgaben).

Anforderungen an die Entwicklung von HRKI

HRKI soll der CE-Kennzeichnung unterliegen, so dass sie vor der Markteinführung auf die Konformität mit den Anforderungen der KI-Verordnung zu prüfen sind. Dies sind insbesondere:

• „Gute“ Trainingsdaten: Trainingsdaten sollen eine „hohe Qualität“ haben. Gemeint ist, dass sie frei von Verzerrungen sind, die zu Vorurteilen und diskriminierenden Entscheidungen führen können. Vielzitiert ist insofern der gescheiterte Versuch von Amazon, Bewerbungen per KI zu filtern. Das System wurde mit Bewerbungsunterlagen und den Entscheidungen der Recruiter gefüttert. Da die HR-Abteilung Männer bevorzugt eingestellt hatte, lernte auch die KI diese Präferenz und sortierte Frauen konsequent aus. Das Geschlecht erschloss sich die KI dabei nur indirekt anhand von Begriffen wie „Women’s Chess Club“ oder „Women’s College“. Nach erfolglosen Versuchen, die KI trotz der vorurteilsbelasteten Trainingsdaten diskriminierungsfrei zu gestalten, gab Amazon das Projekt auf.

• Diskriminierungsfreiheit: Die Aufbereitung von Trainingsdaten wird also erhebliche Sorgfalt erfordern. Zum Testen müssen wiederum neue Datensätze verwendet werden, die nicht bereits für das Training der KI genutzt wurden. Laut der Verordnung besteht ein gewichtiges öffentliches Interesse an diskriminierungsfreier HRKI. Für Tests, die dies sicherstellen, dürfen daher – soweit erforderlich – auch sensible Daten etwa über die Gesundheit, Religion oder sexuelle Orientierung verwendet werden (vgl. Art. 9 Abs. 2 lit. g DSGVO).

• Nachvollziehbarkeit: Eine besondere Herausforderung ist die Vorgabe, HRKI so zu gestalten, dass ihre Ausgabe rückverfolgbar und erklärbar ist. So beruhen etwa neuronale Netze, die das Funktionsprinzip des menschlichen Gehirns aufgreifen, nicht auf einer symbolischen Darstellung von Wissen. Es ist daher nicht trivial, ihre „Denkprozesse“ in eine symbolische Form zu überführen und logisch nachvollziehbar zu machen. Dies wird aber nach dem Entwurf der KI-Verordnung verlangt.

• Transparenz: Die KI soll nicht nur für Experten, sondern auch für die Nutzer transparent sein. Hierzu ist eine Benutzerdokumentation in prägnanter und möglichst untechnischer Sprache beizufügen. Diese muss die Zwecke und Eigenschaften des Systems, Design und Logik sowie die Anforderungen an den Einsatz und die laufende Wartung beschreiben.

• Menschliche Überwachung: HRKI sollen für eine Überwachung durch Menschen geeignet sein – z.B. durch Schnittstellen. Dadurch sollen mögliche Risiken verringert werden.

• Konformitätsprüfung, CE-Kennzeichnung, Standardisierung und Testverfahren: Die Konformität von HRKI mit der KI-Verordnung wird die Voraussetzung für die Vermarktung in der EU werden. Sie kann über eine CE-Kennzeichnung nachgewiesen werden. Die EU wird zudem Standards verabschieden, bei deren Einhaltung die Konformität mit der Verordnung anzunehmen ist. Für die umfassenden Tests, die nach der KI-Verordnung notwendig werden, sollen die zuständigen Behörden „Sandboxing Schemes“ entwickeln, also Vorgaben für sichere Testumgebungen. Die Konformitätsprüfung für KI beruht auf einer ex ante Sicht, hat aber gleichwohl Ähnlichkeiten mit der Datenschutzfolgenabschätzung nach der DSGVO.

Allgemeine Anforderungen für alle KI-Systeme

Für KI-Systeme, die keine HRKI sind, gelten nur Basisanforderungen. Wenn Sie zur Interaktion mit Menschen bestimmt sind, muss erkennbar sein, dass es sich um eine KI handelt. Personen müssen ausdrücklich darauf hingewiesen werden, wenn ihre Daten durch eine KI zur Erkennung von Emotionen und zur Kategorisierung von Personen verarbeitet werden. Sogenannte Deepfakes, also mithilfe von KI erzeugte Bilder, Videos oder Tonaufnahmen, die den Eindruck erwecken, reale Personen zu zeigen, sind grundsätzlich als solche zu kennzeichnen.

Kritik und Ausblick

Der Entwurf der KI-Verordnung ist mutig. Es wäre weltweit das erste Mal, das KI in diesem Umfang horizontal reguliert wird. Dies führt aber auch zu erheblichen Hürden für die Entwicklung und den Einsatz von KI. Wie nicht anders zu erwarten, ist der Entwurf auf erhebliche Kritik aus unterschiedlichen Richtungen gestoßen. Wesentliche Kritikpunkte umfassen:

• White-washing: Grundlegende Kritiker sehen die Begriffe „vertrauenswürdige“ oder „ethische“ KI als reines Marketing-Narrativ. Vertrauenswürdig könnten per se nur Menschen sein, nicht aber KI (Thomas Metzinger in der taz zu den Vorarbeiten).
• Innovationshemmnis: Auf Innovation ausgerichtet Verbände wie das Center for Data Innovation sehen die Gefahr, dass das KI-Gesetz die Entwicklung der KI-Branche in einem frühen Stadium Europa ersticken wird.
• Mangelnde Qualität: Forscher aus Großbritannien und den Niederlanden attestieren dem Entwurf große Ambitionen, aber eine schwache Umsetzung (Artikel als PDF). Versatzstücke von Gesetzen aus verschiedensten Rechtsgebieten seien teils ohne Sinn zusammengefügt worden, was die Umsetzbarkeit gefährde. Zudem enthalte der Entwurf zu viele Unklarheiten.
• Schutzlücken; mangelnde Abstimmung auf die DSGVO: In einer gemeinsamen Stellungnahme (PDF) haben die Europäische Datenschutzbeauftragte und der Europäische Datenschutzausschuss den Entwurf grundsätzlich begrüßt. Sie sehen aber gefährliche Schutzlücken durch Ausnahmeregelungen und nicht weit genug gefasste Verbote. Außerdem beklagen sich eine fehlende Abstimmung der geplanten CE-Kennzeichnung auf die Anforderungen der DSGVO.

Vor diesem Hintergrund darf die weitere Entwicklung mit Spannung erwartet werden. Der Entwurf der Kommission wird sicherlich im Gesetzgebungsverfahren durch den Input von Parlament und Rat noch erhebliche Änderungen erfahren.