Ab dem 2. August 2026 sind bestimmte Betreiber von Hochrisiko-KI-Systemen dazu verpflichtet, eine Grundrechte-Folgenabschätzung (GRFA) durchzuführen. Wer zu diesen Betreibern zählt, was eine GRFA umfasst und welche Bedeutung dem Datenschutz in diesem Zusammenhang zukommt, wird in diesem Beitrag erläutert.
Der Inhalt im Überblick
Art. 27 KI-VO im Überblick
Die Grundrechte-Folgenabschätzung ist in Art. 27 der KI-VO geregelt. Sie gehört zu den Pflichten der Betreiber von Hochrisiko-KI-Systemen, die in Kapitel 3 Abschnitt 3 der KI-VO festgelegt sind. Was Hochrisiko-KI ist, ist in der KI-Verordnung in Art. 6 festgelegt. Hierbei kommt es grundsätzlich darauf an, welches Risiko die Systeme für die Gesundheit, Sicherheit oder Grundrechte von Personen haben. Das können z.B. KI-Systeme sein, die im Personalbereich eingesetzt werden.
Wer muss eine Grundrechte-Folgenabschätzung durchführen?
Der Adressatenkreis ist in Art. 27 Abs. 1 KI-VO eng gefasst. Zur Durchführung einer GRFA verpflichtet sind nur:
- Einrichtungen des öffentlichen Rechts (wie Behörden, Universitäten, öffentliche Krankenhäuser).
- Private Einrichtungen, die öffentliche Dienste erbringen. Wer genau hierunter fällt, ist auslegungsbedürftig. Erwägungsgrund 96 spricht von Einrichtungen, die mit Aufgaben im öffentlichen Interesse „verknüpft“ sind, etwa in den Bereichen Bildung, Gesundheitsversorgung, Sozialdienste, Wohnungswegen und Justizverwaltung.
- Betreiber von bestimmten KI-Systemen, die dazu eingesetzt werden, die Kreditwürdigkeit und Bonität von Menschen zu bewerten, und solche, die für Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen eingesetzt werden (wie Banken, Scoring-Unternehmen).
Was bedeutet das für die verpflichteten Betreiber?
Das bedeutet, dass der Adressatenkreis sehr begrenzt ist. Denn: Nur die in 1. und 2. genannten Einrichtungen müssen für alle Hochrisiko-KI-Systeme Grundrechte-Folgenabschätzungen erbringen. Also z.B. Behörden im Rahmen des Einsatzes von KI im Personalwesen (Anhang III Nr. 4), oder öffentliche Schulen bei der Überwachung von Prüfungen mittels KI (Anhang III Nr. 3 d). Außerdem gilt die Pflicht u.a. für KI-Systeme in den Bereichen der Strafverfolgung, Migration und Grenzkontrolle, Rechtspflege sowie der allgemeinen und beruflichen Bildung. Einzige Ausnahme sind KI-Systeme im Bereich kritischer Infrastruktur gemäß Anhang III Nr. 2 KI-VO. Hierfür muss keine GRFA durchgeführt werden.
Ansonsten gilt die Pflicht nur, wenn Betreiber mit Hochrisiko-KI-Systemen Kreditwürdigkeit und Bonität bewerten lassen oder Versicherungsprämien errechnen (Anhang III Nr. 5 b) und c)).
Zusammengefasst heißt das: Behörden werden oft Grundrechte-Folgenabschätzungen durchführen müssen. In der privaten Wirtschaft wird es kaum Unternehmen treffen.
Inhaltliche Anforderungen der Grundrechte-Folgenabschätzung
Zunächst ist es wichtig, dass die Grundrechte-Folgenabschätzung vor dem erstmaligen Einsatz eines Hochrisiko-KI-Systems durchgeführt wird. Auf diese Weise können potenzielle Grundrechtsverletzungen frühzeitig erkannt und Risiken für die Grundrechte durch technische, organisatorische oder rechtliche Maßnahmen gemindert werden, bevor das System reale Auswirkungen auf Menschen hat.
Wie die GRFA inhaltlich auszugestalten und durchzuführen ist, wird im Erwägungsgrund 96 zur KI-VO abstrakt beschrieben. Enthalten sollte sie demnach jedenfalls folgende Punkte:
- Nennung der Verfahren, in denen das Hochrisiko-KI-System entsprechend seinem Zweck eingesetzt wird
- Beschreibung des Zeitraums, der Häufigkeit und der betroffenen Personengruppen bei der Nutzung des Systems
- Beschreibung spezifischer Schadensrisiken für die Grundrechte dieser Personen oder Gruppen
- Spezifische Schadensrisiken, die sich auf die Grundrechte dieser Personen oder Gruppen auswirken können. Hierzu sollen alle relevanten Informationen zur Folgenabschätzung einbezogen werden, insbesondere aus der Betriebsanleitung des Anbieters.
- Festlegung von Maßnahmen für den Umgang mit ermittelten Risiken (einschließlich beispielsweise Unternehmensführungsregelungen). Betreiber sollten interne Regelungen zu menschlicher Aufsicht, Beschwerde- und Rechtsbehelfsverfahren aufstellen.
Die Betreiber können außerdem relevante Interessengruppen in die Folgenabschätzung einbeziehen (z.B. mögliche Betroffene, Sachverständige, Zivilgesellschaft), insbesondere bei KI-Systemen im öffentlichen Sektor.
Ablauf und Prozess der Grundrechte-Folgenabschätzung
Zur Unterstützung der Betreiber wird das Büro für Künstliche Intelligenz gem. Art. 27 Abs. 5 KI-VO dazu verpflichtet
„…ein Muster für einen Fragebogen – auch mithilfe eines automatisierten Instruments – [auszuarbeiten], um die Betreiber in die Lage zu versetzen, ihren Pflichten gemäß diesem Artikel in vereinfachter Weise nachzukommen.“
Art. 27 Abs. 3 KI-VO schreibt vor, dass dieses Muster von dem Betreiber ausgefüllt und an die zuständige Marktüberwachungsbehörde übermittelt wird, um diese über das Ergebnis der Folgenabschätzung zu unterrichten. Noch immer stellt sich diesbezüglich die Frage, wer die Marktüberwachung letztlich übernehmen wird.
Das bedeutet im Klartext: Die Marktüberwachungsbehörde bekommt (außer in einigen, begründeten Ausnahmefällen) alle Grundrechte-Folgenabschätzungen vorgelegt.
Sollte sich einer der o.g. inhaltlichen Faktoren ändern, muss die GRFA aktualisiert werden (vgl. Art. 27 Abs. 2 S. 3 KI-VO).
Eine Verbindung zum Datenschutz
Einige datenschutzrechtliche Verantwortliche haben sich im Rahmen des Art. 35 DSGVO bereits mit der Frage beschäftigen müssen, was sich hinter der Datenschutz-Folgenabschätzung (DSFA) verbirgt. Für sie ist das Prinzip der Folgenabschätzung also kein Neuland.
Die Grundrechte-Folgenabschätzung weist einige inhaltliche Überschneidungen zur Datenschutz-Folgenabschätzung auf, was das Zusammenspiel von KI-Verordnung und DSGVO besonders interessant macht.
In Art. 35 Abs. 1 DSGVO heißt es:
„Hat eine Form der Verarbeitung, insbesondere bei Verwendung neuer Technologien, […] voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge, so führt der Verantwortliche vorab eine Abschätzung der Folgen der vorgesehenen Verarbeitungsvorgänge für den Schutz personenbezogener Daten durch.“
Beide Folgenabschätzungen verfolgen also einen risikobasierten Ansatz. Werden neue Technologien eingesetzt, die voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen mit sich bringen, müssen Betreiber, für die eine Grundrechte-Folgenabschätzung erforderlich ist, häufig auch als datenschutzrechtliche Verantwortliche eine Datenschutz-Folgenabschätzung durchführen. Sind die Pflichten des Art. 27 KI-VO bereits durch eine DSFA erfüllt worden, hat die GRFA nur noch ergänzenden Charakter.
Rechtzeitige Vorbereitung auf Art. 27 KI-VO
Obwohl die Regelungen zu Hochrisiko-KI-Systemen – einschließlich der Grundrechte-Folgenabschätzung – erst im nächsten Jahr in Kraft treten, wird den betroffenen Betreibern eine frühzeitige Auseinandersetzung mit dem Thema dringend empfohlen. Auf diese Weise können die erforderlichen Maßnahmen zur GRFA rechtzeitig geplant und umgesetzt werden.
Einige inhaltliche Abschnitte ähneln der Datenschutz-Folgenabschätzung. Wer also bereits in den Genuss der Durchführung einer DSFA gekommen ist, wird sich auch schneller mit der GRFA zurechtfinden.
Ob die EU-Kommission mit dem geplanten Service Desk ab Sommer 2025 auch eine echte Unterstützung für die Grundrechte-Folgenabschätzung liefert, bleibt abzuwarten. Die Bundesnetzagentur hat mit ihrem eigenen KI-Service-Desk jedenfalls schon einen Schritt vorgelegt und ihre Position zur Frage der Marktüberwachung gestärkt.
Die Pflicht zur Durchführung einer Grundrechte-Folgenabschätzung wird zwar Wenige treffen, aber Achtung: Betreiber, die nicht unter Art. 27 KI-VO fallen, müssen dennoch die übrigen Anforderungen und Pflichten aus Abschnitt 2 und 3 der KI-VO beachten.
