Bonitätsprüfungen, Bewerbervorauswahl, Versicherungsrisikobewertungen: Immer häufiger treffen Algorithmen Entscheidungen über Menschen. Art. 22 DSGVO schützt Betroffene vor rein automatischer Entscheidungsfindung, doch die Norm stößt an Grenzen. Der AI Act ergänzt diesen Schutz nun auf Systemebene. Dieser Beitrag zeigt, wie beide Regelwerke zusammenwirken und was das für die menschliche Aufsicht in der Praxis bedeutet.
Darum reicht Art. 22 (Automatische Entscheidungsfindung) allein nicht mehr aus
Art. 22 Abs. 1 DSGVO gibt Betroffenen das Recht, keiner Entscheidung unterworfen zu werden, die ausschließlich auf automatisierter Verarbeitung beruht und rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Die Norm enthält damit drei kumulative Voraussetzungen:
- Es muss eine Entscheidung vorliegen,
- diese muss ausschließlich automatisiert erfolgen,
- und sie muss eine qualifizierte Beeinträchtigung bewirken.
Gerade das Merkmal der „ausschließlich automatisierten“ Verarbeitung erweist sich in der Praxis als zu eng. Bereits eine rein formale menschliche Beteiligung kann genügen, um die Anwendbarkeit von Art. 22 DSGVO auszuschließen, obwohl die Entscheidung materiell weiterhin vom automatisierten Prozess geprägt ist. Hinzu kommt die hohe Eingriffsschwelle: Viele KI-gestützte Entscheidungsprozesse fallen schlicht nicht in den Anwendungsbereich der Norm, weil sie die Voraussetzungen nicht kumulativ erfüllen.
Der EuGH hat in seinem SCHUFA-Urteil (C-634/21) zwar klargestellt, dass bereits die Erstellung eines Wahrscheinlichkeitswerts durch eine Auskunftei eine automatisierte Einzelentscheidung darstellen kann, wenn dieser Score für die Entscheidung eines Dritten maßgeblich ist. Entscheidend sei nicht die formale Verortung der Entscheidung, sondern die tatsächliche Steuerungswirkung des automatisierten Outputs. Dennoch bleiben strukturelle Schutzlücken bestehen, die Art. 22 DSGVO allein nicht schließen kann.
Was fordert der AI Act für die menschliche Aufsicht?
Der AI Act verfolgt einen grundlegend anderen Regulierungsansatz als Art. 22 DSGVO. Während die DSGVO den Schutz individueller Rechte bei konkreten Entscheidungen sichert, reguliert der AI Act KI-Systeme präventiv und risikobasiert auf Systemebene. Art. 14 AI Act verpflichtet Anbieter und Betreiber von Hochrisiko-KI-Systemen zur Gewährleistung einer wirksamen menschlichen Aufsicht (Human Oversight).
Die Anforderungen gehen dabei deutlich über eine formale Kontrollinstanz hinaus. Art. 14 AI Act verlangt im Kern:
- KI-Systeme müssen so konzipiert sein, dass natürliche Personen sie wirksam beaufsichtigen können.
- Die Aufsichtspersonen müssen Fähigkeiten und Grenzen des Systems verstehen und Ergebnisse korrekt interpretieren können.
- Es muss die Möglichkeit bestehen, dem Ergebnis des Systems nicht zu folgen, es zu übersteuern oder das System abzuschalten.
- Anomalien, Fehlfunktionen oder unerwartete Systemleistungen müssen erkennbar sein.
Aus dogmatischer Sicht verändert Art. 14 AI Act den Anwendungsbereich von Art. 22 DSGVO nicht unmittelbar. Er kann aber als Auslegungsmaßstab dafür dienen, wann eine menschliche Beteiligung als substanziell und damit rechtlich relevant anzusehen ist. Die Vorschrift konkretisiert somit, was unter einer „bedeutsamen menschlichen Überprüfung“ zu verstehen ist, ohne die eigenständige Schutzfunktion von Art. 22 DSGVO zu verdrängen.
Wann ist menschliche Aufsicht bei automatischer Entscheidungsfindung tatsächlich wirksam?
Die zentrale Frage in der Praxis lautet: Wann liegt eine substanzielle menschliche Kontrolle vor und wann handelt es sich nur um eine Scheinbeteiligung? Der EDPB formuliert es klar: „Meaningful human involvement requires more than a token gesture; the human must have the authority and competence to change the decision.“
Eine automatisierte Entscheidung im Sinne von Art. 22 Abs. 1 DSGVO liegt demnach immer dann vor, wenn tatsächliche menschliche Kontrolle fehlt. Entscheidend ist nicht, ob ein Mensch formal in die Entscheidungskette eingebunden ist, sondern ob diese Person eine echte Prüfungs-, Bewertungs- und Korrekturfunktion ausübt. Ein sogenanntes „Rubber Stamping“, also die bloß routinemäßige Bestätigung eines systemgenerierten Ergebnisses ohne eigenständige inhaltliche Prüfung, genügt nicht. Auch der Europäische Datenschutzbeauftragte (EDPS) weist darauf hin, dass menschliche Beteiligung in der Praxis häufig nur simuliert wird („Automation Bias“): Im Bewerbungskontext etwa bedeutet das, dass niemand eine abgelehnte Bewerbung tatsächlich prüft, sondern ein Recruiter lediglich auf „Bestätigen“ klickt.
Für die praktische Umsetzung ergeben sich daraus klare Kriterien. Wirksame menschliche Aufsicht erfordert:
- Zugang zu allen relevanten Informationen, die der automatisierten Entscheidung zugrunde liegen
- Fachliche Kompetenz, um die Ergebnisse des Systems eigenständig bewerten zu können
- Tatsächliche Befugnis, vom Ergebnis des Systems abzuweichen oder es zu korrigieren
- Ausreichend Zeit und Ressourcen für eine substanzielle Prüfung
- Dokumentation der durchgeführten Überprüfung und der Entscheidungsgründe
Technische Unterstützung durch algorithmische oder KI-gestützte Systeme bleibt datenschutzrechtlich zulässig, solange die menschliche Prüfinstanz die automatisch erzeugten Ergebnisse tatsächlich prüft, deren Plausibilität eigenständig bewertet und bei Bedarf korrigierend eingreifen kann.
Unternehmen sollten beide Regelwerke koordiniert umsetzen
Das Verhältnis zwischen AI Act und Art. 22 DSGVO ist kein Verdrängungsverhältnis, sondern eines der Komplementarität. Der AI Act schafft kein funktionales Äquivalent zu Art. 22 DSGVO, da er weder denselben Schutzgegenstand noch dieselbe Schutzfunktion hat. Wo KI-Systeme personenbezogene Daten verarbeiten oder zu automatisierten Entscheidungen im Sinne von Art. 22 DSGVO führen, gelten beide Regelungsregime nebeneinander.
Für Unternehmen bedeutet das eine doppelte Compliance-Anforderung, die integriert angegangen werden sollte. Zunächst empfiehlt sich eine Bestandsaufnahme: Welche Prozesse fallen unter Art. 22 DSGVO? Welche eingesetzten KI-Systeme gelten als Hochrisiko-Systeme im Sinne des AI Act? Typische Anwendungsfälle, bei denen beide Regelwerke greifen, sind automatisierte Kreditwürdigkeitsentscheidungen, KI-gestützte Bewerbervorauswahl, algorithmische Risikobewertungen im Versicherungswesen und automatisierte Betrugserkennung, oder auch automatisierte Abfallgebührenbescheide.
Auf dieser Grundlage sollte ein integriertes Aufsichtsmodell entwickelt werden, das die individuellen Schutzrechte aus Art. 22 DSGVO mit den systemischen Anforderungen des AI Act verbindet. Die Dokumentationspflichten beider Regelwerke, insbesondere die Datenschutz-Folgenabschätzung nach Art. 35 DSGVO und die technische Dokumentation nach dem AI Act, lassen sich dabei sinnvoll zusammenführen. Interdisziplinäre Zusammenarbeit zwischen Datenschutz-, Rechts- und IT-Abteilungen ist dafür unerlässlich. Ebenso zentral ist die Qualifikation der Aufsichtspersonen: Art. 14 AI Act verlangt ausdrücklich, dass diese über die nötige Kompetenz, Ausbildung und Befugnis verfügen.
Der AI Act als sinnvolle Ergänzung für Art. 22 DSGVO
Art. 22 DSGVO bleibt eine wesentliche Schutzvorschrift gegen automatisierte Entscheidungsfindung. Ihre praktische Wirksamkeit hängt allerdings zunehmend davon ab, wie Gerichte und Aufsichtsbehörden das Kriterium der substanziellen menschlichen Beteiligung auslegen. Das SCHUFA-Urteil des EuGH hat hier eine funktionale Erweiterung eingeleitet, indem es auf die tatsächliche Steuerungswirkung automatisierter Systeme abstellt, statt auf formale Entscheidungsstrukturen.
Der AI Act ergänzt diesen individuellen Schutz durch präventive, systemseitige Anforderungen an Transparenz, Datenqualität und menschliche Aufsicht. Beide Regelwerke verdrängen sich nicht, sondern bilden zusammen den regulatorischen Rahmen für den Einsatz von KI in entscheidungsrelevanten Kontexten. Die künftige Relevanz von Art. 22 DSGVO liegt dabei weniger in einer Gesetzesreform als vielmehr in einer strikten, technologisch informierten Auslegung der bestehenden Schutzmechanismen. Die weitere Konkretisierung durch Leitlinien, Rechtsprechung und europäische Standards wird zeigen, wie sich die koordinierte Anwendung beider Regelwerke in der Praxis weiterentwickelt.
