Das Thema künstliche Intelligenz (KI) ist nicht erst seit dem letzten Digitalgipfel ein Dauerbrenner in der politischen, gesellschaftlichen und auch rechtlichen Diskussion. Ziel ist meist, dass ein Computer durch Algorithmen, die ein „intelligentes Verhalten“ imitieren, für ein Problem eine Lösung findet. Neben den enormen Potentialen gibt es auch große Risiken und die gilt es auch durch rechtliche Rahmenbedingungen zumindest so weit wie möglich zu begrenzen. Kann die DSGVO hier einen Beitrag leisten?
Der Inhalt im Überblick
Wenn Maschinen über Menschen urteilen
Die Anwendungsgebiete von KI sind vielfältig. Datenschutzrechtlich besonders interessant und zudem hoch relevant für unser tägliches Leben, ist dabei vor allem die automatisierte Entscheidungsfindung durch künstliche Intelligenz oder sog. „ADM-Systeme“ (ADM = Algorithmic Decision Making). Maschinen bewerten dabei Menschen und treffen Entscheidungen oder geben Handlungsempfehlungen. Sie können dabei ungleich mehr Informationen berücksichtigen und verarbeiten als der Mensch und zudem (im Idealfall) ein neutrales Urteil fällen, wohingegen der Mensch möglicherweise durch emotionale Einflüsse voreingenommen ist. Ob in den Bereichen Verbrechensbekämpfung, Kreditwürdigkeit, Personalrecruiting oder auch der juristischen Entscheidungsfindung. ADM-Systeme versprechen dabei bessere, schnellere und kostengünstigere Ergebnisse, dementsprechend groß ist das Interesse an Ihrem Einsatz.
Die Risiken sollten dabei aber nicht außer Acht gelassen werden, vor allem dann, wenn die Entscheidungen spürbare Konsequenzen für die betroffenen Personen haben können. Eins der wohl grundsätzlichsten Probleme vieler ADM-Systemen ist, dass die zugrunde liegenden Algorithmen meist von privaten Unternehmen entwickelt werden und die Funktionsweise dementsprechend als deren Geschäftsgeheimnis gehütet werden. Sie gleichen damit einer Blackbox und es kann nicht im Detail nachvollzogen und überprüft werden, wie die KI zu ihren Entscheidungen kommt. Dies kann zu einer verdeckten oder sogar gewollten Ausgrenzung, Diskriminierung und Ungleichbehandlung von Menschen führen und weitreichende Folgen für deren Lebensumstände haben.
Vorgaben bei KI-Entscheidungen durch Algorithmen
Wenn Bewertungen von einzelnen Menschen vorgenommen werden, beinhaltet dies zwangsläufig eine Verarbeitung von personenbezogenen Daten und ist somit auch ein Fall für das Datenschutzrecht. Die Datenschutz-Grundverordnung (DSGVO) versucht, dem besonderen Risiko- und Gefährdungspotenzial, welches eine vollständig automatisierte Entscheidungsfindung für die Grundrechte und Freiheiten von betroffenen Personen mit sich bringt, insbesondere durch Art. 22 Abs. 1 DSGVO zu begegnen, flankiert durch weiterer Regelungen im Bereich Transparenz, Selbstkontrolle und Aufsicht.
Gemäß Art. 22 Abs. 1 DSGVO hat jeder das Recht
„nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.“
Dies bedeutet vereinfacht gesagt, dass nicht allein der Algorithmus darüber entscheiden darf, ob wir beispielsweise keinen Kredit, keinen Job oder auch eine Haftstrafe bekommen.
Beurteilung durch ADM-Systeme ist der letzte Schrei
Teilweise geschieht dies jedoch schon. Jeder der schon einmal einen Kredit online beantragt hat weiß, dass die vollautomatisierte Kategorisierung in kreditwürdiger Bürger und nicht kreditwürdiger Bürger anhand Bonitätsscoring längst Realität ist. Auch im HR-Bereich ist die Beurteilung von Bewerbern anhand ADM-Systemen mittlerweile der letzte Schrei. Analysen von z.B. Sprache und Mimik des Bewerbers durch die KI sollen eine sichere Aussage über dessen Charaktereigenschaften treffen können und beurteilen, ob der Bewerber den Vorstellungen des Unternehmens entspricht oder nicht. Dass solche Programme nicht perfekt sind und Menschen diskriminieren können, ist allerdings leider auch Realität. Warum aber können Bewerber und Kreditsuchende durch die KI aussortiert werden, trotz Art. 22 Abs. 1 DSGVO? Es liegt an der Formulierung des Artikels 22 Abs. 1 DSGVO und an den im Abs. 2 genannten Ausnahmen.
Gesetzliche Ausnahmen
Zunächst heißt es in Art. 22 Abs. 1 DSGVO, Entscheidung dürfen nicht „ausschließlich“ auf einer automatisierten Entscheidung beruhen darf. Solange also z.B. im Bewerbungsprozess ein Recruiter die letzte Entscheidung über die Einstellung oder eine Einladung zum Bewerbungsgespräch trifft und die KI lediglich die Entscheidungsvorlage, wird nicht gegen das Gesetz verstoßen. Ob ein Recruiter sich allerdings bei einer Vielzahl von Bewerbern dafür entscheidet, denjenigen zum Bewerbungsgespräch einzuladen, den die KI vorher aussortiert hat, weil er nicht genügend positiv besetzte Ausdrücke im Interview verwendet hat oder ein leichtes Zittern in der Stimme hatte, darf bezweifelt werden. Es besteht hier also tatsächlich die Gefahr, dass die KI faktisch die Entscheidung trifft, weil der Mensch diese nicht in Frage stellt oder sich die Arbeit der großen Vorauswahl sparen will.
Gem. Art. 22 Abs. 2 lit a DSGVO kann eine ausschließlich automatisierte Entscheidung außerdem stattfinden, wenn die Entscheidung „für den Abschluss oder die Erfüllung eines Vertrags zwischen der betroffenen Person und dem Verantwortlichen erforderlich ist“.
Das im Rahmen der Beantragung eines Online-Kredits durchgeführte Bonitätsscoring und die daraus folgende automatisierte Entscheidung über Gewährung oder Ablehnung eines Kredits wird dabei in der Rechtsliteratur als für den Abschluss des Darlehensvertrags als erforderlich angesehen, da hierüber z.B. „die maximale Darlehenshöhe und die Höhe der Raten für Zins und Tilgung auf Grundlage der tatsächlichen Leistungsfähigkeit des Antragstellers festgelegt werden“ (Gola, Datenschutzgrundverordnung, 2. Auflage 2018, Art. 22 Rn. 30). Dieser Ansicht mag man grundsätzlich folgen, es ändert aber nichts an dem vorher genannten Hauptproblem: Der Intransparenz der Verfahren und deren zugrunde liegenden Logik der Algorithmen. Die aktuellen Recherchen des Spiegels und des Bayrischen Rundfunks zur „Blackbox-Schufa“ sprechen dabei für sich, siehe hierzu auch den Kommentar des Grünen-Abgeordneten Konstantin von Notz im Bundesfinanzportal.
Transparenz für die Betroffenen?
Die Beispiele zeigen, dass Art. 22 Abs. 1 DSGVO viele Ausnahmen zulässt, die in unserem Leben bereits eine Rolle spielen. Mehr (halb)automatisierte Entscheidungen werden mit Sicherheit folgen. Kann der Betroffene also wenigstens nachvollziehen, welchen Mechanismen er unterworfen wird? Transparenz in der Datenverarbeitung ist eines der großen Ziele der DSGVO. Dementsprechend gewähren Art. 13 Abs. 2 lit. g DSGVO und Art. 14 Abs. 2 lit f DSGVO den Betroffenen das Recht, bei einer stattfindenden automatisierten Entscheidungsfindung vom Verantwortlichen zunächst einmal grundsätzlich darüber informiert zu werden und daneben
„aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung“
zu erhalten. Es herrscht allerdings Uneinigkeit darüber, wie diese Regelung auszulegen sei und ob damit eine Offenlegungspflicht des zugrundeliegenden Quellcodes für die Algorithmen gemeint ist, oder lediglich abstrakte Informationen über Methoden und Kriterien der automatisierten Entscheidung. Eine grundlegende Überprüfung der Entscheidungslogik durch den Betroffenen selbst wird in den meisten Fällen mangels ausreichenden Fachwissens sowieso ausscheiden. Wir können also höchstens ansatzweise nachvollziehen, wie wir genau beurteilt werden.
Effektive Aufsicht?
Wenn unser Verständnis für die Funktionsweise von ADM-Systemen mangels Information vom Verantwortlichen oder Verständnis der Materie also begrenzt ist, wie ist es dann um die staatliche Aufsicht bestellt? Kann diese dafür sorgen, dass Hersteller die gesetzlich vorgeschrieben Selbstkontrolle (z.B. Datenschutz-Folgenabschätzung) ordentlich durchlaufen, in ausreichender Weise die Betroffene informieren und ggf. sogar die Programmierung der KI selbst prüfen?
Die DSGVO bietet theoretisch den notwendigen rechtlichen Rahmen für die Aufsichtsbehörden die Regelungen mit weitreichenden Befugnissen (Art. 58 DSGVO) zu überwachen und durchzusetzen. Dazu gehört auch die Einsichtnahme in Datenverarbeitungsanlagen und die Bereitstellung aller zur Prüfung notwendigen Informationen durch den Verantwortlichen. Die Aufsichtsbehörden sind allerdings mangels ausreichender Finanzierung und spezialisierten Personal derzeit nicht in der Lage, ihrem Auftrag in ausreichender Form nachzukommen.
Datenschutzrecht alleine bietet keine effektive Kontrolle für KI-Algorithmen
Die DSGVO bietet in rechtlicher Hinsicht einige Ansätze. Sie lässt aber auch viele Ausnahmen zu und bietet immer die Möglichkeit, einen Menschen als Entscheider „zwischenzuschalten“. Schon dann gilt Art. 22 Abs. 1 DSGVO nicht und es muss auch nicht über die involvierte Logik des Verfahrens informiert werden. Zudem gibt es ungeklärte Auslegungsfragen, bei denen erst Gerichte für Klarheit sorgen müssen und die staatliche Aufsicht kann derzeit zumindest im Bereich Datenschutz nicht für eine effektive Kontrolle sorgen. Daher bedarf es in erster Linie noch einer breiten ethischen und moralischen Diskussion in der Gesellschaft, aus der dann klare Vorgaben für die Entwicklung und Programmierung von KI hervorgehen.
Wo Maschinen tatsächlich über Menschen entscheiden, sollte dies außerdem nur dann zulässig sein, wenn die zugrunde liegende Programmierung vollständig offengelegt wird, um sie einer unabhängigen Kontrolle zugänglich zu machen. Eine ausführliche wissenschaftliche Untersuchung zu dem Thema DSGVO und automatisierte Entscheidungsfindung hat die Bertelsmann Stiftung innerhalb des Projekts „Ethik der Algorithmen“ veröffentlicht. Das Projekt ist gleichzeitig eine Empfehlung für diejenigen, die sich vertieft mit dem Thema auseinandersetzen und sich ggf. auch aktiv in die gesellschaftliche Diskussion mit einbringen möchten.
Auch der Verfassungsblog hat sich neulich aus der grundrechtlichen Sicht des Diskriminierungsverbots dem Thema angenommen.
Nicht (Gola, Datenschutzgrundverordnung, 2. Auflage 2018, Rn. 33) sondern:
(Gola, Datenschutzgrundverordnung, 2. Auflage 2018, Art. 22 Rn. 30.
Danke
Vielen Dank für den Hinweis. Wir haben den Artikel entsprechend angepasst.
Der grundsätzliche Denkfehler bei ADM-Systemen liegt darin, dass ein menschlicher Entscheidungsprozess auf wenige Algorithmen eingedampft werden kann und die Software damit „objektiver“ entscheiden würde. Je nachdem mit welchen Daten man selbstlernende Algorithmen füttert, entwickeln sie sich in eine falsche Richtung, da die Algorithmen korrelations-basiert und eben nicht kausalitäts-basiert sind.