Sowohl die DSGVO als auch die KI-Verordnung schreiben Transparenz bei der Entwicklung neuer Technologien vor. Das BSI hat kürzlich ein Whitepaper zur Transparenz von KI-Systemen entwickelt. Dieser Beitrag fasst dessen Kernaussagen zusammen und geht insbesondere auf Chancen sowie Gefahren der Nachvollziehbarkeit von Vorgängen in KI-Systemen ein.
Der Inhalt im Überblick
Knackpunkte bei Transparenz von KI-Systemen
Transparenz spielt bei KI-Systemen entsprechend der Vorgaben der DSGVO und der KI-Verordnung (KI-VO) eine immens wichtige Rolle. Zum einen ist für den Nutzer oft schwer nachvollziehbar, was genau im Hintergrund eines Befehls (z.B. bei der Nutzung von ChatGPT) im System abläuft. Zum anderen gibt es viele Akteure mit unterschiedlichen Interessen und Transparenzbedürfnissen.
Blackbox-Eigenschaften der KI
Ein Nutzer weiß in der Regel nicht auf welche Art und Weise die sogenannte Blackbox eines KI-Systems die Daten und Informationen verarbeitet. Ebenso ist oft unklar, wie im Anschluss eine Entscheidung durch das KI-System gefällt wird. Zudem ist der Wahrheitsgehalt der Ausgaben zumeist nicht nachprüfbar. Die Komplexität der Systeme sowie fehlende oder mangelhafte Informationen darüber, machen sowohl eine Einschätzung per Augenschein als auch die Beurteilung der Ausgaben hinsichtlich deren Vertrauenswürdigkeit nur schwer möglich. Fragen zur Verantwortlichkeit, Haftung oder Fairness bleiben ebenso offen, wenn es an Informationen über das System mangelt.
Unterschiedliche Interessenträger
Je nach Einsatzgebiet eines KI-Systems gibt es viele unterschiedliche Interessenträger wie zum Beispiel Verbraucher, Anwender, Entwickler oder Organisationen mit vielfältigen Transparenzanforderungen. Während Verbraucher und Anwender ein KI-System erfahrungsgemäß bloß verwenden, ist es möglich, dass Experten, Entwickler und Unternehmen/Organisationen ein KI-System zusätzlich darreichen. Mittelbar Betroffene/Dritte stellen zum einen kein KI-System bereit, auch verwenden sie es nicht. Trotzdem können sie von den Auswirkungen tangiert sein und so zu (passiven) Interessenträgern werden. Die Herausforderung besteht darin, alle Interessenträger mit ihren individuellen und unterschiedlichen Anforderungen an Transparenz gleichsam zu bedienen. Das untenstehende Schaubild gibt einen guten Überblick möglicher Interessenträger von KI-Systemen sowie deren unterschiedlichen Anforderungen an Transparenz.
Tabelle 2, Whitepaper Transparenz von KI-Systemen, S. 10.
Transparenzanforderungen in der KI-Verordnung
Abhängig von der Risikoeinstufung eines KI-Systems fordert die KI-Verordnung ein unterschiedliches Maß an Transparenz. So unterliegen Hochrisiko-KI-Systeme, wie zum Beispiel Systeme zur biometrische Fernidentifizierungssysteme oder solche, die in kritischen Infrastruktur verwendet werden, umfassenden Transparenzpflichten (Dokumentation, Gebrauchsanweisung etc.). Hierzu gibt die KI-VO ebenso vor, welche Informationen in der Betriebsanleitung mindestens enthalten sein müssen. Für andere KI-Systeme wie Chatbots oder Systeme zur Erstellung synthetischer Bilddateien (Deepfakes) gelten nur minimale Transparenzpflichten. So legt die KI-VO nur fest, dass Anbieter und Betreiber von KI-Systemen, welche auf die direkte Interaktion mit natürlichen Personen abzielen (z.B. Chatbot-Anwendungen), die betroffenen natürlichen Personen ebenfalls darüber in Kenntnis setzen müssen, dass es sich um ein KI-System handelt oder dass die System-Ausgabe KI-erzeugt worden ist.
Zur Umsetzung der KI-VO und für die praktische Realisierung der Transparenzpflichten erarbeitet die Kommission gemäß Artikel 50 der KI-VO Leitlinien. Ebenso ist das Vorgehen bei Sanktionen, die bei Missachtung der KI-VO wirksam werden, in Artikel 99 festgelegt. Diese Vorschriften betonen die Bedeutung der Thematik. Durch entsprechende Offenlegung und Darlegung von Informationen für verschiedene Interessenträger soll Transparenz hinsichtlich des jeweiligen KI-Systems erzeugt werden. Nicht zu unterschätzen ist die Tatsache, dass mehr Transparenz dazu beiträgt, die Vertrauenswürdigkeit des KI-Systems zu erhöhen.
Chancen durch Transparenz von KI-Systemen
Die Vorteile von umfangreicher Transparenz liegen auf der Hand. Dazu gehören u.a.:
- Förderung der Nachvollziehbarkeit von Entscheidungen
- Förderung der Beurteilung der Angemessenheit von Systemen
- Frühzeitige Erfassung potenzieller Risiken/Schwachstellen und unerwünschter Auswirkungen
- Schaffung einer guten Basis für positiv verlaufende Vertrauens- und Akzeptanzprozesse
- Basis für die Offenlegung und Bewertung von Risiken, die mit dem Einsatz und der Nutzung des Systems einhergehen
In den frühen Entwicklungsphasen ist es aus Perspektive der Entwickler wichtig zu wissen, woher die Trainings-/Test-/Validierungsdaten kommen, wie diese gestaltet sind und ob diese frei von Bias – z.B. zur Verhinderung von Diskriminierung – sind. Diese Informationen sind entscheidend, um die Daten vor dem Trainieren/Testen/Validieren korrekt aufbereiten (englisch preprocessing) zu können.
Gefahren durch Transparenz
Durch Darlegung von Informationen zur Funktionsweise oder Architektur eines KI-Systems können neue Angriffspunkte offenbart werden, die Übeltäter für den Missbrauch oder die Kompromittierung des Systems ausnutzen können.
Andersherum können Übeltäter das Vertrauen, das Transparenz schaffen soll, auch dazu einsetzen, um bewusst fehlerhafte Informationen scheinbar transparent darzustellen. So können beispielsweise sicherheitskritische Anwendungen fälschlicherweise als unkritisch dargestellt werden. Zusätzlich können auch intransparente Systeme als transparent deklariert werden. Eine solche Pseudotransparenz kann zur Absatzförderung des eigenen Produktes verwendet werden und eine falsche Einschätzung des Systems seitens der Verbraucher zur Folge haben, wenn keine finale Kontrolle des Labels Transparenz erfolgt.
Transparenz von KI-Systemen als zweischneidiges Schwert
Mit Recht bezeichnet das BSI die Transparenz von KI-Systemen in ihrem Whitepaper als ein zweischneidiges Schwert. Sie ist mit Bedacht zu genießen. Abhilfe kann die Beantwortung der Leitfragen „Welche Informationen benötigt ein Interessenträger zum Fällen einer Entscheidung“ und „Welche Informationen sind nicht von Bedeutung?“ bieten. Ähnlich wie in der DSGVO empfiehlt sich auch hier der Gebrauch des Prinzips der Datensparsamkeit, welches für jeden Anwendungsfall einzeln beantwortet wird: Es sollten so viele Informationen wie notwendig, aber nicht mehr als zwingend erforderlich offengelegt werden. Dieses „need-to-know“-Prinzip gilt erst Recht bei sicherheitskritischen Informationen.
