KI-Aufsicht für Unternehmen: Wo spielt die Musik?

Nach langem Ringen wurde im Sommer dieses Jahres die Bundesnetzagentur als zentrale Marktüberwachungsbehörde für die KI-Verordnung benannt. Die Bilanz: Für die meisten Unternehmen ist das weniger relevant, als oft vermutet wird. Dieser Artikel erklärt, warum das so ist, weshalb für Unternehmen bei KI die Datenschutzbehörden entscheidend bleiben und welche Rolle das Thema KI-Governance spielt.

Die Benennung der Bundesnetzagentur

Der deutsche Gesetzgeber war spät dran: Gemäß Art. 113 i.V.m. Art. 70 KI-VO hätte er bis zum 2. August 2025 eine zuständige nationale Behörde als Marktüberwachungsbehörde für die KI-Verordnung benennen müssen. Das entsprechende Gesetz, mit dem die Bundesnetzagentur den Job bekam, trat erst ein knappes Jahr später in Kraft. Dabei bohrt das „KI-MIG“ („Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz“) kein dünnes Brett.

Und es zeigt: Der Wunsch nach einer schlanken Aufsichtsstruktur, der immer wieder gegen die Datenschutzbehörden ins Feld geführt wurde (achtzehn an der Zahl), blieb eine Illusion. Zwar hat nun mit der Bundesnetzagentur eine einzige Behörde das Zepter in der Hand. Allerdings nur, soweit nichts anderes bestimmt ist (vgl. § 2 Abs. 1 KI-MIG). Und andere Bestimmungen gibt es. So sind beispielsweise bei KI-Systemen für regulierte Finanztätigkeiten die Bundesanstalt für Finanzdienstleistungsaufsicht und weitere Finanzbehörden zuständig (§ 2 Abs. 3, 4 KI-MIG). Für KI-Nutzung durch öffentliche Stellen der Länder sind es die nach Landesrecht zuständigen Behörden (§ 2 Abs. 6 KI-MIG).

Gleiches gilt für Mediendienstanbieter (§ 2 Abs. 8 KI-MIG). Und über § 2 Abs. 2 KI-MIG und Art. 74 Abs. 3 KI-VO werden für bestimmte regulierte Produkte (z. B. Spielzeuge und Medizinprodukte) weitere Marktüberwachungsbehörden festgelegt. Auch wenn für ein durchschnittliches, mittelständisches Unternehmen die Bundesnetzagentur zuständig ist: Der Ritt durch die Gesetze zeigt, dass die Marktüberwachung insgesamt ein Flickenteppich bleibt.

Marktüberwachungsbehörde: Was heißt das für Unternehmen?

Sind die Marktüberwachungsbehörden für Unternehmen überhaupt wichtig? Wenn das Unternehmen KI-Systeme entwickelt und in der EU in den Verkehr bringen will, dann ja. Wenn ein Unternehmen ein sog. Hochrisikosystem einsetzt auch. Denn die KI-Verordnung ist im Kern Produktsicherheitsrecht. Und die Aufgabe der Marktüberwachungsbehörden ist, sicherzustellen, dass in der EU nur sichere Produkte im Verkehr sind. Und dass sie sicher eingesetzt werden. Die Produkte sind die KI-Systeme.

Für ein durchschnittliches, mittelständisches Unternehmen beschränken sich die Pflichten aber im Wesentlichen auf Folgendes:

Keine verbotenen Praktiken

Unternehmen müssen darauf achten, dass sie KI zu keinem der in Art. 5 KI-Verordnung benannten, verbotenen Zwecken einsetzen. Das dürfte hoffentlich keine Herausforderung darstellen, denn die Schwelle ist hoch: Verboten ist z. B. nicht der Einsatz von KI zur Beeinflussung von Entscheidungsfindungen (Stichwort personalisierte Werbung), sondern erst die wesentliche Verhaltensmanipulation, die zu erheblichen Schäden führt (Art. 5 Abs. 1 lit. a KI-VO).

KI-Kompetenz

Wenn ein Unternehmen KI-Systeme einsetzt, dann sollte es bei seinem Personal für KI-Kompetenz sorgen (Art. 4 KI-VO). Je nach Ausbildungsstand und Einsatzgebiet sollten Mitarbeitende die Chancen und Risiken von KI überblicken können. Diese ursprüngliche Pflicht hat der Gesetzgeber nachträglich aufgeweicht, ein bestimmtes Niveau an KI-Kompetenz muss nicht mehr garantiert werden. Nicht zuletzt aus Haftungsgründen empfehlen sich aber Schulungen und Trainings.

Transparenzpflichten

Interessanter sind die Transparenzpflichten aus Art. 50 KI-Verordnung. Wann muss ich KI-Inhalte kennzeichnen? Die Antwort ist: Texte fast nie. Denn bei Texten entfällt die Pflicht bereits dann, wenn der Text von einem Menschen überprüft oder redaktionell kontrolliert wurde und jemand die redaktionelle Verantwortung für die veröffentlichten Inhalte trägt (vgl. Art. 50 Abs. 4 UAbs. 2 KI-VO). Bilder, Audios und Videos müssen gekennzeichnet werden, wenn sie Deepfakes sind (wenn sie echt wirken). KI-Systeme zur Interaktion mit Menschen (z. B. Chatbots im Kundenservice) müssen als Solche gekennzeichnet sein. Diese Pflicht trifft aber die Anbieter der Systeme und nicht die Betreiber (vgl. Art. 50 Abs. 1 KI-VO).

Hochrisiko-KI

Die vieldiskutierte „Hochrisiko-KI“ ist in der Praxis hauptsächlich beim Einsatz von KI im Personalbereich einschlägig. Die anderen Hochrisikobereiche betreffen viele Unternehmen gar nicht. Sie beziehen sich u.a. auf speziell regulierte Produkte wie z. B. die eingangs erwähnten Spielzeuge und Medizinprodukte (vgl. Art. 6 Abs. 1 i.V.m. Anhang I KI-VO), oder besonders sensible Bereiche wie kritische Infrastruktur, Bildung oder die biometrische Kategorisierung von Personen (vgl. Art. 6 Abs. 2 i.V.m. Anhang III KI-VO).

Wenn also ein Unternehmen im Personalbereich keine KI einsetzt; wenn es verbotene Praktiken ausgeschlossen und seine Mitarbeitenden geschult hat und wenn nicht mit Deepfakes arbeitet, dann muss es nicht damit rechnen, dass die Bundesnetzagentur an der Tür klopft.

Wer klopft an der Tür? Die Datenschutzbehörden!

Die womöglich überraschende Erkenntnis ist also: Die Einhaltung der KI-Verordnung ist für die meisten Unternehmen nicht das Entscheidende. Das heißt allerdings nicht, dass man nun seine Complianceabteilung halbieren kann. Denn die EU kennt zur Regulierung von KI noch viele weitere Gesetze. Im Zentrum steht unsere alte Freundin: die DSGVO. Aus dieser folgt ein Großteil der Pflichten, die Unternehmen beim Einsatz von KI üblicherweise einhalten müssen. Denn: Der Einsatz von KI-Systemen muss datenschutzkonform sein. Und darum spielt die Musik weiterhin bei den Datenschutzbehörden. Denn die Datenschutzbehörden verhängen Bußgelder, wenn KI-Systeme gegen die DSGVO verstoßen. Wenn z. B. ihr Einsatz ohne Rechtsgrundlage erfolgt, weil das KI-System ein „Opt-in“/„Opt-out“-Verfahren vorsieht, das unzulässig ist. Wenn die erforderliche Dokumentation fehlt; die Interessenabwägung, die DSFA, die Aufnahme in das Verarbeitungsverzeichnis. Wenn Betroffene nicht über die Verarbeitung ihrer Daten durch KI-Systeme informiert wurden. Wenn es einen Datenschutzvorfall gab. Die meisten Probleme, die ein durchschnittliches, mittelständisches Unternehmen beim KI-Einsatz hat, sind Datenschutzprobleme.

DSGVO-Compliance steht weiter im Zentrum

Für die Praxis bedeutet das: KI-Marktüberwachung muss zwar mitbedacht werden. Der Fokus kann und sollte in der Regel aber auf dem datenschutzkonformen Einsatz von KI liegen, denn hier gibt es für Unternehmen in der Regel mehr Pflichten zu beachten. Es empfiehlt sich ein zweiteiliges Vorgehen:

• Pflichten aus der KI-Verordnung beachten
  Das Personal sollte geschult sein, verbotene Praktiken und KI-Kennzeichnung bei Deepfakes sollten standardmäßig bedacht werden. Wenn KI im Personalbereich eingesetzt wird, können weitere Pflichten bestehen. Im Regelfall wird der Fokus auf diese Themen ausreichen.
• Datenschutz als Schwerpunkt bei KI
  Die bekannten DSGVO-Pflichten bleiben bestehen, sie sollten beim Einsatz von KI-Systemen besonders sorgfältig geprüft werden. Weil sich die Technik so rasant entwickelt, ist das oft anspruchsvoll. Hier helfen nicht nur die Datenschutzbeauftragen. Auch die Behörden verfolgen das Ziel, Unternehmen zu unterstützen. Ihre Stellungnahmen und Leitlinien bieten wertvolle Ressourcen, um bei KI-Compliance die Hand am Puls der Zeit zu haben.

KI-Governance: Das große Ganze

Neben DSGVO und KI-Verordnung können sich nicht nur weitere Rechtsfragen stellen. Auch Informations- und Cybersicherheit sind beim Einsatz von KI ein Thema. Von KI-Richtlinien über Freigabeprozesse und technische Schutzmaßnahmen gegen Cyberangriffe: Den Einsatz von KI sollten Unternehmen ganzheitlich betrachten. KI-Governance kann dabei helfen, Risiken zu minimieren und den verantwortungsvollen, rechtskonformen Einsatz von KI sicherzustellen.