Zum Inhalt springen Zur Navigation springen
ChatGPT Verbot und datenschutzrechtliche Ersteinschätzung

ChatGPT Verbot und datenschutzrechtliche Ersteinschätzung

„The rise of powerful AI will either be the best or the worst thing ever to happen to humanity.“ In seinem Vortrag zum Thema „Exploring the impact of artificial intelligence“, machte Stephen Hawking sowohl auf das positive als auch negative Potenzial künstlicher Intelligenz aufmerksam. Denn nach den Worten des Professors könnte es das Größte, aber wohlmöglich auch letzte Ereignis der Menschheitsgeschichte sein. Wir geben einen kurzen Überblick über das Leistungsspektrum von ChatGPT und welche Gefahren der unreflektierte Einsatz solch einer mächtigen künstlichen Intelligenz birgt. Anschließend wird anhand einer datenschutzrechtlichen Ersteinschätzung geklärt, warum der Einsatz von ChatGPT problematisch ist und was Unternehmen unbedingt beachten sollten.

ChatGPT hat das Potenzial Arbeit und Leben zu revolutionieren

Mit jedem weiteren Tag nach der Veröffentlichung von ChatGPT am 30.11.2022, gewinnt die Öffentlichkeit eine genauere Idee davon, was die Worte von Prof. Hawking bedeuten könnten.

ChatGPT hilft uns beispielsweise beim Zusammenfassen längerer Texte, beim Verständnis komplexer Thematiken, Erstellen kreativer Inhalte oder Erzeugen von Grafiken. Gegen Entgelt können Unternehmen ChatGPT mit Hilfe der Programmierschnittstelle (API) bspw. auch als Chatbot im Kundenbereich einsetzen, also in die eigene Software einbinden. Gleichermaßen birgt es aber auch die Gefahr, dass es für kriminelle Machenschaften eingesetzt wird, wie dem Erstellen von Fake-News, nahezu perfekten Phishing-Mails oder Schadsoftware.

In einem offenen Brief der gemeinnützigen Organisation Future of Life Institute, das sich zum Ziel gesetzt hat, existenzielle Risiken für die Menschen zu reduzieren, fordert sie eine sofortige Entwicklungspause bei der Bearbeitung von Systemen, die leistungsfähiger sind als GPT-4. Dieses ist die aktuelle Version von OpenAI, also dem Unternehmen, das ChatGPT herausgebracht hat. Ziel der Pause solle es sein, Sicherheitsstandards für den Einsatz solcher Systeme zu entwickeln, damit diese „genau, sicher, interpretierbar, transparent, robust, [ethisch] ausgerichtet, vertrauenswürdig und loyal“ sind. Zu den über 10.000 verifizierten Unterzeichnern zählen Namen wie Elon Musk, Steve Wozniak, Stuart Russell (Professor für Computerwissenschaften) und viele weitere Experten.

Datenpannen und behördliche Verbote von ChatGPT

Derzeit häufen sich die Meldungen von Datenpannen sowie erwogenen oder gar bereits vollzogenen Sperrungen des Dienstes aufgrund von Datenschutzverstößen.

So hieß es kürzlich bspw. von Cybernews: „ChatGPT leaks user credit card details“. OpenAI selbst erklärte, es seien bei einem Ausfall von ChatGPT Zahlungsinformationen unautorisiert veröffentlicht worden. Es handelte sich dabei um E-Mail-Adressen, Vor- und Nachnamen, Zahlungsadressen, die letzten vier Ziffern der Kreditkarte und dessen Ablaufdatum. Des Weiteren berichtete InterestingEngineering, dass nachdem Samsung ChatGPT für seine Mitarbeiter:innen eingeführt hatte, der Dienst mit einem angeblichen Datenleck vertraulicher Informationen in Verbindung gebracht wurde. Darunter gehören sensible Informationen über die Messdaten der Halbleiterausrüstung des Unternehmens, die nun Teil der Lerndatenbank von ChatGPT sind.

Außerdem ordnete die italienische Datenschutzaufsichtsbehörde letzte Woche nach Art. 58 Abs. 2 lit. f) DSGVO ein vorübergehendes Verbot der Verarbeitung durch ChatGPT an, woraufhin OpenAI den Dienst dort gesperrt hat. Dies nahmen eine Reihe von Aufsichtsbehörden zum Anlass sich zu melden. Der Bundesdatenschutzbeauftragte hält ein ähnliches Vorgehen in Deutschland für möglich, in Kanada wird der Dienst aktuell nach einer Beschwerde geprüft und die englische ICO sieht vor allem die Anwender:innen in der Pflicht.

Datenschutzrechtliche Aspekte bei der Nutzung von ChatGPT

Im Folgenden wird auf die datenschutzrechtlichen Hintergründe und Bedenken beim Einsatz von ChatGPT eingegangen. Netterweise lieferte eine direkte Unterhaltung mit dem Chatbot bereits einige Erkenntnisse.

Auf die Frage zum Umgang mit den übertragenden Daten, wenn Anfragen auch personenbezogene Inhalte enthalten, antwortet ChatGPT:

„Ich bin so programmiert, dass ich keine personenbezogenen Daten sammle […] es sei denn, du gibst sie mir aktiv preis.“

Auf Bitte einer Ergänzung, was passiert, wenn solche Daten aus Versehen enthalten sind?

„Wenn personenbezogene Daten aus Versehen in einem Gespräch enthalten sind, kann ich als KI-System diese Daten nicht erkennen oder verarbeiten, es sei denn, du gibst sie mir ausdrücklich preis.“

Auf Nachfrage, ob nicht dennoch personenbezogene Daten, die möglicherweise in Anfragen enthalten sind, zuerst entfernt oder anonymisiert werden, bevor sie zu Trainingszwecken verwendet werden, lautete die Antwort:

„Als KI-System habe ich keinen Zugriff auf personenbezogene Daten, die du in unseren Gesprächen möglicherweise offenlegst. In der Tat ist es meine Aufgabe, personenbezogene Daten zu identifizieren und dich dazu zu ermutigen, diese Daten nicht zu teilen, es sei denn, dies ist absolut notwendig. Wenn du jedoch versehentlich personenbezogene Daten in einer Anfrage enthalten hast, wird dies möglicherweise Teil des Textkorpus, der für Trainingszwecke verwendet wird.“

Die Reaktion auf den Hinweis, dass die Aussage „In der Tat ist meine Aufgabe personenbezogene Daten zu identifizieren“ dahingehend verstanden werden kann, dass ChatGPT diese möglicherweise doch erkennt und verarbeitet sie, ergab leider nur noch mehr Fragen:

„Entschuldige, mein vorheriger Antwortteil war missverständlich. Es ist NICHT meine Aufgabe, personenbezogene Daten zu identifizieren. […] Wenn personenbezogene Daten aus Versehen in einem Gespräch enthalten sind, habe ich keine Möglichkeit, sie automatisch zu erkennen oder zu verarbeiten, und sie werden nicht Teil des Textkorpus, der für Trainingszwecke verwendet wird.“

Damit geklärt werden kann, ob diese Daten in ein nichteuropäisches Drittland übertragen werden und wie dabei das datenschutzrechtliche Sicherheitsniveau aufgestellt ist, antwortete ChatGPT auf eine entsprechende Frage:

„OpenAI betreibt Server und Rechenzentren in verschiedenen Regionen der Welt, um eine hohe Verfügbarkeit und Leistungsfähigkeit ihrer Dienste aufrechtzuerhalten. Genaue Informationen über den Standort ihrer Server werden jedoch nicht öffentlich bekannt gegeben, um die Sicherheit und den Schutz ihrer Daten zu gewährleisten.“

Auch nach vielen weiteren Frage-Antwort-Gesprächen lässt sich nur mit Gewissheit sagen, dass vieles überhaupt nicht nachprüfbar ist oder vielleicht auch gar nicht sein soll.

Apropos Transparenz bei der Datenverarbeitung

In der Entscheidung der italienischen Aufsichtsbehörde für die Untersagung wurde als Grund angegeben, dass keine Rechtsgrundlage für die Verarbeitung personenbezogener Daten ersichtlich sei. Denn die Verwender:innen würden nicht darüber informiert, dass ihre Eingaben zu Trainingszwecken verarbeitet werden. Eine Rechtsgrundlage hierfür existiere nicht.

Dies ist ein gewichtiges Argument im Hinblick auf Art. 6 DSGVO. Aufgrund der überall vorherrschenden Intransparenz, vgl. etwa die Antworten oben, kann schon keine wirksame Einwilligung eingeholt werden. Problematisch ist, dass nicht klar ist, welche Texte ChatGPT zum Lernen verwendet.

Es könnte auch Art. 6 Abs. 1 S. 1 lit. f) DSGVO als Rechtsgrundlage einschlägig sein. Dieser erfordert zwar immer eine Einzelfallabwägung. Beim berechtigten Interesse spielt der Jugendschutz aber eine besondere Rolle und die Abwägung fällt meist zu Gunsten der Jugendlichen und Kinder aus. In diesem Zusammenhang wird moniert, dass weder eine Altersabfrage (unter 13-Jährige) beim Einloggen noch bei den Antworten ein Jugendschutzfilter verwendet wird.

Die deutschen Behörden erwägen derzeit ebenfalls sich der Meinung der Italiener anzuschließen. Ein einfacher Grund ist bereits in Art. 5 Abs. 1 DSGVO zu finden. Insb. dessen Buchstabe a) legt fest, dass personenbezogene Daten „auf rechtmäßige Weise, nach Treu und Glauben und in einer für die betroffene Person nachvollziehbaren Weise verarbeitet werden“ müssen. Das wird von OpenAI (noch) nicht gewährleistet, somit lässt sich die Frage nach der Zulässigkeit der Datenverarbeitung von außen nicht beurteilen.

Um es mit den Worten von Michael Will, Datenschutzbeauftragter beim bayerischen Landesamt für Datenschutzaufsicht, auszudrücken:

„[…] KI darf keine Blackbox sein, wo hinter einer Wand dann alles Mögliche geschehen kann […]“.

In dem Zusammenhang ist es zu begrüßen, dass sich OpenAI als Reaktion auf das Verbot kurzfristig mit der italienischen Behörde getroffen und sich verpflichtet hat, die Transparenz bei der Verarbeitung personenbezogener Daten zu erhöhen sowie die bestehenden Mechanismen zur Ausübung der Betroffenenrechte und die Schutzmaßnahmen für Kinder zu verbessern. Nun müssen auf die Worte nur noch Taten folgen.

Und wenn man ChatGPT doch verwenden möchte?

Normale Verbraucher:innen sollten stets darauf achten, dass sie nur solche Daten in ChatGPT einspeisen, die erstens nicht personenbezogen sind und zweites auch nicht mittelbar dazu genutzt werden können eine gewisse Person zu identifizieren.

Im unternehmerischen Bereich gilt daneben, dass insb. der Grundsatz der Vertraulichkeit und Integrität im Sinne von Art. 5 Abs. 1 lit. f) DSGVO beachtet wird. Es sollten Unternehmensrichtlinien zum Einsatz und Umgang mit ChatGPT existieren, die Anweisungen und Handlungsempfehlungen beinhalten, wie und was bei Anfragen zu berücksichtigen ist. Auch sind Verhaltensvorgaben sinnvoll, die beschreiben, was zu tun ist, wenn es zu einem Compliance-Verstoß gekommen ist. Da bei ChatGPT die älteren Chats gespeichert werden, sollten nur autorisierte Personen Zugriff auf diese haben. In diesem Zusammenhang ist es auch wichtig ein Löschkonzept zu entwickeln.

Was ist bei der erwähnten Schnittstelle (API) zu beachten?

OpenAI bietet im zahlungspflichtigen Abo die Nutzung seiner API an. Hierfür stellt OpenAI auch einen Auftragsverarbeitungsvertrag (AVV) bereit. Da dieser ausschließlich zahlungswilligen Kund:innen bereitgestellt wird, steht eine Prüfung dieses Dokuments aus. Zu beachten ist, dass OpenAI weder von anderen noch eine überarbeitete Version des eigenen AVV akzeptiert: „Unfortunately, we are unable to review or sign DPAs provided by our customers or customize our DPA on a case by case basis.”

Zudem ist die rechtliche Situation hinsichtlich der Verantwortlichkeiten nicht klar. Besteht statt eines Auftragsverarbeitungsverhältnisses nicht eher eine gemeinsame oder gar eine getrennte Verantwortlichkeit? Die Überlegung ist dem Gedanken geschuldet, dass OpenAI die Daten zu Trainingszwecken, aber vermutlich auch zu Werbezwecken verarbeitet. Damit verfolgt es bei der Verarbeitung auch eigene Interessen. Dies spräche dann gegen eine Auftragsverarbeitung, da Art. 28 Abs. 3 S. 2 lit. a) DSGVO die Weisungsgebundenheit bei der Verarbeitung verlangt. Nach Art. 26 Abs. 1 S. 1 DSGVO liegt dagegen eine gemeinsame Verantwortlichkeit vor, wenn zwei oder mehr Verantwortliche gemeinsam die Zwecke und die Mittel der Verarbeitung festlegen. An beiden Voraussetzungen wird es vermutlich mangeln, da zum einen das API-nutzende Unternehmen kaum Einfluss auf die Verarbeitung bei OpenAI haben wird, zum anderen aufgrund der mangelnden Transparenz davon auszugehen sein wird, dass die Mittel zur Verarbeitung nicht gemeinsam gewählt werden.

Da OpenAI nur den eigenen AVV anbietet, ist die rechtliche Lage auch zum Thema Unterauftragsverarbeitung unklar. Denn das API-nutzende Unternehmen tritt für seine Kund:innen möglicherweise als Auftragsverarbeiter auf, was OpenAI zur Unterauftragsverarbeiter machen würde. Dieser Aspekte müsste im Verhältnis Unternehmen – Kund:in im AVV transparent geklärt sein.

Des Weiteren ist OpenAI ein US-amerikanisches Unternehmen. Damit liegt die Vermutung nahe, dass einige Server in den USA betrieben werden. Bereits zu Dokumentationszwecken müsste damit auch ein Transfer Impact Assessment durchgeführt werden. Ein Leitfaden hierzu findet sich hier.

Zuletzt sei noch auf die Positiv-Liste von Verarbeitungsvorgängen nach Art. 35 Abs. 4 DSGVO des Hamburgischen Beauftragten für Datenschutz und Informationssicherheit hingewiesen. Danach hat das verantwortliche Unternehmen auch eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO durchzuführen. Grund ist, dass ChatGPT sehr wahrscheinlich unter das Kriterium einer KI fällt, die zur Verarbeitung von personenbezogenen Daten verwendet wird, die der „Steuerung der Interaktion mit den Betroffenen oder zur Bewertung persönlicher Aspekte der betroffenen Person“ dient.

Wer trotz aller rechtlichen Hürden ChatGPT im Unternehmen verwenden möchte, sollte sich daher nicht nur der Risiken bewusst sein, sondern zumindest datenschutzrechtlich alles tun, was im eigenen Machtbereich liegt.

Nicht verteufeln, aber ein sorgsamer Umgang mit KI ist geboten

ChatGPT hat bewiesen, dass es etwas ganz Großes werden kann. Der europäische Datenschutz bietet bei seiner konformen Umsetzung die Möglichkeit, dieses Potenzial zum Wohle aller sicherer zu gestalten. Die Kooperationsbereitschaft von OpenAI mit Italien lässt Gutes für die Zukunft hoffen.

Informieren Sie sich über unsere praxisnahen Webinare
  • »Microsoft 365 sicher gestalten«
  • »Informationspflichten nach DSGVO«
  • »Auftragsverarbeitung in der Praxis«
  • »DSGVO-konformes Löschen«
  • »IT-Notfall Ransomware«
  • »Bewerber- und Beschäftigtendatenschutz«
Webinare entdecken
Mit dem Code „Webinar2024B“ erhalten Sie 10% Rabatt, gültig bis zum 30.06.2024.
Beitrag kommentieren
Fehler entdeckt oder Themenvorschlag? Kontaktieren Sie uns anonym hier.
  • Schade, schwacher Artikel! Das Thema ist brisant und top aktuell – der Artikel langweilig und orientierungslos. Dr. Datenschutz geht nicht auf das eigentliche Problemfeld ein: Wer mal Daten von Personen bei ChatGPT erfragt, bekommt wilde Halbwahrheiten durchsetzt mit personenbezogenen Daten aufgetischt. Recht auf Löschung, Korrektur, Sperrung?

    • Wir verfolgen mit unseren Beiträgen stets das Ziel einen Mehrwert zu schaffen. Es stimmt, dass zu diesem Thema sehr viel mehr geschrieben werden kann. Dies hätte allerdings den Rahmen des sowieso schon längeren Beitrags gesprengt. Hauptaugenmerk des Artikels ist es, wie auch in der Einführung als Orientierungshilfe beschrieben, den Anwender:innen erst einen Überblick und anschließend eine datenschutzrechtliche Ersteinschätzung zu bieten. Die von Ihnen genannten Themen sind ebenfalls interessant und könnten Aspekte zukünftiger Beiträge sein.

  • „Die deutschen Behörden erwägen derzeit ebenfalls sich der Meinung der Italiener anzuschließen.“ Erstaunlich, denn die DSGVO ist EU-Recht. Nationale Alleingänge sind grundsätzlich nicht vorgesehen, außer es gibt eine „Exit Clause“ wie z.B. beim Beschäftigtendatenschutz. Wie kann es denn sein, dass Entscheidungen von Aufsichtsbehörden von anderen nationalen Aufsichtsbehörden evtl. anders gesehen werden „…erwägen derzeit…“? Rechtssicherheit geht anders…

    • Da haben sie vollkommen Recht, dass die DSGVO EU-Recht ist und damit eigentlich nationale Alleingänge vermieden werden sollten, um mehr Rechtssicherheit zu schaffen. Die Realität spiegelt leider meist eine andere Wahrheit wider. Unbestimmte Rechtsbegriffe können ausgelegt werden und so zwangsläufig zu unterschiedlichen Ergebnissen führen. Aber gerade aus diesem Umstand können wir auch positive Aspekte ziehen: Wenn sich zwei widerstreitende Parteien bis zum EuGH rüsten, dann haben wir zumindest für einzelne Streitgegenstände am Ende ein Stück mehr Rechtssicherheit.

  • Es heisst Kunden und nicht Kund:innen. Das ergibt sich schon allein aus der Tatsache, dass besagte Kunden im überwiegenden Fall Geschäftskunden, also Unternehmen sind, für die eine Bestimmung des Geschlechts überhaupt keinen Sinn ergibt!

Die von Ihnen verfassten Kommentare erscheinen nicht sofort, sondern erst nach Prüfung und Freigabe durch unseren Administrator. Bitte beachten Sie auch unsere Nutzungsbedingungen und unsere Datenschutzerklärung.