KI-Systeme bieten eine große Palette an Möglichkeiten, Prozesse in einem Unternehmen zu vereinfachen oder zu automatisieren. Doch mit der Implementierung dieser Systeme geht ebenso eine Verantwortung einher. KI-Systeme müssen nicht nur sicher und effektiv entwickelt, sondern auch verantwortungsbewusst eingesetzt und betrieben werden. Neben neuen Herausforderungen in der technischen Umsetzung der Implementierung solcher Systeme, treten möglicherweise auch neue Sicherheitslücken auf, die bedacht werden müssen.
Der Inhalt im Überblick
BSI Leitfaden zur Entwicklung sicherer KI-Systeme
Am 27. November 2023 haben das BSI (Bundesamt für Sicherheit in der Informationstechnik) und insgesamt 23 internationale Cybersicherheitsbehörden einen Leitfaden veröffentlicht, um Unternehmen eine Möglichkeit zu geben, KI Systeme sicher und ordnungsgemäß implementieren zu können, bzw. zu wissen, dass diese aus sicheren Quellen stammen.
Die Einhaltung grundlegender Sicherheitsrichtlinien soll bei Ausschöpfung des vollen KI Potenzials sichergestellt werden. Oft verzeichnen Unternehmen eine schnelle Entwicklung durch KI Systeme. Infolgedessen nimmt der Faktor Sicherheit hierbei oft nur noch eine untergeordnete Rolle ein. Gerade aber bei KI Systemen ist hier Vorsicht geboten, da diese schneller „lernen“ und somit oft auch dementsprechend schneller eine neuartige Sicherheitslücke auftritt. Dies ist insbesondere bei der Verarbeitung sensibler Daten zu berücksichtigen.
Ansätze des KI-Leitfadens der Cybersicherheitsbehörden
Die folgenden Maßnahmen wurden von den Behörden erstellt, um eine sichere Entwicklung und Nutzung von KI-Systemen anzupeilen. Sie sollen das Gesamtrisiko durch die Entwicklung von KI-Systemen reduzieren.
Sicheres Design / secure design
Mitarbeitende im Unternehmen sollten im Optimalfall verstehen können, wie das Programm, dass sie nutzen, arbeitet. Hier setzt auch der Bereich „secure design“ an. Es sollte von Beginn an bei der Entwicklung eines KI-Systems darauf geachtet werden, dass Programme, die eingeführt werden, auch den Nutzenden erklärt werden. Mitarbeitende sollten geschult werden, wie sie mit der Technologie umgehen müssen, damit potentielle Sicherheitsrisiken minimiert werden können. Die Bedrohungen, die dadurch entstehen könnten, sollten ebenso im Risikomanagementprozess des Unternehmens mit aufgenommen werden, um bei einem Vorfall schnell reagieren zu können.
Neben dem Sicherheitsfaktor dürfen auch Faktoren wie Funktionalität, Leistung und Benutzerfreundlichkeit in die Überlegung mit einfließen. Wenn ein KI basiertes System funktionieren soll, müssen diese Faktoren mit bedacht und miteinkalkuliert werden.
Sichere Entwicklung / secure developement
In diesem Abschnitt liegt der Fokus auf Themen wie der Sicherheit der Lieferkette der Software, aber auch der Dokumentation und der Verwaltung der KI-Systeme. Hierbei muss darauf geachtet werden, dass die einzelnen Komponenten, die genutzt werden, eine Verifizierung und Überprüfung durchlaufen haben. Die Herkunft der Komponenten sollte im Idealfall dokumentiert sein. An das Unternehmen, welches das KI-System erstellt, sollte hierbei ein gleich (hoher) Sicherheitsstandards angelegt werden, wie an andere Softwarehersteller, deren Produkte im Unternehmen eingesetzt werden. Die Sicherheit der Systeme soll somit gewährleistet werden.
Darüber hinaus sollten die Vertraulichkeit, Integrität und Verfügbarkeit der genutzten Ressourcen ständig sichergestellt sein. Wenn ein Angreifer über eine Schwachstelle in das KI-System gelangt, da eine Ressource von Anfang an nicht aus sicherer Quelle stammt, könnte es fatale Folgen für das Unternehmen haben. Die Quellen der genutzten Ressourcen sollten immer nachverfolgbar sein, damit im Falle des Falles keine Hinweise zur Fehlerquelle verloren gehen können.
Ein weiterer wichtiger Punkt ist das Backup. Es sollte in jedem Fall eine Wiederherstellung der Systeme in einen bekannten Zustand umsetzbar sein. Dies kann aber auch ohnehin immer als ein sehr wichtiger Punkt angesehen werden. Auch in „normalen“ IT-Infrastrukturen.
Sicherer Einsatz / secure deployment
Bei der Implementierung einer KI-Instanz sollten Grundsätze der IT-Sicherheit beachtet und umgesetzt werden. Zugriffe sollten kontrolliert und geregelt sein. Trainingsumgebungen und Umgebungen mit sensiblen Code oder Daten sollten getrennt sein. Dadurch kann auch die allgemeine Wahrscheinlichkeit eines Cyberangriffs verringert werden. Der Zugriff der KI-Module sollte beschränkt sein, damit eine Kontrolle vorhanden ist, auf was diese zugreifen können/dürfen und auf was nicht.
Angreifer sollten keine Chance haben auf die KI-Modelle zugreifen zu können, da diese sonst nachgebildet bzw. manipuliert werden können, was einen hohen Schaden in der IT-Infrastruktur verursachen kann. Um dem entgegenzuwirken, sollten die oben genannten Grundsätze umgesetzt sein. Hierzu sollten zusätzlich Schnittstellen eingerichtet sein, die erkennen und verhindern, wenn ein Angreifer versucht auf vertrauliche Informationen zuzugreifen, sie zu ändern oder zu manipulieren.
Die Integrität der Systeme bzw. Modelle, kann durch kryptografische Hashes oder auch Signaturen sichergestellt werden. Die Schlüsselverwaltung sollte hierbei dementsprechend einen hohen Sicherheitsstandard besitzen, damit ein Angreifer diese nicht ausnutzen kann.
Ein Incident Management Prozess sollte unabhängig davon ebenfalls im Unternehmen integriert sein. Dieser regelt im Fall eines Sicherheitsvorfalls nach welchem Sicherheitsschema weiter verfahren werden soll.
Sicherer Betrieb und Wartung / secure operation and maintenance
Ein sicheres System steht und fällt mit der Wartung und dem Betrieb. Ein gutes System sollte im Idealfall Themen wie Überwachung (Monitoring), Protokollierung von Ereignissen und auch ein Updatemanagement implementiert haben. Zudem ist sicher zu stellen, dass das System an die aktuellen Standards angepasst ist und nicht durch eine (veraltete) Schwachstelle ausgenutzt werden kann.
Durch ein gutes Monitoring kann auch mitverfolgt werden, wie sich ein System verhält. Bestenfalls kann man bei Schwankungen oder Auffälligkeiten schnell reagieren und diese Anomalie beseitigen.
Ein Monitoring kann auch die Eingaben ins System kontrollieren und überprüfen. Dies zielt darauf ab, explizite Eingaben zu erkennen, die außerhalb der gängigen Eingaben liegen und von Angreifern abgesetzt worden sein könnten. Selbstverständlich sollte beim Monitoring das Datenschutzrecht beachtet werden.
Wer ist für die sichere Entwicklung von KI verantwortlich?
Für die sichere Implementierung von KI-Systemen ist es von großer Wichtigkeit, dass verschiedene Akteure Verantwortung übernehmen. Entwicklungseinrichtungen und Institutionen, Forschungsgemeinschaften und auch das Unternehmen oder die Organisation, die KI-Systeme nutzen möchte, sind hierbei in der Pflicht verantwortungsbewusst zu handeln und auf der einen Seite den Nutzen, aber auch auf der anderen Seite die potentiellen Gefahren, von solchen Systemen im Auge zu behalten.
Größtenteils liegt die Verantwortung aber bei den Entwicklungseinrichtungen, da diese den Grundstein für eine sichere Verwendung solcher Systeme legen. Man muss den Sicherheitsfaktor am Anfang der Kette berücksichtigen, sonst ziehen sich die Probleme bis zur Implementierung der Systeme in Unternehmen und Organisationen durch. Ein KI-System sollte nicht nur direkt den Faktor Sicherheit berücksichtigen, sondern auch sicherstellen, dass es angrenzende Themen wie Datenminimierung, Zweckbindung und die rechtmäßige Verarbeitung der Daten nicht vernachlässigt.
Für all diese Fälle haben etliche internationale Cybersicherheitsbehörden zusammen am oben genannten Leitfaden gearbeitet und diesen somit abgestimmt auf diese Voraussetzungen entwickelt.
BSI forscht mit Wissenschaft zur IT-Sicherheit von KI-Systemen
Das BSI betreibt seit längerer Zeit Grundlagenforschung was den Einsatz von Künstlicher Intelligenz in Deutschland betrifft. Der Fokus liegt hierbei klar auf dem Faktor Sicherheit und den folgenden Berührungspunkten:
- Wie können KI-Systeme angegriffen werden?
- Wie können KI-Systeme die IT-Sicherheit verbessern?
- Welche neuen Bedrohungen für IT-Systeme schaffen KI-Methoden in Angriffswerkzeugen?
Dies ist auch der Grund, warum das BSI beim Erstellen des Leitfadens mitgewirkt hat. Künstliche Intelligenz hat auch in Deutschland bereits viele Bereiche der digitalen Datenverarbeitung erreicht und wird beispielsweise in folgenden Bereichen eingesetzt z.B. zum Unterstützen von:
- Biometrische Gesichtserkennung von Personen an öffentlichen Plätzen (Flughafen, Bahnhof)
- Autonomes Fahren (Verkehrszeichenerkennung, Spurhalteassistenz)
In solchen Bereich kann KI dabei helfen, Systeme zu unterstützen und auch sicherer zu machen. Jedoch muss oft bei der Implementierung der Systeme nachgeholfen werden, da das Anlernen einer KI oft einem sehr hohen Arbeitsaufwand bedarf.
Oft können Fehler in einem solchen System auch menschlicher Herkunft sein. Falls ein KI-System solche Fehler bei der Eingabe beispielsweise nicht automatisch erkennen sollte und diese trotz dessen verarbeitet, könnte dies fatale Folgen bei der Ausführung haben. Um diesem Risiko entgegenzutreten, arbeitet das BSI eng mit dem TÜV und dem Fraunhofer Institut zusammen, um Anforderungen an KI-Systeme zu definieren.
