Einsatz künstlicher Intelligenz in kritischen Infrastrukturen

• Es existieren Spezialregelungen in der KI-Verordnung für den Bereich der kritischen Infrastruktur, die jedoch häufig unklar bzw. widersprüchlich sind.
• Ein KI-Systemen ist wohl nur selten deshalb ein Hochrisiko-KI-Systeme, weil es durch Betreiber von kritischen Infrastrukturen eingesetzt wird.
• KI-Systeme zum ausschließlichen Schutz der Cybersicherheit sollen nicht erfasst sein. Auch KI-Systeme, die zum Funktionieren der kritischen Infrastruktur selbst notwendig sind fallen raus.

Das allgegenwärtige Thema künstliche Intelligenz ("KI") macht auch vor den Unternehmen im Bereich der kritischen Infrastrukturen nicht halt. Der Einsatz erfolgt in vielfältiger Weise und reicht von der Implementierung eines einfachen Chatbots auf der Webseite, über den Einsatz bei der Netzplanung bis zum Schutz von Betriebsgeländen beispielsweise mit "intelligenten" Kameras. Gerade im Bereich der Cyberbedrohungen wird bereits heute häufig künstliche Intelligenz eingesetzt, um beispielsweise Hackingangriffe zu erkennen.

Im folgenden wird zunächst ein sehr kurzer Überblick über den Aufbau der "Europäischen Verordnung über künstliche Intelligenz" ("KI-VO", englisch: "AI Act") gegeben. Anschließend wird untersucht, ob KI-Systeme im Bereich der kritischen Infrastrukturen sogenannte Hochrisiko-KI-Systemen sind oder nicht. Insbesondere hiervon hängt ab, welche Pflichten beim Einsatz von KI-Systemen im Bereich der kritischen Infrastrukturen bestehen.

Zu beachten ist, dass die Europäische Kommission im Moment an Leitlinien zur Einstufung von Hochrisiko-KI-Systemen erarbeitet. Sobald diese verabschiedet sind, wird wohl für die Praxis in diesem Bereich mehr Klarheit herrschen.

Die KI-Verordnung im Überblick

Die KI-VO wurde am 12.7.2024 im Amtsblatt der Europäischen Union veröffentlicht und trat am 1.8.2024 in Kraft. Allgemein ist die KI-VO ab dem 02.08.2026 anwendbar, wobei für Teilbereich Ausnahmen gelten. Die im Folgenden näher betrachteten Regelungen über die Hochrisiko-KI-Systeme sind nach der allgemeinen Regelung ab dem 02.08.2026 anwendbar. Eine Übersicht zur Timeline findet sich hier.

Da es sich um eine Verordnung handelt, ist diese in Deutschland direkt anwendbares Recht und muss nicht durch ein nationales Gesetz umgesetzt werden.

Im folgenden wird ein sehr kurzer Überblick über die KI-Verordnung gegeben. Es wird sich auf die Aspekte beschränkt die notwendig sind, um die nachfolgenden Erläuterungen speziel im Bereich der kritischen Infrastrukturen zu verstehen. Allgemeine und ausführlichere Erklärungen der KI-Verordnungen sind im Internet einfach verfügbar (z.B. hier und hier).

Grundsätzlicher Aufbau der KI-Verordnung

Durch die KI-Verordnung wird insbesondere der Einsatz von sogenannten KI-Systemen reguliert.

Eine Erklärung zu den technischen Hintergründen zum Einsatz von KI-Systemen bietet z.B. die Webseite der OECD. Dies ist insofern hilfreich, als das sich bei der Definition der KI-Systeme an der Definition der OECD orientiert wurde. Die Europäische Kommission hat zudem die (nicht bindenden) „Leitlinien zur Definition von KI-Systemen“ veröffentlicht , die die sieben in der Definition verankerten Tatbestandsmerkmale näher erläutert und konkrete Beispiele gibt.

Für die Betreiber von kritischen Infrastrutkuren ist die entscheidende Frage, welche Pflichten sie einhalten müssen bei der Entwicklung, Anpassung, Einsatz etc. solcher Systeme. Die Antwort auf diese Frage hängt - stark verkürzt - von zwei Aspekten ab:

1. Welcher Akteur bin ich in der KI-Wertschöpfungskette?
2. Welcher Risikoklassifikation unterfällt das KI-System?

Erst wenn ich beide Fragen beantworte, kann ich meine Pflichten als Betreiber richtig einschätzen.

Betreiber eines KI-Systems

Die Akteure werden in Art. 3 Nr. 8 KI-VO definiert als Anbieter, Produkthersteller, Betreiber, Bevollmächtigten, Einführer oder
Händler. Wichtig ist, dass sich die die Pflichten je nach Akteurseigenschaft unterscheiden und insbesondere auch Betreiber von KI-Systemen Pflichten unterliegen. Betreiber kritischer Infrastrukturen werden meist "nur" Betreiber von KI-Systemen sein, weshalb im Folgenden auf diesen Akteur der Focus gelegt wird.

Allerdings ist Vorsicht angezeigt. Zum einen unterliegen auch die Betreiber speziellen Pflichten aus der KI-Verordnung, selbst wenn sie KI-Lösungen "von der Stange" kaufen. Zudem besteht die Gefahr, dass man vom Anbieter zum Betreiber hochgestuft wird. Dies ist insbesondere dann möglich, falls man ein "fremdes" Hochrisiko-KI-System mit dem eigenen Namen / Handelsmarke versieht oder eine wesentliche Veränderung vornimmt (siehe Art. 3 Nr. 23; Art. 25 KI-VO).

Vier mögliche KI-Risikostufen

Im Grundsatz unterscheidet die KI-Verordnung vier verschiedene Risikostufen: Verbotene KI-Systeme; Hochrisiko-KI-Systeme; KI-Systeme mit limitierten Risiko und KI-Systeme mit minimalen Risiko.

Für jede Risikostufe gelten (zusätzlich abhängig von der Akteursstellung) unterschiedliche Pflichten. Dabei gilt im Grundsatz: Je höher das Risiko des KI-Systems ist, desto höher sind die Pflichten, die die Akteure einhalten müssen (wenn das KI-System nicht sogar verboten ist). Die KI-Verordnung verfolgt also einen risikobasierten Ansatz der Regulierung (siehe hierzu auch die näheren Ausführungen der Bundesnetzagentur).

Im folgenden wird insbesondere diskutiert, in welche Risikostufe KI-Systeme einzuordnen sind, die im Bereich der kritischen Infrastrukturen eingesetz werden. Insbesondere stellt sich die Frage, wann es sich um Hochrisiko-KI-Systeme handelt und wann nur um KI-Systemen mit limitierten Risiko bzw. minimalen Risiko. Die Antwort auf diese Frage ist entscheidend dafür, welche Pflichten die Betreiber erfüllen müssen.

KI-Systeme in der kritischen Infrastruktur als Hochrisiko-KI-Systeme?

Wann ein Hochrisiko-KI-System vorliegt legt Art. 6 KI-Verordnung fest. Maßgeblich für den Bereich der kritischen Infrastruktur ist Art. 6 Abs. 2 KI-VO. Danach gelten (zusätzlich zu den in Art. 6 Abs. 1 KI-Verordnung genannten Hochrisiko-KI-Systemen) die in Anhang III genannten KI-Systeme als hochriskant. Nr. 2 des Anhangs III lautet:

„Kritische Infrastruktur: KI-Systeme, die bestimmungsgemäß als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung verwendet werden sollen.“

Sind diese Voraussetzungen erfüllt, so ist ein KI-System im Bereich der kritischen Infrastruktur als ein Hochrisiko-KI-System anzusehen.

Kritische Infrastruktur

Einleitend wird der Begriff der kritischen Infrastruktur genannt. Es liegt deshalb nahe, dass die Auslegung des nachfolgenden Satzes der Definition immer im Lichte dieses Begriffs gesehen werden muss. Was also ist eine kritische Infrastruktur im Sinne der KI-VO?

Die KI-VO verweist in Art. 3 Nr. 62 für den Begriff der kritischen Infrastruktur auf Art. 2 Nr. 4 der CER-Richtlinie. Die CER-Richtlinie soll in Deutschland durch das Kritis-Dachgesetz umgesetzt werden (siehe zu beiden Gesetzen die Rechtsgrundlagen). Dies macht bereits deutlich, dass der Begriff der kritischen Infrastruktur in der KI-VO ist nicht deckungsgleich mit dem bisher gleichlautenden Begriff im IT-Sicherheitsrecht (siehe § 2 Abs. 10 BSIG) ist. Vielmehr muss es sich um eine kritische Anlage im Sinne des zukünftigen Kritis-Dachgesetzes handeln, denn dieser Begriff wird in Deutschland statt des Begriffs der kritischen Infrastruktur zukünftig im Kritis-Dachgesetz (und auch im NIS-2-Umsetzungsgesetz) verwendet. Insbesondere die im Rahmen der noch zu erlassenden Kritisverordnung festgelegten Schwellenwerte sind zur Bestimmung der kritischen Anlage / kritischen Infrastruktur damit maßgeblich. Für eine erste Einschätzung ist es für Unternehmen hilfreich, in die bisherige BSI-KritisV zu schauen, um die zukünftige Betroffenheit als Betreiber einer kritischen Anlage abzuschätzen. Die bisherige BSI-KritisV wird zwar nicht deckungsgleich zur künftigen Kritisverordnung sein, allerdings wahrscheinlich recht ähnlich, was die Schwellenwerte angeht.

Einschränkung auf bestimmte kritische Infrastrukturen

Die o.g. Definition modifiziert den allgemeinen Begriff der kritischen Infrastrukturen jedoch. So sind nicht jegliche Sektoren erfasst, sondern nur die dort genannten (so ist beispielsweise der Bereich der Siedlungsabfallentsorgung und die Fernkälte nicht erfasst). Auch wenn die KI-Verordnung lediglich für die digitale kritische digitale Infrastruktur auf den Anhang der CER-Richtlinie verweist (EW 55), so liegt es nahe auch für die restlichen Begriffe auf eben diese Anlage Bezug zu nehmen.

Ergänzend wird man wohl auch die Delegierte Verordnung (EU) 2023/2450 zum Verständnis hinzuziehen müssen. Durch diese Verordnung wird eine nicht erschöpfende Liste wesentlicher Dienste im Sinne von Artikel 2 Nummer 5 der CER- Richtlinie in den im Anhang der CER-Richtlinie aufgeführten Sektoren und Teilsektoren festgelegt.

Als Ergebnis lässt sich bisher festhalten, dass der Begriff der kritischen Infrastruktur in Anhang III, Nr. 2 KI-VO grundsätzlich so zu verstehen ist, wie der Begriff der kritischen Anlage im zukünftigen Kritis-DachG. Insbesondere die im Rahmen der noch zu erlassenden KritisV festgelegten Schwellenwerte sind zur Bestimmung der kritischen Anlage / kritischen Infrastruktur damit maßgeblich. Allerdings werden nur bestimmte Sektoren und Teilsektoren erfasst, sodass beispielsweise im Sektor der Siedlungsabfallentsorgung nicht erfasst wird. Zudem herrscht ist ein strenger Anlagenbezug (siehe hierzu näher diesen Blogbeitrag). Aus diesem Grund muss der Einsatz von KI-Systemen innerhalb einer kritischen Anlage erfolgen oder so, dass das KI-System Einfluss auf die kritische Anlage haben kann.

Sicherheitsbauteil

Hochrisiko-KI-Systeme sind nicht sämtliche KI-Systeme im Bereich der kritischen Infrastrukturen, sondern nur solche, die als Sicherheitsbauteile im Bereich der kritischen Infrastrukturen eingesetzt werden sollen.

Der Begriff der Sicherheitsbauteile wird in Erwägungsgrund 55 der KI-VO speziell für die kritischen Infrastrukturen wie folgt definiert (siehe für die abweichende allgemeine Definition Art. § 3 Nr. 14 KI-VO):

„Sicherheitsbauteile kritischer Infrastruktur, einschließlich kritischer digitaler Infrastruktur, sind Systeme, die verwendet werden, um die physische Integrität kritischer Infrastruktur oder die Gesundheit und Sicherheit von Personen und Eigentum zu schützen, die aber nicht notwendig sind, damit das System funktioniert.“

Guckt man sich die Definition näher an, muss Einsatz des KI-Systems mit einer bestimmen Zielrichtung vorgenommen werden. Hierbei sind zwei Zielrichtungen vorgeschrieben. Der Einsatz muss entweder verwendet werden um

• die physische Integrität der kritischen Infrastruktur zu schützen oder
• um die Gesundheit und Sicherheit von Personen oder Eigentum zu schützen.

Man kann vermuten, dass der erste Punkt die „Security“ (Schutz der Anlagen selbst vor Gefahren) und der zweite Punkt die „Safety“ (Schutz Dritter vor den Gefahren, die von der Anlage ausgehen) einer kritischen Infrastruktur beschreibt (siehe zur Unterscheidung beider Begriffe z.B. hier und hier und hier). Das mit der zweiten Variante die Gesundheit etc. vor Schäden, die durch Ausfälle oder Störungen der kritischen Infrastruktur selbst entstehen können geschützt werden sollen, legen die weiteren Ausführungen in Erwägungsgrund 33 und 55 nahe. Zudem spricht die englische Variante insoweit von "safety of persons and property".

Hier darf die Prüfung jedoch nicht enden. Ausgeschieden werden in einem weiteren Schritt (positiv ausgedrückt) alle Sicherheitsbauteile der Security und Safety, die notwendig sind, damit das „System“ funktioniert. Hierbei ist die doppelte Verwendung des Begriffs Systems in der Definition verwirrend, da der Bezug des Begriffs „System“ am Ende der Definition unklar ist. Ich gehe davon aus, dass der Begriff System am Ende der Definition eigentlich die kritische Infrastruktur (also eine kritische Anlage) meint. Hieraus ergibt sich, dass alle KI-Systeme ausgeschieden werden, die notwendig sind, damit die kritische Infrastruktur funktioniert. Dies würde z.B. auf die Verwendung von KI-Systemen in Leitstellen zutreffen, soweit sie notwendig ist damit z.B. das Stromnetz funktioniert.

Unklarheiten bei der Definition des Sicherheitsbauteils

Aus dieser Definition und den nachfolgenden Ausführungen des Erwägungsgrund 55 ergeben sich eine Vielzahl von Fragen, die hier nur angerissen werden können.

Zunächst wird nur die physische Integrität / "Security" der kritischen Infrastruktur geschützt, während Komponenten (gemeint sind wohl Sicherheitsbauteile, wie sich aus der englischen Fassung der KI-Verordnung ableiten lässt), die für die ausschließliche Verwendung zu Zwecken der Cybersicherheit (siehe zu diesem Begriff die Ausführungen im Grundwissen Nr. 8) vorgesehen sind ausgeschieden werden. Es wird anscheinend davon ausgegangen, dass Sicherheitsbauteile für die Zwecke der Cybersicherheit keinen Einfluss auf die physische Sicherheit einer kritischen Infrastruktur haben. Mit anderen Worten werden anscheinend Firewalls, Security Information and Event Management-Programme (SIEMs), Systeme zur Angriffserkennung, Virenscanner usw. nicht erfasst, auch wenn sie im Bereich der kritischen Infrastrukturen eingesetzt werden sollen und KI-Systeme enthalten. Sie wären zumindest keine Hochrisiko-KI-Systeme auf Grund von Nr. 2 des Anhangs III KI-Verordnung. Andererseits müssten dann Systeme zum physischen Schutz wie z.B. "smarte" Kameras etc. erfasst sein (siehe für mögliche weitere Beispiele Art. 13 Abs. 1 lit. b CER-Richtlinie).

Das diese Abgrenzung trägt, kann auch bezweifelt werden. Denn häufig schlagen Angriffe auf die „Cyberintegrität“ eine kritischen Anlage direkt auf dessen physische Integrität durch. Wenn beispielsweise durch einen erfolgreichen Hack die Leitzentrale ausgeschaltet wird, könnte z.B. im Stromnetzbereich auch das Stromnetz durch Überspannung physisches geschädigt werden. Im Bereich der Trinkwasserversorgung könnte durch eine gehacktes und manipuliertes System zur Überwachung der Trinkwasserqualität die Gesundheit der Bevölkerung gefährdet werden (für ein Beispiel aus einer Keksfabrik siehe hier). Es stellt sich die Frage, wann ein Sicherheitsbauteil wirklich "ausschließlich" zu Zwecken der Cybersicherheit verwendet wird, denn zumindest mittelbar wird man sehr häufig auch einen Bezug zur physischen "Security" der kritischen Infrastruktur oder zur "Safety" von Personen etc. feststellen müssen (teilweise wird auch der Begrif der Cyber-physische Systeme genutzt). Ggf. liegt der Grund für diesen Ausschluss aber auch darin begründet, dass Aspekte der reinen Cybersicherheit nur von der NIS2-Richtlinie bzw. dem Cyber Resilience Act erfasst werden sollen. Bisher habe ich hier allerdings keinen solche klaren Verweise in der KI-Verordnung entdecken können.

Auch kann man sich fragen, wann eine Sicherheitskomponente "notwendig" ist, damit eine kritische Infrastruktur funktioniert. Zur Steuerung eines Trinkwassersystems wird sicherlich häufig auch die Messung des Wasserdrucks notwendig sein. KI-Systeme in diesem Bereich sollte also gar nicht in den Anwendungsbereich fallen. Gleichwohl sollen nach Erwägungsgrund 55 (am Ende) die Überwachung von Wasserdruck ein Beispiel sein, wann eine Sicherheitsbauteil vorliegt. Ggf. ist dieses Beispiel aber auch nur auf das Kühlwasser in Cloud-Computing-Zentren bezogen. Auch hier ergeben sich mehr Fragen als Antworten.

Fazit

Die KI-Verordnung ist hochkomplex und stellt insbesondere an das Anbieten bzw. den Einsatz von Hochrisiko-KI-Systeme hohe Anforderungen. Die KI-Verordnung sieht Spezialregelungen im Bereich der kritischen Infrastrukturen vor, um entsprechende KI-Systeme in diesem Bereich als Hochrisiko-KI-Systeme einzustufen. Bei allen Unsicherheiten der Auslegung erscheint es so, als wären KI-Systeme im Bereich der kritischen Infrastrukturen häufig keine Hochrisiko-KI-Systeme. Dies liegt insbesondere an der Definition des Begriffs des Sicherheitsbauteils. Ausgeschieden werden zunächst alle Sicherheitsbauteile, die notwendig sind, damit die kritische Infrastrukur funktioniert. Zudem sollen alle Sicherheitsbauteile, die für die ausschließliche Verwendung zu Zwecken der Cybersicherheit vorgesehen sind ausgeschieden werden. Ferner kann mit guten Argumenten davon ausgegangen werden, dass nur diejegnigen KI-Systeme betroffen sind, die gemäß Kritis-Dachgesetz im Bereich der kritischen Anlagen eingesetzt werden (500.00er Schwelle).

Da die KI-Verordnung allerdings häufig vage bleibt, logische Brüche hat und eine ungenau Terminologie verwendet, ist das genaue Ergebnis schwierig vorherzusagen. Es braucht behördlicher Auslegungshilfen bzw. in ferner Zukunft Gerichtsentscheidungen durch den EuGH, um hier Klarheit zu schaffen.