KI-VO Teil 2: Welche Pflichten treffen Betreiber von KI-Systemen?

Nicht nur Anbieter („Provider“) treffen nach der KI-Verordnung Pflichten im Umgang mit KI-Systemen. Auch Betreiber, d. h. Unternehmen und Personen, die KI-Systeme im beruflichen Kontext in eigener Verantwortung („unter its authority“) verwenden und dem Anwendungsbereich der KI-VO  unterliegen (zum Anwendungsbereich habe ich hier Stellung genommen), müssen ggfs. umfangreiche Pflichten aus der KI-VO beachten. Die KI-VO verfolgt insoweit einen risikobasierten Ansatz. Je höher folglich das mit dem KI-System verbundene Risiko, desto umfangreicher gestalten sich die Verpflichtungen.

1. Definitionen der KI-VO

1.1. Betreiber

Unternehmen mit Sitz in der Union / mit Sitz in Drittland, wenn der Output in Union verwendet werden soll, und das  KI-System unter eigener Verantwortung im beruflichen Kontext verwendet wird.

1.2. KI-System

• ein maschinengestütztes System, das
• aus erhaltenen Eingaben
• für explizite oder implizite Ziele
• Ausgaben (bspw. Inhalte, Empfehlungen, Entscheidungen) ableitet,
• wobei die Ausgaben ihre virtuelle oder physische Umgebung beeinflussen können
• bis zu einem gewissen Grad autonom ist und
• anpassungsfähig sein kann

(KI-Modell = Vorstufe).

1.3. Hochrisiko-KI-System (HRKIS)=

a) KI-Systeme, die als Sicherheitsbauteil in einem der in Anhang I genannten Produkte (bspw. Medizinprodukte) verwendet werden oder selbst ein Produkt im Sinne von Anhang I sind
b) KI- Systeme, die in den in Anhang III genannten Einsatzgebieten verwendet werden. Es handelt sich um folgende Bereiche:

• Biometrie (Fernidentifizierungssysteme, Emotionserkennung, etc.), Anhang III Nr. 1
• Kritische Infrastruktur (Straßenverkehr, Wasser-, Gas-, Wärme-, Stromversorgung), Anhang III Nr. 2
• Allgemeine und berufliche Bildung (Zugang, Zulassung, Bewertung, Überwachung v. Prüfungsverhalten), Anhang III Nr. 3
• Beschäftigung, Personalmanagement u. Zugang zur Selbständigkeit (Active-Sourcing, Beförderung, Kündigung, etc.), Anhang III Nr. 4
• Zugänglichkeit u. Inanspruchnahme grundlegender privater u. öffentlicher Dienste (Anspruch auf Sozialleistungen, Kreditwürdigkeitsprüfung, Bonitätsbewertung, Risikobewertung Lebens- und Krankenversicherung, Klassifizierung von Notrufen (Triage), Anhang III Nr. 5
• Strafverfolgung, Anhang III Nr. 6
• Migration, Asyl und Grenzkontrollen, Anhang III Nr. 7
• Rechtspflege und demokratische Prozesse, Anhang III Nr. 8

Ausnahme: HRKIS birgt kein erhebliches Risiko im Hinblick auf Gesundheit, Sicherheit oder Grundrechte, indem es u.a. das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst (Art. 6 Abs. 3 KI-VO). Diese Ausnahme gilt nicht für Profiling.

2. Pflichten für Betreiber von Hochrisiko-KI-Systemen

Die KI-VO sieht folgende Pflichten vor, wenn ein Unternehmen Hochrisiko-KI-Systeme betreibt:

1. Sicherstellung von KI-Kompetenz bei Personal u. sonstigen Personen, die mit Betrieb u. Nutzung von KI-Systemen befasst sind. (Art. 4 KI-VO)
2. Unterlassung v. verbotenen Praktiken. (Art. 5 KI-VO)
3. Implementierung eines Risikomanagements. (Art. 9 KI-VO)
4. Sicherstellung menschlicher Aufsicht. (Art. 26 Abs. 2 KI-VO)
5. Überwachung, dass vom Betreiber kontrollierte Eingabedaten dem Zweck des KI-Systems entsprechen und repräsentativ sind. (Art. 26 Abs. 4 KI-VO)
6. Überwachung des Betriebs des KI-Systems. (Art. 26 Abs. 5 KI-VO)
7. Informationspflichten gegenüber Anbietern, Händlern und Marktüberwachungsbehörde, wenn KI hohes Risiko für Gesundheit, Sicherheit oder Grundrechten von Personen birgt. (Art. 26 Abs. 5 KI-VO)
8. Informationspflichten bei schwerwiegendem Vorfall gegenüber Anbieter, Einführer o. Händler und Marktüberwachungsbehörde. (Art. 26 Abs. 5 KI-VO)
9. Aufbewahrung von automatisch erzeugten und unter der Kontrolle des Betreibers stehenden Protokollen für angemessenen Zeitraum, mindestens 6 Monate. (Art. 26 Abs. 5 KI-VO)
10. Information der Arbeitnehmervertretung (sofern vorhanden) und der betroffenen Arbeitnehmer vor Verwendung des KI-Systems am Arbeitsplatz. (Art. 26 Abs. 7 KI-VO)
11. Ggfs. (falls einschlägig) Durchführung einer Datenschutz-Folgenabschätzung. (Art. 26 Abs. 9 KI-VO)
12. Information der vom KI-System betroffenen Personen. (Art. 26 Abs. 11 KI-VO)
13. Zusammenarbeit mit zuständigen Behörden zur Umsetzung der KI-VO. (Art. 26 Abs. 12 KI-VO)
14. Sofern einschlägig, Durchführung einer Grundrechte-Folgenabschätzung (Art. 27 KI-VO)
15. Information der Betroffenen, sofern Emotionserkennungssystem oder KI zur biometrischen Kategorisierung betrieben wird. (Art. 50 Abs. 3 KI-VO)
16. Offenlegung der Verwendung von KI-Systemen, die Deepfakes von Bild, Ton- oder Videos erzeugen. (Art. 50 Abs. 4 KI-VO)
17. Offenlegung bei KI-erzeugten / manipulierten Texten, die Öffentlichkeit über Angelegenheiten v. öffentlichem Interesse informieren, es sei denn Inhalt unterliegt der menschlichen Überprüfung, redaktioneller Kontrolle oder jmd. trägt die Verantwortung für Veröffentlichung oder sie dient Strafverfolgung. (Art. 50 Abs. 4 KI-VO)
18. Ergreifung notwendiger Korrekturmaßnahmen bei Produkten, die nach der Marktüberwachungsverordnung (VO EU 2019/1020) erhöhtes Risiko bergen, wenn Behörden feststellen, dass ein KI-System Anforderungen und Pflichten der KI-VO nicht erfüllt. (Art. 79 Abs. 2 KI-VO)
19. Ergreifung notwendiger Korrekturmaßnahmen, wenn eine Behörde feststellt, dass das KI-System der KI-VO entspricht, aber dennoch ein Risiko für Gesundheit, Sicherheit oder Grundrechte von Personen oder Aspekte des Schutzes öffentlicher Interessen darstellt. (Art. 82 Abs. 1 KI-VO)
20. Erläuterungspflicht der Entscheidungsfindung im Einzelfall ggü. Personen, die von einer Entscheidung des KI-Systems betroffen sind u. die rechtliche Auswirkungen haben oder Gesundheit, Sicherheit oder Grundrechte beinträchtigen (Ausnahme: Kritische Infrastruktur). (Art. 86 Abs. 1 KI-VO).Bereits bei der Auswahl des Hochrisiko-KI-Systems muss der Betreiber darauf achten, dass das KI-System bzw. der Anbieter des HRKIS bestimmte Voraussetzungen erfüllt. So müssen HRKIS im Hinblick auf Trainings-, Validierungs- und Testdatensätzen bestimmten Qualitätskriterien entsprechen (Art. 10 KI-VO). Es muss ferner eine ausreichende technische Dokumentation seitens des Anbieters erstellt werden (Art. 11 KI-VO). Um Aufzeichnungspflichten zu erfüllen, muss die KI eine Protokollierung ermöglichen (Art. 12 KI-VO). Insbesondere muss eine präzise, vollständige, eindeutige, barrierefreie und leicht verständliche Bedienunganleitung vom Anbieter zur Verfügung gestellt werden. Darüber hinaus müssen HRKIS so konzipiert sein, dass sie während der Dauer ihrer Verwendung von natürlichen Personen wirksam beaufsichtigt werden können (Art. 14 KI-VO) und den Anforderungen aus Art. 15 KI-VO im Hinblick auf Genauigkeit, Robustheit und Cybersicherheit entsprechen.

3. Pflichten für Betreiber von KI-Systemen mit niedrigem Risiko

1. Sicherstellung von KI-Kompetenz bei Personal u. sonstigen Personen, die mit Betrieb u. Nutzung von KI-Systemen befasst sind. (Art. 4 KI-VO)
2. Unterlassung von verbotenen Praktiken. (Art. 5 KI-VO)
3. Offenlegung der Verwendung von KI-Systemen, die Deepfakes von Bild, Ton- oder Videos erzeugen. (Art. 50 Abs. 4 KI-VO)
4. Offenlegung bei KI-erzeugten / manipulierten Texten, die Öffentlichkeit über Angelegenheiten v. öffentlichem Interesse informieren, es sei denn Inhalt unterliegt der menschlichen Überprüfung, redaktioneller Kontrolle oder jmd. trägt die Verantwortung für Veröffentlichung oder sie dient Strafverfolgung. (Art. 50 Abs. 4 KI-VO)

Die Regelungen der DSGVO bleiben ebenso wie Regelungen zum Verbraucherschutz und zur Produktsicherheit stets unberührt und müssen gesondert geprüft werden.

4. Fazit

Die KI-VO verfolgt einen risikobasierten Ansatz. Je höher das Risiko, desto umfangreicher sind die Verpflichtungen aus der KI-VO. Der Betreiber eines KI-Systems ist daher gehalten ein Risikomanagementsystem zu implementieren (Art. 9 KI-VO), um eine entsprechende Risikobewertung durchführen zu können.

Hinweis:

Diese Checkliste dient als vereinfachte Übersicht für Unternehmen und ersetzt keine einzelfallbezogene Prüfung, zumal es Anwendungsbereiche gibt, die spezialgesetzlich geregelt sind oder nicht dem Anwendungsbereich der KI-VO unterliegen (bspw. die Verwendung von KI-Systemen zu militärischen Zwecken).