KI-VO Teil 1: Unser Unternehmen nutzt KI-basierte Tools. Treffen uns Pflichten aus der KI-Verordnung?

Das Thema Künstliche Intelligenz (KI) ist derzeit in aller Munde. KI-Technologien werden unsere Arbeit in Zukunft revolutionieren und die Produktivität in Unternehmen im Idealfall steigern. Mit der Entwicklung und dem Einsatz dieser Technologien sind jedoch zahlreiche rechtliche Compliance-Risiken verbunden, denen sich Unternehmen frühzeitig stellen sollten.

1. Warum sollte ich mich als Unternehmer mit dem Thema KI-VO auseinandersetzen?

Nutzen Sie KI-basierte Software (bspw. Microsoft Copilot) ist das zunächst einmal innovativ. Da KI-Technologien in Zukunft jedoch über die KI-Verordnung (KI-VO) reguliert werden und bestimmte Praktiken sogar verboten sind, müssen Sie bei der Verwendung von KI-basierter Software als Mindestanforderung prüfen, ob Ihnen aus der KI-Verordnung (oder aus anderen Gesetzen (bspw. Datenschutzgrundverordnung)) bestimmte Pflichten obliegen.

2. Was sind KI-Systeme im Sinne der KI-Verordnung?

Ein KI-System ist gemäß Artikel 3 Nr. 1 KI-VO

ein maschinengestütztes System, das
aus erhaltenen Eingaben
für explizite oder implizite Ziele
Ausgaben (bspw. Inhalte, Empfehlungen, Entscheidungen) ableitet,
die ihre virtuelle oder physische Umgebung beeinflussen können und
bis zu einem gewissen Grad autonom sind und
anpassungsfähig sein können.

Relevantes Unterscheidungsmerkmal zu sonstigen Systemen wie bspw. einem Taschenrechner, der ebenfalls maschinenbasiert aus Input Output generiert, ist das Merkmal der Autonomie. Im Unterschied zu einem Taschenrechner, der Output lediglich nach menschlich klar definierten Regeln (2+2=4) generiert, lernt ein KI-System in gewissem Grade autonom dazu.

Die meisten Pflichten aus der KI-VO beziehen sich auf KI-Systeme. Im Unterschied dazu gibt es -sozusagen als Vorstufe- noch „General Purpose KI-Modelle“, d.h. KI-Modelle, die für eine Vielzahl von Zwecken und Systemen ausgelegt sind (bspw. GPT). Diese sind weniger reguliert und werden in der KI-VO separat behandelt (Kapitel V KI-VO).

3. Ich nutze KI-basierte Software. Unterliege ich bzw. die von mir genutzt KI nun der KI-VO?

Das kommt darauf an, wie der Jurist so schön sagt. Zunächst kommt es darauf an, in welchem Sektor Ihr Unternehmen tätigt ist, da die KI-VO auch sektorenspezifische Regelungen (bspw. für Finanzinstitute) trifft. Die KI-VO gilt zudem nicht für KI-Systeme, die ausschließlich zu militärischen Zwecken, Verteidigungszwecken und Zwecken der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder verwendet werden. Auch für KI-Modelle, die ausschließlich der wissenschaftlichen Forschung dienen, gilt die KI-VO nicht. Einschränkungen gibt es zudem im Bereich der internationalen Strafverfolgung. Ferner gilt die KI-VO nicht für KI-Systeme, die unter freien quelloffenen Lizenzen bereitgestellt werden, es sei denn sie werden als Hochrisiko-KI-Systeme in Verkehr gebracht oder in Betrieb genommen. Anwendungsbereich und Ausnahmen sind in Artikel 2 KI-VO geregelt.

Neben dieser sektorenspezifischen Relevanzprüfung ist zu prüfen, in welcher Rolle (Akteur) Sie KI-Technologie verwenden. Die KI-VO sieht verschiedene Akteure vor, denen unterschiedliche Pflichten obliegen. Den Anbieter („Provider“) eines KI-Systems treffen die umfangreichsten Pflichten (ca. 52), Betreiber müssen in reduzierterem Maße bestimmte Pflichten erfüllen. Es findet bei Betreibern zudem eine Abstufung statt, bei der zwischen Hochrisiko-KI-Systemen und sonstigen KI-Systemen unterschieden werden muss. Es werden auch noch Einführer, Händler und Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter eigenem Namen in Verkehr bringen, in der KI-VO genannt. Darüber hinaus spielt auch der räumliche Anwendungsbereich (innerhalb der Union) eine Rolle. Um die Anwendbarkeit der KI-VO zu prüfen, müssen Sie daher zunächst eine Einordnung Ihres Unternehmens in die genannten Rollen vornehmen.

4. Bin ich Anbieter im Sinne der KI-VO?

Ihr Unternehmen ist Anbieter im Sinne der KI-VO, wenn Sie

ein KI-System oder ein General Purpose KI-Modell (KI-Modell mit allgemeinem Verwendungszweck) entwickeln oder entwickeln lassen UND
es unter Ihrem Namen oder Ihrer Marke in der EU erstmalig in Verkehr bringen ODER
es unter Ihrem Namen oder Ihrer Marke in der EU erstmalig selbst in Betrieb nehmen ODER
erstmalig einem Betreiber zur Verfügung stellen (siehe Art. 2 Abs. 1 lit. a), Art. 3 Nr. 3, 9, 11 KI-VO)
nicht unter die Ausnahmeregelungen (Militär, Forschung, Internationale Strafverfolgung, Open-Source, etc.) im Sinne von Art. 2 Abs. 3, 4, 6, 8, 10, 12 KI-VO) fallen.

Auf die Entgeltlichkeit kommt es übrigens nicht an.

Ein Aufatmen wäre an dieser Stelle verfrüht, wenn die ersten vier der oben genannten Voraussetzungen nicht auf Ihr Unternehmen zutreffen, denn es gibt Fälle, in denen auch ein bloßer „Betreiber“ von KI-Systemen zum Anbieter wird (nachfolgend „abgeleiteter Anbieter“ genannt).

5. Wann bin ich Betreiber oder „abgeleiteter Anbieter“ im Sinne der KI-VO?

Als Betreiber („User“) wird bezeichnet, wer ein KI-System in eigener Verantwortung („under its authority“), d.h. unter eigener Aufsicht im beruflichen Kontext verwendet, Artikel 2 Nr. 4 KI-VO. Dies setzt folglich eine gewisse Kontrollmöglichkeit voraus. Nutzt ein Unternehmen bspw. eine Drittanbieter KI-Anwendung (bspw. im Wege des KI-as-a-Service), um seinen Kunden per ChatBot Support anbieten zu können, ist von einer Verantwortlichkeit auszugehen. Das Unternehmen gilt als Betreiber im Sinne der KI-VO. Der Drittanbieter dieses Tools ist Anbieter. Anders hingegen, wenn ein Nutzer im Internet ChatGPT verwendet, also lediglich Prompts erstellt und den Output erhält. Hier mangelt es an einer eigenen Verantwortlichkeit des Nutzers.

Doch Vorsicht! Ein Betreiber kann zum Anbieter (mit allen Pflichten) werden, wenn er im Sinne von Art.

seinen Namen oder seine Marke an einem bereits in Verkehr gebrachten / in Betrieb befindlichen Hoch-Risiko-KI-System anbringt ODER
an diesem wesentliche Änderungen vornimmt und es ein Hoch-Risiko-KI-System bleibt ODER
ein KI-System mit allgemeinem Verwendungszweck so verändert, dass dieses zu einem Hoch-Risiko-KI-System wird.

Nutzt ein Unternehmen folglich als Betreiber ein KI-System mit allgemeinem Verwendungszweck (bspw. OpenAI), um bspw. gezielte Stellenanzeigen auszuspielen, wird aus dem KI-System ein Hochrisiko-KI-System gemäß Anlage III der KI-VO und der Betreiber „rutscht“ in die Rolle des Anbieters dieser Hochrisiko-KI, weil er sich die Rolle des Anbieters sozusagen „anmaßt“.

Ist Ihr Unternehmen „nur“ Betreiber eines KI-Systems, muss zur Ermittlung der Betreiberpflichten weiter geprüft werden ob

mit dem KI-System verbotene Praktiken durchgeführt werden sollen (Art. 5 KI-VO)
das KI-System ein Hochrisiko-KI-System im Sinne von Anhang III KI-VO ist (Art. 6 i. V. m. Anhang III der KI-VO)
das KI-System zwar in Anhang III (Hochrisiko-KI-Systeme) genannt wird, es aber dennoch ausnahmesweise nicht als hochrisikant eingestuft werden kann.

Die Pflichten eines Betreibers von Hochrisiko-KI-Systemen sind in Artikel 26 und 27 KI-VO genannt. Es handelt sich um die Pflicht zur Ergreifung geeigneter technischer und organisatorischer Maßnahmen, um sicherzustellen, dass das KI-System entsprechend den Bedienungsanleitungen verwendet wird. Daneben treffen den Betreiber von Hochrisiko-KI-Systemen weitere Melde- und Informations- sowie Aufbewahrungspflichten. Diese Pflichten obliegen dem Betreiber nicht, wenn die „Unwesentlichkeitsprüfung“ ergeben hat, dass das in Anhang III genannte KI-System kein erhebliches Risiko birgt (Art. 6 Abs. 3 KI-VO).

6. Was ist ein Hochrisiko-KI-System?

Hochrisiko-KI-Systeme sind KI-Systeme, die als Sicherheitsbauteil für ein in Anhang I genanntes Produkt (bspw. Fahrstuhl, Fahrzeug, Medizinprodukt, etc.) verwendet werden oder selbst ein in Anhang I genanntes Produkt darstellen.

Unabhängig davon sind KI-Systeme, die in Anhang III zur KI-VO aufgezählt werden hochrisikobehaftet. Dazu gehören u.a.

bestimmte biometrische KI-Systeme (Fernidentifizierung, Emotionserkennung,etc.)
kritische Infrastruktur KI-Systeme
bestimmte KI-Systeme im Zusammenhang mit allgemeiner oder beruflicher Bildung (Zugang, Zulassung zu Bildungsangeboten, etc.)
bestimmte KI-Systeme im Bereich des Beschäftigungsverhältnisses, Personalmanagements und dem Zugang zur Selbständigkeit (Schalten von gezielten Bewerbungen, Bewertung von Bewerbern, Entscheidungen über Beförderungen, etc.)
KI-Systeme im Zusammenhang mit behördlichen Entscheidungen
KI-Systeme zur Bewertung der Kreditwürdigkeit
KI-Systeme zur Klassifizierung von Notrufen (Triage)
KI für die Risikobewertung und Preisgestaltung von Lebens- und Krankenversicherungen

etc.. Mit Ausnahme von Profiling können KI-Systeme, die in Anhang III aufgeführt sind, ausnahmsweise als nicht hochriskant eingestuft werden, wenn es kein erhebliches Risiko im Hinblick auf Gesundheit, Sicherheit oder Grundrechte birgt, indem es u.a. das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst (Art. 6 Abs. 3 KI-VO).

Von besonderer Relevanz dürfte für Unternehmen die Verwendung von KI-Systemen im Bereich HR sein.

Möchten Sie folglich ein Drittanbieter-KI-System mit allgemeinem Verwendungszweck in eigener Verantwortung nutzen, das die gezielte Bewerbersuche oder das Bewerten und Filtern von Bewerbern ermöglicht, sind Sie Anbieter im Sinne der KI-VO, weil sie aus dem KI-System mit allgemeinem Zweck ein Hochrisiko-KI-System machen.

Nutzen Sie intern ein bereits bestehendes Hochrisiko-KI-System eines Drittanbieters ohne daran Änderungen vorzunehmen, sind Sie lediglich Betreiber dieses Hochrisiko-KI-Systems. Bieten Sie dieses Kunden an und versehen Sie es mit ihrer eigenen Marke, sind Sie wiederum Anbieter.

7. Was darf ich auf keinen Fall mit dem KI-System tun?

Unabhängig von der Einordnung als Anbieter, Betreiber, Verwender, gibt es bestimmte Praktiken die generell mittels KI verboten sind. Diese sind in Artikel 5 KI-VO (Kapitel II) aufgelistet. Hierbei handelt es sich um

unterschwellige, absichtlich manipulative oder täuschende Techniken mit dem Ziel das Verhalten von Personen wesentlich zu beeinflussen, so dass diese manipulierte Entscheidungen treffen; und zwar in einer Weise, die zu erheblichen Schäden führen kann;
Ausnutzung von Schwächen, Schutzbedürftigkeit und Behinderungen in einer Weise, die zu erheblichen Schäden führen kann;
Bewertung / Klassifizierung von Personen auf Bais des Sozialverhalten oder Persönlichkeitsmerkmalen über einen längeren Zeitraum, falls dies zu einer nachteiligen Behandlung oder Bewertung führt, die nicht im Kontext der Daten steht,
Biometrische Identifizierung in öffentlichen Räumen zum Zwecke der Strafverfolgung Profiling um Risiko der Straffälligkeit einzuschätzen
Aufbau / Erweiterung von Gesichtserkennungsdatenbanken auf Basis von Scraping im Internet oder aus Überwachungsaufnahmen
Ableitung von Emotionen am Arbeitsplatz oder in Bildungseinrichtungen (Ausnahme medizinische Gründe oder Sicherheitsgründe)
Biometrische Klassifizierungen, um Rückschlüsse auf besondere Datenkategorien (Art. 9 DSGVO mit Ausnahme von Gesundheitsdaten) ziehen zu können,
Biometrische Echtzeit-Fernidentifizierung zu Strafverfolgungszwecken (mit einigen Ausnahmen)

8. Handlungsempfehlung

Nachdem Sie anhand von Art. 2 KI-VO festgestellt haben, dass Sie grundsätzlich in den Anwendungsbereich der KI-VO fallen, empfiehlt sich als Verwender von KI-Systemen folgende Vorgehensweise:

a) Erfassen Sie alle im Unternehmen eingesetzten KI-Tools!

– eigenen KI-Systeme

– KI-Systeme von Drittanbietern

b) Dokumentieren Sie wie und wozu Sie diese KI-Systeme verwenden!

– allgemeine Zwecke?

– Hochrisiko-Bereiche?

– unter eigenem Namen?

– verändert oder in Ursprungsversion?

c) Prüfen Sie welche Rolle Ihnen zukommt!

– Anbieter

– Betreiber

– „abgeleiteter“ Anbieter

– Händler oder Einführer

– bloßer Verwender / Anwender

d) Ermitteln Sie die aus Ihrer Rolle resultierenden Pflichten und setzen Sie diese fristgerecht um!

Zu den einzelnen Pflichten von Anbietern und Betreibern werde ich in separaten Beiträgen Stellung nehmen.

Kommen Sie zu dem Ergebnis, dass Sie lediglich „Anwender“ eines KI-Tools sind, denken Sie daran, dass Ihnen ggfs. dennoch Pflichten aus anderweitigen Rechtsvorschriften obliegen. Besonderes Augenmerk ist insoweit dem Datenschutzrecht zu widmen. Werden über oder von einem KI-Tool personenbezogene Daten verarbeitet, greifen die DSGVO und ggfs. das BDSG. Die Regelungen der DSGVO bleiben von der KI-VO unberührt. Sie müssen also auch, wenn Sie nicht unter die KI-VO fallen, alle Anforderungen der DSGVO erfüllen. Darüber hinaus können sich im Hinblick auf Outputs urheberrechtliche, wettbewerbsrechtliche und markenrechtliche Probleme ergeben. Auch die Verwendung der Outputs sollte also kritisch überprüft werden. Unerlässlich ist insoweit die Sensibilisierung von Mitarbeitern im Umgang mit KI. Dies insbesondere, wenn Sie verhindern möchten, dass Betriebsinterna und Geschäftsgeheimnisse in KI-Systemen von Drittanbietern zu Trainingszwecken genutzt werden.

Ich bin als Fachanwältin für IT-Recht auf die Beratung rund um das Thema KI und Compliance (einschließlich des Datenschutz- und Urheberrechts) spezialisiert. Sprechen Sie mich bei Beratungsbedarf gerne an.

« Alle Artikel anzeigen

IT-Recht aktuell