FAQ Künstliche Intelligenz

Die KI-VO gilt für

• Anbieter
• Betreiber
• Einführer
• Händler

von KI-Modellen und KI-Systemen. Da die Akteure unterschiedlichen Pflichten und Anforderungen aus der KI-VO unterliegen, ist die Unterscheidung wesentlich.

Die KI-VO gilt nicht für

• Militär, Verteidigung und nationale Sicherheit
• Behörden in Drittländern, internationale Organisationen
• Forschung und Entwicklung
• die ausschließlich private Nutzung
• Open-Source-KI-Systeme

Der Anwendungsbereich Open-Source ist allerdings aufgrund der Definiton im Sinne der KI-VO sowie zahlreicher Rückausnahmen bei der Verwendung als Hochrisiko-KI-System sehr eng. Sobald das OS-KI-System kommerzialisiert wird, greift die KI-VO.

Grundsätzlich unterliegen Anbieter und Betreiber mit Sitz in der Europäischen Union der KI-VO. Die KI-VO gilt aber unter anderem auch für

1. Anbieter,
   die entwickelte KI-Systeme /GPAI-Modelle (erstmalig) in der EU in Verkehr bringen oder in Betrieb nehmen (Art. 2 Abs. 1 lit. b) KI-VO).
2. Betreiber,
   die ihren Sitz in der EU haben oder sich in der EU befinden (Art. 2 Abs. 1 lit. b) KI-VO).
3. Anbieter und Betreiber,
   die sich in einem Drittland befinden, wenn der KI-Output in der EU verwendet wird (Art. 2 Abs. 1 lit. c) KI-VO).

Ja! Wird KI im Unternehmenskontext eingesetzt, muss dafür gesorgt werden, dass Mitarbeiterinnen und Mitarbeiter, die mit KI umgehen, über sog. KI-Kompetenz verfügen.

Ob das Unternehmen weitere Pflichten erfüllen muss, hängt von der Rolle des Unternehmens (Anbieter, Händler, Einführer, Betreiber etc.) und dem Einsatzgebiet (Zweck) ab. Je nach Rolle und Einsatzgebiet sind unterschiedliche risikobasierte Anforderungen zu erfüllen. Je höher das mit der KI verbundene Risiko ist, desto strenger sind die Anforderungen. Bestimmte Praktiken (bspw. die Ausnutzung von besonders schutzbedürtigen Personen) sind gänzlich verboten.

Hochrisiko-KI-Systeme im Sinne der KI-VO sind

1. KI-Systeme, die als Sicherheitsbauteil in einem der in Anhang I genannten Produkte (bspw. Medizinprodukte) verwendet werden oder selbst ein Produkt im Sinne von Anhang I sind.
2. KI- Systeme, die in den in Anhang III genannten Einsatzgebieten verwendet werden. Es handelt sich um folgende Bereiche:

• Biometrie (Fernidentifizierungssysteme, Emotionserkennung, etc.), Anhang III Nr. 1
• Kritische Infrastruktur (Straßenverkehr, Wasser-, Gas-, Wärme-, Stromversorgung), Anhang III Nr. 2
• Allgemeine und berufliche Bildung (Zugang, Zulassung, Bewertung, Überwachung v. Prüfungsverhalten), Anhang III Nr. 3
• Beschäftigung, Personalmanagement u. Zugang zur Selbständigkeit (Active-Sourcing, Beförderung, Kündigung, etc.), Anhang III Nr. 4
• Zugänglichkeit u. Inanspruchnahme grundlegender privater u. öffentlicher Dienste (Anspruch auf Sozialleistungen, Kreditwürdigkeitsprüfung, Bonitätsbewertung, Risikobewertung Lebens- und Krankenversicherung, Klassifizierung von Notrufen (Triage), Anhang III Nr. 5
• Strafverfolgung, Anhang III Nr. 6
• Migration, Asyl und Grenzkontrollen, Anhang III Nr. 7
• Rechtspflege und demokratische Prozesse, Anhang III Nr. 8

Ausnahme:
Ein HRKIS birgt kein erhebliches Risiko im Hinblick auf Gesundheit, Sicherheit oder Grundrechte, indem es u.a. das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst (Art. 6 Abs. 3 KI-VO).

Diese Ausnahme gilt allerdings nicht für Profiling. Profiling ist stets hochrisikoreich!

Die KI-VO regelt in Art. 5 KI-VO die sog. verbotenen Praktiken.

Diese Praktiken sind generell verboten und mit einem Bußgeld von bis zu EUR 35.000.000,00 oder 7 % des weltweiten Vorjahresumsatzes belegt.

Verboten sind

• der Einsatz von KI zur Manipulation u. Täuschung;
• wenn die Schutzbedürftigkeit von Personen durch KI ausgenutzt werden soll;
• der Einsatz von KI zur sozialen Bewertung (wenn dies zur Benachteiligung führt);
• der Einsatz von KI zur Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen;
• der Einsatz zum Zwecke der Risikobewertung in Bezug auf kriminelles Verhalten;
• die biometrische Echtzeit-Identifizierung per KI in der Öffentlichkeit zu Strafverfolgungszwecken;
• der Einsatz von KI zum Zwecke der Datenbankerstellung zur Gesichtserkennung und zur biometrischen Kategorisierung (bspw. um religiöse Einstellungen herauszufinden).

Die KI-Verordnung ist eine europäische Verordnung, die einen einheitlichen EU-Rechterahmen für KI schaffen soll. Ziel ist die Förderung von Investionen unter Berücksichtigung folgender Aspeke:

1. Transparenz
2. Nachvollziehbarkeit
3. Wahrung der Grundrechte natürlicher Personen bei der Nutzung von KI
4. Stärkung von Vertrauen in KI.

KI soll in der europäischen Union vertrauenswürdig sein.

Bei der Nutzung von KI geltend die allgemein gültigen datenschutzrechtlichen Regelungen (DSGVO, BDSG, spezielle Datenschutzvorschriften). Jede Datenverarbeitung (Input, Training (derzeit streitig)) bedarf einer Rechtsgrundlage. Darüber hinaus sind betroffene Personen entsprechend Art. 13 und 14 DSGVO über die Datenverarbeitung zu informieren. Auch die Betroffenenrechte müssen wirksam ausgeübt werden können. Bei der Nutzung von externen Datenverarbeitern ist der Datentransfer DSGVO-konform zu gestalten. Nach Art. 22 Abs. 1 DSGVO dürfen Personen außerdem grundsätzlich nicht einer ausschließlich automatisierten Entscheidungsfindung ausgesetzt werden, wenn diese rechtliche Wirkung entfaltet oder in ähnlicher Weise beeinträchtigt.

Folgende ethischen Werte sollen durch die KI-VO gewahrt werden:

1. Menschliches Handeln und Aufsicht sollen Vorrang vor KI haben.
2. KI soll technisch robust und sicher sein.
3. Daten und Datenqualität müssen geschützt werden.
4. KI-Verarbeitung soll transparent sein.
5. KI soll fair und nichtdiskriminierend sein.
6. Gesellschaftliches und ökologisches Wohlergehen soll beachtet werden.
7. Rechenschaftspflichten sollen eingehaltwen werden.

Betreiber von KI-Systemen mit niedrigem Risiko treffen folgende Pflichten:

1. KI-Kompetenz muss bei Personal u. sonstigen Personen, die mit Betrieb u. Nutzung von KI-Systemen befasst sind, sichergestellt werden. (Art. 4 KI-VO)
2. Verbotene Praktiken sind zu unterlassen. (Art. 5 KI-VO)
3. Werden KI-Systemen, die Deepfakes von Bild, Ton- oder Videos erzeugen, verwendet, ist darauf hinzuweisen. (Art. 50 Abs. 4 KI-VO)
4. Bei der Verwendung von KI-erzeugten / manipulierten Texten, die die  Öffentlichkeit über Angelegenheiten v. öffentlichem Interesse informieren, ist die KI offenzulegen, es sei denn der Inhalt unterliegt der menschlichen Überprüfung, redaktionellen Kontrolle oder jmd. trägt die Verantwortung für die Veröffentlichung oder sie dient der Strafverfolgung. (Art. 50 Abs. 4 KI-VO)

Betreiber von Hochrisiko-KI-Systemen treffen folgende Pflichten:

1. Sicherstellung von KI-Kompetenz bei Personal u. sonstigen Personen, die mit Betrieb u. Nutzung von KI-Systemen befasst sind. (Art. 4 KI-VO)
2. Unterlassung v. verbotenen Praktiken. (Art. 5 KI-VO)
3. Implementierung eines Risikomanagements. (Art. 9 KI-VO)
4. Sicherstellung menschlicher Aufsicht. (Art. 26 Abs. 2 KI-VO)
5. Überwachung, dass vom Betreiber kontrollierte Eingabedaten dem Zweck des KI-Systems entsprechen und repräsentativ sind. (Art. 26 Abs. 4 KI-VO)
6. Überwachung des Betriebs des KI-Systems. (Art. 26 Abs. 5 KI-VO)
7. Informationspflichten gegenüber Anbietern, Händlern und Marktüberwachungsbehörde, wenn KI hohes Risiko für Gesundheit, Sicherheit oder Grundrechten von Personen birgt. (Art. 26 Abs. 5 KI-VO)
8. Informationspflichten bei schwerwiegendem Vorfall gegenüber Anbieter, Einführer o. Händler und Marktüberwachungsbehörde. (Art. 26 Abs. 5 KI-VO)
9. Aufbewahrung von automatisch erzeugten und unter der Kontrolle des Betreibers stehenden Protokollen für angemessenen Zeitraum, mindestens 6 Monate. (Art. 26 Abs. 5 KI-VO)
10. Information der Arbeitnehmervertretung (sofern vorhanden) und der betroffenen Arbeitnehmer vor Verwendung des KI-Systems am Arbeitsplatz. (Art. 26 Abs. 7 KI-VO)
11. Ggfs. (falls einschlägig) Durchführung einer Datenschutz-Folgenabschätzung. (Art. 26 Abs. 9 KI-VO)
12. Information der vom KI-System betroffenen Personen. (Art. 26 Abs. 11 KI-VO)
13. Zusammenarbeit mit zuständigen Behörden zur Umsetzung der KI-VO. (Art. 26 Abs. 12 KI-VO)
14. Sofern einschlägig, Durchführung einer Grundrechte-Folgenabschätzung (Art. 27 KI-VO)
15. Information der Betroffenen, sofern Emotionserkennungssystem oder KI zur biometrischen Kategorisierung betrieben wird. (Art. 50 Abs. 3 KI-VO)
16. Offenlegung der Verwendung von KI-Systemen, die Deepfakes von Bild, Ton- oder Videos erzeugen. (Art. 50 Abs. 4 KI-VO)
17. Offenlegung bei KI-erzeugten / manipulierten Texten, die Öffentlichkeit über Angelegenheiten v. öffentlichem Interesse informieren, es sei denn Inhalt unterliegt der menschlichen Überprüfung, redaktioneller Kontrolle oder jmd. trägt die Verantwortung für Veröffentlichung oder sie dient Strafverfolgung. (Art. 50 Abs. 4 KI-VO)
18. Ergreifung notwendiger Korrekturmaßnahmen bei Produkten, die nach der Marktüberwachungsverordnung (VO EU 2019/1020) erhöhtes Risiko bergen, wenn Behörden feststellen, dass ein KI-System Anforderungen und Pflichten der KI-VO nicht erfüllt. (Art. 79 Abs. 2 KI-VO)
19. Ergreifung notwendiger Korrekturmaßnahmen, wenn eine Behörde feststellt, dass das KI-System der KI-VO entspricht, aber dennoch ein Risiko für Gesundheit, Sicherheit oder Grundrechte von Personen oder Aspekte des Schutzes öffentlicher Interessen darstellt. (Art. 82 Abs. 1 KI-VO)
20. Erläuterungspflicht der Entscheidungsfindung im Einzelfall ggü. Personen, die von einer Entscheidung des KI-Systems betroffen sind u. die rechtliche Auswirkungen haben oder Gesundheit, Sicherheit oder Grundrechte beinträchtigen (Ausnahme: Kritische Infrastruktur). (Art. 86 Abs. 1 KI-VO).Bereits bei der Auswahl des Hochrisiko-KI-Systems muss der Betreiber darauf achten, dass das KI-System bzw. der Anbieter des HRKIS bestimmte Voraussetzungen erfüllt. So müssen HRKIS im Hinblick auf Trainings-, Validierungs- und Testdatensätzen bestimmten Qualitätskriterien entsprechen (Art. 10 KI-VO). Es muss ferner eine ausreichende technische Dokumentation seitens des Anbieters erstellt werden (Art. 11 KI-VO). Um Aufzeichnungspflichten zu erfüllen, muss die KI eine Protokollierung ermöglichen (Art. 12 KI-VO). Insbesondere muss eine präzise, vollständige, eindeutige, barrierefreie und leicht verständliche Bedienungsanleitung vom Anbieter zur Verfügung gestellt werden. Darüber hinaus müssen HRKIS so konzipiert sein, dass sie während der Dauer ihrer Verwendung von natürlichen Personen wirksam beaufsichtigt werden können (Art. 14 KI-VO) und den Anforderungen aus Art. 15 KI-VO im Hinblick auf Genauigkeit, Robustheit und Cybersicherheit entsprechen.

Unternehmen mit Sitz in Europa unterliegen bei der Verwendung der europäischen KI-Verordnung. Gleiches gilt, wenn der Output von KI in Europa genutzt werden soll. Vor dem Einsatz von KI-Systemen oder KI-Modellen muss daher geprüft werden, ob und wenn ja, unter welchen Voraussetzungen KI genutzt werden darf. Je nach Anwendungsfall müssen auch andere nationale Gesetze (bspw. die Datenschutz-Grundverordnung, das Urheberrechtsgesetz, das Gesetz gegen den unlauteren Wettbewerb) beachtet werden.

Die KI-VO folgt -ebenso wie die Datenschutz-Grundverordnung- einem risikobasierten Ansatz. Je höher das Risiko, desto mehr Anforderungen müssen erfüllt werden.

Unterschieden wird zwischen:

1. Das Risiko ist inakzeptabel = Die Verwendung von KI ist ausdrücklich verboten (sog. verbotene Praktiken, Art. 5 KI-VO)
2. Es besteht ein hohes Risiko = Die Verwendung von KI ist reguliert. Die Anforderungen aus Art. 6 bis 49 KI-VO greifen.
3. Es besteht ein begrenztes, aber spezifisches Risiko = Es gelten besondere Pflichten (Transparenzpflichten gemäß Art. 50 KI-VO).
4. Es besteht ein minimales oder kein Risiko = KI-Kompetenz muss gewährleistet werden; ggfs. bestehen je nach Art der KI Transparenzpflicht im Sinne von Art. 50 KI-VO)

Der Einsatz von KI-Systemen erfordert insoweit zumindest eine erste Risikoanalyse, um zu prüfen, ob bestimmte Anforderungen aus der KI-VO umgesetzt werden müssen.

Die Definition von Künstlicher Intelligenz ist in der KI-VO sehr unpräzise formuliert. Unter die KI-VO fallen Systeme Künstlicher Intelligenz, die (1.) maschinengestützt,

(2.) in gewissem Grad autonom
(3.) zweckgerichtet aus Input Output ableiten und
(4.) lernfähig sein können, wobei
(5.) der Output Einfluss auf die virtuelle oder analoge Umgebung haben kann.

Im Unterschied zu einem Taschenrechner, der zwar maschinengestützt ebenfalls zweckgerichtet aus Input Output ableiten und Einfluss auf seine Umgebung haben kann (2+2=4), handelt es sich bei Künstlicher Intelligenz im Sinne der KI-VO um lernfähige und zu einem gewissen Grad autonome Modelle und Systeme. Der Taschenrechner folgt hingegen stets den gleichen Regeln. Er produziert Output nur nach diesen starren Regeln.

Zunächst muss jedem Nutzer von KI-Systemen klar sein, dass bei KI-Ergebnissen das Risiko der Unrichtigkeit und der Diskriminierung besteht. KI ist nur so gut wie die Trainingsdaten sind, mit der die KI trainiert wurde. Schlechte Trainingsdaten erhöhen damit das Risiko von Fehlern und Diskriminierungen. Zu nennen sind insbesondere

Bias = Voreingenommenheit aufgrund falscher Trainingsdaten

Ungenauigkeiten = die KI knüpft falsche Zusammenhänge

Halluzinationen = Fehler in Antworten

Jede Nutzung eines KI-Ergebnisses muss daher auf Richtigkeit und Diskriminierung kontrolliert werden. Verstößt die Verwendung von KI gegen die Anforderungen der KI-VO drohen zudem hohe Bußgelder, ggfs. ist man Schadenersatzansprüchen ausgesetzt. Sind personenbezogene Daten tangiert, kann es neben Bußgeldern auch zu Schadenersatzansprüchen von Betroffenen auf Basis der DSGVO und dem BDSG kommen. Bei der Verwendung von KI-Systemen Dritter besteht das Risiko, gegen Vertraulichkeitsvereinbarungen von Kunden und Lieferanten zu verstoßen. Nicht zu unterschätzen ist auch das Risiko, dass Mitarbeiter eigene Geschäftsgeheimnisse über die KI-Anwendung offenbaren. Im Übrigen sollten Mitarbeiter auch urheberrechtliche sensibilisiert sein. So können das Kopieren und Trainieren mit Inhalten Dritter (Fotos, Texte) ggfs. gegen Urheber- oder Leistungsschutzrechte Dritter verstoßen. Auch KI-Ergebnisse können Werken anderer Urheber ggfs. zu ähnlich sein und damit zu Unterlassungs- und Schadenersatzansprüchen führen. Zusammenfassend sollte sichergestellt werden, dass

• die Anforderungen der KI-VO eingehalten werden (bspw. Transparenz bei Chatbots)
• keine personenbezogene Daten über die KI verarbeitet werden
• Nutzer von KI keine Urheber- oder Leistungsschutzrechte Dritter verletzen
• Nutzer keine eigenen oder fremden Geschäftsgeheimnisse über offene KI-Systeme offenbaren
• der Output nicht Persönlichkeitsrechte Dritter tangiert (bspw. Deepfakes von Personen)
• der Output nicht wettbewerbswidrig ist
• der Output korrekt ist
• der Output nicht diskriminierend ist.

Anbieter im Sinne der KI-VO meint natürliche oder juristische Personen, Behörden oder sonstige Stellen, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck

• entwickeln oder entwickeln lassen UND
• es unter eigenem Namen / eigener Marke in Verkehr bringen ODER
• unter eigenem Namen / eigener Marke in Betrieb nehmen.

Auf die Entgeltlichkeit kommt es übrigens nicht an, d.h. auch kostenlose Anbieter unterliegen der KI-VO.

Als Betreiber im Sinne der KI-VO wird bezeichnet, wer ein KI-System unter eigener Verantwortung (unter its authority) verwendet. Nutzt bspw. ein Unternehmen auf Basis eines KI-as-a-Service-Vertrags einen KI-basierten Chatbot für seinen Kundensupport, wird der Chatbot im Verantwortungsbereich des Unternehmens betrieben. Das Unternehmen hat Einfluss auf den Chatbot-Anbieter. Es ist somit als Betreiber zu qualifizieren. Bei der bloßen Nutzung eines im Internet frei zugänglichen KI-Systems (bspw. ChatGPT) mangelt es an Einfluss, so dass hier die Betreibereigenschaft zu verneinen wäre.

Ein Einführer ist eine in der Union ansässige oder niedergelassene natürliche oder juristische Person, die ein KI-System, das den Namen oder die Handelsmarke eines Herstellers aus einem Drittland trägt, erstmals in der EU in Verkehr bringt. Das wäre bspw. der Fall, wenn ein deutsches Unternehmen das KI-System eines chinesischen Softwareentwicklers erstmals unter dessen Marke in der EU in den Verkehr bringt.

Der Händler stellt das KI-System in der Lieferkette auf dem Unionsmarkt bereit. Es handelt sich um eine Art „Auffangtatbestand“. Handelt es sich also in der Lieferkette nicht um den Anbieter oder Betreiber, kommt der natürlichen oder juristischen Person in der Lieferkette die Rolle des Händlers zu.

Da es derzeit noch keine speziellen Haftungsregelungen gibt, greifen die allgemeinen Haftungsgrundsätze nach dem Bürgerlichen Gesetzbuch. Im Zweifel haftet stets der Verwender von KI generierten Ergebnissen, d.h. das Unternehmen, das KI-generierte Ergebnisse im eigenen Namen nutzt.

Der Hersteller von KI haftet im Verhältnis zum Verwender nur, wenn die KI nicht die vertraglich vereinbarten oder die gesetzlichen geforderten Anforderungen erfüllt und dies zu einem Schaden führt. Ob eine Haftung nach dem sog. Produkthaftungsgesetz besteht, ist derzeit streitig und unklar.

Die Haftung von KI soll in Zukunft über die europäische Produkthaftungsrichtlinie geregelt werden, die anschließend in nationales Gesetz überführt werden muss. Außerdem befindet sich seit geraumer Zeit die KI-Haftungsrichtlinie in der Planung. Diese Richtlinie soll die Produkthaftungsrichtlinie um spezifische Vorschriften für Hochrisiko-KI-Systeme ergänzen und die Durchsetzung von Schadenersatzansprüchen erleichtern.

Unternehmen müssen ihre Rolle im Sinne der KI-VO (Anbieter, Betreiber, etc.) und den Einsatzzweck (verbotener Bereich, Hochrisikobereich, etc.) definieren und die entsprechenden Anforderungen prüfen. Es sollte ein wirksames Risikomanagement implementiert werden. Die Einhaltung der KI-VO sollte über eine KI-Leitlinie und KI-Mitarbeiterrichtlinien sichergestellt werden.

Schatten-KI stellt ein enormes Risiko für Unternehmen dar. Ein Verbot der KI-Nutzung macht daher in der Praxis wenig Sinn. Stattdessen sollte die Nutzung von KI geregelt und dokumentiert werden.

1. KI-Modell
   Ein KI-Modell im Sinne der KI-VO ist ein algorithmischer Kern (bspw. GPT-4). Es gibt verschiedene KI-Modelle, bspw. regelbasierte Modelle oder neuronale Netzwerke. Ein KI-Modell ist sozusagen die Vorstufe des KI-Systems.
2. KI-Modell mit allgemeinem Verwendungszweck (GPAI)
   Ein KI-Modell mit allgemeinem Verwendungszweck im Sinne der KI-VO kann ein sehr breites Aufgabenspektrum erfüllen und wurde mit mindestens 1 Milliarde Parameter trainiert. GPT-4 (Gerenartive Pre-trained Transformer 4) kann bspw. Sprachen, Bilder und Grafiken erstellen sowie Daten analysieren. GPAI unterliegen den besonderen Pflichten aus Artikel 53 und 54 der KI-VO.
3. KI-System
   Als KI-System im Sinne der KI-VO ist die Anwendungssoftware (bspw. ChatGPT) gemeint, die notwendig ist um das KI-Modell (GPT) zu nutzen. Häufig werden derartige Systeme in verschiedenen Lizenzmodellen vertrieben (bspw. Kauf, AI-as-a-Service, on premis-Lösung).