FAQ Künstliche Intelligenz

Die KI-VO gilt für

• Anbieter
• Betreiber
• Einführer
• Händler

von KI-Modellen und KI-Systemen. Da die Akteure unterschiedlichen Pflichten und Anforderungen aus der KI-VO unterliegen, ist die Unterscheidung wesentlich.

Die KI-VO gilt nicht für

• Militär, Verteidigung und nationale Sicherheit
• Behörden in Drittländern, internationale Organisationen
• Forschung und Entwicklung
• die ausschließlich private Nutzung
• Open-Source-KI-Systeme

Der Anwendungsbereich Open-Source ist allerdings aufgrund der Definiton im Sinne der KI-VO sowie zahlreicher Rückausnahmen bei der Verwendung als Hochrisiko-KI-System sehr eng. Sobald das OS-KI-System kommerzialisiert wird, greift die KI-VO.

Grundsätzlich unterliegen Anbieter und Betreiber mit Sitz in der Europäischen Union der KI-VO. Die KI-VO gilt aber unter anderem auch für

1. Anbieter,
   die entwickelte KI-Systeme /GPAI-Modelle (erstmalig) in der EU in Verkehr bringen oder in Betrieb nehmen (Art. 2 Abs. 1 lit. b) KI-VO).
2. Betreiber,
   die ihren Sitz in der EU haben oder sich in der EU befinden (Art. 2 Abs. 1 lit. b) KI-VO).
3. Anbieter und Betreiber,
   die sich in einem Drittland befinden, wenn der KI-Output in der EU verwendet wird (Art. 2 Abs. 1 lit. c) KI-VO).

Ja! Wird KI im Unternehmenskontext eingesetzt, muss dafür gesorgt werden, dass Mitarbeiterinnen und Mitarbeiter, die mit KI umgehen, über sog. KI-Kompetenz verfügen.

Ob das Unternehmen weitere Pflichten erfüllen muss, hängt von der Rolle des Unternehmens (Anbieter, Händler, Einführer, Betreiber etc.) und dem Einsatzgebiet (Zweck) ab. Je nach Rolle und Einsatzgebiet sind unterschiedliche risikobasierte Anforderungen zu erfüllen. Je höher das mit der KI verbundene Risiko ist, desto strenger sind die Anforderungen. Bestimmte Praktiken (bspw. die Ausnutzung von besonders schutzbedürtigen Personen) sind gänzlich verboten.

Hochrisiko-KI-Systeme im Sinne der KI-VO sind

1. KI-Systeme, die als Sicherheitsbauteil in einem der in Anhang I genannten Produkte (bspw. Medizinprodukte) verwendet werden oder selbst ein Produkt im Sinne von Anhang I sind.
2. KI- Systeme, die in den in Anhang III genannten Einsatzgebieten verwendet werden. Es handelt sich um folgende Bereiche:

• Biometrie (Fernidentifizierungssysteme, Emotionserkennung, etc.), Anhang III Nr. 1
• Kritische Infrastruktur (Straßenverkehr, Wasser-, Gas-, Wärme-, Stromversorgung), Anhang III Nr. 2
• Allgemeine und berufliche Bildung (Zugang, Zulassung, Bewertung, Überwachung v. Prüfungsverhalten), Anhang III Nr. 3
• Beschäftigung, Personalmanagement u. Zugang zur Selbständigkeit (Active-Sourcing, Beförderung, Kündigung, etc.), Anhang III Nr. 4
• Zugänglichkeit u. Inanspruchnahme grundlegender privater u. öffentlicher Dienste (Anspruch auf Sozialleistungen, Kreditwürdigkeitsprüfung, Bonitätsbewertung, Risikobewertung Lebens- und Krankenversicherung, Klassifizierung von Notrufen (Triage), Anhang III Nr. 5
• Strafverfolgung, Anhang III Nr. 6
• Migration, Asyl und Grenzkontrollen, Anhang III Nr. 7
• Rechtspflege und demokratische Prozesse, Anhang III Nr. 8

Ausnahme:
Ein HRKIS birgt kein erhebliches Risiko im Hinblick auf Gesundheit, Sicherheit oder Grundrechte, indem es u.a. das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst (Art. 6 Abs. 3 KI-VO).

Diese Ausnahme gilt allerdings nicht für Profiling. Profiling ist stets hochrisikoreich!

Die KI-VO regelt in Art. 5 KI-VO die sog. verbotenen Praktiken.

Diese Praktiken sind generell verboten und mit einem Bußgeld von bis zu EUR 35.000.000,00 oder 7 % des weltweiten Vorjahresumsatzes belegt.

Verboten sind

• der Einsatz von KI zur Manipulation u. Täuschung;
• wenn die Schutzbedürftigkeit von Personen durch KI ausgenutzt werden soll;
• der Einsatz von KI zur sozialen Bewertung (wenn dies zur Benachteiligung führt);
• der Einsatz von KI zur Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen;
• der Einsatz zum Zwecke der Risikobewertung in Bezug auf kriminelles Verhalten;
• die biometrische Echtzeit-Identifizierung per KI in der Öffentlichkeit zu Strafverfolgungszwecken;
• der Einsatz von KI zum Zwecke der Datenbankerstellung zur Gesichtserkennung und zur biometrischen Kategorisierung (bspw. um religiöse Einstellungen herauszufinden).

Artikel 4 KI-VO sieht vor, dass Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen. Artikel 4 KI-VO nennt in diesem Zusammenhang technische Kenntnisse, Erfahrungen und Ausbildungen der betroffenen Personen.

Erwägungsgrund 56 zur KI-VO ist zu entnehmen, dass damit die Fähigkeit, Kenntnis und das Verständnis gemeint sind, die es Anbietern, Betreibern und Betroffenen ermöglichen, KI-Systeme sachkundig unter Beachtung der KI-Verordnung einzusetzen. Anbieter, Betreiber und Betroffene sollen sich sowohl der Chancen als auch der Risiken von KI und der möglichen Schäden, die durch KI verusacht werden können, bewusst werden.

Die KI-Verordnung ist eine europäische Verordnung, die einen einheitlichen EU-Rechterahmen für KI schaffen soll. Ziel ist die Förderung von Investionen unter Berücksichtigung folgender Aspeke:

1. Transparenz
2. Nachvollziehbarkeit
3. Wahrung der Grundrechte natürlicher Personen bei der Nutzung von KI
4. Stärkung von Vertrauen in KI.

KI soll in der europäischen Union vertrauenswürdig sein.

Bei der Nutzung von KI geltend die allgemein gültigen datenschutzrechtlichen Regelungen (DSGVO, BDSG, spezielle Datenschutzvorschriften). Jede Datenverarbeitung (Input, Training (derzeit streitig)) bedarf einer Rechtsgrundlage. Darüber hinaus sind betroffene Personen entsprechend Art. 13 und 14 DSGVO über die Datenverarbeitung zu informieren. Auch die Betroffenenrechte müssen wirksam ausgeübt werden können. Bei der Nutzung von externen Datenverarbeitern ist der Datentransfer DSGVO-konform zu gestalten. Nach Art. 22 Abs. 1 DSGVO dürfen Personen außerdem grundsätzlich nicht einer ausschließlich automatisierten Entscheidungsfindung ausgesetzt werden, wenn diese rechtliche Wirkung entfaltet oder in ähnlicher Weise beeinträchtigt.

Folgende ethischen Werte sollen durch die KI-VO gewahrt werden:

1. Menschliches Handeln und Aufsicht sollen Vorrang vor KI haben.
2. KI soll technisch robust und sicher sein.
3. Daten und Datenqualität müssen geschützt werden.
4. KI-Verarbeitung soll transparent sein.
5. KI soll fair und nichtdiskriminierend sein.
6. Gesellschaftliches und ökologisches Wohlergehen soll beachtet werden.
7. Rechenschaftspflichten sollen eingehaltwen werden.

Betreiber von KI-Systemen mit niedrigem Risiko treffen folgende Pflichten:

1. KI-Kompetenz muss bei Personal u. sonstigen Personen, die mit Betrieb u. Nutzung von KI-Systemen befasst sind, sichergestellt werden. (Art. 4 KI-VO)
2. Verbotene Praktiken sind zu unterlassen. (Art. 5 KI-VO)
3. Werden KI-Systemen, die Deepfakes von Bild, Ton- oder Videos erzeugen, verwendet, ist darauf hinzuweisen. (Art. 50 Abs. 4 KI-VO)
4. Bei der Verwendung von KI-erzeugten / manipulierten Texten, die die  Öffentlichkeit über Angelegenheiten v. öffentlichem Interesse informieren, ist die KI offenzulegen, es sei denn der Inhalt unterliegt der menschlichen Überprüfung, redaktionellen Kontrolle oder jmd. trägt die Verantwortung für die Veröffentlichung oder sie dient der Strafverfolgung. (Art. 50 Abs. 4 KI-VO)

Anbieter von Hochrisiko-KI-Systemen müssen umfangreiche Pflichten nach der KI-Verordnung erfüllen, die darauf abzielen, die Einhaltung der KI-Verordnung sicherzustellen und Risiken zu minimieren. Zusammengefasst und vereinfacht dargestellt handelt es sich u.a. um folgende Pflichten:

1. Einhaltung der Anforderungen: Hochrisiko-KI-Systeme müssen die in Abschnitt 2 der Verordnung festgelegten Anforderungen erfüllen, wobei der Zweckbestimmung des Systems und dem Stand der Technik Rechnung zu tragen ist. Das Risikomanagementsystem gemäß Artikel 9 KI-VO muss dabei berücksichtigt werden.
2. Angabe von Informationen: Der Name, der eingetragene Handelsname oder die eingetragene Handelsmarke und die Kontaktanschrift des Anbieters müssen auf dem Hochrisiko-KI-System, seiner Verpackung oder in der beigefügten Dokumentation angegeben werden.
3. Technische Dokumentation: Es muss eine technische Dokumentation erstellt werden, die den Nachweis der Konformität des Hochrisiko-KI-Systems mit den Anforderungen der Verordnung ermöglicht.
4. EU-Konformitätserklärung: Für jedes Hochrisiko-KI-System muss eine schriftliche EU-Konformitätserklärung ausgestellt werden.
5. CE-Kennzeichnung: Die CE-Kennzeichnung muss am Hochrisiko-KI-System oder, falls dies nicht möglich ist, auf seiner Verpackung oder in der beigefügten Dokumentation angebracht werden, um die Konformität mit der Verordnung anzuzeigen.
6. Registrierung: Der Anbieter muss sich und sein System in der EU-Datenbank registrieren.
7. Korrekturmaßnahmen und Information: Es müssen die erforderlichen Korrekturmaßnahmen ergriffen und die erforderlichen Informationen bereitgestellt werden.
8. Nachweis der Konformität: Auf begründete Anfrage einer zuständigen nationalen Behörde muss nachgewiesen werden, dass das Hochrisiko-KI-System die Anforderungen erfüllt.
9. Barrierefreiheit: Es muss sichergestellt werden, dass das Hochrisiko-KI-System die Barrierefreiheitsanforderungen gemäß den Richtlinien (EU) 2016/2102 und (EU) 2019/882 erfüllt.
10. Qualitätsmanagementsystem: Anbieter von Hochrisiko-KI-Systemen müssen ein Qualitätsmanagementsystem einrichten, das die Einhaltung dieser Verordnung gewährleistet. Dieses System muss systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen dokumentiert werden und umfasst mindestens folgende Aspekte:- Ein Konzept zur Einhaltung der Regulierungsvorschriften, was die Einhaltung der Konformitätsbewertungsverfahren und der Verfahren für das Management von Änderungen an dem Hochrisiko-KI-System miteinschließt.
    – Einen Rechenschaftsrahmen, der die Verantwortlichkeiten der Leitung und des sonstigen Personals in Bezug auf alle in diesem Absatz aufgeführten Aspekte regelt.
11. Dokumentation: Anbieter, die Finanzinstitute sind, bewahren die von ihren Hochrisiko-KI-Systemen automatisch erzeugten Protokolle als Teil der gemäß dem einschlägigen Unionsrecht über Finanzdienstleistungen aufzubewahrenden Dokumentation auf.
12. Bevollmächtigte: Anbieter, die in Drittländern niedergelassen sind, müssen vor der Bereitstellung ihrer Hochrisiko-KI-Systeme auf dem Unionsmarkt schriftlich einen in der Union niedergelassenen Bevollmächtigten benennen.
13. Eingabedaten: Anbieter von Hochrisiko-KI-Systemen müssen sicherstellen, dass die für die Entwicklung, Validierung und das Testen von Hochrisiko-KI-Systemen verwendeten Trainings-, Validierungs- und Testdatensätze vollständig, relevant und ausreichend repräsentativ sind.
14. Transparenz und Bereitstellung von Informationen: Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass ihr Betrieb hinreichend transparent ist, damit die Betreiber die Ausgaben eines Systems angemessen interpretieren und verwenden können12. Die Transparenz wird auf eine geeignete Art und in einem angemessenen Maß gewährleistet, damit die Anbieter und Betreiber ihre einschlägigen Pflichten erfüllen können.
15. Menschliche Aufsicht: Der Anbieter des Systems legt vor dem Inverkehrbringen oder der Inbetriebnahme geeignete Maßnahmen zur Gewährleistung der menschlichen Aufsicht fest.

Die Aufzählung ist nicht abschließend und stellt lediglich einen Überblick über die Verpflichtungen für Anbieter von Hochrisiko-KI-Systemen dar.

• Technische Dokumentation: Erstellung und Aktualisierung der technischen Dokumentation des Modells, einschließlich Trainings- und Testverfahren sowie Bewertungsergebnisse. Diese Dokumentation muss dem Büro für Künstliche Intelligenz und den zuständigen nationalen Behörden auf Anfrage zur Verfügung gestellt werden.
  
• Informationen für nachgelagerte Anbieter: Bereitstellung von Informationen und Dokumentation für Anbieter von KI-Systemen, die das GPAI-Modell in ihre KI-Systeme integrieren möchten. Diese Informationen müssen es den Anbietern von KI-Systemen ermöglichen, die Fähigkeiten und Grenzen des GPAI-Modells zu verstehen und ihren Verpflichtungen nachzukommen.
• Einhaltung des Urheberrechts: Einführung einer Strategie zur Einhaltung des Urheberrechts der Union und damit zusammenhängender Rechte, einschließlich der Ermittlung und Einhaltung von Rechtsvorbehalten.
• Zusammenarbeit: Zusammenarbeit mit der Kommission und den zuständigen nationalen Behörden bei der Ausübung ihrer Zuständigkeiten.
• Systemische Risiken: Für GPAI-Modelle mit systemischem Risiko gelten zusätzliche Pflichten, wie die Durchführung von Modellbewertungen und Angriffstests zur Ermittlung und Minderung von Risiken sowie die Gewährleistung eines angemessenen Maßes an Cybersicherheit.

Betreiber von Hochrisiko-KI-Systemen treffen folgende Pflichten:

1. Sicherstellung von KI-Kompetenz bei Personal u. sonstigen Personen, die mit Betrieb u. Nutzung von KI-Systemen befasst sind. (Art. 4 KI-VO)
2. Unterlassung v. verbotenen Praktiken. (Art. 5 KI-VO)
3. Implementierung eines Risikomanagements. (Art. 9 KI-VO)
4. Sicherstellung menschlicher Aufsicht. (Art. 26 Abs. 2 KI-VO)
5. Überwachung, dass vom Betreiber kontrollierte Eingabedaten dem Zweck des KI-Systems entsprechen und repräsentativ sind. (Art. 26 Abs. 4 KI-VO)
6. Überwachung des Betriebs des KI-Systems. (Art. 26 Abs. 5 KI-VO)
7. Informationspflichten gegenüber Anbietern, Händlern und Marktüberwachungsbehörde, wenn KI hohes Risiko für Gesundheit, Sicherheit oder Grundrechten von Personen birgt. (Art. 26 Abs. 5 KI-VO)
8. Informationspflichten bei schwerwiegendem Vorfall gegenüber Anbieter, Einführer o. Händler und Marktüberwachungsbehörde. (Art. 26 Abs. 5 KI-VO)
9. Aufbewahrung von automatisch erzeugten und unter der Kontrolle des Betreibers stehenden Protokollen für angemessenen Zeitraum, mindestens 6 Monate. (Art. 26 Abs. 5 KI-VO)
10. Information der Arbeitnehmervertretung (sofern vorhanden) und der betroffenen Arbeitnehmer vor Verwendung des KI-Systems am Arbeitsplatz. (Art. 26 Abs. 7 KI-VO)
11. Ggfs. (falls einschlägig) Durchführung einer Datenschutz-Folgenabschätzung. (Art. 26 Abs. 9 KI-VO)
12. Information der vom KI-System betroffenen Personen. (Art. 26 Abs. 11 KI-VO)
13. Zusammenarbeit mit zuständigen Behörden zur Umsetzung der KI-VO. (Art. 26 Abs. 12 KI-VO)
14. Sofern einschlägig, Durchführung einer Grundrechte-Folgenabschätzung (Art. 27 KI-VO)
15. Information der Betroffenen, sofern Emotionserkennungssystem oder KI zur biometrischen Kategorisierung betrieben wird. (Art. 50 Abs. 3 KI-VO)
16. Offenlegung der Verwendung von KI-Systemen, die Deepfakes von Bild, Ton- oder Videos erzeugen. (Art. 50 Abs. 4 KI-VO)
17. Offenlegung bei KI-erzeugten / manipulierten Texten, die Öffentlichkeit über Angelegenheiten v. öffentlichem Interesse informieren, es sei denn Inhalt unterliegt der menschlichen Überprüfung, redaktioneller Kontrolle oder jmd. trägt die Verantwortung für Veröffentlichung oder sie dient Strafverfolgung. (Art. 50 Abs. 4 KI-VO)
18. Ergreifung notwendiger Korrekturmaßnahmen bei Produkten, die nach der Marktüberwachungsverordnung (VO EU 2019/1020) erhöhtes Risiko bergen, wenn Behörden feststellen, dass ein KI-System Anforderungen und Pflichten der KI-VO nicht erfüllt. (Art. 79 Abs. 2 KI-VO)
19. Ergreifung notwendiger Korrekturmaßnahmen, wenn eine Behörde feststellt, dass das KI-System der KI-VO entspricht, aber dennoch ein Risiko für Gesundheit, Sicherheit oder Grundrechte von Personen oder Aspekte des Schutzes öffentlicher Interessen darstellt. (Art. 82 Abs. 1 KI-VO)
20. Erläuterungspflicht der Entscheidungsfindung im Einzelfall ggü. Personen, die von einer Entscheidung des KI-Systems betroffen sind u. die rechtliche Auswirkungen haben oder Gesundheit, Sicherheit oder Grundrechte beinträchtigen (Ausnahme: Kritische Infrastruktur). (Art. 86 Abs. 1 KI-VO).Bereits bei der Auswahl des Hochrisiko-KI-Systems muss der Betreiber darauf achten, dass das KI-System bzw. der Anbieter des HRKIS bestimmte Voraussetzungen erfüllt. So müssen HRKIS im Hinblick auf Trainings-, Validierungs- und Testdatensätzen bestimmten Qualitätskriterien entsprechen (Art. 10 KI-VO). Es muss ferner eine ausreichende technische Dokumentation seitens des Anbieters erstellt werden (Art. 11 KI-VO). Um Aufzeichnungspflichten zu erfüllen, muss die KI eine Protokollierung ermöglichen (Art. 12 KI-VO). Insbesondere muss eine präzise, vollständige, eindeutige, barrierefreie und leicht verständliche Bedienungsanleitung vom Anbieter zur Verfügung gestellt werden. Darüber hinaus müssen HRKIS so konzipiert sein, dass sie während der Dauer ihrer Verwendung von natürlichen Personen wirksam beaufsichtigt werden können (Art. 14 KI-VO) und den Anforderungen aus Art. 15 KI-VO im Hinblick auf Genauigkeit, Robustheit und Cybersicherheit entsprechen.

Unternehmen mit Sitz in Europa unterliegen bei der Verwendung der europäischen KI-Verordnung. Gleiches gilt, wenn der Output von KI in Europa genutzt werden soll. Vor dem Einsatz von KI-Systemen oder KI-Modellen muss daher geprüft werden, ob und wenn ja, unter welchen Voraussetzungen KI genutzt werden darf. Je nach Anwendungsfall müssen auch andere nationale Gesetze (bspw. die Datenschutz-Grundverordnung, das Urheberrechtsgesetz, das Gesetz gegen den unlauteren Wettbewerb) beachtet werden.

Die KI-VO folgt -ebenso wie die Datenschutz-Grundverordnung- einem risikobasierten Ansatz. Je höher das Risiko, desto mehr Anforderungen müssen erfüllt werden.

Unterschieden wird zwischen:

1. Das Risiko ist inakzeptabel = Die Verwendung von KI ist ausdrücklich verboten (sog. verbotene Praktiken, Art. 5 KI-VO)
2. Es besteht ein hohes Risiko = Die Verwendung von KI ist reguliert. Die Anforderungen aus Art. 6 bis 49 KI-VO greifen.
3. Es besteht ein begrenztes, aber spezifisches Risiko = Es gelten besondere Pflichten (Transparenzpflichten gemäß Art. 50 KI-VO).
4. Es besteht ein minimales oder kein Risiko = KI-Kompetenz muss gewährleistet werden; ggfs. bestehen je nach Art der KI Transparenzpflicht im Sinne von Art. 50 KI-VO)

Der Einsatz von KI-Systemen erfordert insoweit zumindest eine erste Risikoanalyse, um zu prüfen, ob bestimmte Anforderungen aus der KI-VO umgesetzt werden müssen.

Die Definition von Künstlicher Intelligenz ist in der KI-VO sehr unpräzise formuliert. Unter die KI-VO fallen Systeme Künstlicher Intelligenz, die (1.) maschinengestützt,

(2.) in gewissem Grad autonom
(3.) zweckgerichtet aus Input Output ableiten und
(4.) lernfähig sein können, wobei
(5.) der Output Einfluss auf die virtuelle oder analoge Umgebung haben kann.

Im Unterschied zu einem Taschenrechner, der zwar maschinengestützt ebenfalls zweckgerichtet aus Input Output ableiten und Einfluss auf seine Umgebung haben kann (2+2=4), handelt es sich bei Künstlicher Intelligenz im Sinne der KI-VO um lernfähige und zu einem gewissen Grad autonome Modelle und Systeme. Der Taschenrechner folgt hingegen stets den gleichen Regeln. Er produziert Output nur nach diesen starren Regeln.

Zunächst muss jedem Nutzer von KI-Systemen klar sein, dass bei KI-Ergebnissen das Risiko der Unrichtigkeit und der Diskriminierung besteht. KI ist nur so gut wie die Trainingsdaten sind, mit der die KI trainiert wurde. Schlechte Trainingsdaten erhöhen damit das Risiko von Fehlern und Diskriminierungen. Zu nennen sind insbesondere

Bias = Voreingenommenheit aufgrund falscher Trainingsdaten

Ungenauigkeiten = die KI knüpft falsche Zusammenhänge

Halluzinationen = Fehler in Antworten

Jede Nutzung eines KI-Ergebnisses muss daher auf Richtigkeit und Diskriminierung kontrolliert werden. Verstößt die Verwendung von KI gegen die Anforderungen der KI-VO drohen zudem hohe Bußgelder, ggfs. ist man Schadenersatzansprüchen ausgesetzt. Sind personenbezogene Daten tangiert, kann es neben Bußgeldern auch zu Schadenersatzansprüchen von Betroffenen auf Basis der DSGVO und dem BDSG kommen. Bei der Verwendung von KI-Systemen Dritter besteht das Risiko, gegen Vertraulichkeitsvereinbarungen von Kunden und Lieferanten zu verstoßen. Nicht zu unterschätzen ist auch das Risiko, dass Mitarbeiter eigene Geschäftsgeheimnisse über die KI-Anwendung offenbaren. Im Übrigen sollten Mitarbeiter auch urheberrechtliche sensibilisiert sein. So können das Kopieren und Trainieren mit Inhalten Dritter (Fotos, Texte) ggfs. gegen Urheber- oder Leistungsschutzrechte Dritter verstoßen. Auch KI-Ergebnisse können Werken anderer Urheber ggfs. zu ähnlich sein und damit zu Unterlassungs- und Schadenersatzansprüchen führen. Zusammenfassend sollte sichergestellt werden, dass

• die Anforderungen der KI-VO eingehalten werden (bspw. Transparenz bei Chatbots)
• keine personenbezogene Daten über die KI verarbeitet werden
• Nutzer von KI keine Urheber- oder Leistungsschutzrechte Dritter verletzen
• Nutzer keine eigenen oder fremden Geschäftsgeheimnisse über offene KI-Systeme offenbaren
• der Output nicht Persönlichkeitsrechte Dritter tangiert (bspw. Deepfakes von Personen)
• der Output nicht wettbewerbswidrig ist
• der Output korrekt ist
• der Output nicht diskriminierend ist.

Anbieter im Sinne der KI-VO meint natürliche oder juristische Personen, Behörden oder sonstige Stellen, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck

• entwickeln oder entwickeln lassen UND
• es unter eigenem Namen / eigener Marke in Verkehr bringen ODER
• unter eigenem Namen / eigener Marke in Betrieb nehmen.

Auf die Entgeltlichkeit kommt es übrigens nicht an, d.h. auch kostenlose Anbieter unterliegen der KI-VO.

Als Betreiber im Sinne der KI-VO wird bezeichnet, wer ein KI-System unter eigener Verantwortung / Aufsicht (unter its authority) verwendet. Die Europäische Kommission hat am 04.02.2025 in ihrer Leitlinie zu verbotenen Praktiken klargestellt, dass die Nutzung unter „eigener Verantwortung / unter Aufsicht“ so verstanden werden soll, dass der Betreiber die Verantwortung für die Entscheidung über den Einsatz des Systems und die Art und Weise seiner tatsächlichen Nutzung übernimmt. Nutzt bspw. ein Unternehmen auf Basis eines KI-as-a-Service-Vertrags einen KI-basierten Chatbot für seinen Kundensupport, wird der Chatbot im Verantwortungsbereich des Unternehmens betrieben. Das Unternehmen hat Einfluss auf den Chatbot-Anbieter. Es ist somit als Betreiber zu qualifizieren. Nutzt ein Mitarbeiter ohne Kenntnis seines Arbeitsgebers eine KI-Anwendung mangelt es folglich an der Betreibereigenschaft des Unternehmens, da dieses keine Entscheidung über den Einsatz des Systems übernommen hat.

Ein Einführer ist eine in der Union ansässige oder niedergelassene natürliche oder juristische Person, die ein KI-System, das den Namen oder die Handelsmarke eines Herstellers aus einem Drittland trägt, erstmals in der EU in Verkehr bringt. Das wäre bspw. der Fall, wenn ein deutsches Unternehmen das KI-System eines chinesischen Softwareentwicklers erstmals unter dessen Marke in der EU in den Verkehr bringt.

Der Händler stellt das KI-System in der Lieferkette auf dem Unionsmarkt bereit. Es handelt sich um eine Art „Auffangtatbestand“. Handelt es sich also in der Lieferkette nicht um den Anbieter oder Betreiber, kommt der natürlichen oder juristischen Person in der Lieferkette die Rolle des Händlers zu.

Da es derzeit noch keine speziellen Haftungsregelungen gibt, greifen die allgemeinen Haftungsgrundsätze nach dem Bürgerlichen Gesetzbuch. Im Zweifel haftet stets der Verwender von KI generierten Ergebnissen, d.h. das Unternehmen, das KI-generierte Ergebnisse im eigenen Namen nutzt.

Der Hersteller von KI haftet im Verhältnis zum Verwender nur, wenn die KI nicht die vertraglich vereinbarten oder die gesetzlichen geforderten Anforderungen erfüllt und dies zu einem Schaden führt. Ob eine Haftung nach dem sog. Produkthaftungsgesetz besteht, ist derzeit streitig und unklar.

Die Haftung von KI soll in Zukunft über die europäische Produkthaftungsrichtlinie geregelt werden, die anschließend in nationales Gesetz überführt werden muss. Außerdem befindet sich seit geraumer Zeit die KI-Haftungsrichtlinie in der Planung. Diese Richtlinie soll die Produkthaftungsrichtlinie um spezifische Vorschriften für Hochrisiko-KI-Systeme ergänzen und die Durchsetzung von Schadenersatzansprüchen erleichtern.

Gemäß Artikel 4 KI-VO müssen Unternehmen dafür Sorgen, dass ihre Mitarbeiter*innen, die mit KI umgehen ebenso über KI-Kompetenz verfügen wie Personen, die dies in ihrem Auftrag tun.

Es empfiehlt sich folgende Vorgehensweise:

1. Inventarisieren Sie die KI-Anwendungen, die Sie nutzen.
2. Führen Sie eine kurze Risikoanalyse durch. Welche Risiken sind mit dieser Art der Verwendung von KI verbunden?
3. Leiten Sie daraus ab, über welche Kenntnisse die betroffenen Mitarbeiter*innen verfügen müssen. Was müssen die nutzenden Mitarbeiter*innen wissen?
4. Identifizieren Sie, welche Mitarbeiter*innen betroffen sind. Wer entwickelt und / oder nutzt die KI-Anwendung?
5. Legen Sie die Schulungsziele und Schulungsinhalte fest. Worüber soll geschult werden?
6. Führen Sie entsprechende Schulungen durch.
7. Dokumentieren Sie die Schulungen.
8. Wiederholen und Aktualisieren Sie Schulungen.

Unternehmen müssen ihre Rolle im Sinne der KI-VO (Anbieter, Betreiber, etc.) und den Einsatzzweck (verbotener Bereich, Hochrisikobereich, etc.) definieren und die entsprechenden Anforderungen prüfen. Es sollte ein wirksames Risikomanagement implementiert werden. Die Einhaltung der KI-VO sollte über eine KI-Leitlinie und KI-Mitarbeiterrichtlinien sichergestellt werden.

Schatten-KI stellt ein enormes Risiko für Unternehmen dar. Ein Verbot der KI-Nutzung macht daher in der Praxis wenig Sinn. Stattdessen sollte die Nutzung von KI geregelt und dokumentiert werden.

KI-Modell
Ein KI-Modell im Sinne der KI-VO ist ein algorithmischer Kern (bspw. GPT-4). Es gibt verschiedene KI-Modelle, bspw. regelbasierte Modelle oder neuronale Netzwerke. Ein KI-Modell ist sozusagen die Vorstufe des KI-Systems. KI-Modelle können nicht unmittelbar vom Nutzer genutzt werden, sie benötigen vielmehr zur Nutzung einer Anwenderoberfläche.

KI-Modell mit allgemeinem Verwendungszweck (GPAI)
Ein KI-Modell mit allgemeinem Verwendungszweck (GPAI) im Sinne der KI-VO kann ein sehr breites Aufgabenspektrum erfüllen. GPT-4 (Generative Pre-trained Transformer 4) kann bspw. Sprachen, Bilder und Grafiken erstellen sowie Daten analysieren. Diese Modelle werden in der Regel mit großen Datenmengen durch verschiedene Methoden trainiert. Potentieller Indikator für die Einstufung eines Modells als „allgemein verwendbar“ kann die Schwelle von 1 Milliarde Parametern sein. So ergibt sich aus Erwägungsgrund 98 zur KI-VO, dass Modelle mit mindestens einer Milliarde Parametern, die mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert werden, als Modelle gelten sollten, die eine erhebliche allgemeine Verwendbarkeit aufweisen und ein breites Spektrum unterschiedlicher Aufgaben kompetent erfüllen. GPAI unterliegen den besonderen Pflichten aus Artikel 53 und 54 der KI-VO.

KI-System
Als KI-System im Sinne der KI-VO ist die Anwendungssoftware (bspw. ChatGPT) gemeint, die zur Nutzung des jeweiligen KI-Modell s(GPT) notwendig ist. Häufig werden derartige Systeme in verschiedenen Lizenzmodellen vertrieben (bspw. Kauf, AI-as-a-Service, on premise-Lösung).

KI-Assistenten sind KI-Anwendungen, die eine unmittelbare Eingabe (Abfrage) des Nutzers (bspw. eine Eingabe bei einer Chat-Funktion), d.h. eine direkte Interaktion mit dem Nutzer benötigen. Ohne Eingabe durch den Menschen bleibt der KI-Assistent inaktiv. Häufige Anwendungsfälle sind bspw. Chatfunktionen im Kundensupport oder KI-Anwendungen zur Codegenerierung. Sie dienen der Unterstützung menschlicher Entscheidungen.

Im Gegensatz dazu sind KI-Agenten Systeme oder Programme, die autonom im Auftrag des Nutzers Workflows entwicklen, d.h. Aufgaben planen, priorisieren und ausführen können. Sie sind häufig in der Lage, intern proaktive Entscheidungen zu treffen und handeln ohne aktive Abfrage des Nutzers, in dem sie bspw. Muster erkennen. Sie interagieren meist mit verschiedenen Datenquellen, Plattformen und Systemen, um ihre Aufgabe zu erfüllen und agieren eigenständiger als KI-Assistenten. Dadurch können sie komplexe Prozesse steuern und automatisieren. Sie arbeiten meist im Hintergrund.