Artikel 5 - Verbotene Praktiken im KI-Bereich
1. Folgende Praktiken im KI-Bereich sind verboten: (a) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken einsetzt, mit dem Ziel oder der Wirkung, das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern, indem ihre Fähigkeit, eine fundierte Entscheidung zu treffen, spürbar beeinträchtigt wird, wodurch sie dazu veranlasst wird, eine Entscheidung zu treffen, die sie andernfalls nicht getroffen hätte, und zwar in einer Weise, die dieser Person, einer anderen Person oder einer Gruppe von Personen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird; (b) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das eine Vulnerabilität oder Schutzbedürftigkeit einer natürlichen Person oder einer bestimmten Gruppe von Personen aufgrund ihres Alters, einer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Situation ausnutzt, mit dem Ziel oder der Wirkung, das Verhalten dieser Person oder einer dieser Gruppe angehörenden Person in einer Weise wesentlich zu verändern, die dieser Person oder einer anderen Person erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird; (c) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen zur Bewertung oder Einstufung von natürlichen Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale, wobei die daraus resultierende soziale Bewertung zu einer oder beiden der folgenden Situationen führt: (i) Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder Gruppen von Personen in sozialen Zusammenhängen, die in keinem Bezug zu den Zusammenhängen stehen, in denen die Daten ursprünglich erzeugt oder erhoben wurden; (ii) Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder Gruppen von Personen in einer Weise, die ungerechtfertigt oder unverhältnismäßig zu ihrem sozialen Verhalten oder dessen Tragweite ist; (d) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems zur Risikobewertung in Bezug auf natürliche Personen zwecks Bewertung oder Vorhersage des Risikos, dass eine natürliche Person eine Straftat begeht, ausschließlich auf der Grundlage des Profiling einer natürlichen Person oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften; dieses Verbot gilt nicht für KI-Systeme, die dazu verwendet werden, die menschliche Bewertung der Beteiligung einer Person an einer kriminellen Tätigkeit zu unterstützen, die bereits auf objektiven und überprüfbaren Tatsachen beruht, die in unmittelbarem Zusammenhang mit einer kriminellen Tätigkeit stehen; (e) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern; (f) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen oder sicherheitstechnischen Gründen eingeführt oder auf den Markt gebracht werden; (g) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von Systemen zur biometrischen Kategorisierung, mit denen natürliche Personen individuell auf der Grundlage ihrer biometrischen Daten kategorisiert werden, um ihre Rasse, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten; dieses Verbot gilt nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, beispielsweise Bilder, auf der Grundlage biometrischer Daten oder die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung; (h) die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, es sei denn und nur insoweit diese Verwendung für eines der folgenden Ziele unbedingt erforderlich ist: (i) die gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung von Menschen sowie die Suche nach vermissten Personen; (ii) die Abwehr einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder einer tatsächlichen und gegenwärtigen oder tatsächlichen und vorhersehbaren Gefahr eines Terroranschlags; (iii) das Aufspüren oder Identifizieren einer Person, die der Begehung einer Straftat verdächtigt wird, zum Zwecke der strafrechtlichen Ermittlung, der Verfolgung oder der Vollstreckung einer Strafe für in Anhang II aufgeführte Straftaten, die in dem betreffenden Mitgliedstaat mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens vier Jahren bewehrt sind.
2. Die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken für eines der in Absatz 1 Buchstabe h genannten Ziele darf nur zur Bestätigung der Identität der speziell betroffenen Person eingesetzt werden, wobei Folgendes zu berücksichtigen ist: (a) die Art der Situation, die die Verwendung veranlasst, insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß des Schadens, der ohne die Verwendung des Systems entstehen würde; (b) die Folgen der Verwendung des Systems für die Rechte und Freiheiten aller betroffenen Personen, insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß dieser Folgen.
3. Die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken für eines der in Absatz 1 Buchstabe h genannten Ziele bedarf einer vorherigen Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde, deren Entscheidung bindend ist, des Mitgliedstaats, in dem die Verwendung stattfinden soll, die auf begründeten Antrag und im Einklang mit den in Absatz 5 genannten detaillierten nationalen Rechtsvorschriften erteilt wird. In hinreichend begründeten dringenden Fällen kann die Verwendung des Systems jedoch ohne Genehmigung eingeleitet werden, sofern eine solche Genehmigung unverzüglich, spätestens jedoch innerhalb von 24 Stunden, beantragt wird.
4. Jede Verwendung eines biometrischen Echtzeit-Fernidentifizierungssystems in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken wird der betreffenden Marktüberwachungsbehörde und der nationalen Datenschutzbehörde mitgeteilt.
5. Jeder Mitgliedstaat kann beschließen, die Möglichkeit der vollständigen oder teilweisen Genehmigung der Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken innerhalb der in Absatz 1 Buchstabe h und den Absätzen 2 und 3 festgelegten Grenzen und Bedingungen vorzusehen. Die betreffenden Mitgliedstaaten legen in ihren nationalen Rechtsvorschriften die erforderlichen detaillierten Vorschriften für die Beantragung, die Erteilung und die Ausübung sowie die Beaufsichtigung und die Berichterstattung in Bezug auf die in Absatz 3 genannten Genehmigungen fest.
6. Die zuständigen nationalen Behörden übermitteln der Kommission und dem KI-Gremium Jahresberichte über ihre Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken.
7. Die Kommission veröffentlicht Jahresberichte über die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken auf der Grundlage aggregierter Daten in den Mitgliedstaaten.
8. Dieser Artikel berührt nicht die Verbote, die gelten, wenn eine Praktik im KI-Bereich gegen andere Rechtsvorschriften der Union verstößt.