Artikel 9 - Risikomanagementsystem
1. Für Hochrisiko-KI-Systeme wird ein Risikomanagementsystem eingerichtet, angewandt, dokumentiert und aufrechterhalten.
2. Das Risikomanagementsystem versteht sich als kontinuierlicher iterativer Prozess während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems mit regelmäßiger systematischer Überprüfung und Aktualisierung. Es umfasst die folgenden Schritte: (a) die Ermittlung und Analyse bekannter und vernünftigerweise vorhersehbarer Risiken, die das Hochrisiko-KI-System für die Gesundheit, die Sicherheit oder die Grundrechte darstellen kann, wenn es entsprechend seiner Zweckbestimmung verwendet wird; (b) die Abschätzung und Bewertung der Risiken, die entstehen können, wenn das Hochrisiko-KI-System entsprechend seiner Zweckbestimmung und im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung verwendet wird; (c) die Bewertung weiterer möglicherweise auftretender Risiken auf der Grundlage der Analyse von Daten aus dem System zur Beobachtung nach dem Inverkehrbringen gemäß Artikel 72; (d) die Ergreifung geeigneter und gezielter Risikomanagementmaßnahmen zur Bewältigung der nach Buchstabe a ermittelten Risiken.
3. Die in diesem Absatz genannten Risiken betreffen nur solche, die durch die Entwicklung oder die Konzeption des Hochrisiko-KI-Systems oder durch die Bereitstellung ausreichender technischer Informationen angemessen gemindert oder behoben werden können.
4. Bei den in Absatz 2 Buchstabe d genannten Risikomanagementmaßnahmen werden die Auswirkungen und möglichen Wechselwirkungen gebührend berücksichtigt, die sich aus der kombinierten Anwendung der Anforderungen dieses Abschnitts ergeben, damit die Risiken wirksamer minimiert und gleichzeitig ein angemessenes Gleichgewicht bei der Durchführung der Maßnahmen zur Erfüllung dieser Anforderungen gewahrt wird.
5. Die in Absatz 2 Buchstabe d genannten Risikomanagementmaßnahmen sind so beschaffen, dass das mit jeder Gefahr verbundene einschlägige Restrisiko sowie das Gesamtrestrisiko der Hochrisiko-KI-Systeme als vertretbar beurteilt wird. Bei der Festlegung der am besten geeigneten Risikomanagementmaßnahmen ist Folgendes sicherzustellen: (a) soweit technisch möglich, Beseitigung oder Verringerung der Risiken durch geeignete Konzeption und Entwicklung des Hochrisiko-KI-Systems; (b) gegebenenfalls Durchführung angemessener Minderungs- und Kontrollmaßnahmen in Bezug auf Risiken, die nicht beseitigt werden können; (c) Bereitstellung der erforderlichen Informationen gemäß Artikel 13 und gegebenenfalls Schulung der Betreiber.
6. Hochrisiko-KI-Systeme werden getestet, um die am besten geeigneten gezielten Risikomanagementmaßnahmen zu ermitteln. Durch die Tests wird sichergestellt, dass Hochrisiko-KI-Systeme ihrer Zweckbestimmung entsprechend beständig funktionieren und die Anforderungen dieses Abschnitts erfüllen.
7. Die Testverfahren können das Testen unter Realbedingungen gemäß Artikel 60 umfassen.
8. Das Testen der Hochrisiko-KI-Systeme erfolgt zu jedem geeigneten Zeitpunkt während des gesamten Entwicklungsprozesses und in jedem Fall vor dem Inverkehrbringen oder der Inbetriebnahme. Das Testen erfolgt anhand vorab festgelegter Metriken und probabilistischer Schwellenwerte, die für die Zweckbestimmung des Hochrisiko-KI-Systems geeignet sind.
9. Bei der Umsetzung des in den Absätzen 1 bis 7 beschriebenen Risikomanagementsystems berücksichtigen die Anbieter, ob das Hochrisiko-KI-System wahrscheinlich nachteilige Auswirkungen auf Personen unter 18 Jahren oder gegebenenfalls andere schutzbedürftige Gruppen hat.
10. Für Anbieter von Hochrisiko-KI-Systemen, die Anforderungen an interne Risikomanagementprozesse nach anderen einschlägigen Bestimmungen des Unionsrechts unterliegen, können die in den Absätzen 1 bis 9 beschriebenen Aspekte Bestandteil der nach dem genannten Recht festgelegten Risikomanagementverfahren sein oder mit diesen kombiniert werden.