Der potenzielle Nutzen von Künstlicher Intelligenz (KI) (auch) für demokratisch verfasste Gesellschaften ist mannigfaltig und betrifft z.B. die Stärkung von Innovation, ökonomische Wachstumsimpulse und globale Wettbewerbsfähigkeit ebenso wie eine nachhaltige Bildungs-, Gesundheits- und Infrastrukturpolitik. Auch in Medien kommt KI bereits zum Einsatz – auch dort nicht nur mit Chancen, sondern auch mit Risiken verbunden, auf die die Länder im Medienstaatsvertrag bereits mit Transparenzvorgaben in Bezug auf social bots und algorithmisch gesteuerte intermediäre Dienstleistungen reagiert haben.
Angesichts der raschen technologischen Entwicklung der KI hat sich die EU-Kommission, vom Vorsorgeprinzip geleitet, entschlossen, eine Initiative zu ergreifen, um mittels einer Verordnung auf die Risiken zu reagieren, die bestimmte KI-Systeme in sich bergen – nicht zuletzt auch mit Blick auf Gefährdungslagen für eine effektive Durchsetzung der bestehenden Rechtsvorschriften im Bereich der Sicherheit und der Grundrechte – u.a. bei Anwendungen wie biometrischen Identifizierungssystemen oder KI-gestützten Entscheidungen, die wichtige persönliche Interessen berühren, z. B. in den Bereichen Personaleinstellung, Bildung und Erziehung, Gesundheitsversorgung oder Strafverfolgung. Unterschiedliche mitgliedstaatliche Regulierungsmaßnahmen zu KI könnten zu einer Fragmentierung des EU-Binnenmarkts führen. Über die Verordnung soll demgegenüber ein gut funktionierender Binnenmarkt für KI-Systeme geschaffen werden, der sowohl die Vorteile als auch die Risiken angemessen berücksichtigt.
Die Verordnung soll, dem Marktortprinzip folgend, grundsätzlich für öffentliche wie private, gewerblich tätige Akteure innerhalb und außerhalb der EU gelten, sofern das KI-System in der EU in Verkehr gebracht wird oder Menschen in der EU von seiner Verwendung betroffen sind. Der Anwendungsbereich erfasst sowohl Anbieter (z. B. Entwickler eines Auswertungsprogramms für Lebensläufe) als auch Nutzer von KI-Systemen mit hohem Risiko (z. B. eine Bank, die dieses Programm anschafft).
Die Kommission schlägt einen risikobasierten Ansatz mit vier Risikostufen vor:
(1.) Eine sehr geringe Zahl besonders schädlicher KI-Anwendungen, die gegen die Werte der EU verstoßen, weil sie Grundrechte verletzen, sollen wegen unannehmbarem Risiko verboten werden. Das betrifft z. B. die (aus der Regulierung in der VR China bereits bekannte) Bewertung des sozialen Verhaltens durch Behörden (Social Scoring), die Ausnutzung der Schutzbedürftigkeit von Kindern, den Einsatz von Techniken zur unterschwelligen Beeinflussung und – mit eng abgesteckten Ausnahmen – biometrische Echtzeit-Fernidentifizierungssysteme, die zu Strafverfolgungszwecken im öffentlichen Raum eingesetzt werden.
(2.) Eine begrenzte Zahl von KI-Systemen, die katalogartig in der Verordnung abgegrenzt wird und die sich nachteilig auf die Sicherheit der Menschen oder ihre durch die Grundrechte-Charta geschützten Grundrechte auswirken, gilt als mit einem hohen Risiko behaftet. Um das Vertrauen und ein einheitliches und hohes Maß an Sicherheit und Schutz der Grundrechte zu gewährleisten, werden für alle KI-Systeme mit hohem Risiko verbindliche Anforderungen vorgeschlagen. Diese Anforderungen betreffen die Qualität der verwendeten Datensätze, die technische Dokumentation und das Führen von Aufzeichnungen genauso wie die Transparenz und die Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit. Bei Verstößen werden die nationalen Behörden aufgrund dieser Anforderungen Zugang zu den Informationen erhalten, die nötig sind, um festzustellen, ob der Einsatz des KI-Systems rechtmäßig erfolgt ist.
(3.) Bei bestimmten KI-Systemen mit geringem Risiko sollen in der Verordnung besondere Transparenzverpflichtungen auferlegt werden, z. B. wenn eine klare Manipulationsgefahr besteht (z. B. durch den Einsatz von Chatbots). Den Nutzern sollte bewusst sein, dass sie es mit einer Maschine zu tun haben.
(4.) Alle anderen KI-Systeme mit minimalem Risiko können unter Einhaltung des allgemein geltenden Rechts entwickelt und verwendet werden, d. h. ohne Beachtung zusätzlicher rechtlicher Verpflichtungen.
Die Risikoeinstufung hängt von der Funktion des KI-Systems, von seinem konkreten Zweck und seinen Anwendungsmodalitäten ab. Diese Einstufung richtet sich nach dem Umfang und Zweck der Verwendung der KI-Anwendung, der Anzahl der potenziell betroffenen Personen, der Abhängigkeit vom Ergebnis und der Unumkehrbarkeit etwaiger Schäden sowie danach, inwiefern das bestehende Unionsrecht wirksame Maßnahmen zur Beseitigung oder wesentlichen Verringerung dieser Risiken vorsieht. Anhand dieser Kriterien sowie gestützt auf Nachweise und Stellungnahmen von Sachverständigen will die Kommission dafür sorgen, dass diese Liste von KI-Anwendungen mit hohem Risiko stets auf dem neuesten Stand ist und zweckdienlich bleibt.
Bevor KI-Systeme, die mit hohem Risiko behaftet sind, in der EU in Verkehr gebracht oder anderweitig in Betrieb genommen werden dürfen, müssen sich die Anbieter einer Konformitätsbewertung unterziehen. Damit können sie nachweisen, dass ihr System den verbindlichen Anforderungen an vertrauenswürdige KI entspricht (z. B. in Bezug auf Datenqualität, Dokumentation und Rückverfolgbarkeit, Transparenz, menschliche Aufsicht, Genauigkeit und Robustheit). Bei bestimmten KI-Systemen muss zudem eine benannte unabhängige Bewertungsstelle in diesen Prozess einbezogen werden. Außerdem müssen Anbieter von KI-Systemen mit hohem Risiko Qualitäts- und Risikomanagementsysteme einführen, um die Einhaltung der neuen Anforderungen sicherzustellen und die Risiken für Nutzer und betroffene Personen zu minimieren, auch nachdem ein Produkt bereits in Verkehr gebracht wurde.
Jeder Mitgliedstaat soll eine oder mehrere zuständige nationale Behörden benennen, die die Anwendung und Umsetzung der Vorgaben der Verordnung beaufsichtigen und die Marktüberwachung wahrnehmen. Der Europäische Ausschuss für künstliche Intelligenz soll sich aus hochrangigen Vertretern der zuständigen nationalen Aufsichtsbehörden, des Europäischen Datenschutzbeauftragten und der Kommission zusammensetzen. Seine Aufgabe soll es sein, eine reibungslose, wirksame und einheitliche Umsetzung der neuen KI-Verordnung zu erleichtern. Der Ausschuss soll der Kommission Empfehlungen und Stellungnahmen zu KI-Systemen mit hohem Risiko und zu anderen Aspekten vorlegen, die für eine wirksame und einheitliche Umsetzung der neuen Vorschriften von Bedeutung sind. Den nationalen Behörden soll der Ausschuss als Kompetenzzentrum dienen, das sie konsultieren können.
Der Vorschlag für eine Verordnung über ein europäisches Konzept für Künstliche Intelligenz (COM(2021) 206 final) ist in englischer Sprache abrufbar über
