Introductie AI-verordening

Definitie ‘AI-systeem’

Voordat kan worden vastgesteld binnen welke risicocategorie een systeem valt, is het belangrijk om vast te stellen of er sprake is van een AI-systeem zoals gedefinieerd in de verordening. Omdat AI voortdurend in ontwikkeling is, is gekozen voor een breed en functioneel begrip, zodat mogelijke toekomstige veranderingen binnen de technologie ook onder de verordening vallen. Het startpunt voor de vaststelling van het begrip is dat het om een softwareapplicatie gaat. Vervolgens wordt gekeken naar de kenmerken die AI onderscheiden van traditionele software.

Het belangrijkste kenmerk van AI, dat het onderscheidt van traditionele software, is het vermogen van AI om bepaalde output, zoals voorspellingen, content, aanbevelingen of besluiten, met een bepaalde mate van zelfstandigheid af te leiden uit menselijke input, zonder dat deze output vooraf door een mens is gedefinieerd. Hiermee overstijgt het de traditionele dataverwerking doordat AI kan leren, redeneren of modelleren. Een voorbeeld is de mogelijkheid van AI om een afbeelding te creëren op basis van een tekstinstructie, waarbij de vorm van de instructie niet vooraf is vastgesteld. Hiermee wordt een AI-systeem geacht de tekst te begrijpen/te interpreteren en deze om te kunnen zetten in het gewenste resultaat.

Daarnaast is een belangrijk kenmerk van AI dat het over zelflerende capaciteiten beschikt, zowel vóór als na de inzet op de markt. Dit kan bereikt worden door middel van machinaal leren, waarbij AI aan de hand van grote hoeveelheden data leert hoe bepaalde doelstellingen bereikt kunnen worden. Tot slot is het van belang dat AI zowel als zelfstandig product kan bestaan alsook als component van een ander product.

Relevante partijen

De volgende twee partijen krijgen de meeste verplichtingen die voortvloeien uit de verordening opgelegd:

Aanbieder

Een aanbieder is een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt of laat ontwikkelen. Ook indien een partij het AI-systeem niet zelf heeft ontworpen, maar het wel onder zijn eigen naam of merk in de handel brengt, wordt deze partij beschouwd als aanbieder in de zin van de verordening.

Gebruikersverantwoordelijke (hierna; gebruiker)

Een gebruiker is een natuurlijke persoon of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit.

Naast deze twee belangrijkste partijen beschrijft de AI-verordening ook mogelijke verplichtingen voor de volgende drie partijen:

Gemachtigden van aanbieders

Wanneer een aanbieder van buiten de EU zijn hoog risico AI-systeem op de EU-markt in de handel wil brengen, moet hij eerst een binnen de EU gevestigde partij aanwijzen als aanspreekpunt voor bepaalde verplichtingen. Deze partij wordt de gemachtigde genoemd.

Importeurs & distributeurs

Ook importeurs en distributeurs van AI-systemen krijgen verplichtingen opgelegd. Deze verplichtingen betreffen voornamelijk transparantievereisten, zodat zelfs bij een complexe toeleveringsketen duidelijk kan worden vastgesteld of aan de eisen van de verordening is voldaan.

Verschuiving van verantwoordelijkheid

Zonder dat een partij onder de bovengenoemde definities valt, kan deze toch verplichtingen worden opgelegd. Een partij wordt namelijk beschouwd als een aanbieder van een AI-systeem en onderworpen aan de verplichtingen van een aanbieder, wanneer zij een van de volgende handelingen verricht;

• De partij zet zijn naam of merk op een AI-systeem met een hoog risico dat reeds in de handel is gebracht of in gebruik is gesteld.
• De partij brengt een substantiële wijziging aan in een AI-systeem met een hoog risico dat reeds in de handel is gebracht of reeds in gebruik is gesteld op zodanige wijze dat het systeem een AI-systeem met een hoog risico blijft.
• De partij wijzigt het beoogde doel van een AI-systeem dat niet als een systeem met een hoog risico is geclassificeerd en reeds in de handel is gebracht of in gebruik is gesteld, op zodanige wijze dat het betrokken AI-systeem een AI-systeem met een hoog risico wordt.

Extraterritoriale werking

De verordening kan ook van toepassing zijn op AI-systemen die zich buiten de EU bevinden. Dit is het geval wanneer aanbieders en gebruikers van AI-systemen in een derde land zijn gevestigd of er zich bevinden, maar de output van het AI-systeem in de Unie wordt gebruikt.

Deze bepaling is opgenomen om te voorkomen dat aanbieders en gebruikers de verordening kunnen omzeilen door zich in een derde land te vestigen, terwijl zij data uit de EU als input ontvangen, deze verwerken en vervolgens de output weer naar de EU terugsturen.

Uitzonderingen op toepasselijkheid

De volgende AI-systemen vallen niet onder de reikwijdte van de AI-verordening, maar worden gereguleerd door specifieke AI-wetgeving:

1. AI-systemen waarvan de output uitsluitend wordt gebruikt voor defensie- of nationale veiligheid doeleinden.
2. AI-systemen waarvan de output uitsluitend wordt gebruikt voor wetenschappelijk onderzoek en wetenschappelijke ontwikkeling.
3. Bepaalde hoog risico AI-systemen waarvoor het wenselijker werd geacht de sectorspecifieke regulering aan te passen om het beoogde beschermingsniveau te bereiken. Het gaat om AI-systemen betreffende:

• Burgerluchtvaart
• Twee- of driewielige voertuigen en vierwielers
• Landbouw- en bosbouwvoertuigen
• Uitrusting van zeeschepen
• Spoorwegsystemen
• Motorvoertuigen en aanhangers daarvan

Verboden toepassingen

De volgende AI-systemen zijn verboden omdat deze de fundamentele rechten en vrijheden van burgers per definitie schenden:

• Een AI-systeem dat gebruik maakt van subliminale technieken waarmee doelbewust het gedrag van personen wezenlijk wordt verstoord, zonder dat deze personen zich bewust zijn van het gebruik van dergelijke technieken. Bijvoorbeeld door een afbeelding minder dan 50 milliseconden weer te geven, wat het gedrag kan beïnvloeden maar meestal niet bewust wordt waargenomen.
• Een AI-systeem dat misbruik maakt van kwetsbaarheden van een persoon of groep personen, bijvoorbeeld vanwege hun leeftijd of handicap.
• Een AI-systeem dat een sociale score toekent aan personen gebaseerd op hun gedrag.
• Een AI-systeem dat uitsluitend profilering gebruikt om te voorspellen of een persoon een strafbaar feit begaat.
• Een AI-systeem dat databanken voor gezichtsherkenning aanlegt of aanvult.
• Een AI-systeem dat emoties herkent van personen op hun werk of in het onderwijs, behalve wanneer dit gebeurt voor medische- of veiligheidsredenen.
• Een AI-systeem dat personen indeelt op basis van biometrische gegevens, om daarmee gevoelige informatie zoals ras en politieke opvattingen af te leiden. Biometrische gegevens zijn alle soorten data die af te leiden zijn van de fysieke kenmerken van een persoon, zoals gezichtsafbeeldingen of vingerafdrukken, maar ook de manier van lopen en typen.
• Een AI-systeem dat personen op afstand en in real time in openbare ruimten identificeert op basis van biometrische gegevens met het oog op rechtshandhaving. Bijvoorbeeld een AI-systeem dat een verdachte van een strafbaar feit volgt via de live feed van bewakingscamera's.

Hoog risico systemen

AI-systemen kunnen op twee manieren als hoog risico worden geclassificeerd. Ten eerste houdt de Europese Commissie een lijst bij (te vinden in bijlage III van de verordening) van soorten beoogd gebruik van AI die als hoog risico worden aangemerkt. Voorbeelden hiervan zijn de inzet van AI bij het beheer van kritieke infrastructuur of bij de toelating van studenten tot een onderwijsinstelling. De lijst is niet definitief, aangezien de Commissie de bevoegdheid heeft om soorten gebruik toe te voegen of te verwijderen.

Wanneer een AI-systeem valt onder het beoogde gebruik zoals vermeld in de bijlage, maar geen daadwerkelijk risico vormt voor de gezondheid, veiligheid of grondrechten van natuurlijke personen, bijvoorbeeld omdat het de besluitvorming niet wezenlijk beïnvloedt doordat het slechts een kleine toevoeging vormt op menselijk handelen, wordt het AI-systeem niet als hoog risico beschouwd. Het is aan de aanbieder van het systeem om dit te beargumenteren en deze argumentatie voor te leggen aan de relevante autoriteiten.

De tweede manier waarop AI-systemen als hoog risico wordt aangemerkt, is wanneer er aan de twee volgende eisen is voldaan:

• Het AI-systeem is bedoeld om gebruikt te worden als veiligheidscomponent van een product, of het AI-systeem is als zodanig een product, dat valt onder EU-wetgeving opgenomen in bijlage I bij de verordening. Hieronder vallen producten zoals speelgoed, liften en medische apparaten. (zie voor een volledige opsomming het hoog risico document van Kienhuis Legal).
• Onder de toepasselijke EU-wetgeving moet het veiligheidscomponent van het product, of het AI-systeem als het product zelf, een conformiteitsbeoordeling door een derde partij ondergaan. Dit is doorgaans vereist wanneer de relevante markttoezichtautoriteit het product als een risico beschouwt voor de gezondheid of veiligheid van personen.

Verder is bijlage I, met de verschillende producten, in twee stukken opgedeeld. Het tweede deel somt weliswaar producten op waarbij AI-systemen als hoog risico worden aangemerkt, maar deze vallen niet onder de AI-verordening; zij worden gereguleerd door sectorspecifieke wetgeving, zoals eerder benoemd onder ‘uitzonderingen op toepasselijkheid’.

Maatregelen hoog risico

Wanneer een AI-systeem als hoog risico wordt aangemerkt, moet de aanbieder van het systeem voldoen aan een uitgebreid aantal vereisten. Hieronder volgt slechts een beknopte uiteenzetting van deze maatregelen. Voor een vollediger overzicht kunt u 'Hoog risico AI’ van Kienhuis Legal raadplegen.

Ten eerste zijn aanbieders verplicht zorg te dragen voor het feit dat hun systeem voldoet aan de standaard vereisten omtrent AI zoals deze zijn neergelegd in afdeling 2 van hoofdstuk 3 van de verordening. De belangrijkste van deze vereisten zijn;

• Het voortdurend evalueren van het systeem om mogelijke risico’s te identificeren en minimaliseren.
• Het gebruiken van correcte en actuele datasets voor het trainen van de AI om vooringenomenheid te voorkomen.
• Het zorgvuldig bijhouden van log-bestanden, zodat in geval van een incident de oorzaak kan worden achterhaald.
• Het transparant opzetten van het systeem. Transparantie wordt onder meer bereikt door het bijhouden van technische documentatie waarin de beperkingen van het systeem worden beschreven en door de verplichting de output van het systeem op een begrijpelijke manier te presenteren.
• Het nemen van adequate beveiligingsmaatregelen, bijvoorbeeld om het systeem te beschermen tegen hacking.

Om aan te tonen dat het systeem voldoet aan deze verplichtingen, moeten aanbieders een conformiteitsbeoordeling (laten) uitvoeren en deze, samen met het AI-systeem zelf, registreren in de daarvoor bestemde EU-databank. Dit zorgt voor een EU-breed overzicht van alle hoog risico AI-systemen. Ook nadat het AI-systeem op de markt is gebracht, dienen aanbieders de prestaties van het systeem te blijven monitoren om afwijkend gedrag en mogelijke ernstige incidenten te voorkomen.

Beperkt risico

Naast hoog risico AI-systemen zijn er ook systemen die weliswaar een specifiek risico met zich meebrengen, maar waarbij dit risico niet zodanig is dat het de strenge regelgeving vereist die van toepassing is op hoog risicosystemen. Daarom is er een apart regime ingesteld voor systemen met beperkt risico, waarbij wordt volstaan met verplichtingen van transparantie richting de gebruiker.

Zo is een aanbieder van een AI-systeem dat direct met personen communiceert verplicht deze personen duidelijk te informeren over het feit dat zij met een AI-systeem communiceren. Daarnaast roept het ook transparantieverplichtingen in het leven voor aanbieders van tekst- of media genererende systemen, gebruikers van emotie herkennings- of biometrische categoriseringssystemen, en gebruikers van systemen die 'deepfakes' creëren.

General-purpose AI

Naast 'normale' AI bestaat er ook general-purpose AI (hierna: GPAI). Terwijl AI-systemen vaak worden ontworpen met een specifiek doel voor ogen, zoals het identificeren van natuurlijke personen op foto's of het voorspellen van het weer, kan de toepassing van GPAI zeer divers zijn. Zo kan eenzelfde GPAI-model bijvoorbeeld worden gebruikt om tekst vertalen, tekeningen te maken of programmacode te schrijven. Daarnaast kan GPAI leren van menselijke input en soms zelfs nieuwe vaardigheden ontwikkelen die de ontwerpers niet hadden voorzien.

Aan de basis van elk GPAI-systeem ligt een AI-model, de algoritmische kern waarop de rest van het systeem is gebouwd. Omdat GPAI zoveel verschillende toepassingen heeft, worden GPAI-modellen ook gebruikt als basis voor ‘reguliere’ AI-systemen. Daarom zijn de verplichtingen met betrekking tot GPAI, in tegenstelling tot normale AI-systemen, gericht op GPAI-modellen en niet noodzakelijkerwijs op de GPAI-systemen.

Onder de verordening wordt GPAI ingedeeld in twee categorieën. Ten eerste is er de standaard GPAI, waarvoor vooral transparantieverplichtingen gelden, zoals een beschrijving van de manier waarop het model is getraind. Daarnaast bestaat er een verplichting voor aanbieders van GPAI om informatie en documentatie up-to-date te houden, om ervoor te zorgen dat aanbieders die het GPAI-model in hun eigen AI-systeem willen integreren, voldoende kennis hebben over het model om aan de overige verplichtingen van de verordening te voldoen. Daarnaast onderscheidt de AI-verordening GPAI met systeemrisico.

GPAI met systeemrisico

Voor GPAI met systeemrisico gelden aanvullende verplichtingen. Van een model met systeemrisico is sprake wanneer het beschikt over capaciteiten met een grote impact. Een GPAI-model wordt in ieder geval geacht een grote impact te hebben wanneer voor de training van het model meer dan 10^25 'floating point operations' aan berekeningen is gebruikt.

De Europese Commissie kan ambtshalve GPAI-modellen aanmerken als modellen met systeemrisico wanneer deze voldoen aan de bovengenoemde kwalificatie van grote impact of wanneer deze een daarmee vergelijkbare impact hebben. Deze vergelijkbare impact wordt door de Commissie beoordeeld aan de hand van nader beschreven criteria, zoals de omvang van de gebruikte datasets of het aantal eindgebruikers. Daarnaast zijn aanbieders van GPAI-modellen verplicht de Commissie op de hoogte te stellen zodra hun model capaciteiten met een grote impact ontwikkelt. Ze kunnen daarbij verzoeken om vrijstelling van de verplichtingen die gelden voor GPAI-modellen met systeemrisico, op grond van de specifieke kenmerken van hun model, waardoor het ondanks het bestaan van grote impact capaciteiten geen systeemrisico zou vormen.

Wanneer een GPAI-systeem onder de systeemrisico-categorie valt, moet de aanbieder van een dergelijk systeem ook een uitgebreide modelevaluatie uitvoeren volgens gestandaardiseerde protocollen, met als doel het identificeren van systeemrisico’s en kwetsbaarheden. Vervolgens dient de aanbieder een plan op te stellen waarin wordt uiteengezet hoe deze risico’s zullen worden geminimaliseerd. Daarnaast moet de aanbieder zorgen voor een adequaat niveau van cyberbeveiliging. Indien zich een incident voordoet, moet dit onverwijld worden gemeld aan de relevante autoriteiten. De EU zal uiterlijk in mei 2025 praktijkcodes verstrekken waarmee aanbieders van GPAI-modellen kunnen aantonen dat zij voldoen aan de bovengenoemde verplichtingen.

Handhaving

De AI-verordening voorziet in een handhavingssysteem voor de naleving van de verplichtingen. De relevante autoriteiten krijgen de bevoegdheid om boetes op te leggen aan partijen die niet aan de verordening voldoen. Deze boetes zijn ingedeeld in vier verschillende categorieën. De hoogste categorie is gereserveerd voor partijen die het verbod op bepaalde toepassing van AI overtreden, waarvoor een maximale boete van € 35.000.000,= of 7% van de wereldwijde jaarlijkse omzet van het bedrijf is vastgesteld. Daarnaast moet een partij maximaal € 15.000.000,= of 3% van de wereldwijde jaarlijkse omzet betalen wanneer deze niet voldoet aan zijn verplichtingen met betrekking tot een hoog risico- of beperkt risico AI-systeem. De laagste boete bedraagt maximaal € 7.500.000,= of 1% van de wereldwijde jaarlijkse omzet en wordt opgelegd wanneer een partij onjuiste, onvolledige of misleidende informatie verstrekt aan een partij verantwoordelijk voor de conformiteitsbeoordeling. Naast deze drie categorieën is er een aparte strafmaat voor overtredingen van de regels met betrekking tot GPAI, waarbij de boete maximaal € 15.000.000,= of 3% van de wereldwijde jaarlijkse omzet kan bedragen.

De genoemde bedragen betreffen allemaal een maximum en vormen niet noodzakelijkerwijs de uiteindelijke boete. Bij het vaststellen van de hoogte van de boete dienen de autoriteiten rekening te houden met alle omstandigheden van het geval, zoals de aard, ernst en duur van de overtreding, maar ook de financiële situatie van de inbreuk makende partij.

Naast deze publiekrechtelijke handhaving wil de EU het in de toekomst ook beter mogelijk maken voor private partijen om schade, veroorzaakt door een AI-systeem, te verhalen op de aanbieder of gebruiker ervan. Om dit te bereiken wordt de productaansprakelijkheidsrichtlijn aangepast, zodat AI-systemen ook onder haar werking vallen. Daarnaast wordt het begrip ‘gebrek’ in de richtlijn verruimd, zodat een gebrek ook kan ontstaan nadat het product al op de markt is gebracht, bijvoorbeeld door een nieuwe functionaliteit van een zelflerende AI. Ook worden er bewijsvermoedens ingevoerd in de nieuwe AI-aansprakelijkheidsrichtlijn. Zo wordt vermoed dat er een causaal verband bestaat tussen de output van het AI-systeem en de schuld van de aanbieder of gebruiker wanneer deze partij niet heeft voldaan aan bepaalde verplichtingen voor hoog risico AI-systemen. Raadpleeg voor verdere informatie de blogs van Roeland de Bruin op Kienhuis Legal betreffende deze twee richtlijnen. 

Disclaimer

Let op dat dit slechts een algemene samenvatting is van de verordening en dat de enige uitzonderingen op de hoofdregels hierin zijn weggelaten. Voor verdere bestudering kunt u de andere informatiestukken over de AI-verordening van Kienhuis Legal raadplegen. Neem voor concrete vragen gerust contact op met: Roeland de Bruin.