Blog

Hoog risico AI-systemen en verplichtingen

Roeland de Bruin

Roeland de Bruin Senior advocaat

Het merendeel van de bepalingen uit de AI-verordening is gericht op aanbieders en gebruikersverantwoordelijken van hoog risico AI-systemen. Het is daarom van cruciaal belang om te beoordelen of het beoogde systeem binnen deze risicocategorie valt. Er zijn twee verschillende manieren waarop een AI-systeem onder deze risicocategorie kan vallen.

Ten eerste kan een AI-systeem als hoog risicosysteem worden aangemerkt wanneer het systeem een specifiek gebruik mogelijk maakt dat door de Europese Commissie als hoog risico voor de gezondheid, veiligheid of grondrechten van betrokken personen is geclassificeerd. In bijlage III van de AI-verordening is een lijst opgenomen met daarop negen gebieden waarin het gebruik van AI als hoog risico kan worden beschouwd. De Commissie behoudt zich het recht voor om deze lijst in de toekomst uit te breiden indien er nieuwe soorten van gebruik van AI ontstaan die een vergelijkbaar dreigingsniveau vertonen als de reeds genoemde soorten. Eveneens bestaat de mogelijkheid dat een AI-gebruik van de lijst wordt verwijderd, indien dit niet langer een bedreiging vormt voor de gezondheid, veiligheid of grondrechten van de betrokken personen.

Ten tweede kan een AI-systeem als hoog risico worden aangemerkt wanneer het wordt gebruikt als veiligheidscomponent binnen een specifiek product of een productgroep die op basis van bestaande EU-wetgeving reeds aan bepaalde veiligheidseisen is onderworpen, of zelf zo’n product constitueert. Deze veiligheidseisen zijn ingesteld omdat deze producten (ook zonder AI) bepaalde risico’s met zich meebrengen voor de gezondheid en veiligheid van de gebruikers. Wanneer een AI-systeem als veiligheidscomponent in een dergelijk product wordt gebruikt, is het wenselijk dat dit AI-systeem eveneens voldoet aan AI-specifieke veiligheidsstandaarden.

In dit stuk zullen eerst de door de Europese Commissie als hoog risico aangemerkte systemen en de bijbehorende uitzonderingen worden besproken. Vervolgens zal de toepassing van AI als veiligheidscomponent binnen bepaalde producten worden behandeld. Als laatste volgt een uiteenzetting van de verplichtingen voor aanbieders van de hoog risicosystemen.

1. Hoog risico soorten gebruik

De negen gebieden waarin het gebruik van AI een hoog risico kan vormen voor de gezondheid, veiligheid en grondrechten van betrokken personen, zijn duidelijk opgesomd in Bijlage III van de verordening. Het is echter van belang te benadrukken dat niet alle toepassingen van AI binnen deze gebieden automatisch als hoog risico worden aangemerkt. In sommige gevallen is er slechts sprake van ‘normaal’ AI-gebruik zonder substantiële verplichtingen van de verordening, terwijl in andere gevallen het gebruik van AI zelfs verboden kan zijn. Om deze reden zal, indien van toepassing, per gebied ook het verboden gebruik worden vermeld, gevolgd door een toelichting op het hoog risicogebruik, aangevuld met enkele voorbeelden. Voor een meer gedetailleerde uiteenzetting van verboden AI-toepassingen kunt u het document ‘Verboden AI-toepassing’ van Kienhuis Legal raadplegen. Ten slotte wordt nog een algemene uitzonderingsgrond besproken, waardoor een bepaalde vorm van gebruik binnen de genoemde gebieden toch niet als hoog risico wordt beschouwd.

De gebieden waarin de toepassing van AI een hoog risico kan vormen, zijn:

1.1 Biometrische data

Biometrische data zijn alle soorten data die af te leiden zijn van de fysieke kenmerken van een persoon, zoals gezichtsafbeeldingen of vingerafdrukken, maar ook de manier van lopen en typen.

1.1.1 Biometrische identificatie

Biometrische gegevens kunnen door middel van AI worden gebruikt om personen te herkennen op foto's of video's, een proces dat bekendstaat als biometrische identificatie. Wanneer real-time biometrische identificatie wordt toegepast in openbare ruimtes, bijvoorbeeld via livebeelden van een camera op een marktplein, met als doel strafbare feiten op te sporen of te voorkomen, is zulk gebruik van AI in beginsel verboden.

Bijna alle overige vormen van biometrische identificatie worden beschouwd als hoog risicotoepassingen van AI. Een uitzondering hierop vormen AI-systemen die biometrische gegevens gebruiken om de identiteit van een persoon te verifiëren met het oog op het verlenen van toegang tot een apparaat of locatie. Denk hierbij aan FaceID voor het ontgrendelen van een mobiele telefoon of een irisscan voor het openen van een deur.

1.1.2 Biometrische categorisatie

Wanneer biometrische gegevens worden gebruikt om personen in verschillende categorieën in te delen, spreken we van biometrische categorisatie. Indien dit gebeurt met de intentie om gevoelige informatie, zoals ras of seksuele geaardheid, af te leiden, is het gebruik van AI verboden.

Het gebruik van AI voor overige vormen van biometrische categorisatie valt onder de hoog risicocategorie. Wanneer echter individuen worden gecategoriseerd op basis van biometrische gegevens om een uitsluitend andere dienst te ondersteunen, wordt het systeem niet als hoog risico geclassificeerd. Zo valt bijvoorbeeld de categorisatie van personen op basis van lichaamsomvang, met als doel het selecteren van de juiste kledingmaat in een online paskamer, niet onder een hoog risicotoepassing, mits het AI-systeem uitsluitend voor die dienst kan worden gebruikt.

1.1.3 Emotieherkenning

Daarnaast wordt een AI-systeem dat emoties van personen herkent door middel van biometrische gegevens beschouwd als hoog risico. Het gebruik van een dergelijk systeem op de werkvloer of in het onderwijs is bovendien in beginsel verboden. Het herkennen van pijn en vermoeidheid valt echter niet onder emotieherkenning. Zo wordt een AI-systeem dat vermoeidheid bij een bestuurder van een auto detecteert, niet als een hoog risicosysteem aangemerkt.

1.2 Kritieke infrastructuur

AI-systemen die gebruikt worden als veiligheidscomponent in kritieke infrastructuur worden aangemerkt als hoog risico. Dit betreft zowel kritieke digitale infrastructuur, zoals DNS-servers of datacentra, als traditionele infrastructuur zoals wegen, water- en gasleidingen. Het dient hierbij specifiek te gaan om veiligheidscomponenten van de infrastructuur, niet om de infrastructuur zelf. Componenten die uitsluitend gericht zijn op de cyberbeveiliging van digitale infrastructuur vallen ook niet onder deze categorie. Voorbeelden van AI-systemen die wel onder deze categorie vallen, zijn systemen die de waterdruk in waterleidingen meten of systemen die zorgen voor brandveiligheid in datacentra.

1.3 Onderwijs

Wanneer AI-systemen worden ingezet in het onderwijs en bij beroepsopleidingen voor het bepalen van de toelating van studenten tot bepaalde onderwijsinstellingen of niveaus binnen de onderwijsinstellingen, voor het evalueren van de leerresultaten van studenten en voor het monitoren van het gedrag van studenten tijdens het afleggen van toetsen, dienen deze systemen als hoog risico te worden aangemerkt.

1.4 Arbeidsbetrekkingen

AI-systemen die worden ingezet bij de beoordeling van sollicitaties en kandidaten voor een beschikbare functie moeten als hoog risico worden aangemerkt. Dit geldt ook voor systemen die worden gebruikt om potentiële kandidaten te vinden, bijvoorbeeld via sociale media zoals LinkedIn. Daarnaast wordt een AI-systeem dat de prestaties van huidige werknemers beoordeelt met het oog op promotie, ontslag of het toewijzen van taken binnen een onderneming eveneens als hoog risico beschouwd.

1.5 Essentiële publieke en private diensten

1.5.1 Publieke diensten

AI-systemen die worden ingezet om te bepalen of personen recht hebben op essentiële overheidsuitkeringen en -diensten, of om de hoogte van deze uitkeringen vast te stellen, worden als hoog risico aangemerkt. Voorbeelden hiervan zijn bijstandsuitkeringen of toeslagen. Een andere zeer belangrijke publieke dienst is het beheer van de noodoproepen. Daarom is een AI-systeem dat de volgorde van 112-oproepen bepaalt aan te merken als hoog risico.

1.5.2 Private diensten

Daarnaast zijn AI-systemen die de hoogte van belangrijke private diensten zoals zorg- en levensverzekeringen berekenen hoog risicosystemen. Ook systemen die de kredietwaardigheid van een persoon bepalen met het oog op het verstrekken van een lening of hypotheek, worden als hoog risico beschouwd. AI-systemen die fraude proberen op te sporen bij het aanbieden van financiële diensten of die de financiële stabiliteit van kredietinstellingen en verzekeringsondernemingen proberen te waarborgen door de kapitaalvereisten te berekenen, vormen hierop echter een uitzondering en worden dus niet als hoog risicosystemen aangemerkt.

1.6 Rechtshandhaving

Bij de opsporing en vervolging van strafbare feiten kunnen AI-systemen worden ingezet om in te schatten hoe groot de kans is dat een persoon (opnieuw) een strafbaar feit begaat, of hoe groot de kans is dat een persoon slachtoffer wordt van een strafbaar feit. Beide toepassingen worden als hoog risico aangemerkt. Wanneer de kans dat een persoon een strafbaar feit pleegt uitsluitend wordt berekend op basis van profilering (het geautomatiseerd verzamelen en verwerken van gegevens over een persoon om een beeld van zijn gedrag te verkrijgen en te voorspellen), is het gebruik van AI verboden. Systemen die gebruikmaken van profilering zijn echter wel toegestaan in het kader van verdere opsporing of onderzoek; in dat geval worden deze systemen eveneens als hoog risico beschouwd. Daarnaast worden AI-systemen die de geloofwaardigheid en kwaliteit van bewijs binnen de rechtshandhaving controleren, waaronder bijvoorbeeld leugendetectors, eveneens aangemerkt als hoog risico AI-systemen.

1.7 Migratie en asiel

AI-systemen die worden ingezet bij de verlening van asiel, visa of verblijfsvergunningen zijn hoog risico AI-systemen. Dit geldt eveneens wanneer het AI-systeem slechts ondersteunend wordt ingezet voor deze doeleinden, bijvoorbeeld voor het onderzoeken van de betrouwbaarheid van bewijsstukken of voor het beoordelen van veiligheidsrisico's met betrekking tot een individu. Ook wordt een systeem dat wordt gebruikt voor het vaststellen van de identiteit van migranten die een aanvraag indienen als hoog risico aangemerkt, met uitzondering van situaties waarin het systeem uitsluitend wordt gebruikt voor de verificatie van de echtheid van gepresenteerde reisdocumenten.

1.8 Gerechtelijke instanties

Wanneer een AI-systeem wordt ingezet binnen een gerechtelijke instantie voor het onderzoeken en uitleggen van feiten of wetgeving, is dit een hoog risicosysteem. Indien het systeem echter niet wordt ingezet voor daadwerkelijke besluitvorming, maar uitsluitend als hulpmiddel voor administratieve taken, zoals het anonimiseren van rechterlijke uitspraken, is er geen sprake van hoog risico. Dezelfde regels met betrekking tot het gebruik van AI zijn van toepassing op alternatieve geschilbeslechting waarbij de uitspraak rechtsgevolgen heeft voor de betrokken partijen.

1.9 Democratische processen

Alle AI-systemen die worden ingezet om het stemgedrag van personen te beïnvloeden bij verkiezingen of referenda zijn hoog risico AI-systemen, tenzij de output van het systeem niet direct is gericht op individuele stemgerechtigden. Voorbeelden van systemen die onder deze uitzondering vallen, zijn AI-systemen die een politieke campagne optimaliseren vanuit administratief of logistiek perspectief.

1.10 Uitzonderingen

Als een AI-systeem onder een van de negen hierboven genoemde soorten gebruik valt, is er alsnog een mogelijkheid dat het niet als hoog risicosysteem wordt aangemerkt. Dit is het geval wanneer het systeem geen bedreiging vormt voor de gezondheid, veiligheid of grondrechten van personen doordat het gebruik ervan de uitkomst van een besluitvormingsprocedure niet wezenlijk beïnvloedt. Echter, indien het AI-systeem gebruikmaakt van profilering, kan er nooit een beroep worden gedaan op deze uitzondering en zal het systeem altijd als hoog risico worden beschouwd.

Wanneer een aanbieder van een AI-systeem van mening is dat zijn systeem onder deze uitzondering valt, moet hij dit onderbouwen in een document voordat het systeem op de markt wordt aangeboden, en daarna het AI-systeem inschrijven in de daarvoor bestemde EU-database. De relevante markttoezichtautoriteit heeft vervolgens de mogelijkheid om het AI-systeem alsnog als een hoog risicosysteem aan te merken indien zij van mening is dat het systeem niet onder de genoemde uitzondering valt.

Aangezien de term 'het niet wezenlijk beïnvloeden van de besluitvormingsprocedure' vaag en open is, biedt de verordening handvatten aan aanbieders om dit begrip nader te definiëren. Er worden vier situaties geschetst waarin in ieder geval wordt aangenomen dat het gebruik van AI de besluitvormingsprocedure niet wezenlijk beïnvloedt. Deze opsomming is echter niet uitputtend, en aanbieders zijn vrij om andere argumenten aan te dragen dan deze vier.

De vier situaties waarin AI de besluitvormingsprocedure niet wezenlijk beïnvloedt, zijn:

  • Wanneer het AI-systeem is bedoeld om een beperkte procedurele taak uit te voeren, zoals het alfabetisch organiseren van documenten.
  • Wanneer het AI-systeem is bedoeld om het eindresultaat van menselijk werk op kleine punten te verbeteren zonder het inhoudelijk te beïnvloeden, bijvoorbeeld een systeem voor spellingscontrole.
  • Wanneer het AI-systeem is bedoeld om beslissingspatronen van personen te herkennen en mogelijke afwijkingen te identificeren en markeren, zonder deze zelf te verbeteren.
  • Wanneer het AI-systeem is bedoeld om een voorbereidende taak uit te voeren, zoals het vertalen van brondocumenten, zodat verdere menselijke verwerking mogelijk is.

2. Hoog risico veiligheidscomponenten

Naast dat het beoogde gebruik van een AI-systeem een hoog risico kan vormen voor individuen, kan een AI-systeem ook worden geclassificeerd als een hoog-risico systeem als het een essentiële veiligheidsfunctie vervult binnen een ander product.

2.1 Hoofdregel

Zoals in de introductie reeds is vermeld, vervullen veel AI-systemen een veiligheidsfunctie binnen bepaalde risicovolle producten of productgroepen. Om vast te stellen welke producten in de zin van de AI-verordening als risicovol worden beschouwd, moet men kijken naar Bijlage I van die verordening. Wanneer een AI-systeem functioneert als veiligheidscomponent van een product dat valt onder de werking van een van de hierin opgesomde richtlijnen of verordeningen, is de eerste stap naar de classificatie als hoog risico AI-systeem gezet.

De tweede stap die moet worden genomen, is dat een dergelijk veiligheidscomponent, volgens de relevante wetgeving, onderworpen moet worden aan een conformiteitsbeoordeling door een derde partij. Indien dit het geval is en het veiligheidscomponent een AI-systeem betreft, wordt het betreffende systeem aangemerkt als hoog risico. Het is echter niet zo dat alle veiligheidscomponenten een conformiteitsbeoordeling moeten ondergaan. Of dit vereist is, moet worden afgeleid uit de relevante productveiligheidsrichtlijnen en -verordeningen zelf. Een voorbeeld van een artikel uit een richtlijn (in dit geval betreffende liften) die een dergelijke conformiteitsbeoordeling vereist, luidt als volgt:

“Wanneer de markttoezichtautoriteiten van een lidstaat voldoende redenen hebben om aan te nemen dat een onder deze richtlijn vallende lift of veiligheidscomponent voor liften een risico voor de gezondheid of veiligheid van personen of, in voorkomend geval, voor de veiligheid van goederen vormt, voeren zij een beoordeling van de lift of de veiligheidscomponent voor liften uit in het licht van alle relevante eisen die bij deze richtlijn zijn vastgesteld. De desbetreffende marktdeelnemers werken hiertoe op elke vereiste wijze met de markttoezichtautoriteiten samen.”

Samenvattend moet er aan twee cumulatieve voorwaarden zijn voldaan voordat een AI-systeem dat fungeert als veiligheidscomponent kan worden aangemerkt als een hoog risicosysteem:

  • Het AI-systeem is een veiligheidscomponent in een product dat onder de werking van een van de opgesomde soorten wetgeving valt.
  • Volgens de relevante wetgeving moet er een conformiteitsbeoordeling door een derde partij plaatsvinden.

2.2 Integratie van wetgeving

De producten die onder de productveiligheidsrichtlijnen en -verordeningen vallen, moeten op basis van die wetgeving al aan diverse verplichtingen voldoen voordat zij op de markt mogen worden gebracht. Aangezien het toevoegen van AI aan een dergelijk product vaak zal meebrengen dat separaat óók nog eens aan alle vereisten van de AI-verordening moet worden voldaan, heeft de EU-wetgever geprobeerd de last voor producenten wat te verlichten. Zo mogen veel procedures en vereiste documenten uit de AI-verordening geïntegreerd worden in de reeds bestaande procedures die op grond van de relevante veiligheidswetgeving vereist zijn.

Voor een ander deel van de producten gaat het integratieproces nog een stap verder. Hoewel een AI-systeem binnen deze producten door de verordening zijn aangemerkt als hoog risico, vallen zij dan niet onder de werking van de AI-verordening zelf. In plaats daarvan worden alle relevante verplichtingen rechtstreeks in de betreffende wetgeving omgezet om zo volledige integratie te bereiken. In veel gevallen blijven de verplichtingen die aan het AI-systeem worden opgelegd hetzelfde, maar waar nodig kunnen deze worden aangepast aan de specifieke eisen van de relevante sector.

2.3 Regulering door de AI-verordening

De volgende producten vallen onder de werking van de AI-verordening wanneer zij een AI-systeem bevatten:

  • Machines[1]
  • Speelgoed[2]
  • Pleziervaartuigen en waterscooters[3]
  • Liften[4]
  • Apparaten bedoelt voor gebruik op plaatsen met ontploffingsgevaar[5]
  • Radioapparatuur[6]
  • Drukapparatuur[7]
  • Kabelbaaninstallaties[8]
  • Persoonlijke beschermingsmiddelen[9]
  • Gasverbrandingstoestellen[10]
  • Medische hulpmiddelen[11]
  • Medische hulpmiddelen voor in-vitrodiagnostiek[12]

In de voetnoten staat de relevante EU-wetgeving vermeld, met daarachter het artikel waaruit voortvloeit of het product een conformiteitsbeoordeling door een derde instantie moet ondergaan.


2.4 Regulering door sectorspecifieke wetgeving

De sectorspecifieke richtlijnen en verordeningen betreffende de volgende producten en sectoren zullen worden aangepast, zodat de producten (inclusief de ingebouwde AI-systemen) die zij reguleren, voldoen aan de eisen voor hoog risico AI-systemen:

  • Burgerluchtvaart[13]
  • Op afstand bestuurbare luchtvaartuigen[14]
  • Twee- of driewielige voertuigen en vierwielers[15]
  • Landbouw- en bosbouwvoertuigen[16]
  • Uitrusting van zeeschepen[17]
  • Interoperabiliteitsonderdelen van spoorwegsystemen[18]
  • Motorvoertuigen en aanhangers daarvan[19]
  • Veiligheidssystemen voor inzittende van motorvoertuigen en aanhangers daarvan[20]

In de voetnoten staat de relevante EU-wetgeving vermeld.



[1] Richtlijn 2006/42/EG. (art. 12)

[2] Richtlijn 2009/48/EG. (art. 42)

[3] Richtlijn 2013/53/EU. (art. 44)

[4] Richtlijn 2014/33/EU. (art. 38)

[5] Richtlijn 2014/34/EU. (art. 35)

[6] Richtlijn 2014/53/EU. (art. 40)

[7] Richtlijn 2014/68/EU. (art. 40)

[8] Verordening (EU) 2016/424. (art. 40)

[9] Verordening (EU) 2016/425. (art. 38)

[10] Verordening (EU) 2016/426. (art. 37)

[11] Verordening (EU) 2017/745. (art. 52)

[12] Verordening (EU) 2017/746. (art. 48)

[13] Verordening (EG) nr. 300/2008.

[14] Verordening (EU) 2018/1139.

[15] Verordening (EU) nr. 168/2013.

[16] Verordening (EU) nr. 167/2013.

[17] Richtlijn 2014/90/EU.

[18] Richtlijn (EU) 2016/797.

[19] Verordening (EU) 2018/858.

[20] Verordening (EU) 2019/2144.

3. Maatregelen voor hoog risico

Wanneer een AI-systeem als hoog risico wordt aangemerkt, moet de aanbieder van het systeem voldoen aan een uitgebreid aantal vereisten. Hieronder volgt een algemene uiteenzetting van deze maatregelen.

3.1 Systeem voor risicobeheer

Elk AI-systeem dat als hoog risico wordt aangemerkt, moet voorzien zijn van een risicobeheersysteem. Dit gestructureerde systeem heeft tot doel om de redelijkerwijs te voorziene risico’s voor de gezondheid, veiligheid en rechten van natuurlijke personen in kaart te brengen. Vervolgens moeten er maatregelen voorgesteld worden om deze risico’s te minimaliseren tot een aanvaardbaar niveau. Bij het vaststellen van de mogelijke risico’s dient rekening te worden gehouden met de te verwachten kennis en ervaring van de gebruiker. Het risicobeheersysteem moet continu worden doorlopen tijdens het gebruik van het AI-systeem, maar in ieder geval voor het eerst vóór het in de handel brengen van het systeem.

Het is aan de aanbieder om aan deze verplichtingen te voldoen. Indien het echter een gebruiker betreft die een publiekrechtelijk orgaan is of een particulier die openbare diensten levert (zoals een onderwijs- of gezondheidszorginstelling), dient deze daarnaast zelf ook een systeem voor risicobeheer op te stellen ten aanzien van de mogelijke gevolgen voor de grondrechten van betrokken personen.

3.2 Databeheer

Wanneer een AI-systeem wordt ontwikkeld op basis van datasets voor training, moeten deze datasets zoveel mogelijk foutvrij en volledig zijn. Daarnaast worden er diverse eisen gesteld aan de inhoud van deze datasets. De aanbieder moet onder andere een beoordeling geven van de geschiktheid van de datasets en maatregelen treffen om vooringenomenheid binnen de data te voorkomen. Dit is om ervoor te zorgen dat AI-systemen naar behoren en veilig werken en geen bron van discriminatie worden. Om te voorkomen dat AI-systemen bepaalde vooringenomenheid bezitten die discriminatie zou kunnen veroorzaken, mogen aanbieders zelfs bijzondere categorieën persoonsgegevens verwerken, mits passende waarborgen zijn genomen ter beveiliging.

3.3 Documentatie en log-bestanden

Een hoog risico AI-systeem mag enkel op de markt worden gebracht wanneer de technische documentatie van dat systeem reeds is opgesteld. Deze technische documentatie dient zodanig te zijn opgesteld dat de autoriteiten kunnen beoordelen of aan de verplichtingen uit de AI-verordening wordt voldaan. Voorbeelden van wat er in deze documentatie moet staan zijn: de manier waarop het systeem is ontwikkeld, beschrijving van gebruikte datasets en gehanteerde veiligheidsmaatregelen. Ook moet het AI-systeem de mogelijkheid hebben om tijdens de gehele levenscyclus informatie over bepaalde gebeurtenissen automatisch te registreren; dit wordt het bijhouden van log-bestanden genoemd.

Voor zowel de technische documentatie als de log-bestanden geldt dat de aanbieders verplicht zijn deze voor een bepaalde periode te bewaren, afhankelijk van de situatie.

3.4 Transparantie en menselijk toezicht

Omdat het AI-systeem output genereert die door mensen moet worden gebruikt, is het van belang dat deze output goed door mensen te interpreteren valt. Daarom vereist de verordening dat de aanbieder het systeem zodanig inricht dat het zo gebruiksvriendelijk mogelijk is en daarnaast begrijpelijke gebruiksinstructies verstrekt. Voor gebruikers moet duidelijk zijn wat de relevante capaciteiten van het systeem zijn, en wanneer het systeem een duidelijke fout maakt, moet dit eveneens evident zijn voor de gebruiker. De aanbieder dient hierbij rekening te houden met het te verwachten deskundigheidsniveau van de gemiddelde gebruiker van het AI-systeem.

3.5 Systeem voor kwaliteitsbeheer

Elke aanbieder van hoog risico AI moet verplicht een systeem voor kwaliteitsbeheer hanteren. Dit systeem dient niet te worden verward met het systeem voor risicobeheer. Terwijl risicobeheer gericht is op het minimaliseren van specifieke systeem gerelateerde risico's, heeft het systeem voor kwaliteitsbeheer tot doel bepaalde standaarden binnen de gehele organisatie te handhaven. In dit systeem moet worden vastgelegd hoe een aanbieder voornemens is te voldoen aan bepaalde verplichtingen. Voorbeelden hiervan zijn een beschrijving van de geplande testprocedures of een raamwerk van verantwoording tussen de partijen die verantwoordelijk zijn voor de ontwikkeling van het AI-systeem.

Het systeem moet systematisch en ordelijk worden gedocumenteerd, maar is verder vormvrij. Daarnaast is de omvang van het systeem afhankelijk van de grootte van de aanbieder als organisatie.

3.6 Conformiteit & registratie

Voordat een hoog risico AI-systeem op de markt kan worden gebracht, dient de aanbieder te bewijzen dat het systeem voldoet aan alle eisen die voortvloeien uit de verordening. Dit gebeurt door het opstellen van een EU-conformiteitsverklaring waarin wordt beschreven op welke wijze is voldaan aan de relevante bepalingen van de verordening. De aanbieder kan deze conformiteitsverklaring zelf opstellen indien het systeem is ontworpen volgens de door de Europese Commissie verstrekte standaardprocedures. Indien dit niet het geval is, dient de conformiteitsbeoordeling te worden uitgevoerd door een daartoe aangemelde onafhankelijke instantie.

Ten slotte dient de aanbieder van een hoog risico AI-systeem zowel zichzelf als het systeem te registreren in de daarvoor bestemde EU-databank. Deze verplichting geldt ook voor gebruikers die, vanwege hun hoedanigheid als publiekrechtelijk orgaan of als particuliere aanbieder van openbare diensten, een risicobeheersysteem moeten vaststellen.

3.7 Plichten na het in de handel brengen

Nadat de aanbieder het AI-systeem in de handel heeft gebracht is hij nog niet van zijn verplichtingen ontslagen. Hij is verplicht om op verzoek van de relevante autoriteiten de conformiteit met de verordening aan te tonen. Daarnaast dienen aanbieders ook het AI-systeem dat reeds op de markt is te monitoren en de prestaties gedurende de gehele technische levensduur van het systeem bij te houden om na te gaan of het AI-systeem blijft voldoen aan alle voorgelegde eisen.

Tot slot heeft de aanbieder de plicht om alle ernstige incidenten omtrent reeds in de handel gebrachte AI-systemen te melden bij de relevante markttoezichtautoriteiten. Onder ernstige incidenten vallen incidenten of storingen die leiden tot letselschade, inbreuk op grondrechten of schade aan eigendom.

Disclaimer
Dit document dient slechts ter informatie en er kunnen geen rechten aan worden ontleend. Voor verdere zelfstandige bestudering kunt u de andere informatiestukken over de AI-verordening van Kienhuis Legal raadplegen. Neem voor concrete vragen gerust contact op met: Roeland de Bruin.

Heeft u vragen?
Neem contact met ons op