Verboden AI-toepassingen

1. Manipulatieve technieken

Het is onder geen enkele omstandigheid toegestaan om door het gebruik van manipulatieve AI-technieken het gedrag van personen zodanig te verstoren dat hun vermogen om een zelfstandige keuze te maken drastisch wordt belemmerd. Dit is het geval wanneer personen keuzes maken die zij zonder de toepassing van AI niet zouden hebben gemaakt, met als gevolg dat hun gedrag onder invloed van de output van AI schade aan henzelf of aan anderen toebrengt, of een redelijke kans op schade veroorzaakt.

Voorbeelden van dergelijke manipulatieve technieken zijn het gebruik van bepaalde audio- en videostimuli die niet door personen kunnen worden waargenomen, maar toch invloed uitoefenen op hun gedrag. Bijvoorbeeld door een afbeelding minder dan 50 milliseconden weer te geven, wat het gedrag kan beïnvloeden maar meestal niet bewust wordt waargenomen. Maar ook minder ingrijpende technieken, waarbij personen zich bewust zijn van het gebruik hiervan maar desondanks geen vrije keuzes kunnen maken, vallen hieronder.

Niet elke techniek die het gedrag van personen beïnvloedt, kan worden aangemerkt als manipulatief in de zin van de wet. Zo is gespecificeerd dat huidige algemene reclamepraktijken hier niet onder vallen, hoewel men kan betogen dat deze de vrije keuze van mensen tot op zekere hoogte beïnvloeden.

Om onder dit verbod te vallen, moet de mate van manipulatie aanzienlijk hoger zijn. Een voorbeeld hiervan is het gebruik van 'virtual reality' op een zodanige wijze dat een persoon geen onderscheid meer kan maken tussen de werkelijkheid en fictie.

2. Misbruik kwetsbaarheden

Naast algemene manipulatieve technieken kan een AI-systeem ook ontworpen zijn om specifieke personen, die zich in een kwetsbare positie bevinden, uit te buiten. Dat sommige personen kwetsbaarder zijn voor uitbuiting kan bijvoorbeeld voortkomen uit ouderdom, minderjarigheid, een bepaalde handicap, extreme armoede, of het behoren tot een bepaalde minderheid. Een AI-systeem dat misbruik maakt van een van deze karakteristieken om daardoor het gedrag van deze personen te verstoren op een wijze die ertoe leidt, of redelijkerwijs kan leiden, dat zij zichzelf of anderen schade toebrengen, is verboden.

Dit verbod staat echter bepaalde medische toepassingen van AI niet in de weg, die juist ten goede zouden kunnen komen aan personen met bijvoorbeeld een psychische aandoening. Hierbij is het van belang dat het gebruik van AI altijd voldoet aan de toepasselijke medische normen en wetgeving, en dat de uitdrukkelijke toestemming van de patiënt dan wel zijn of haar wettelijke vertegenwoordiger is verkregen.

3. Sociale scores

Een AI-systeem dat personen een score toekent op basis van hun gedrag gedurende een bepaalde periode en hier consequenties aan verbindt, staat op gespannen voet met het EU-beginsel van non-discriminatie. Dit komt doordat dergelijke systemen inherente vooringenomenheden kunnen bevatten ten opzichte van bepaalde groepen personen, wat kan leiden tot onrechtvaardige en nadelige behandeling van individuen of groepen. Om deze reden is een door AI-gestuurd sociaal kredietsysteem, zoals momenteel in bepaalde delen van China wordt toegepast, verboden. Dit verbod geldt ongeacht of een dergelijk AI-systeem door een overheid of een private partij wordt ingezet.

Dit betekent echter niet dat AI niet mag worden gebruikt om personen te beoordelen op basis van hun gedrag en hier consequenties aan te verbinden. Zo is de inzet van AI om de hoogte van uitkeringen te bepalen in beginsel wel toegestaan, hoewel dit ook verstrekkende gevolgen voor betrokken personen kan hebben. Het verbod richt zich op het bestaan van een algemene score die een effect heeft op het handelen van personen in andere gebieden dan waarvoor de data oorspronkelijk verzameld is.

4. Profilering bij strafbare feiten

Wanneer een AI-systeem wordt gebruikt om de kans in te schatten dat een persoon een strafbaar feit zal begaan, kan dit in strijd zijn met het beginsel van onschuldpresumptie. Daarom is het verboden om AI-systemen in te zetten die, enkel op basis van persoonskenmerken (zoals geboorteplaats, aantal kinderen of type auto) en profilering (het geautomatiseerd verzamelen en verwerken van gegevens over een persoon om een beeld van zijn gedrag te verkrijgen en te voorspellen), een analyse maken van de kans dat een persoon een strafbaar feit zal begaan.

Het is echter wel toegestaan om AI in te zetten bij de beoordeling van personen in het kader van een strafrechtelijk onderzoek wanneer er reeds op basis van objectieve en verifieerbare feiten, en door middel van een menselijke beoordeling, een redelijk vermoeden bestaat dat die persoon bij een strafbaar feit betrokken is.

5. Databanken voor gezichtsherkenning

Het op grote schaal en ongericht doorzoeken van het internet en beelden van bewakingscamera’s om gezichtsafbeeldingen te verzamelen, vormt een schending van het recht op privacy van de betrokken personen. Wanneer dit gebeurt met het doel een databank van gezichtsafbeeldingen te creëren of uit te breiden, is het gebruik van een AI-systeem ten behoeve daarvan verboden.

6. Emotieherkenning

Gezien het feit dat personen op verschillende manieren emoties tonen, bestaat de mogelijkheid dat een AI-systeem dat emoties herkent een discriminerende werking heeft wanneer aan haar output consequenties worden gekoppeld. Om deze reden is de toepassing van een AI-emotieherkenningssysteem op de werkplek of in het onderwijs verboden, tenzij het systeem uitsluitend wordt ingezet voor medische of veiligheidsdoeleinden, bijvoorbeeld door een bedrijfsarts. Het herkennen van pijn en vermoeidheid valt echter niet onder emotieherkenning. Zo is een AI-systeem dat vermoeidheid bij een bestuurder van een vrachtwagen detecteert niet verboden.

7. Afleiden van gevoelige informatie

AI-systemen die op basis van biometrische gegevens (zoals lengte, oogkleur of manier van lopen) mensen indelen in groepen, met het doel bijzondere persoonsgegevens betreffende die personen te achterhalen, zijn verboden. Onder bijzondere persoonsgegevens worden verstaan: politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, ras, seksleven of seksuele geaardheid.

Een uitzondering op dit verbod geldt wanneer een dergelijk systeem wordt ingezet op het gebied van rechtshandhaving, voor het filteren of labelen van rechtsgeldig verkregen persoonsgegevens.

8. Real-time identificatie

Real-time biometrische identificatiesystemen op afstand maken gebruik van live camerabeelden van openbare ruimten om personen te herkennen op basis van hun persoonsgegevens. Met voldoende cameratoezicht zou het systeem zo de locatie van een persoon door een stad kunnen volgen. Het gebruik van deze systemen voor rechtshandhaving, bijvoorbeeld voor het volgen van een verdachte, is in beginsel verboden, tenzij aan een strikt aantal voorwaarden is voldaan.

Ten eerste mag het systeem enkel worden ingezet voor een van de volgende doeleinden:

• Het gericht zoeken naar slachtoffers van ontvoering, mensenhandel, seksuele uitbuiting of andere vermiste personen.
• Het voorkomen van een aanstaande dreiging voor het leven of de fysieke veiligheid van een persoon.
• Het voorkomen van een terroristische aanslag.
• Het lokaliseren van een persoon die verdacht wordt van een ernstig strafbaar feit, zoals terrorisme, mensenhandel, seksuele uitbuiting van kinderen en kinderpornografie, drugshandel, wapenhandel, moord, zware mishandeling, handel in menselijke organen, handel in nucleaire stoffen of ontvoering.

Wanneer een van de bovengenoemde situaties zich voordoet, is het gebruik van een real-time identificatiesysteem door de politie pas toegestaan als hiervoor een gerechtelijk bevel is gegeven, behalve in zeer spoedeisende situaties waarin de gerechtelijke toetsing achteraf dient te geschieden.

Disclaimer

Dit document dient slechts ter informatie en er kunnen geen rechten aan worden ontleend. Voor verdere zelfstandige bestudering kunt u de andere informatiestukken over de AI-verordening van Kienhuis Legal raadplegen. Neem voor concrete vragen gerust contact op met: Roeland de Bruin.