De afgelopen jaren is er sprake van een terugkerende discussie over het gebruik van slimme algoritmen om met name inkomensfraude op te sporen. Verschillende gemeenten maken bijvoorbeeld gebruik van dergelijke algoritmen om bijstandsfraude op te sporen. Het valt daarnaast niet uit te sluiten dat ook uitvoeringsinstanties zoals de Belastingdienst of het UWV dergelijke systemen in de toekomst wederom zullen gaan gebruiken. Opsporingsalgoritme SyRI is verleden jaar namelijk onwettig verklaard door de rechter. Tenslotte maken met name banken en verzekeraars gebruik van dergelijke algoritmen om fraude op te sporen.
Slimme algoritmen schatten op grond van iemands beschikbare persoons- en gedragskenmerken de kans in dat iemand bijstands-, inkomens-, witwas- of verzekeringsfraude pleegt. Wat deze algoritmen feitelijk doen is risicoprofielen samenstellen op grond van deze kenmerken. De slimme algoritmen doen dit op grond van de persoons- en gedragskenmerken van veroordeelde fraudeurs uit het verleden. Slimme algoritmen maken daarvoor gebruik van kunstmatige intelligentie. De risicoprofielen worden tenslotte ingezet om gerichte – door interne opsporingsrechercheurs gecoördineerde – controles naar fraude mogelijk te maken.
Dit lijkt in eerste instantie zinnig, maar herbergt verborgen gevaren en oncontroleerbare risico’s in zich. Het gebruik door private bedrijven (banken en verzekeraars) lijkt maatschappelijk minder onder vuur te liggen dan het gebruik door overheidsinstellingen, maar herbergt in wezen precies dezelfde schending van de grondrechten van burgers in zich.
Binnen dit artikel tracht ik inzichtelijk te maken hoe het kan dat slimme algoritmen actief gaan discrimineren. In het eerste deel van mijn artikel ga ik in op het principe van hoe discriminatie en onderscheiden uit het verleden door slimme algoritmen ongewijzigd worden voortgezet naar de toekomst.
Vervolgens belicht ik in het tweede deel van mijn artikel de grote risico’s van slimme algoritmen die hun eigen positieve feedback verwerken en daardoor zelfs volledig spontaan kunnen gaan discrimineren. Systemen die hun eigen positieve feedback verwerken, kunnen namelijk gemakkelijk ontsporen. Met slimme algoritmen voor opsporingsdoeleinden worden de grondrechten van alle burgers geschonden, ongeacht of ze worden geïmplementeerd door overheidsinstellingen of door private bedrijven.
De recente zorgen omtrent dergelijke algoritmen richten zich hoofdzakelijk op het feit dat dergelijke toegepaste algoritmen een zgn. ‘black box’ vertegenwoordigen. Daardoor kan geen mens van vlees en bloed meer zeggen op welke manier bepaalde risicoprofielen tot stand zijn gekomen. Dit bindt het reële gevaar in zich dat de gerichte controles op fraude vroeg of laat vervallen tot een vorm van ‘onderscheidend profileren’ of discrimineren. Onderscheidend profileren of discrimineren betekent in dit kader het controleren op bepaalde persoonskenmerken die objectief gezien los staan van het risico op het plegen van fraude. Meer over ‘onderscheidend profileren’, discrimineren en het zgn. ‘black box’ fenomeen in de volgende alinea’s.
Een berucht voorbeeld van ‘onderscheidend profileren’ vormt het welbekende ‘etnisch profileren’ door de politie en de marechaussee. Dit gebeurt weliswaar niet op basis van een digitaal algoritme, maar vormt feitelijk een analoge variant van hetzelfde principe. Bij ‘etnisch profileren’ houdt de politie met name allochtone jongeren in dure auto’s aan in de veronderstelling dat er mogelijk sprake is van diefstal, criminele activiteiten of witwaspraktijken. Het door de politie of de marechaussee toegepaste analoge algoritme is het waarnemen van ‘een allochtone jongere’ in combinatie met ‘een dure auto’. Dit leidt in de perceptie van de agenten tot een verhoogd risicoprofiel.
Allochtone jongeren in dure auto’s blijken daardoor onevenredig vaak te worden aangehouden en gecontroleerd. In de meeste gevallen is dit uiteraard volkomen onterecht. Een persoonskenmerk dat objectief gezien los staat van het risico op het plegen van fraude of criminaliteit (in dit geval afkomst) wordt ingezet om een risicoprofiel te bepalen. Dit is behalve laakbaar ook in strijd met onze grondwet. Voor de grondwet is namelijk iedereen gelijk. Het hier toegepaste analoge algoritme is dus discriminerend c.q. onderscheidend. Vandaar het binnen dit artikel gemunte begrip ‘onderscheidend profileren’.
Profileren voor opsporingsdoeleinden zou daarom eigenlijk alleen mogen plaatsvinden op grond van gedragskenmerken. Veel persoonskenmerken staan objectief gezien namelijk los van het risico op het plegen van fraude of criminaliteit. Het punt is echter dat slimme algoritmen voor opsporingsdoeleinden wel degelijk gebruik maken van persoonskenmerken, omdat er anders simpelweg onvoldoende data ter beschikking staan voor het slimme algoritme om te kunnen leren. Slimme algoritmen voor opsporingsdoeleinden betreffen zelflerende systemen die op grond van veroordeelde fraudegevallen uit het verleden een voorspelling doen over mogelijk toekomstige fraudegevallen. Het wordt op grond van deze zelflerende systematiek (kunstmatige intelligentie) helaas als ‘normaal’ beschouwd dat het slimme algoritme tevens persoonskenmerken onderscheidt als grondslag voor zijn profilering.
Het allergrootste probleem van slimme algoritmen betreft dat niemand kan controleren op welke persoonskenmerken ze eventueel profileren. Dit is het gevolg van het eerder aangestipte ‘black box’ fenomeen. Slimme algoritmen leveren output in de vorm van risicoprofielen, maar maken niet inzichtelijk hoe deze tot stand zijn gekomen. Dit heeft zijn oorsprong in het feit dat slimme algoritmen uit ingewikkeld geprogrammeerde formules bestaan die zijn vormgegeven op basis van kunstmatige intelligentie en niet op basis van menselijke logica. Menselijke logica is achteraf te ontrafelen, het resultaat van kunstmatige intelligentie vormt per definitie een ‘black box’. Het is namelijk het geautomatiseerde resultaat van eindeloze iteraties of herhalingen binnen een systematiek van ’trial and error’. Qua herkomst volkomen ondoorgrondelijk. De geprogrammeerde formules zijn dus niet langer herleidbaar naar inzichtelijk onderscheidende kenmerken en afwegingen, maar vormen letterlijk een niet te onderscheiden geheel of een zgn. ‘black box’.
Stel dat van de in het verleden veroordeelde fraudeurs toevallig 40% vrouw en 60% man was. En zeg 55% autochtoon en 45% allochtoon. Kunstmatige intelligentie voor opsporingsdoeleinden zal dan gewichten (risico’s) gaan toekennen aan mannen, vrouwen, autochtonen en allochtonen. In dit fictieve voorbeeld zullen mannen en autochtonen uiteindelijk een hoger risicoprofiel toebedeeld krijgen dan vrouwen en allochtonen. Er wordt in dat geval dus actief geprofileerd op persoonskenmerken.
Je zou nu kunnen tegenwerpen dat omdat fraude in beginsel niet samenhangt met bepaalde persoonskenmerken je tevens zou mogen verwachten dat er sprake is van een evenredige verdeling van geregistreerde persoonskenmerken van veroordeelde fraudeurs. Behalve dat zo’n evenredige verdeling eigenlijk alleen opgaat voor ‘de wet van de enorm grote aantallen’ kan het bovendien zo zijn dat in het verleden door mensen uitgeoefende discriminatie of onderscheid sowieso tot een onevenredige verdeling van geregistreerde persoonskenmerken van veroordeelde fraudeurs heeft geleid. Daarmee bedoel ik te zeggen, dat als de opsporing door mensen zich als gevolg van discriminatie of onderscheid mogelijk heeft geconcentreerd op bepaalde persoonskenmerken (bijv. bepaalde wijken, inkomensgroepen e.d.), dit automatisch ook leidt tot een onevenredige verdeling van geregistreerde persoonskenmerken van veroordeelde fraudeurs.
Ook sociale achterstandsituaties van bepaalde bevolkingsgroepen kunnen een aanleiding vormen voor een onevenredige verdeling van geregistreerde persoonskenmerken van veroordeelde fraudeurs. Vanwege sociale achterstanden kan er namelijk op enig moment daadwerkelijk meer criminaliteit c.q. fraude zijn voorgekomen onder bepaalde bevolkingsgroepen. Dit principe vormt feitelijk ook de achtergrond van het eerder benoemde ‘etnisch profileren’ door de politie. Belangrijk om ons daarbij te realiseren is dat het algoritme in alle gevallen bedoelde en onbedoelde discriminatie of onderscheiden uit het verleden ongewijzigd voortzet naar de toekomst. Op grond van slimme algoritmen valt dus feitelijk nooit meer te breken met het verleden. Dit vormt een aantasting van onze grondrechten.
Voor zover de uitleg over discriminerende of onderscheidende slimme algoritmen op grond van het verleden, zoals deze eerder in de media is verschenen. Echter, daarnaast is er ook nog sprake van een autonoom of een zelfstandig effect, waarop de media nauwelijks zijn ingegaan. Dit is waarschijnlijk het gevolg van het feit dat dit iets ingewikkelder is om uit te leggen. Niettemin acht ik dit wel wezenlijk om toe te lichten, omdat het de boodschap dat slimme algoritmen een potentieel maatschappelijk gevaar inhouden veel krachtiger maakt. Daarnaast vormt een dergelijk autonoom gedrag precies datgene waarin het concrete maatschappelijke gevaar van kunstmatige intelligentie schuilgaat.
Het autonome effect komt er op neer dat slimme algoritmen voor opsporingsdoeleinden niet slechts discrimineren of onderscheiden op grond van hun ‘bevooroordeelde’ input uit het verleden, maar op termijn tevens kunnen gaan discrimineren of onderscheiden als gevolg van de verwerking van hun eigen positieve feedback. Dit laatste kan sec het gevolg zijn van elke aanvankelijk en toevallig aanwezige onevenredige verdeling van geregistreerde persoonskenmerken van veroordeelde fraudeurs. Hetzij van elke aanwezige onevenredige verdeling van een combinatie van geregistreerde persoonskenmerken van veroordeelde fraudeurs. Slimme algoritmen voor opsporingsdoeleinden blijken dus ook eigenstandig te kunnen gaan discrimineren of onderscheiden op (een combinatie van) persoonskenmerken. Dit is het intrinsieke gevolg van hoe het proces van opsporing in combinatie met dat van slimme algoritmen samenwerkt.
Het slimme algoritme zal op grond van toevallig aanwezige onevenredige verdelingen van (een combinatie van) geregistreerde persoonskenmerken van veroordeelde fraudeurs uiteindelijk meer gewicht (risico) toekennen aan het ene persoonskenmerk dan aan een tegenovergesteld of een ander gelijkwaardig persoonskenmerk. D.w.z. man/vrouw, autochtoon/allochtoon, wijk a/wijk b/wijk c, straat a/straat b/straat c, etcetera. Zoals eerder al tussen haakjes aangegeven, kan van het toekennen van verschillende gewichten (risico’s) tevens sprake zijn op grond van een bijzondere combinatie van persoonskenmerken. Op grond van het principe ‘wie zoekt, zal vinden’, leidt dit uiteindelijk vanzelf tot meer bewezen fraudegevallen voor (de combinatie van) persoonskenmerken die zijn toebedeeld met een groter gewicht (risico). Vooralsnog echter lijkt dit onderscheid wederom met name te zijn gebaseerd op het verleden. Niets is echter minder waar!
Want wanneer het slimme algoritme op grond van zijn eigen feedback c.q. de recentelijk veroordeelde fraudeurs vervolgens wordt geüpdatet of herberekend, dan wordt de aanvankelijk en toevallig aanwezige onevenredige verdeling hierdoor mogelijk een klein beetje schever dan dat deze aanvankelijk was. Allemaal op grond van het principe ‘wie zoekt, zal vinden’, zoals hierboven beschreven. Zo kan er op termijn een vicieuze cirkel ontstaan waarbij de kleinste onevenredigheden in (een combinatie van) persoonskenmerken van bewezen fraudeurs enorm uitvergroot worden. Na elke terugkoppeling van de eigen feedback c.q. de recentelijk veroordeelde fraudeurs binnen het algoritme wordt de verdeling mogelijk een klein beetje schever dan dat deze aanvankelijk was. Het algoritme kan daarbij volledig ontsporen en kan op termijn van subtiele ‘nauwelijks zichtbare’ discriminatie verzanden in regelrechte ‘zichtbare’ discriminatie op basis van persoonskenmerken. Een illustratief voorbeeld daarvan schets ik in de volgende alinea.
Ter illustratie een fictief voorbeeld van bovengenoemd proces. Stel je voor dat een paars gekleurde vrouw met groen haar inkomensfraude heeft gepleegd en daarvoor is veroordeeld. Dit betreffen drie persoonskenmerken (paarse huidskleur, vrouw, groen haar) die in combinatie met elkaar vrij zeldzaam zullen zijn. Het kan dan zomaar zo zijn dat hiertegenover geen paarse vrouw met groen haar zal staan die niet voor fraude is veroordeeld. Er is dan dus al sprake van een onevenredige verdeling. Het valt dan niet uit te sluiten dat het algoritme een hoog gewicht (risico) aan deze specifieke combinatie van persoonskenmerken hetzij aan de afzonderlijke persoonskenmerken toekent. De eerstvolgende paarse vrouw met groen haar binnen de gegevensverzameling krijgt dan mogelijk direkt een ‘rood vlaggetje’ achter haar naam. Op deze manier begint het slimme algoritme volkomen spontaan te discrimineren. Dit machinale gedrag zal vervolgens ongewijzigd naar de toekomst worden voortgezet en zal op grond van het principe ‘wie zoekt, zal vinden’ mogelijk nog worden versterkt.
Daarbij wil ik expliciet benadrukken dat dit fenomeen zelfs kan ontstaan bij volstrekt neutrale gegevens. Elke toekomstige afwijking van een evenredige verdeling van (een combinatie van) geregistreerde persoonskenmerken van veroordeelde fraudeurs kan namelijk meerdere vicieuze cirkels binnen het algoritme ontlokken. Of een dergelijke versterking ook daadwerkelijk plaatsvindt, hangt er vanaf hoe het algoritme precies is samengesteld in combinatie met de (onvoorspelbare) eigenschappen van de specifieke lokale verzameling van persoonskenmerken. Maar hoe dan ook, onbedoeld kunnen er ergens in het proces spontane niet-voorziene versterkingen optreden die leiden tot zichzelf versterkende vicieuze cirkels oftewel discriminatie. Dit vormt het wezen van systemen die hun eigen positieve feedback verwerken.
Het bovenstaande fenomeen is gebaseerd op hetzelfde principe als de klassieke evolutionaire runaway-reactie en inherent aan alle systemen die hun eigen positieve feedback verwerken. Klassieke evolutionaire voorbeelden hiervan zijn de pauwenstaart, het baltsgedrag en de kleurenpracht van veel mannetjes in de natuur. Dit zijn runaway-reacties (seksuele selectie als onderdeel van natuurlijke selectie) die uiteindelijk alleen nog kunnen worden ingetoomd als de overlevingskansen van de betrokken mannetjes substantieel gaan leiden onder hun baltsgedrag, kleuren- of verenpracht.
In de kunstmatige omgeving van het slimme algoritme is er echter niet bij voorbaat iets aanwezig dat ingrijpt op deze ontstane runaway-reacties. Hoogstwaarschijnlijk pas als de discriminatie van het slimme algoritme al te veel in de kijker gaat lopen en bij de media bekend wordt, wordt het algoritme in zijn sporen gestopt. Op dat moment is er echter al onherstelbare schade aangericht in het vertrouwen van burgers in de overheid of in het vertrouwen van burgers in bepaalde essentiële diensten (banken, verzekeraars).
Slimme algoritmen voor opsporingdoeleinden zijn op grond van de verwerking van hun eigen positieve feedback daarom per definitie een recept voor ellende. Hetzij ze worden onbedoeld gevoed met discriminerende informatie uit het verleden hetzij ze genereren via het principe van positieve feedback onbedoeld hun eigen discriminerende omgeving en output. En dit verschijnsel voltrekt zich ook nog eens volstrekt onzichtbaar.
Slimme algoritmen voor opsporingsdoeleinden kunnen daarom vroeg of laat actief gaan discrimineren of onderscheiden op persoonskenmerken. Dit is inherent aan de toegepaste kunstmatige intelligentie die wordt ingezet voor opsporingsdoeleinden. Hoewel de maatschappelijke discussie hierover zich met name toespitst op bijstands- en inkomensfraude geldt feitelijk hetzelfde voor witwas- of verzekeringsfraude. Dat discrimineren of onderscheiden op persoonskenmerken ongewenst is binnen een rechtstaat laat zich wel raden!
Mijn oproep aan de landelijke politiek laat zich raden, verbied het gebruik van slimme algoritmen voor opsporingsdoeleinden. Zowel door overheidsinstellingen als door private bedrijven. Ze leiden namelijk inherent tot ‘onderscheidend profileren’ op persoonskenmerken. Dit is behalve laakbaar ook in strijd met onze grondwet. Voor de grondwet is namelijk iedereen gelijk. Slimme algoritmen vormen daarbij een duidelijk voorbeeld van de reële gevaren van kunstmatige intelligentie.
[Fotocredits – Anatoly Stojko © Adobe Stock]
