De deelname aan een onlangs geopend algoritmeregister is bijvoorbeeld niet verplicht, evenals een controle vooraf op mensenrechtenschendingen.

De praktijk is nu dat mensen naar het College voor de Rechten van de Mens kunnen stappen als ze vermoeden dat er sprake is van discriminatie door een algoritme - een door de computer uitgevoerd stappenplan. „Een AI-systeem aanvechten is voor een individuele burger technisch gezien bijna onmogelijk”, zegt Quirine Eijkman van het College.

Het lid van het mensenrechteninstituut noemt als voorbeeld een student van de Vrije Universiteit in Amsterdam die vermoedde te worden gediscrimineerd door antispieksoftware. Hiervoor moest ze in een camera kijken voordat ze online een tentamen kon doen. Dit computerprogramma herkende haar niet en de student vermoedde dat dit kwam vanwege haar donkere huidskleur. „Die student kan niet in dat systeem en zeggen: dat is de reden dat ik denk dat ik gediscrimineerd word.” Daarom moet het volgens Eijkman veel transparanter zijn welke algoritmes worden gebruikt en moeten ook meer eisen worden gesteld voordat zulke systemen mogen worden gebruikt.

Overheden en bedrijven maken steeds meer gebruik van slimme computersystemen, maar die kunnen ook verkeerde keuzes maken die bijvoorbeeld discriminerend zijn. Dat kwam aan het licht door de toeslagenaffaire. De Belastingdienst maakte gebruik van een algoritme dat moest vertellen bij welke mensen de kans op fraude groter was. Dit systeem bleek mensen met een lager inkomen eerder aan te wijzen als fraudeur en ook discriminerende adviezen te geven. Sindsdien probeert het kabinet de grip te vergroten op zulke vaak technisch ingewikkelde en daardoor ondoorzichtige systemen.

Staatssecretaris Alexandra van Huffelen (Digitalisering) heeft vorig jaar plannen aangekondigd om algoritmes „eerlijk en transparant te maken voor burgers en bedrijven”. Nieuwe Europese wetten moeten hier eveneens voor zorgen. Maandag opende de Autoriteit Persoonsgegevens (AP) ook een nieuwe tak die gaat toezien op algoritmes. Eijkman vindt de richting van de plannen goed, maar stelt ook dat ze nog niet concreet genoeg zijn.