De statistiek van racistische anti-spiek software

Student Robin Pocornie is in 2022 met behulp van het Racism and Technology Center een zaak gestart bij het College voor de Rechten van de Mens over de anti-spieksoftware Proctorio die door de Vrije Universiteit (VU) wordt ingezet. Deze software gebruikt een gezichtsdetectie algoritme dat, zoals bijna alle gezichtsdetectie, slechter werkt voor mensen van kleur. Het College heeft eerder al aannemelijk bevonden dat de software discrimineert en verlegde daarom de bewijslast naar de VU: de universiteit moest aantonen dat de software niet discrimineert.

Een van de eigen VU-professoren, prof. dr. S. Bhulai, schreef een vijf pagina lange statistische analyse die door de VU in de zaak werd ingebracht als deskundigheidsrapport. Aangezien dit een heel technisch document betreft, vroeg het Racism and Technology Center ons mee te lezen. Er was echter zoveel op aan te merken, dat we een veertien pagina lange inbreng voor de zaak schreven. Jammer genoeg mogen we de stukken niet delen, maar we plaatsen hieronder binnenkort een uiteenzetting van ons werk.

Update: Op 17 oktober 2023 deed het college uitspraak in de zaak in het nadeel van Robin. De volledige uitspraak is te vinden op de site van het college. Het Racism and Technology Center reageerde op hun eigen site op de uitspraak.