‘Zwart? Dan rijdt de zelfrijdende auto je eerder aan’

Discriminerende algoritmes versterken de groeiende ongelijkheid in de samenleving, waarschuwt neuro-informaticus Sennay Ghebreab. Hij ondervond zelf hoe ongelijkheid in machines gebouwd zit: ‘De draaideur opende wel voor mijn witte collega’s, maar niet voor mij.’

Sennay Ghebreab (1973) is neuro-informaticus aan de Universiteit van Amsterdam, hoofd Sociale Wetenschappen aan het Amsterdam University College en visiting fellow Diversiteit en Inclusie aan de Vrije Universiteit van Amsterdam.
Naast zijn nevenactiviteiten voor de Stichtingen Boost en Civic is hij initiatiefnemer van het Civic AI Lab, een onderzoekslab in oprichting gericht op kunstmatige intelligentie. Vanwege de oorlog in Eritrea vluchtte hij in 1979 met zijn familie naar Nederland.Het begon met een draaideur in 2005 op het Amsterdamse Science Parc, de werkplaats van neuro-informaticus Sennay Ghebreab. Die deur draaide open voor zijn collega’s, maar niet voor hem. Zij waren allemaal wit, hij is zwart.

Ghebreab vermoedde dat het algoritme van de draaideur hem, vanwege zijn donkere huidskleur, niet herkende als mens. Het incident prikkelde hem om te onderzoeken of algoritmes door mensen gecreëerde ongelijkheid, zoals racisme, versterken.

‘Er worden steeds meer algoritmes gebruikt voor producten met sensoren’, zegt hij in een werkkamer op de derde verdieping van het Amsterdam University College. ‘Neem de zelfrijdende auto: als zwart persoon heb je méér kans om te worden aangereden door een zelfrijdende auto dan een niet-zwart persoon, omdat het systeem moeite heeft je als mens te herkennen. Of het incident met een zeepdispenser, waarbij de lichtsensor in het apparaat donkere handen niet herkende.’

‘Steeds meer objecten krijgen ogen, een mening, en de mogelijkheid om een beslissing te nemen. En als die objecten aangestuurd worden door algoritmes die mogelijk discriminerend zijn, dan worden mensen ineens blootgesteld aan een arsenaal van objecten die hetzelfde soort gedrag vertonen.’

‘Voorspellende algoritmes worden gebruikt om in te schatten of je een goede werknemer zult zijn.’

In onze informatiesamenleving zijn voorspellende algoritmes alomtegenwoordig, van banken en zorginstellingen tot de keuzesuggesties van Netflix of de navigatieservice TomTom. Een algoritme is geen geheimzinnige wiskundige formule, zegt Ghebreab. ‘Het is in essentie een set van regels of instructies die berekenbaar zijn. In een algoritme kun je, met behulp van codes, iets stap voor stap uitvoeren, om een bepaald doel te bereiken.’

Het concept van een algoritme in de wiskunde is geen recente uitvinding, maar heeft een rijke geschiedenis. ‘De etymologie van het woord algoritme is terug te leiden naar de Perzische wetenschapper en vader van de algebra uit de achtste eeuw, Mohammed ibn Moesa al-Chwarizmi. Algebra is een belangrijk element in het ontwikkelen van modellen in algoritmes.’

Ter illustratie verwijst Ghebreab naar de rechtszaak in Nederland over het opsporingssysteem SyRI, ‘Systeem Risico Indicatie’ (niet te verwarren met spraakherkenningssysteem Siri). Het computersysteem werd afgelopen jaar in de relatief arme Rotterdamse wijken Hillesluis en Bloemhof stiekem gebruikt om mogelijke fraude met bijvoorbeeld uitkeringen en toeslagen te achterhalen.

‘Algoritmes wezen zo wijken aan met een verhoogde kans op fraude. De bewoners werden bij voorbaat gewantrouwd op basis van een rekenmodel. Zo vererger je sociale ongelijkheid.’

De ingevoerde data in SyRI bevatten vooroordelen. En doordat het algoritme alleen een specifiek patroon herkent en geen context ziet, worden bewoners met een zwakke sociaal-economische achtergrond of migratieachtergrond benadeeld.

Vicieuze cirkel

Hoe meer algoritmes worden toegepast in de samenleving en het bedrijfsleven, des te meer invloed voorgeprogrammeerde vooroordelen hebben op ons dagelijks leven. Met als gevolg dat er meer incidenten voorkomen, door die vooringenomenheid van algoritmes.

Voorspellende algoritmes worden ook gebruikt om in te schatten of je een goede werknemer zult zijn of een financiële last voor een verzekeringsmaatschappij, en of je toegang zou moeten krijgen tot voortgezet onderwijs. ‘In Amsterdam ontstaat de verdeling van kinderen die van de basisschool naar de middelbare school gaan op basis van algoritmes.’

De schoolvoorkeuren van leerlingen worden gebruikt in een matching- en lotingsysteem. Leerlingen stellen een voorkeurslijst op, maar het systeem maakt bijvoorbeeld ook gebruik van voorrangsregels: een leerling wordt daarbij eerder geplaatst op zijn of haar voorkeursschool als hij of zij familie is van leerlingen die al op die school zitten, of omdat ze van een basisschool komen met een bepaald onderwijsconcept.

‘Het idee is dat leerlingen gelijk verdeeld worden, maar het kan onbedoeld leiden tot ongelijkheid en zelfs segregatie van scholen.’

‘Als van bepaalde groepen geen data zijn ingevoerd, kan het systeem dat niet herkennen.’

Algoritmes hebben zelf geen intenties, maar de makers die ze ontwikkelen wél. De discriminatie en het racisme die sommigen proberen te bestrijden, kan zo onbewust toch in de algoritmes worden ingebakken.

Dit komt volgens Ghebreab doordat data gebruikt worden die niet representatief zijn voor verschillende bevolkingsgroepen in de samenleving. Als van bepaalde groepen geen data zijn ingevoerd, kan het systeem dat niet herkennen. Wat je niet invoert, kent het niet.

Andersom kan een maker het systeem sturen door (bewust of onbewust) bepaalde data wel of niet in te voeren. ‘De Amsterdamse hoogleraar aan het Amsterdams Medisch Centrum, Bart Biemond, vraagt nu meer aandacht voor de sikkelcelziekte, die voornamelijk bij zwarte mensen voorkomt. Het is een groot probleem, waar relatief gezien weinig onderzoeksfinanciering voor bestaat. Als je medische algoritmes ontwikkelt om een diagnose te stellen, maar bij de bouw van het algoritme data over zwarte mensen niet meeneemt, dan beïnvloed je de uitkomst. Je creëert ongelijkheid in de gezondheidszorg.’

Wie neemt verantwoordelijkheid?

De dilemma’s die opduiken in onze algoritmische wereld ontstaan dus doordat computers het menselijk handelen steeds meer overnemen.

Ghebreab is een voorstander van transparantie en verantwoordelijkheid in artificial intelligence (AI), ofwel kunstmatige intelligentie. ‘In AI heb je input, algoritmes en output. Welke input wordt gekozen? Hoe is de output nu gecreëerd? Waarom wordt een bepaalde beslissing gemaakt? Hoe heeft de boom van beslissingen geleid tot de uitkomst? Het is belangrijk om te kunnen traceren waarom nu deze beslissing voor jou is genomen.’

Het gaat er dus om dat makers en bedrijven AI creëren die voor de burger transparant is. Het moet inzichtelijk worden waarom een op AI gebaseerd besluit is gevormd. Daarnaast moeten overheid en bedrijven verantwoordelijkheid nemen voor de keuzes die op AI gebaseerd zijn.

Burgers moeten volgens Ghebreab ook bewuster omgaan met hun persoonlijke data. ‘De basis van algoritmes is data. Zonder data kun je wel een algoritme maken, maar kan dat nergens op acteren of van leren.’

‘Wij geven dagelijks zelf allemaal data weg en vrij. Dit doen we vrijwillig via sociale media, of onvrijwillig, als we ergens op straat lopen en we door een camera worden opgemerkt. Als je je daar als burger niet bewust van bent en op inspeelt – als je niet opvraagt wat er met je data gebeurt en hoe dat jou beïnvloedt – dan gaan overheid en bedrijven ermee aan de haal. De macht die burgers hebben, is veel groter dan ze zelf denken.’

Algoritmes hebben geen moraal

‘Algoritmes zijn zich niet bewust van de sociaalculturele context’

Ghebreab wil technologische groei combineren met sociale inclusie. Dit kan wanneer activisten en mensen uit gemarginaliseerde groepen digitaal geletterd en gecijferd raken om zichzelf te beschermen tegen mogelijke onderdrukking en racisme door computersystemen. ‘Digitale geletterdheid is voor mij het om kunnen gaan met al bestaande digitale middelen (Excel-training op scholen, training met en inzicht in sociale media, red.). Digitale gecijferdheid zou je de volgende stap kunnen noemen, waarin je leert hoe algoritmes werken en hoe je ze kunt coderen. Het onderscheid is belangrijk want in het publieke domein wordt enkel de digitale geletterdheid gepromoot. Digitale gecijferdheid gaat om algoritmisch denken, doen en ontwikkelen.’

Abstracte concepten zoals eerlijkheid, privacy en ethiek hebben hun wortels in de filosofie. Maar algoritmes zijn zich niet bewust van de sociaalculturele context. Er zijn oplossingen in de AI nodig die rekening houden met dergelijke waarden. Ghebreab: ‘In de afgelopen vijf jaar zijn er verscheidene internationale onderzoeksgroepen bezig met de ontwikkeling van nieuwe meetmethoden die rekening houden met de diversiteit aan en ervaringen van mensen. In deze nieuwe algoritmische wereld zijn velen aan het nadenken over de vraag “wat is eerlijkheid?”’

Ghebreab gesticuleert met zijn handen om zijn punt te benadrukken. ‘Door deze basale vraag zitten we eigenlijk opnieuw aan de tekentafel. En het zijn vooral de grote techbedrijven die aan het hoofd van deze tafel zitten. Omdat zij vooral naar hun eigen verdienmodel kijken, is het belangrijk om deze vraag niet alleen bij bedrijven en de overheid neer te leggen, maar ook bij de burger, bij iedereen. Als de burger daarin niet mee wil veranderen, mee wil denken, mee wil ontwikkelen; dan blijft die een speelbal van grote bedrijven.’

Het systeem voeden

Hoe kunnen we algoritmes dan vóór ons laten werken? ‘Oké, als we weten hoe algoritmes werken, waarop ze acteren, dan moeten we ze voeden met data die de burger verder helpen. Nu zijn het meestal overheidsinstanties die data verzamelen. Dat zijn gestructureerde data, demografische data, onderwijsdata, sensorische data. Dit gebeurt dus top down. Wat ontbreekt is een bottum up push van data, ofwel de community stories. Dit zijn verhalen uit de samenleving die een heel ander perspectief geven op een onderwerp als integratie. Dit is een reden dat ik het Civic AI Lab opzet om vanuit de gemeenschap het systeem te voeden met verhalen die anders het systeem niet binnenkomen. Met deze verhalen kan het systeem andere perspectieven krijgen.’

‘Steeds meer kwetsbare groepen worden benadeeld door algoritmes’

Sociale media worden door activisten ingezet als mechanisme om racisme en bestaande machtsstructuren te doorbreken. Het kan een effectief middel zijn, maar in Ghebreabs visie is de huidige werkwijze niet voldoende.

‘Als het erom gaat een inclusieve samenleving te creëren, zie ik vaak dat bij minderheidsgroepen de perceptie bestaat: eerst het gevecht in het sociale domein voor vrijheid, gelijkheid en rechtvaardigheid; en als dat opgelost is, dan kunnen we andere problemen oppakken. Terwijl er nu parallelle werelden ontstaan zijn: de fysieke wereld en de digitale wereld. Dat is de boodschap die ik mee wil geven: de wereld is heel snel aan het veranderen en steeds meer kwetsbare groepen worden benadeeld door algoritmes. Omdat mensen meestal pas in actie komen als ze zelf worden getroffen, spoort het mensen hopelijk aan bewuster met hun data omgaan.’

De neuro-informaticus wil dat burgers en online activisten data inzetten om de kans op racisme en discriminatie door machines bij de kern aan te pakken. ‘Als je discriminatie in Nederland wilt aanpakken, ga dan tactisch te werk.’

‘Maak de strijd voor gelijkheid niet een emotionele strijd, maar een datagedreven strijd’

Hij noemt als voorbeeld het recente wetenschappelijke onderzoek naar arbeidsmarktdiscriminatie. Uit het onderzoek kwam naar voren dat sollicitanten met een migratieachtergrond 40 procent minder kans hadden op een reactie van een mogelijke werkgever. ‘Door het bijhouden van sollicitaties, afwijzingen en discriminatie door overheidsinstellingen kon men discriminatie in kaart brengen, meten en in statistieken bijhouden. Dat werkt beter dan online activisme op sociale media die niet door data wordt ondersteund. Dus gebruik statistieken om dergelijke onderwerpen bloot te leggen. Of beter nog: ontwikkel algoritmes die dit voor je doen. Wat meetbaar is, moet je op tafel leggen.’

Hij voegt er gedecideerd aan toe: ‘Het gevaar is dat je jezelf verliest in de emotie, en dan ben je de speelbal van anderen. Maak de strijd voor gelijkheid niet een emotionele strijd, maar een datagedreven strijd.’ In de komende periode richt Ghebreab zich op de oprichting van zijn AI onderzoekslab. ‘Iedereen kan participeren op de manier die hij of zij wil of kan. De missie is dan: “Hoe kunnen we algoritmes ontwikkelen om een eerlijkere wereld mogelijk te maken?” Vanuit het oogpunt dat we in deze diverse samenleving de verschillen tussen mensen juist moeten omarmen en daarop moeten bouwen. Anders wordt het straks in de door techbedrijven geleide wereld een grote eenheidsworst. Allemaal mensen die hetzelfde denken en doen.’

Dit artikel verscheen eerder op OneWorld en in het magazine in september 2019.