Ciano Aydin: ‘Het probleem is dat de wereld biased is en onze algoritmes daarom ook’

AI en algoritmes worden steeds meer ingezet in organisaties. Maar de verzamelde data zijn vrijwel altijd gekleurd en leiden dus tot gekleurde algoritmes. Welke (on)mogelijkheden zijn er om daar invloed op uit te oefenen? In dit artikel reflecteert Ciano Aydin, kerndocent van de leergang Leiderschap bij Digitale Transformaties, op de mogelijkheden van AI en algoritmes om bij te dragen aan diversiteit en inclusie.

Algoritmes worden gevoed door data

In discussies over ontwikkelingen van datatechnologie en kunstmatige intelligentie (AI) komt de vraag naar diversiteit en inclusie regelmatig aan de orde. Met behulp van door AI gedreven dataminingtechnologie kunnen steeds accurater patronen in gegevens worden opgespoord en geanalyseerd. Die analyses bieden bruikbare inzichten, dat wil zeggen inzichten die gerichte actie mogelijk maken. Dat kan zijn voor commerciële doeleinden (bijvoorbeeld suggesties om bepaalde producten te kopen) of publieke doeleinden (opsporen van criminelen met behulp van gezichtsherkenningstechnologie). Algoritmen zijn alleen bruikbaar als ze gevoed en getraind worden door grote hoeveelheden data. Data zijn de grondstof van een algoritme. Door meer data te analyseren kan het algoritme betere aanbevelingen doen.

Van gekleurde data naar gekleurde algoritmes

Dit raakt onmiddellijk de kwestie van diversiteit en inclusie. Data komen namelijk niet uit de lucht vallen maar worden verzameld bij mensen. Vaak zijn dat mensen die online actief zijn omdat het makkelijker is om online grote hoeveelheden data te verzamelen. En als die data ‘gekleurd’ zijn, wat eigenlijk altijd zo is, dan worden algoritmen getraind met gekleurde data. En bevooroordeelde data, oftewel biased data, levert biased algoritmen op. Mensen die voldoen aan een aantal criteria (bijvoorbeeld wonen in een bepaalde wijk, hebben van een etnische achtergrond en in aanraking zijn geweest met de politie) worden dan uitgesloten van een bepaald goed (bijvoorbeeld het krijgen van een hypotheek of verzekering) of worden juist beter in de gaten gehouden en gecontroleerd.

De blackbox van Deep Learning is niet meer te controleren

Bij supervised machine learning kan AI nog wat geholpen worden bij het leren. Echter bij unsupervised machine learning zitten mensen er niet of minder tussen (ze zijn dan ‘out of the loop’): niet mensen programmeren wat de juiste uitkomst is en welke gegevens precies relevant zijn, maar dat doet het algoritme zelf door gegevens te clusteren en zo patronen te vinden in een dataset. En bij nieuwe AI-technologie zoals deep learning is het trainingstraject vrijwel geheel een black box. Deep learning algoritmes bestaan uit verschillende lagen; elke laag leert steeds nieuwe en complexere eigenschappen van de gegevens. Dit proces resulteert in een complexiteit die niet meer door mensen te voltrekken is. Dit levert een nieuwe situatie en een nieuw probleem op: ook al constateren we dat de data en het algoritme biased zijn, we weten niet hoe we dat efficiënt en effectief kunnen corrigeren.

Naar ongekleurde data

Het hoofdprobleem lijkt daarom het volgende te zijn: data zijn gekleurd omdat die gewonnen zijn uit een groep die te beperkt is en niet representatief voor het type mens of mensen waarin de data bruikbaar inzicht in moeten verlenen. De oplossing lijkt dan te zijn: maak de groep groter en diverser en dan zullen de data nauwkeuriger worden en de mensen waarop het wordt toegepast beter representeren. Dat kan ook betekenen dat niet-relevante gegevens worden uitgeselecteerd. Deze oplossing lijkt zelfs kansen te bieden om het diversiteits- en inclusie-offensief in een stroomversnelling te brengen. Unbiased data-gedreven algoritmen zouden dan het probleem van racisme en discriminatie in bepaalde contexten kunnen oplossen. Althans, als de problemen van beperkte data en van de black box opgelost zouden kunnen worden.

De (on)mogelijkheid van unbiased algoritmes

Nu zal ik zeker niet ontkennen dat unbiased algoritmen potentie hebben. Algoritmen die blind zijn voor verschillen die er niet toe doen, kunnen inderdaad een positieve bijdrage leveren; ze kunnen discriminatie op de arbeidsmarkt en in de rest van de samenleving doen afnemen. Dankzij AI zouden we dan een diversere en inclusievere samenleving hebben. Non-discriminatie by design! Write me in! We moeten dan ook investeren in technologie die biased data steeds minder unbiased maakt. Men spreekt dan soms van Ethical AI. Probleem blijft echter dat de wereld biased is. Zolang we dat probleem houden, zullen we biased algoritmes hebben. En zullen we ook niet toereikend weten hoe we dat probleem kunnen verhelpen – al is het omdat elke ingreep ook biased kan zijn. Het is niet anders.

Mensen zijn meer dan een unieke dataset

Er is echter ook een ander, fundamenteler probleem dat, voor zover ik weet, geen aandacht krijgt in discussies over biased data-driven technologie. In deze discussies worden namelijk nogal wat aannames gemaakt aangaande de menselijke identiteit. Verondersteld wordt dat als we maar voldoende nauwkeurige data verzamelen, deze de identiteit van mensen wel zullen kunnen representeren. En ja, het maakt nogal wat uit of 3 of 30.000 variabelen worden meegenomen om mensen te karakteriseren. Maar, en nu komt het: ook 30.000 variabelen meenemen zal een singuliere persoon niet kunnen karakteriseren. Eigen aan mensen is namelijk dat ze nooit samenvallen met hun kenmerken. Alle kenmerken die je zou kunnen opsommen van toepassing op mij, zullen ook van toepassing zijn op een andere persoon. En toch is die andere persoon niet mij en ik niet hem.

De noodzaak van complexiteit

Is dit nu filosofische moeilijkdoenerij die weinig relevant is en zaken onnodig compliceert? Dat allerlaatste zeker, maar ik denk dat die complexiteit wel degelijk nodig en relevant is. Ik kan deze kwestie hier alleen maar kort aanstippen. Hoewel ik in de praktijk een voorstander ben van representatiepolitiek, is het als einddoel ontoereikend. Wat is het probleem? Identiteitspolitiek is uiteindelijk een politiek van meervoudige particuliere identiteiten die elk vechten voor hun eigen stukje van de collectieve taart.

Universeel onvermogen

In zijn recente boek ‘Universality and Identity Politics’ biedt Todd MacGowan, hoogleraar filmstudies en specialist in Hegel en psychoanalyse, een boeiend alternatief dat hij afzet tegen wat hij particularisme noemt. Hij verdedigt een universaliteit die mensen verenigt, niet door universele insluiting in de sociale structuur, maar juist door het onvermogen van deze structuur om iedereen in te sluiten; daarom kunnen we solidair zijn met degenen die buitengesloten zijn en worden. Wat ons verenigt is niet een bepaalde eigenschap of een cluster van eigenschappen (rationaliteit, gevoel etc.) maar juist het feit dat we nooit te vangen zijn in een bepaalde identiteit. Wat ons verenigt is de eeuwige mislukking om een identiteit te vinden.

Filosofische reflectie essentieel

Dit klinkt allemaal heel dramatisch en wellicht is identiteit dat ook. Echter, deze opvatting van identiteit werpt tevens een ander licht op unbiased AI. Het maakt duidelijk dat technologische ontwikkeling en interventies alleen, tolerantie, diversiteit en inclusie niet zullen realiseren. Filosofische reflectie op identiteit is nodig om een werkelijke transitie te bewerkstellingen. Uit deze korte reflectie kan al worden opgemaakt dat we nooit volledig samenvallen met de beelden die AI van ons maakt. In het ontwerp en de toepassing van deze technologie moeten dan ook buffers worden ingebouwd die ons continu in staat stellen om ons kritisch te verhouden tot de identiteit die aan ons wordt toegedicht. Een goed boek moet over dit onderwerp nog worden geschreven.