“Computer says no” – Maar wie moet er dan ja zeggen?

Solliciteren bij een rekenwonder 

In 2014 dacht webwinkelgigant Amazon de ultieme oplossing te hebben gevonden voor de overvolle mailboxen van hun HR-afdeling. Ze implementeerden een AI-systeem dat uit al deze cv’s automatisch de vijf beste koos. Vooroordelen of het humeur van de dag van recruiters zouden zo geen rol meer kunnen spelen bij de selectie van nieuwe werknemers.  

Drie jaar later belandde het project stilletjes in de prullenbak. Wat bleek? De ingenieurs die het systeem hadden gebouwd, hadden dit gevoed met alle cv’s van medewerkers die in de afgelopen tien jaar waren aangenomen. Omdat de techsector in die tijd hoofdzakelijk door mannen werd gedomineerd, trok het systeem een voor de hand liggende, maar pijnlijke conclusie: mannelijke kandidaten zijn kennelijk geschikter voor programmeerwerk dan vrouwelijke. Zonder dat iemand deze opdracht specifiek had gegeven, begon het systeem sollicitanten af te straffen zodra het woord ‘women’s’ op het cv opdook, bijvoorbeeld als iemand aanvoerder was geweest van een dames-schaakteam.  

Dit is slechts één van de talloze voorbeelden waaruit de afgelopen jaren is gebleken dat technologische ‘optimalisaties’ niet altijd zo waterdicht en objectief zijn als ze vaak worden voorgesteld. Sterker nog, AI werkt vaak als een versterkende factor van alle opvattingen die er zijn – dus ook racistische, seksistische en homofobe. In dit specifieke geval had geen enkele programmeur in de code gezet dat vrouwen moesten worden buitengesloten. Toch rolde er een discriminerende uitkomst uit de printer.  

Wie moet in dit geval aangewezen worden als schuldige? De programmeur die historische data gebruikte, de directeur die tekende voor de aanschaf van het systeem? Of kunnen we de software zelf verantwoordelijk houden? 

Denken zonder te voelen 

Moderne software wekt zelden de indruk te twijfelen. Vrijwel elke vraag aan een hedendaags taalmodel wordt beantwoord met een monter ‘Goed idee! Hier kan ik je zeker mee helpen’. Waar menselijke collega’s aarzelen of houden een slag om de arm, presenteert een algoritme zijn berekeningen altijd met een absolute stelligheid en zonder enige emotie. Hierdoor zijn wij als mensen geneigd om te denken dat de uitkomst objectief en verstandig moet zijn. 

De Amerikaanse filosoof Ned Block liet ver vóór de opkomst van geavanceerde AI al zien waarom deze aanname rammelt. Hij onderscheidde twee vormen van bewustzijn. Met het zogeheten fenomenale bewustzijn verwerken we onze zintuiglijke ervaringen en emoties. Het zorgt voor empathie en een geweten. Je voelt wanneer je koffie te heet is, maar ook dat je maag samentrekt van schuldgevoel na een nare opmerking tegen een collega.  Daarnaast onderscheidt hij het toegangsbewustzijn. Hiermee verwerken we informatie en maken we logische redeneringen.  

Computers scoren uitzonderlijk hoog op de tweede variant. Een algoritme kan miljoenen gegevens tegelijk analyseren gebaseerd op ingebouwde regels en een conclusie trekken, in een fractie van de tijd die dit menselijke werknemers zou kosten. Machines hebben echter een totaal gebrek aan het eerste, fenomenale type bewustzijn. Een algoritme ervaart geen ongemak als een sollicitant oneerlijk wordt behandeld. Het voelt geen empathie voor mensen die gediscrimineerd worden door zijn berekeningen en het heeft geen geweten dat opspeelt na een verkeerde afslag. Wijst iemand het systeem op een blunder, dan begint het even monter weer opnieuw. ‘Oeps, je hebt gelijk, laten we het anders proberen.’ De computer rekent, maar begrijpt de menselijke betekenis van zijn uitkomsten niet. Wie deze twee soorten bewustzijn met elkaar verwart, ziet een handige rekenmachine aan voor een geweten.  

De optelsom van goede bedoelingen 

Het is makkelijk om dit af te doen als een incidenteel IT-foutje. Toch schuilt er een groter organisatorisch risico in het laten meebeslissen van software. Wanneer een project ontspoort, zie je op de werkvloer vaak dezelfde reactie: iedereen wijst naar elkaar, of gezamenlijk naar het systeem of proces. De medewerker voerde slechts taken uit, de leidinggevende volgde keurig het vastgestelde beleid. Iedereen deed precies wat hem was opgedragen. Voeg hier technologie aan toe, en er is nóg een eenvoudiger ‘black box’ om verkeerde beslissingen aan toe te schrijven. Omdat iedereen binnen zijn takenpakket integer handelde, voelt niemand zich persoonlijk aangesproken.  

De Ierse filosoof Philip Pettit beschreef dit mechanisme aan de hand van het zogenaamde discursieve dilemma. Hij liet zien dat een groep mensen afzonderlijk volstrekt verstandige en ethische keuzes kan maken, terwijl de gezamenlijke optelsom van die keuzes leidt tot een besluit waar vrijwel niemand achter staat óf dat ronduit schadelijk uitpakt. In het geval van Amazon handelde iedereen naar eer en geweten. De datawetenschappers kozen voor een logisch uitgangspunt: gebruik succesvolle cv’s uit het verleden als maatstaf. De recruiters hanteerden eveneens een begrijpelijke regel: selecteer profielen die het beste aansluiten op die historische data. Beide afzonderlijke stappen klinken rationeel en verdedigbaar. Pas toen de software deze twee losse ideeën achter elkaar zette, ontstond de uitkomst dat vrouwen stelselmatig werden uitgesloten. Alle betrokken medewerkers riepen eensgezind ‘nee’ toen ze gevraagd werden of vrouwen actief geweerd moesten worden.  

Wanneer we AI toevoegen aan zo’n keten van beslissingen, wordt dit verantwoordelijkheidsvacuüm alleen nog maar groter. Het algoritme fungeert als een handig schild waarachter bestuurders en werknemers zich kunnen verschuilen. De data klopten immers, alleen het resultaat niet. Maar dat resultaat heeft niemand bedacht. Op papier heeft iedereen zijn werk keurig gedaan, maar ondertussen is er wel degelijk schade aangericht. Wie pakt in zo’n situatie de handschoen op en neemt de verantwoordelijkheid?  

Geen checklist voor het geweten 

Het klinkt natuurlijk heerlijk overzichtelijk: een stappenplan van tien punten waarmee je als bestuurder elk AI-probleem voorgoed bezweert. Een handig vinklijstje van de afdeling juridische zaken, of een verplichte cursus ethiek op een regenachtige dinsdagmiddag voor de programmeurs. Dan staat alles netjes op papier en kan iedereen weer rustig gaan slapen. 

Helaas werkt de praktijk zelden zo simpel. Zolang een computer alleen maar wat cijfers optelt en data sorteert, is er weinig aan de hand. Maar tegenwoordig schuift technologie aan bij belangrijke keuzes en dan wordt het opeens heel lastig om te bepalen wie als schuldige aangewezen moet worden als het misgaat. Veel organisaties lossen dit op door te wijzen naar toezichthouders of Europese regelgeving. Maar regels vertellen je hooguit wat wettelijk mag, niet wat verstandig of fatsoenlijk is om te doen. Een algoritme kan zich keurig aan alle wetten houden en ondertussen onethische of onwenselijke besluiten nemen.  

Als leider heb je dus echt de verantwoordelijkheid om hierin grenzen te trekken. Om te voorkomen dat je pas over deze kwesties nadenkt wanneer het te laat is, moet je jezelf dwingen om fundamentele vragen te stellen én te beantwoorden vóórdat AI met de beslissingen van jouw organisatie aan de haal gaat. Precies over die fundamentele vragen gaat de leergang Leiderschap in een Digitale Wereld. Hier leer je verder te kijken dan de techniek alleen, zodat je de juiste vragen durft te stellen en een heldere koers uitzet voor jouw organisatie. 

Benieuwd wat de opleiding voor jouw leiderschap kan betekenen? Download de brochure voor meer informatie over het programma en de startdatum.  

Download de brochure