Rondetafeldiscussie kunstmatige intelligentie: out of control?

Grijs gebied
Bedrijven moeten dan ook niet alleen kijken naar de technische mogelijkheden van kunstmatige intelligentie ofwel artificial intelligence (ai) voor strategie en bedrijfsvoering. Ze dienen zich ook bewust te zijn van de ethische aspecten en de verborgen risico’s ervan. Een grijs gebied, dat om nadere verkenning vraagt: wat zijn de belangrijkste punten van zorg, waar liggen de grenzen en stellen boards zichzelf en anderen wel de juiste vragen bij de toepassing van ai? De discussie vindt plaats onder leiding van Leen Paape, voorzitter van het Nyenrode Corporate Governance Institute en hoogleraar in dezelfde discipline. Aan de virtuele rondetafel twee collega-professoren van Nyenrode Business Universiteit: Cokky Hilhorst brengt haar IT-expertise in, Ronald Jeurissen is als ethicus aangeschoven. De praktijk wordt vertegenwoordigd door Charles Davies, chief technology officer van locatietechnologiebedrijf TomTom. Het debatpanel wordt gecompleteerd door Ties Boonzajer Flaes, advocaat van De Brauw Blackstone Westbroek.

Wat ziet u als de belangrijkste ethische kwesties bij de inzet van ai?
Jeurissen: ‘Eigenlijk zijn we met elkaar nog aan het uitvinden wat die kwesties precies zijn. De toepassing van ai is terra incognita, een nieuw eiland in een zee van data. We zitten nog in de exploratiefase. Vanuit ethisch perspectief staan al snel kernbegrippen als veiligheid, menselijke waardigheid en gelijkheid centraal, maar de dilemma’s daaromheen komen pas echt in het vizier als je kijkt naar de manier waarop ai wordt toegepast: hoe worden algoritmes geprogrammeerd en gevalideerd en welke trainingsdata worden gebruikt voor machine learning, voor zelflerende systemen?’
Hilhorst: ‘Omdat er sprake is van een grijs gebied, kan ai het best ingezet worden in beperkte, goed afgebakende domeinen. Dat is vanuit ethisch oogpunt minder risicovol dan de toepassing van algoritmes en machine learning in omgevingen met een directe impact op het leven van mensen, of wanneer veiligheid een grote rol speelt, zoals bij zelfrijdende auto’s.’
Davies: ‘Of een bedrijf ethische dilemma’s zal ervaren rondom de inzet van ai, hangt af van de sector waarin het opereert en de producten en diensten die het levert. Het geldt bijvoorbeeld zeker voor techbedrijven als Google of Facebook, vanwege hun ondoorzichtige businessmodel waarin data van gebruikers verkocht worden aan adverteerders. TomTom is van oudsher een navigatiebedrijf: wij hebben vooral te maken met privacyproblematiek en minder met ethische afwegingen. We maken inmiddels ook kaarten voor zelfrijdende auto’s. In dat verband wordt vaak gesproken over het trolley-probleem (de morele afweging wie een zelfrijdende auto bij een ongeluk het eerst zou moeten aanrijden, als je dat vooraf zo zou kunnen programmeren: een willekeurig slachtoffer, of bijvoorbeeld die zwangere vrouw of oude man, red.). Maar ik heb nog nooit een klant meegemaakt die zich daarmee bezighield, en de huidige systemen zijn helemaal niet in staat tot het maken van dat soort morele afwegingen. Wel worden veiligheidseisen steeds belangrijker. Bij ai gaat het om enorme aantallen data en neurale netwerken. Als er iets misgaat, is het vaak lastig de vinger op de zere plek te leggen – waar ging het mis? Maar je kunt moeilijk de data de schuld geven. Dat heeft belangrijke juridische implicaties: een nachtmerrie voor elk bedrijf.’
Boonzajer Flaes: ‘Bij een zelflerend systeem is het inderdaad moeilijk om het proces waarin verschillende stukken trainingsdata worden verwerkt te reproduceren en te achterhalen waar de verkeerde afslag werd genomen. Dus het is tricky, ja. Net als het gebruik van grote trainingsdatabestanden, waarvan de achtergrond niet te doorgronden valt, zoals in het beroemde voorbeeld van Amazon.’ (De online retailer zette ai in als wervingsinstrument, totdat het bedrijf erachter kwam dat het zelflerende systeem een voorkeur bleek te hebben voor mannelijke kandidaten, omdat het was getraind met cv’s van de afgelopen tien jaar: die waren bijna allemaal van mannen, red.).

Is er een oplossing voor het bias-probleem in algoritmes en machine learning?
Hilhorst: ‘Als je er slechte data instopt, komt er slechte informatie uit. Het grootste gevaar is dat de gebruikers van die informatie zich niet bewust zijn van die bias. Zoals in het voorbeeld van Amazon. Of de politie in New York, die zich bij de handhaving op basis van algoritmes vooral richt op zwarte wijken. Dus áls in dit soort gevallen al zelflerende systemen ingezet worden, dan moeten ontwerpers bij iedere stap alert zijn op discriminatie of andere ethische issues, om het bias-risico te verminderen.’
Jeurissen: ‘Een nieuwe whitepaper van de Europese Unie doet daarvoor goede handreikingen, bijvoorbeeld nauwkeurig bijhouden welke datasets zijn gebruikt en de gehanteerde trainingmethodologie. Maar het is de vraag of we dit met elkaar onder controle kunnen krijgen en of we de betrouwbaarheid van ai-systemen kunnen garanderen. Een van de belangrijkste vragen die bedrijven moeten stellen bij de inzet van ai is dan ook: zal het grote publiek ons nog steeds vertrouwen? Dat vertrouwen winnen én behouden kan heel lastig zijn.’
Davies: ‘Mensen zijn geneigd om ai te wantrouwen, omdat het zo complex is. Als een systeem een fout maakt, wat nu eenmaal onvermijdelijk is, zien ze daarin een bevestiging van hun wantrouwen. Maar ze beseffen niet dat mensen óók fouten maken. Zo vallen er wereldwijd elk jaar 1,25 miljoen verkeersdoden, voornamelijk als gevolg van menselijk falen. Bovendien worden ook mensen door algoritmes gedreven. De vrije wil is een illusie: ons handelen wordt gestuurd door een biologische neural map met genetische informatie en conditionering door eerdere ervaringen. Mensen zijn ook bang voor het ontstaan van een kunstmatig bewustzijn. Maar als de méns daar al niet over beschikt, hoe zouden machines dat dan kunnen hebben? Er is een breder en realistischer begrip nodig van ai: we moeten het beter uitleggen.’
Boonzajer Flaes: ‘Alleen kan dat bij ai heel lastig zijn: het dilemma uitlegbaarheid versus performance speelt hier. Iets kan heel goed uit te leggen zijn, maar totaal niet functioneel en andersom: iets kan heel functioneel zijn, maar niet uitlegbaar. Wat we ons bij de inzet van ai moeten afvragen: wat is een acceptabele balans tussen uitlegbaarheid en de performance van het bedrijf? Wie zich volledig laat leiden door ethiek, loopt het risico commercieel te gaan achterlopen op Amerikaanse en Chinese bedrijven. Andersom maakt ai bedrijven kwetsbaar voor massaclaims. Als blijkt dat data van duizenden mensen oneigenlijk of onethisch zijn gebruikt, kunnen stakeholders met de komst van de algemene verordening gegevensbescherming (AVG) steeds gemakkelijker een collectieve actie tegen het bedrijf starten. Dat is niet alleen een theoretisch risico. In onze praktijk zien we steeds meer van dit type claims gebeuren in Europa, onder meer gesteund door grotere litigation funders van Amerikaanse bodem die al decennialang ervaring hebben opgebouwd met dit soort collectieve acties.’

Ligt hier een rol voor de board?
Boonzajer Flaes: ‘Absoluut, beslissingen over ai moeten op hoog niveau genomen worden. In de board moet de risicoafweging gemaakt worden, bijvoorbeeld of consumentendata mogen worden ingezet voor een ai-project. Boards moeten niet elk risico willen vermijden, want ondernemen gaat nu eenmaal altíjd gepaard met risico’s. Maar het is daarbij wel noodzakelijk te begrijpen wélke risico’s er genomen worden. Als ai-kwesties op de agenda komen, las dan dus eerst tijd in voor de vraag: welke mogelijke problemen en ethische dilemma’s komen hierbij kijken? Zonder een geïnformeerde discussie kan de board nooit de juiste vragen stellen en bewuste keuzes maken: welke gevaren zijn we bereid te accepteren en welke niet?’

Hebben boards wel voldoende kennis over ai om de juiste keuzes te maken?
Hilhorst: ‘Boards zijn zich vaak nog onvoldoende bewust van het belang van IT in het algemeen en hebben er te weinig kennis over. Maar dat verschilt wel per sector, bedrijf en taak. Bij bedrijven die IT als onderdeel van hun primaire proces beschouwen, zijn bestuurders en commissarissen zich meestal wél bewust van het belang van gedegen governance en compliance met privacywetgeving. Daar zal de kennis over ai en de ethische issues daarvan ook groter zijn.’
Boonzajer Flaes: ‘Tegenwoordig worden commissarissen bij onboardingprogramma’s een-op-een bijgepraat over informatietechnologie en de ontwikkelingen daarin. Het inzicht op boardniveau neemt dus toe, maar er is nog veel te winnen. Want als je je bewust bent van het feit dat ai gepaard kan gaan met ethische dilemma’s, hoe los je die dan op en hoe nauwgezet monitor je dat proces? Dat vraagt om een multidisciplinaire benadering: er zijn commissarissen met verschillende achtergronden nodig om daarover de juiste vragen te kunnen stellen. In de meeste boards is de nodige achtergrondkennis momenteel nog maar zeer beperkt aanwezig. Er is dus meer diversiteit nodig.’
Jeurissen: ‘Als bestuurder of commissaris zou ik twee vragen stellen. Eén: past onze beoordelings- en besluitvormingsroutine wel bij een nieuw en multidisciplinair thema als ai? Twee: Zijn we in control als board, is ons radarsysteem goed toegerust om ook onderliggende ethische kwesties te signaleren? Zo niet, betrek er dan anderen bij: IT-experts, maar ook mensen die vanuit ethisch of stakeholderperspectief kunnen kijken.’

In hoeverre vormt ai een maatschappelijke bedreiging, doordat de mens de controle verliest over machines? In 2010 beleefde de Amerikaanse beurs een flashcrash: algoritmes veroorzaakten een koersval doordat ze een menselijke handelsfout op grote schaal kopieerden. Hebben we een kill-switch nodig om systemen af te sluiten als ze op hol slaan?
Hilhorst: ‘Ingenieurs bouwen in hun ontwerpen een veilige modus in, waarop ze kunnen overschakelen als machines out of control raken. Daar kunnen we bij de ontwikkeling van ai veel van leren. Als ai-systemen ongewilde data of output genereren, zouden gebruikers een signaal moeten krijgen, zodat het systeem kan worden stopgezet.’
Davies: ‘Zelfrijdende auto’s hebben handels waarmee de bestuurder kan ingrijpen als het geautomatiseerde systeem een ongewenste richting opgaat. Het ontwerpen van dat soort kill-switches om als mens de controle te houden, is op zich niet zeer gecompliceerd. Maar ai is een complex systeem: de interactie tussen grote aantallen autonome processen kan leiden tot onvoorspelbaar gedrag. Economieën zijn ook voorbeelden van complexe systemen, net als het weer. Tot nu toe hebben we als mens ook nog geen kill-switch kunnen ontwerpen om depressies tegen te houden, hetzij in conjuncturele, hetzij in meteorologische zin.’
Jeurissen: ‘We spreken bij IT en ontwikkelingen als ai over de vierde industriële revolutie: ze beïnvloeden het menselijk bestaan ingrijpend, zoals de stoommachine ooit deed. Ai leidt tot technologische vooruitgang, maar de ethische terugslag kan groot zijn, wanneer blijkt dat we algoritmes en machine learning niet meer kunnen controleren. Het is mogelijk dat we ook met ai over een paar decennia op een kantelpunt komen en als mens beslissen dat we er vanwege de risico’s en ethische repercussies niets meer mee te maken willen hebben.’

Zou ai de mens overbodig kunnen maken: zijn wij te vervangen door algoritmes en daarmee de paarden van de toekomst?
Boonzajer Flaes: ‘De ontwikkeling van informatieverwerking valt te vergelijken met een hogesnelheidstrein die in volle vaart op ons afkomt. Als mensheid staan wij te wachten op het perron: verwachten we dat die trein voor ons zal stoppen, of zien we die trein aan onze neus voorbijrijden? Het is lastig om te bevatten wat er mogelijk is als ons station eenmaal gepasseerd is.’
Davies: ‘Als ik kijk naar het tempo van de technologische vooruitgang, dan loopt de mens op de lange termijn het risico net zo irrelevant te worden als het paard nu. Maar voorlopig hoeven we ons geen zorgen te maken dat we vervangen worden door een algoritme: ik maak me meer zorgen over het risico dat de mens de aarde voor die tijd vernietigd zal hebben.’

Terug naar de boardroom, waar voorlopig dus nog bestuurders en commissarissen van vlees en bloed zitten: wat wilt u hen meegeven voor de inzet van ai?
Hilhorst: ‘Veel bedrijven maken nog slechts beperkt gebruik van ai, terwijl de technologische ontwikkelingen razendsnel gaan. Ga er als bedrijf dus nu mee experimenteren, anders loop je een achterstand op. Maar doe het voorzichtig: alleen in kleine, goed gedefinieerde domeinen, zodat je in control blijft als het experiment out of control dreigt te raken.’
Boonzajer Flaes: ‘Boards moeten ervoor zorgen voldoende kennis over ai op te doen: weet wat je niet weet. Zorg voor een multidisciplinair bestuurs- of toezichtteam en leg nieuwe verbindingen: betrek er mensen bij die de juiste kennis en invalshoeken hebben, uit het bedrijf of extern.’
Davies: ‘Bestuurders en toezichthouders moeten zich verdiepen in de techniek en toepassingen van ai en vervolgens die kennis en inzichten specifiek toepassen op het bedrijf. Als je autorijdt, hoef je niet te weten hoe die auto technisch in elkaar zit, maar voor het voeren van discussies over ai moet je die techniek tot op zekere hoogte wél doorgronden. Alleen dan kun je beredeneerde keuzes maken.’
Jeurissen: ‘Kijk ook naar de politieke dimensie van ai. Met de toepassing ervan begeven gebruikers zich in een breed maatschappelijk en daarmee per definitie politiek domein. Zorg vooraf voor een dialoog met stakeholders, om zo sociale legitimatie te verkrijgen. Anders kan de business uiteindelijk ernstig in gevaar komen.’ 

Dit rondetafelgesprek is gepubliceerd in Management Scope 08 2020.