De ‘zwarte doos’ van kunstmatige intelligentie gaat open

Programmeertaal

Artificial intelligence (AI) wordt steeds krachtiger en dringt het dagelijks leven van mensen binnen, maar vaak weten we niet wat er binnen deze systemen gebeurt. Hun ondoorzichtigheid kan praktische problemen of zelfs racisme aanwakkeren, en daarom willen onderzoekers deze ‘zwarte doos’ steeds vaker openen en AI verklaarbaar maken.

In februari 2013 reed Eric Loomis rond in het kleine stadje La Crosse in Wisconsin, VS, toen hij werd tegengehouden door de politie. De auto waarin hij reed bleek betrokken te zijn geweest bij een schietpartij en hij werd gearresteerd. Uiteindelijk veroordeelde een rechtbank hem tot zes jaar gevangenisstraf.

Dit zou geen bijzonder geval zijn geweest, ware het niet dat een stukje technologie de rechter had geholpen bij het nemen van de beslissing. In dit geval ging het om COMPAS, een algoritme dat het risico bepaalt dat een verdachte recidiveert. De rechtbank voedt het systeem met een reeks gegevens, zoals de demografische informatie van de verdachte, wat een score oplevert van hoe waarschijnlijk het is dat ze opnieuw een misdrijf zullen plegen.

Hoe het algoritme dit voorspelt, blijft echter ondoorzichtig. Het systeem is met andere woorden een ‘black box’ – een praktijk waartegen Loomis in 2017 een klacht indiende bij het Amerikaanse Hooggerechtshof. Hij beweerde dat COMPAS geslachts- en raciale gegevens gebruikte om zijn beslissingen op te baseren, waarbij Afro-Amerikanen als hogere recidiverisico’s worden beschouwd. Het Hooggerechtshof verwierp zijn zaak uiteindelijk en beweerde dat de straf ook zonder het algoritme hetzelfde zou zijn geweest. Toch zijn er ook aanwijzingen die suggereren dat COMPAS recidive niet nauwkeurig voorspelt.

Acceptatie

Hoewel algoritmische veroordelingssystemen al in gebruik zijn in de VS, is de acceptatie ervan in Europa over het algemeen beperkt. Het Nederlands AI-systeem e-Court, dat oordeelde over betalingsachterstanden van particulieren, werd bijvoorbeeld in 2018 stilgelegd na kritische berichtgeving in de media. Toch is AI op andere terreinen in opmars in Europa. Het wordt uitgerold om Europese artsen te helpen bij het diagnosticeren van Covid-19. Vooral start-ups zoals het Britse M: QUBE, dat AI gebruikt om hypotheekaanvragen te beoordelen, duiken snel op.

Deze systemen loodsen historische gegevens door een algoritme, dat vervolgens tot een voorspelling komt of een handelwijze bedenkt. Toch weten we vaak niet hoe zo'n systeem tot z’n conclusie komt. Het kan correct werken, maar er kunnen ook technische fouten in zitten. Het kan ook een vorm van vooringenomenheid reproduceren, zoals racisme, zonder dat de ontwerpers het zelfs maar beseffen.

Daarom willen onderzoekers deze ‘zwarte doos’ openen en AI-systemen transparant of ‘verklaarbaar’ maken, een beweging die nu op stoom komt. Het op 19 februari 2020 uitgebrachte EU-witboek over kunstmatige intelligentie riep op tot verklaarbare AI. Grote bedrijven als Google en IBM financieren onderzoek ernaar en de Europese privacyrichtlijn GDPR bevat zelfs een recht op uitlegbaarheid voor consumenten.

“We zijn nu in staat om AI-modellen te produceren die zeer efficiënt zijn in het nemen van beslissingen”, zegt Fosca Giannotti, senior onderzoeker bij het Information Science and Technology Institute van de National Research Council in Pisa. “Maar vaak zijn deze modellen niet te begrijpen voor de consument. Daarom wordt verklaarbare AI zo populair.”

Diagnose

Giannotti leidt een onderzoeksproject naar verklaarbare Artificial Intelligence en Machine Learning, genaamd XAI (Explainable AI), dat AI-systemen wil verplichten om hun interne logica te onthullen. Het project werkt aan geautomatiseerde beslissingsondersteunende systemen zoals technologie die een arts helpt bij het stellen van een diagnose of algoritmes die banken aanraden om iemand wel of niet een lening te geven. Ze hopen technologie of zelfs nieuwe algoritmes te ontwikkelen die kunnen helpen om AI verklaarbaar te maken.

"Mensen nemen nog steeds de uiteindelijke beslissingen in deze systemen", zei Giannotti. “Maar ieder mens die deze systemen gebruikt, moet een duidelijk zicht hebben op de logica achter de uitkomst.​”

Tegenwoordig experimenteren ziekenhuizen en artsen steeds meer met AI-systemen om hun beslissingen te ondersteunen, maar weten ze vaak niet hoe de beslissing is genomen. AI analyseert in dit geval grote hoeveelheden medische gegevens en schat hoe waarschijnlijk het is dat een patiënt een bepaalde ziekte heeft.

‘Een uitlegbare uitkomst is een belangrijke voorwaarde voor betere samenwerking tussen mens en machine’

Een systeem kan bijvoorbeeld worden getraind op het analyseren van grote hoeveelheden foto's van de menselijke huid, die in sommige gevallen symptomen van huidkanker vertegenwoordigen. Op basis van die gegevens voorspelt het aan de hand van nieuwe foto's van een huidafwijking hoe waarschijnlijk het is dat u huidkanker heeft. Deze systemen zijn nog geen gemeengoed, maar ziekenhuizen testen ze steeds vaker en integreren ze in hun dagelijkse werkzaamheden.

Deze systemen maken gebruik van deep learning, een populaire AI-methode die grote hoeveelheden kleine deelbeslissingen neemt. Deze zijn gegroepeerd in een netwerk met lagen die uiteenlopen van enkele tientallen tot honderden diep, waardoor het bijzonder moeilijk is om te zien waarom het systeem suggereert dat iemand huidkanker heeft, om bij dit voorbeeld te blijven, dan wel een ​​verkeerde redenering volgt.

“Soms kan zelfs de computerwetenschapper die het netwerk heeft ontworpen de logica niet meer begrijpen”, zei Giannotti.

Natuurlijke taal

Volgens Senén Barro, hoogleraar informatica en kunstmatige intelligentie aan de Universiteit van Santiago de Compostela, zou AI niet alleen in staat moeten zijn om beslissingen verklaarbaar te maken, maar moet dit ook in begrijpelijke taal gebeuren.

“Uitlegbare AI moet niet alleen in staat zijn om de uitkomst op natuurlijke wijze aan de mens te communiceren, maar ook de redenering die het resultaat rechtvaardigt”, aldus prof. Barro.

Hij is wetenschappelijk coördinator van een Europees onderzoeksproject genaamd NL4XAI dat onderzoekers opleidt om AI-systemen begrijpelijker te maken, onder meer door verschillende technieken te onderzoeken om de uitlegbaarheid te vergroten.

Barro zegt dat het eindresultaat op een chatbot zal lijken. “Met behulp van natuurlijke taaltechnologie bouwen we conversational agents die deze interactieve uitleg aan mensen kan overbrengen.”

Een andere methode om uitleg te geven, is een counterfactual systeem dat ‘what if’-vragen beantwoordt. “Het systeem kan een ​​voorbeeld geven van wat iemand zou moeten veranderen om de oplossing te veranderen”, zei Giannotti. In het geval van een algoritme voor het beoordelen van leningen, kan een counterfactual aan iemand wiens lening is geweigerd, laten zien wat het dichtstbijzijnde geval zou zijn waarin de leningaanvraag worden goedgekeurd. De uitkomst zou kunnen zijn dat je salaris te laag is voor de lening, maar dat je hiervoor wel in aanmerking komt als je op jaarbasis € 1.000 meer verdient.

Witte doos

Volgens Giannotti zijn er twee belangrijke benaderingen voor uitlegbaarheid. Een daarvan is om te vertrekken van black box-algoritmes, die hun resultaten niet zelf kunnen verklaren, en manieren te vinden om hun innerlijke logica bloot te leggen. Onderzoekers kunnen een ander algoritme aan dit black box-systeem koppelen – een ‘uitlegger’ – dat een reeks vragen stelt aan de black box en de resultaten vergelijkt met de input. Vanuit dit proces kan de uitlegger reconstrueren hoe het black box-systeem werkt.

“Een andere manier is om de zwarte doos weg te gooien en white box-algoritmes te gebruiken”, zei Giannotti. Dit zijn machine learning-systemen die door hun ontwerp verklaarbare resultaten opleveren, maar die vaak minder krachtig zijn dan hun black box-tegenhangers.

‘Een nadeel van white boxalgoritmes is dat ze vaak minder krachtig zijn’

“We kunnen nog niet zeggen welke aanpak beter is”, aldus Giannotti. “De keuze hangt af van de data waarmee we werken.” Bij het analyseren van zeer grote hoeveelheden data, zoals een database gevuld met afbeeldingen met een hoge resolutie, is vaak een black box-systeem nodig omdat dit krachtiger is. Maar voor meer eenvoudige taken werkt een white box-algoritme misschien beter.

Het vinden van de juiste aanpak om verklaarbaarheid te bereiken is echter nog best lastig. Onderzoekers moeten diep de techniek induiken om vast te stellen of een verklaring van een black-box-systeem deugt. “De grootste uitdaging is het definiëren van nieuwe evaluatieprotocollen om de deugdzaamheid en effectiviteit van de gegenereerde uitleg te valideren”, zegt prof. Barro van NL4XAI.

Subjectief

Bovendien hangt de definitie van ‘verklaarbaarheid’ af van de situatie waarin deze wordt toegepast. Een AI-onderzoeker die een algoritme schrijft, heeft een ander soort uitleg nodig dan een arts die een systeem gebruikt om medische diagnoses te stellen.

“Menselijke evaluatie (van de uitkomst van een algoritme, red.) is inherent subjectief omdat dit afhangt van de achtergrond van de persoon die gebruik maakt van een intelligente machine”, zegt José María Alonso, plaatsvervangend coördinator van NL4XAI en ook verbonden aan de Universiteit van Santiago de Compostela .

De drang naar kennis van verklaarbare AI gaat stap voor stap verder, wat de samenwerking tussen mens en machine zou kunnen verbeteren. “Mensen zullen niet worden vervangen door AI,” zei Giannotti. “Computers maken de mens sterker. Maar een uitlegbare uitkomst is een belangrijke voorwaarde voor deze samenwerking.”

Het onderzoek in dit artikel is gefinancierd door de EU. Dit artikel is oorspronkelijk gepubliceerd in Horizon, het tijdschrift voor EU Research en Innovatie.

Meer lezen

Project XAI, Justifying AI decision making: cordis.europa.eu/project/id/834756

Project NL4XAI, Making it easier for machines to explain their decisions: cordis.europa.eu/project/id/860621