Hvem er bange for den sorte kasse?

En hyppigt fremført pointe om kunstig intelligens er, at en algoritme kan være en "sort kasse". Vi kan se hvilke data der kommer ind, og hvilke resultater der kommer ud, men ikke hvad der foregår inde i kassen. 

Algoritmer bruges i stigende grad til at træffe eller støtte beslutninger, også ind imellem meget vigtige beslutninger, for eksempel om banklån, medicinske diagnoser, og risici for mistrivsel i familier. I sådanne situationer kan det vække bekymring, hvis vi ikke kan få indsigt i grundlaget for beslutningen.

Mange institutioner og eksperter støtter derfor en bred fortolkning af GDPR-forordningen artikel 15. Den stiller krav om at personer, som bliver påvirket af en beslutning truffet med kunstig intelligens, får adgang til ”meningsfulde oplysninger om logikken [i den automatiske afgørelse]”.

EU’s Højniveau Gruppe for Kunstig Intelligens konkluderer for eksempel, i deres etiske retningslinjer for pålidelig AI, ”at procedurer skal være gennemsigtige, at AI-systemers kapaciteter og formål skal formidles åbent, og at beslutninger — så vidt muligt — [skal kunne] forklares til alle, der er direkte eller indirekte berørt.”

Men hvad - helt præcist - er egentlig problemet med den sorte kasse? Blandt andet fordi dette spørgsmål ofte kun behandles helt overfladisk er der en tendens til, at diskussionen overser væsentlige nuancer og mulige løsninger. Når vi tænker udfordringen ordentligt igennem, så er det ikke sikkert, at den sorte kasse er så farlig igen.

Hvorfor er kassen sort?

En algoritme kan blive en sort kasse af flere grunde. Helt banalt kan det skyldes, at udvikleren ikke vil lade andre kigge ind. Algoritmer udvikles ofte af virksomheder eller institutioner, som har god grund til at holde detaljerne om hvordan de fungerer hemmelige. For eksempel for at forhindre at konkurrenter kopierer teknologien, eller for at forhindre, at personer udnytter kendskab til algoritmen til at snyde den.

Den væsentligste grund til, at algoritmer kan udgøre en sort kasse er imidlertid en anden. I nogle tilfælde er en algoritme så kompleks at ingen, ikke engang udvikleren selv, kan forstå præcis hvordan den fungerer. I sådanne tilfælde taler man om, at algoritmen rent teknisk er uigennemsigtig. 

Uigennemsigtige algoritmer udvikles typisk ved såkaldt maskinlæring, hvor udvikleren bruger én algoritme - læringsalgoritmen - til at træne den anden algoritme. Maskinlæring har den fordel, at en læringsalgoritme kan arbejde med langt større mængder data, end mennesker typisk kan overskue. Maskinlæring kan træne en algoritme, som arbejder med hundredevis eller tusindvis af forskellige informationer. Når en algoritme anvender så mange data, og især hvis den også behandler data på komplekse måder, så bliver den samlede funktion aldeles uoverskuelig.

Hvad er der galt med uigennemsigtighed? 

Udfordringen er altså virkelig nok, men hvorfor udgør uigennemsigtighed et problem? Der er overordnet tre grunde til, at vi kan ønske os, at vigtige beslutninger er gennemsigtige.

Den første grund er, at gennemsigtighed gør det muligt at have tillid til beslutningsprocessen. Det er klart en omkostning, hvis anvendelsen af kunstig intelligens svækker tilliden til myndigheder og virksomheder.

Den anden grund er, at gennemsigtighed gør det lettere at udfordre beslutninger. Ingen beslutningsproces er perfekt, og især for vigtige beslutninger er det en omkostning, hvis anvendelsen af kunstig intelligens gør det vanskeligt at rette fejlagtige beslutninger.

Den tredje grund er, at gennemsigtighed, og den mulighed for kritik som den giver, skaber et stærkt incitament hos udvikleren til at træne den bedst mulige algoritme. Ingen ønsker at udvikle en dårlig algoritme, men gennemsigtighed kan tilskynde, at der bliver taget behørigt hensyn til de personer, som berøres af beslutningen.

Det nye sort er ikke så sort endda

Der er altså gode grunde til at ønske sig gennemsigtige algoritmer. Alligevel er det ikke sikkert, at vi bør være bange for den sorte kasse. For det første fordi uigennemsigtighed ofte overvurderes eller misrepræsenteres.

Selv for en uigennemsigtigt kompleks algoritme er der mange detaljer, som vi godt kan finde ud af. Ved at teste algoritmen kan vi få information om hvordan bestemte typer information bliver behandlet - for eksempel om algoritmen behandler mænd og kvinder forskelligt - og om hvordan en bestemt sag er blevet vurderet - for eksempel hvilken information algoritmen har lagt mest vægt på i den pågældende sag.

Den sorte kasse har, metaforisk talt, små huller rundt omkring, hvor vi kan kigge ind. Sådanne teknikker til at forklare uigennemsigtig kunstig intelligens udvikles i rivende hast i disse år.

Er mennesker gennemsigtige?

For det andet, så er alternativet til en algoritme ofte en menneskelig vurdering. I den forbindelse glemmer vi tit, at mennesker også er en slags sorte kasser. Det skyldes helt oplagt, at det er umuligt at kigge ind i hovedet på et menneske, og se hvordan vedkommende træffer en beslutning.

Mennesker har til gengæld evnen til at forklare hvordan de har truffet en beslutning. Er menneskelige beslutninger så alligevel ikke mere gennemsigtige? Ikke nødvendigvis.

Fra socialpsykologien ved vi, at mennesker kan give forkerte forklaringer om hvordan de træffer beslutninger. Det kan dels skyldes, at de ønsker at føre andre bag lyset. Men det skyldes ofte snarere, at det er meget vanskeligt for os selv at forstå, hvordan vi træffer vores beslutninger.

Især viser en omfattende nyere forskning, at menneskers beslutninger kan påvirkes af ubevidste bias og irrelevante faktorer, ofte uden at vi er bevidste om denne påvirkning.

I et berømt studie fra 2008 satte en amerikansk forskergruppe forsøgspersoner til at vurdere en lang række etiske dilemmaer. Èn gruppe personer foretog vurderingen mens de sad i et almindeligt kontormiljø. En anden gruppe personer sad i det samme kontormiljø, bortset fra at der var snavset og rodet. Resultatet var, at den sidste gruppe utvetydigt var langt mere konservative og hårdhændede i deres vurderinger af de etiske dilemmaer, uden at de var klar over, at deres ubevidste ubehag ved snavs og rod havde påvirket dem.

Selvom algoritmisk uigennemsigtighed er en ulempe, så kan det menneskelige alternativaltså være lige så uigennemsigtigt, eller endda værre. 

Gennemsigtighed har en pris

For det tredje, så betaler man ofte en pris for gennemsigtighed. Den amerikanske datalog Cynthia Rudin har vist, at det i mange situationer er muligt, at få lige så gode resultater med enkle og let forståelige algoritmer som med komplekse og uigennemsigtige algoritmer. Men det er ikke altid tilfældet. Og i nogle tilfælde er en mindre præcis algoritme en høj pris at betale.

Man kan for eksempel overveje følgende situation. Hvis man er patient, og skal have diagnosticeret en kræftknude, for at finde ud af om den er godartet eller ondartet, hvad ville man så foretrække: en enkel og gennemsigtig algoritme, der laver fejl i 2% af diagnoserne, eller en kompleks og uigennemsigtig algoritme, der laver fejl i 1% af diagnoserne? Jeg forestiller mig at mange trods alt vil foretrække diagnosen fra den uigennemsigtige algoritme.

En anden ulempe ved gennemsigtighed er, at personer i nogle tilfælde kan udnytte viden om algoritmen, til at snyde den. For eksempel er det klart, at skattesvindlere vil være interesserede i at vide, præcis hvordan en algoritme der forsøger at opdage uregelmæssigheder i selvangivelsen fungerer. I sådanne situationer kan prisen for gennemsigtighed være, at algoritmen får sværere ved at træffe gode beslutninger.

Hvor sort må det blive?

Uigennemsigtighed er en væsentlig udfordring ved brugen af algoritmer til at træffe og støtte beslutninger. Udfordringens størrelse og karakter afhænger imidlertid af situationen, blandt andet af hvilken information det er, som vi har brug for, og hvad alternativerne er.

Fordi fordele og ulemper ved uigennemsigtighed afhænger af flere forhold, må balancen mellem dem vurderes fra situation til situation. Den vurdering er vanskeligere og mere krævende, end et simpelt krav om, at kunstig intelligens der støtter eller træffer vigtige beslutninger skal kunne forklares. Til gengæld giver den os mulighed for at træffe nuancerede, grundigt gennemtænkte valg om den nye teknologi.

Vi bør gøre udfordringen ved den sorte kasse så stor som den er - hverken mere eller mindre. Kun derved giver vi os selv de bedste muligheder for at tackle den.