Skitser til en dataetik 2: algoritmisk forskelsbehandling

(Advarsel: *nørdet*. Dette indlæg er, selv efter denne blogs standard, ret abstrakt og teknisk.)

I første afsnit af mine skitser til en dataetik præsenterede jeg to argumenter for brugen af algoritmiske agenter - effektivitet og objektivitet - og en række mulige fejl som de kunne begå, og som de må vurderes på. I dette afsnit handler det om et andet forhold, nemlig det, at algoritmiske agenter kan forskelsbehandle personer, på måder som kan virke problematiske.

Direkte forskelsbehandling
Den første og måske mest oplagt mulighed for, algoritmer kan forskelsbehandle på en problematisk måde, er at de kan lægge forskelle til grund, som vi intuitivt mener, ikke bør spille en rolle.

Vi kan for eksempel forestille os en algoritme der forsøger at identificere personer, som svindler med offentlige midler, og som giver personer med en bestemt etnicitet en højere sandsynlighed end andre. Selv hvis dette skulle være korrekt - det vil sige, at flere personer med denne etnicitet svindler, selv når man kontrollerer for andre faktorer som alder, indkomst, uddannelse, etc. - så vil mange mene, at det er udtryk for moralsk problematisk diskrimination, hvis algoritmen på denne måde forskelsbehandler på grund af etnicitet. I givet fald er der tale om såkaldt direkte diskrimination.

Diskrimination er et kompliceret fænomen, og det er langt mindre klart både hvad diskrimination er, og hvornår/hvorfor den er moralsk problematisk, end mange personer ofte antager. Ville det, for eksempel, være lige så problematisk, hvis det var mænd som var mere tilbøjelige til at svindle, og derfor mænd som fik justeret deres sandsynlighed? Og hvad, for at tage et andet eksempel, med en algoritme, som skal vurdere hvilke personer som skal tilbydes en test mod en bestemt sygdom, som kvinder har større sandsynlighed end mænd for at lide af? Mange vil nok være langt mindre sikre på, at det i dette tilfælde udgør et problem, hvis algoritmen justerer kvinders sandsynlighed på grund af deres køn, således at flere kvinder (og færre mænd) tilbydes testen. Hvis det er korrekt, så er det ikke selve det, at forskelsbehandle på baggrund af bestemte karakteristika, som er problematisk, men snarere dét at forskelsbehandle på bestemte måder, uanset hvilke grupper som er involveret (det har jeg i sin tid skrevet en artikel om).

Som det sidste eksempel illustrerer, så kan det ind imellem endda virke problematisk, hvis der er distinktioner, som burde indgå i analysen og/eller som del af beslutningsgrundlaget, men som er blevet overset eller bevidst udeladt. En del kritikere påpeger, at det eksempelvis kan være et problem, når langt de fleste algoritmer udvikles af personer, som har en særlig demografi (med en måske lidt grov generalisering: højtuddannede, analytisk begavede men introverte unge mænd), fordi de kan dele antagelser og blinde vinkler, som de uforvarende kommer til at overføre til algoritmen.

Et fiktivt eksempel kunne være et stykke software, som skal analysere bestemte helbredsdata, men som overser at kvinders menstruationscyklus påvirker dataene, og af denne grund ikke kan lave lige så gode vurderinger for kvinder, som den kan for mænd. Her er der tale om at kvinder ved at blive behandlet på samme måde som mænd stilles ringere uden grund, idet (kan vi forestille os) algoritmen uden videre kunne tage højde for de relevante forskelle og derved give kvinder en lige så præcis vurdering, men ikke gør det (eksemplet er kun fiktivt i løs forstand - der er massevis af eksempler på at medicinske tests, medikamenter og procedurer udvikles til mænd, uden at tage højde for at de vil virke anderledes på kvinder). Som sådan er det også et eksempel på såkaldt indirekte diskrimination.

Indirekte forskelsbehandling
Den anden store udfordring for algoritmiske agenter knytter sig netop til, at selv når en algoritmisk agent ikke direkte lægger et karakteristika til grund for forskelsbehandling på en måde som er problematisk, så kan fordelingen af fejl og effekter mellem grupper være ulige på måder som kan være det. Det er værd at bemærke, at dette sagtens kan være tilfældet, selvom agenten samlet set er lige så god som (eller bedre end) en menneskelig agent til lave korrekte vurderinger. En algoritmisk agent, som samlet set laver samme mængde, type og vægt af fejl som en menneskelig agent kan alligevel lave fejl og effekter, som rammer andre personer og grupper, end de som ville være blevet ramt af en menneskelig agent.

Forskelle i effekt mellem to grupper kan opstå uden at involvere direkte forskelsbehandling af de to grupper, når de afspejler andre forskelle imellem de to grupper, som algoritmen reagerer på. Algoritmen behøver således ikke at skelne direkte mellem grupperne for at vurdere eller behandle de to grupper forskelligt, hvis den skelner på baggrund af egenskaber som er ulige fordelt mellem grupperne, eller hvis behandlingen virker forskelligt på de to grupper.

Hvis algoritmen for eksempel er lavet til at opdage social svindel, og personer med en bestemt alder eller køn har tendens til at begå denne type forbrydelse, så vil det ikke være overraskende, at algoritmen succesfuldt identificerer flere af denne type personer som svindlere end personer i den bredere befolkning uden direkte at lægge alder eller køn til grund, så længe den kan skelne på baggrund af andre karakteristika, som korrellerer med alder eller køn. Vi kan sige at algoritmen "opdager" forskellen, selvom vi har forsøgt at skjule den.

Indirekte diskrimination er et komplekst fænomen, og der er ikke konsensus i forskningen om hvordan vi skal forstå det, eller hvad som er galt med det. Men én plausibel forklaring, som jeg selv har argumenteret for, er at indirekte diskrimination er en handling der uhensigtsmæssigt stiller en sårbar gruppe ringere, ved at behandle dem på samme måde som vi behandler andre, uden at tage hensyn til at dette netop for denne gruppe vil have en særlig, negativ effekt.

En anden mulighed er at algoritmen laver flere fejl for en gruppe og færre for en anden, laver andre typer fejl for en gruppe end for en anden (f.eks. flere type 1 fejl og færre type 2 for en gruppe, og omvendt for en anden gruppe), eller at den laver større fejl for en gruppe end for en anden. Denne type forskelle kan, ligesom ovenfor, især virke problematisk, hvis fejl i højere grad end ellers rammer særligt sårbare grupper.

Et meget diskuteret eksempel er brugen af COMPAS i det amerikanske retsvæsen, hvor softwaren er blevet brugt til at vurdere dømtes risiko for at begå nye forbrydelser i fremtiden (dvs. recidivisme). Nogle analyser af softwaren har kritiseret den for, at den havde tendens til at fejlklassificere sorte som havende en høj risiko (falsk positiv-fejl), mens den havde tendens til at fejlklassificere hvide som havende en lav risiko (falsk negativ fejl).* 

Den første effekt kunne også opstå alene fordi algoritmen havde tendens til systematisk at undervurdere hvides risiko. I praksis synes det imidlertid at være tilfældet, at den også systematisk overvurderede sortes risiko for recidivisme.

Sådanne forskelle er vigtige. I det aktuelle eksempel betyder det at flere sorte end hvide får lange straffe eller nægtes prøveløsladelse, og at dette for flere sorte end hvide beror på en fejl.

Prospektiv og retrospektiv vurderingslighed

En subtil udfordring ved at forsøge at få algoritmiske agenter til at behandle personer ligeligt, knytter sig til, at fejlratioer kan være forskellige prospektivt og retrospektivt. 

NorthPointe, som udvikler COMPAS, forsvarede sig ved at påpege, at algoritmen giver personer samme sandsynlighed for at begå ny kriminalitet for en given vurdering, uanset race. Det vil sige, at hvis algoritmen vurderer, at en person har x% sandsynlighed for recidivisme, så begår denne person faktisk en ny forbrydelse i y% af tilfældene, og dette er tilfældet på tværs af f.eks. køn, race, etc. Algoritmen er altså lige så god til at vurdere chancen for recidivisme, uanset hvem man er.

Kald dette for prospektiv vurderingslighed: En algoritme må ikke begå flere fejl, målt som ratioen mellem de gange hvor den gætter rigtigt og de hvor den gætter forkert, i sine vurderinger af én gruppe, end den gør i sine vurderinger af en anden gruppe.

ProPublica, som kritiserede COMPAS, argumenterede imidlertid for, at det er uretfærdigt, at en sort person, som ikke begår fremtidige forbrydelser, har en større sandsynlighed for, at være blevet fejlagtigt vurderet, som havende en høj sandsynlighed for recidivisme (og omvendt, at en hvid person som begår en fremtidig forbrydelse har en større sandsynlighed for at være blevet fejlagtigt vurderet som havende en lav sandsynlighed for recidivisme).

Kald dette for retrospektiv vurderingslighed: En algoritme må ikke begå flere fejl, målt som ratioen mellem de gange hvor personer som befinder sig i en kategori vurderes rigtigt og de hvor disse personer vurderes forkert, for én gruppe, end den gør for en anden gruppe.

De to typer lighed stiller forskellige spørgsmål. Den første spørger: hvis en person klassificeres som havende et karakteristika, hvad der så sandsynligheden for, at dette er rigtigt? Og er denne sandsynlighed forskellig, for forskellige grupper? Den anden type lighed spørger: hvis en person faktisk har et karakteristika, hvad er så sandsynligheden for, at vedkommende vil blive klassificeret rigtigt? Og er denne sandsynlighed forskellig, for forskellige grupper?

Det kan umiddelbart lyde mærkeligt, at der skulle kunne være situationer, hvor de to typer lighed kan skilles ad, men overvej følgende simple eksempel:

Gen-test: En særlig genetisk disposition forekommer oftere hos mænd end hos kvinder. Et hospital bruger en test for den genetiske disposition i et år, og får følgende resultater:

	Mænd (antal)		Kvinder (antal)
	Tester negativt	Tester positivt	Tester negativt	Tester positivt
Har disposition	20	80	20	32
Har ikke disposition	20	20	20	8

Testen omfatter ialt 140 mænd og 80 kvinder, af dem har 100 mænd og 52 kvinder faktisk den genetiske disposition. Ingen af delene er underlige, fordi dispositionen forekommer oftere hos mænd. Men er testen lige så god for kvinder, som for mænd?

Én måde at vurdere dette spørgsmål på, er at sammenligne succesraterne for henholdsvis positivt og negativt testede. Af de mænd som tester positivt (100) er det 80 som har dispositionen og 20 som er blevet fejldiagnosticeret. Det giver en succesrate på 80%. Det er fuldstændig samme resultat, som for kvinderne (40 kvinder, 32 som faktisk har dispositionen, 8 som er fejldiagnosticerede). Hvis vi sammenligner hvor god testen er til at ramme rigtigt, når den tester positivt, så synes den altså at være lige god for begge køn.

Billedet er det samme for de personer som tester negativt. Bliver man testet negativt, er der for begge køn en 50% sandsynlighed for, at man ikke har dispositionen, og en 50% sandsynlighed for, at man alligevel har den (denne fiktive test er derfor samlet set, og i parantes bemærket, ikke imponerende, men det er ikke her pointen). Det skyldes at der for begge køns vedkommende er 20 som korrekt testes negativt og 20 som fejldiagnosticeres.

Det kan således se ud til, at testen er lige så god for kvinder som for mænd. Men det er fordi vi foreløbig kun har vurderet den i lyset af prospektiv vurderingslighed. Hvis vi i stedet spørger, hvor god testen er til at ramme rigtigt, for de som faktisk har og ikke har dispositionen, så er billedet anderledes.

Hvis man er en mand, og faktisk har dispositionen, så er der 80% chance for, at man vil blive testet positivt, og 20 procent chance for at man bliver testet negativt. Hvis man er mand og ikke har dispositionen, så er der 50% chance for at blive testet positivt, og 50% chance for at blive testet negativt. For mænd er der således ingen forskel på prospektiv og retrospektiv vurderingslighed.

Men for kvinder, som faktisk har dispositionen, er der kun 62% chance for at blive testet positivt (20/32). Omvendt er der for kvinder, som ikke har dispositionen, kun 29% chance for at blive testet positivt (8/20). Det betyder at testen i dette perspektiv er meget bedre (80% vs. 62%) til korrekt at identificere de mænd, som har dispositionen. Men den er også meget bedre til ikke at fejldiagnosticere de kvinder, som ikke har dispositionen (29% vs. 50%).

Som eksemplet illustrerer kan de to typer lighed altså skilles ad. Og faktisk er dette ikke bare muligt. Når der er relevante forskelle mellem grupperne vil de nødvendigvis skilles ad, og det er derfor umuligt at opnå begge typer lighed på samme tid (matematisk bevis her, enkel forklaring her). Det betyder at vi i mange situationer vil være tvunget til at vælge, hvilken af de to typer lighed, som vi vil sikre, når vi designer algoritmen.

Samme algoritme-tid, samme algoritme-kanal...
Som dette indlæg har skitseret, så er der en række potentielt problematiske måder, som algoritmiske agenter kan forskelsbehandle på. For flere af dem vil vi være nødt til at lave vanskelige afvejninger af konkurrerende hensyn, f.eks. mellem forskellige idealer om lighed, og mellem hensynet til lighed og hensynet til det mål som algoritmen tjener.

I tredje og sidste afsnit af skitserne skal vi kigge på de udfordringer for algoritmiske agenter som knytter sig til deres brug af data, de reaktioner de kan afstedkomme, deres manglende transparens, og de værdier de bygger på.

-----

* Det er fortsat kontroversielt (se her og her) i hvilken udstrækning dette faktisk udgør problemer ved softwaren. Eksemplet tjener imidlertid som en udmærket illustration af den generelle udfordring for algoritmiske agenter, uanset hvad vi bør mene om lige præcis COMPAS.