Skitser til en dataetik 3: data, reaktioner, transparens og værdier

(Advarsel: *nørdet*. Dette indlæg er, selv efter denne blogs standard, ret abstrakt og teknisk.)

I de to første indlæg (her og her) i denne skitse til en dataetik har jeg diskuteret hvilke fordele som motiverer brugen af algoritmiske agenter, hvilke fejltyper de bør evalueres på, de udfordringer som de rejser i forhold til forskelsbehandling, og nogle komplikationer ved idealet om at algoritmer bør behandle alle lige.

I dette tredje og sidste indlæg handler det om de udfordringer som knytter sig til algoritmers brug af data, de reaktioner de kan afføde, deres transparens (eller mangel på samme), og det måske mest grundlæggende spørgsmål om de værdier de baseres på og vurderes efter.

Garbage in, garbage out
Et af de mest omdiskuterede problemer ved algoritmiske agenter er deres afhængighed af de data, som algoritmen analyserer på. Disse er indlysende relevante for algoritmers almindelige analyser, fordi en analyse af mangelfulde data bliver upålidelig, men de er også, og måske især relevante for algoritmiske agenter som udvikles gennem maskinlæring. En maskinlærende algoritme finder selv de sorteringsmekanismer, som skal hjælpe den med at lave den endelige vurdering, ved at træne på et udvalgt datasæt. Hvis dette datasæt er mangelfuldt, så bliver de resulterende skævheder indkodet i selve algoritmen, så den efterfølgende vil lave mangelfulde analyser, selv hvis den arbejder med gode data.

De data, som algoritmer arbejder med, vil i praksis altid have visse mangler. Der vil være fejl i databasen, for eksempel fordi en person registreres med et andet karakteristika, end vedkommende faktisk besidder, og der vil være huller i databasen, hvor visse karakteristika eller personer mangler. Sådanne mangler er et vilkår ved alt arbejde med data, og i udgangspunktet en udfordring som menneskelige og algoritmiske agenter deler når de skal analysere data.

Brugen af algoritmiske agenter rejser imidlertid to nye udfordringer knyttet til data. For det første, så kan algoritmiske agenter anvendes på områder, hvor man ikke tidligere har analyseret data (eller i hvert fald ikke lavet samme type systematisk analyse og brug af data). Hvis man ikke i den forbindelse er opmærksom på at vurdere kvaliteten af de data, som algoritmen analyserer, så er der risiko for at overse de fejl, som algoritmens analyser er behæftet med, måske især hvis man bliver grebet af den fascination over algoritmens formåen, som ofte ledsager introduktionen af et analytisk stærkt og tilsyneladende upartisk værktøj.

For det andet så kan algoritmers evne til at samkøre meget store datamængder få mindre mangler til at spille en anden og stærkere rolle. I en gruppe af datasæt, som hver især har mindre mangler, kan disse mangler hver for sig have en beskeden effekt. Men ved samkøring af data kan algoritmen komme til at ramme disse mangler på måder hvor de forstærker hinanden, således at effekten på algoritmens vurderinger bliver væsentligt stærkere.

Fejl, fordelinger og Ratchet-effekter 
Data som på denne måde er mangelfulde skaber først og fremmest problemer fordi kvaliteten af de algoritmiske agenters vurderinger falder. Men de kan også, og måske især, skabe problemer fordi de understøtter eller fører til fordelingseffekter af den type som vi behandlede i diskussionen af algoritmisk forskelsbehandling.

Det sidste vil ofte være tilfældet, fordi der er mangler i datasæt som korrellerer med grupper. Der kan for eksempel være bestemte typer mangler som oftest optræder i data i tilknytning til et bestemt køn, en bestemt seksualitet, en bestemt etnicitet, etc. Derved opstår bestemte typer fejl også oftere i tilknytning til disse grupper.

En særlig problematik er at sådanne mangler i data og resulterende fejl kan være selvforstærkende. Et klassisk eksempel analyseret af Bernard Harcourt er politi-profilering som fokuserer på for eksempel en etnisk minoritet, og som kan have en tendens til at skabe øget bevidsthed om denne gruppes kriminalitet, hvilket legitimerer stærkere profilering af gruppen, hvilket øger bevidstheden om gruppens kriminalitet, etc.

Et sådant accellerende fokus - Harcourt kalder det en "ratchet-effect" - kan i sig selv være uhensigtsmæssigt, men er det indlysende og især hvis det hviler på et historisk overfokus, som har skabt en skæv repræsentation af denne gruppe i de data, som motiverer profileringen. I den situation kan man forestille sig, at der ret beset ikke er grund til at fokusere på denne gruppe, men at de data man ligger inde med i stadigt stigende grad kommer til at indikere det modsatte. Det legitimerer og medfører igen en stadigt voksende mængde fejl, og en stadigt mere skæv fordeling af fejl og effekter.

Incitamenter og responseffekter

En anden udfordring ved algoritmiske agenter, som i modsætning til ovenstående næsten ikke har modtaget nogen opmærksomhed, er den måde introduktionen af en algoritmisk agent kan påvirke incitamentstrukturer og skabe responseffekter. 

Vi berørte allerede i første indlæg et enkelt eksempel på en sådan effekt, nemlig risikoen for at menneskelige agenter kan komme til at køre på automatpilot, når de skal arbejde på baggrund af algoritmiske vurderinger. Men der kan dukke responseffekter op utallige steder. 

Mange års forskning i målstyring i offentlig administration har demonstreret, at de personer som styres ofte er meget fleksible, forstået således at de tilpasser deres adfærd til de kontrolmekanismer de underlægges. Imidlertid har sådanne personer ofte deres egne dagsordener, så den måde de tilpasser sig på kan være uhensigtsmæssig. Det er en konstant risiko ved målstyring, at personerne ændrer adfærd for at tilpasse sig styringen, på en måde som umiddelbart tilfredsstiller de definerede mål, men som er værre med hensyn til de egentlige mål. 

Et klassisk eksempel fra forskningsverdenen er introduktionen af målingen af videnskabelige produktioner (konkret typisk videnskabelige artikler). Hensigten med dette er typisk at øge mængden af videnskabeligt arbejde, ved at gøre det synligt for den enkelte forsker, hvor meget de selv producerede sammenlignet med kollegaer, og ved at bruge mængden af arbejde som kriterium for ansættelse og forfremmelser. I praksis har konsekvensen snarere været a) en voksende industri af pseudovidenskabelige tidsskrifter, hvor forskere kan udgive artikler af meget lav kvalitet, b) en forstærkning af nepotistiske netværk, hvor forskere hjælper kollegaer med lettere adgang til publikationskanaler, og c) en reduktion af også store dele af det seriøse videnskabeligt arbejde til det minimum af indsats, som er nødvendigt for at kunne publicere arbejdet.

Dermed ikke sagt, at forskere som hele publicerer overfladisk forskning i pseudovidenskabelige tidsskrifter gennem "old boys"-netværk. Langt det meste forskning er fortsat sobert, grundigt og bedømt af dobbelt-blindede fagfæller. Pointen er den mindre dramatiske, men stadig væsentlige, at i den udstrækning introduktionen af målstyring har haft en effekt, har denne effekt måske fortrinsvis været utilsigtet og negativ.

Som eksemplet ovenfor illustrerer, så findes denne type udfordring også for menneskelige agenter. Alligevel er der grund til at være særligt på vagt, når der er tale om algoritmiske agenter. Det skyldes det forhold, at algoritmers beslutningskriterier i teorien er tilgængelige og rigide, på en anden måde end hos typiske menneskelige agenter. En algoritmisk agent har et særligt sæt af kriterier for sine analyser og vurderinger, og disse kan i nogle tilfælde (se diskussionen af transparens nedenfor) være fuldt tilgængelige for andre. I modsætning til mennesker er den algoritmiske agent også bundet til disse kriterier - den kan ikke tage dem op til overvejelse, eller gøre undtagelser, i situationer hvor anvendelsen af kriterierne viser sig at være kontraproduktiv. Det skaber særligt gunstige vilkår for at "game the system".

Præcis hvordan udfordringer med den resulterende incitamentstruktur og responseffekter kan manifestere sig vil variere afhængigt af den algoritmiske agents kontekst og funktion. Det er derfor vanskeligt at sige noget generelt om hvordan sådanne udfordringer vil se ud, og hvordan de kan håndteres. Men det er endnu et forhold, som vi bør holde os for øje, når vi udvikler og implementerer algoritmiske agenter.

Den sorte boks
Et væsentligt element i moderne administration, er at de personer som påvirkes af en beslutning, har mulighed for at få indsigt i det grundlag, som beslutningen er truffet på, og klage over beslutningen, hvis dette grundlag virker urimeligt eller forkert. Det er derfor et væsentligt problem ved algoritmiske agenter, at denne mulighed ofte vil være stærkt begrænset. Algoritmer kan i mange situationer få karakter af en sort boks, hvor vi nok kan se hvad der kommer ind, og hvad der kommer ud, men ikke kan se hvorfor input af den ene type giver et resultat af den anden type, det vil sige, hvad grundlaget for algoritmens beslutning er.

En første grund til, at denne type indsigt kan være begrænset er, at mange algoritmer udvikles af private firmaer, som har behov for at holde detaljerne om hvordan algoritmen fungerer hemmelige, for ikke at blive kopieret og udkonkurreret af andre firmaer. Dette behov skaber indlysende problemer, når for eksempel borgere som bliver berørt af de vurderinger, som algoritmen foretager, ønsker at forstå hvilket grundlag vurderingen er foretaget på, så de kan vurdere om de ønsker at klage. Men det skaber også problemer, hvis for eksempel en offentlig myndighed, som har anvendt én type algoritme, beslutter sig for at skifte til en anden algoritme. I sådanne tilfælde kan det være vanskeligt at overføre data fra det hidtidige arbejde, fordi den måde algoritmen har behandlet dataene på er omfattet af virksomhedens behov for at beskytte sin teknologi.

Man kunne måske fristes til at sige "så meget desto værre for virksomheders behov", men her bør man holde sig for øje, hvad grundlaget for at tage hensyn til virksomheders mulighed for at hemmeligholde teknologi er. Det er ofte i alles interesse at tilskynde private virksomheder, til at udvikle ny teknologi, men det er et vilkår ved sådan udvikling, at den ofte er ekstremt dyr, imens det er relativt enkelt for andre virksomheder for eksempel at kopiere en allerede udviklet algoritme. Hvis virksomheder ikke kan holde følsomme detaljer om deres produkter hemmelige, så vil de derfor hurtigt komme til at stå med alle omkostningerne for at udvikle produktet, men være nødt til at dele indtægterne med de konkurrenter, som kopierer produktet. Resultatet vil være, at virksomheder bruger langt færre ressourcer, på at udvikle ny teknologi.

Denne variant af problemet kan, i hvert fald i nogle situationer, løses ved at udvikle offentlige alternativer til de private produkter, ved at give særlige personer adgang til data om produktet på særlige vilkår, eller ved at kompensere virksomheder for deres tab af fortjeneste.

Der findes imidlertid en anden variant af problemet, som skaber mere fundamentale problemer. Moderne algoritmer udvikles i stigende grad ved såkaldt maskinlæring, hvor algoritmen selv definerer og gradvist tilpasser sine parametre gennem træning på et udvalgt datasæt. Den resulterende algoritme vil i mange tilfælde være bedre, for eksempel til at undgå fejl, end en mere klassisk algoritme, hvor menneskelige programmører har specificeret dens funktioner.

Som tidligere nævnt, så er det måske mest berømte eksempel DeepMinds AlphaZero, som på ganske få timer udviklede sig fra en basal forståelse af skaks regler til verdens måske stærkeste skakspiller, alene ved at spille tusindvis af spil mod sig selv, og konstant revidere sine egne analyser. Resultatet er en algoritme som definitivt kan slå enhver menneskelig skakspiller, og som synes at være de klassiske skakprogrammer, som er udviklet ved møjsommelig, menneskelig finpudsning, klart overlegen.

Ulempen ved maskinlæring er, at der i udgangspunktet ikke er nogen, ikke engang de programmører, som har skrevet algoritmen og sat den i gang med at udvikle sig selv, som ved præcist hvordan den fungerer. Når en sådan algoritme træffer beslutninger, så er der derfor i udgangspunktet ikke nogen, som kan forklare præcis hvad grundlaget for beslutningen er. Det betyder at personer, som påvirkes af en beslutning truffet på dette grundlag, ikke kan få indsigt i beslutningsgrundlaget, og derfor vil have vanskeligt ved at vurdere hvorvidt de finder afgørelsen rimelig, samt at de vil have meget vanskeligt ved at klage over en afgørelse, som de opfatter som urimelig.

Der er igangværende initiativer i den datalogiske forskning, som har til formål at gøre det lettere at vurdere hvordan maskinlærende algoritmer fungerer, og kommunikere dette til brugere. De vil antageligt i nogen grad kunne afhjælpe problemet. Men i den udstrækning det består udgør det en alvorlig udfordring for anvendelsen af maskinlærende algoritmer, som må afvejes mod for eksempel den øgede præcision de kan opnå.

Værdier
Et sidste punkt er det måske vigtigste at tage i betragtning, når vi skal vurdere algoritmiske agenter. Det handler om hvilke værdier vi lægger til grund, når vi skal vurdere dem.

Som vi allerede helt indledningsvis var inde på, så er enhver algoritmisk agent defineret ved sin evne til at løse en given opgave. Hvad det i en sådan situation vil sige at løse opgaven er imidlertid ikke forudgivet, men involverer (ofte implicit) fastsættelsen af en værdi, som algoritmen forventes at fremme. Det er kun i kraft af en sådan værdi, at vi kan sige, at nogle resultater er fejl, mens andre er korrekte.

For at tage fat i et eksempel, som jeg anvendte da jeg diskuterede netop fejl og fordele, så kan vi forestille os en algoritme, der screener patienter, for at identificere de personer, som har en bestemt sygdom. Fejl er i denne situation både at overse patienter som har sygdommen, og at klassificere raske patienter som syge. Implicit er værdien her fremme af patienters sundhed, idet vi antager at de syge patienter som identificeres kan modtage behandling, samt at det er værdifuldt, at de modtager en sådan behandling.

Sådanne antagelser er ofte tilforladelige, men ikke altid. Dels kan det ind imellem være uklart hvilken værdi en algoritme skal fremme, eller kontroversielt om den bør fremme den værdi, som den er designet til. Dels vil der ind imellem være dårlig forbindelse mellem algoritmens funktion og den underliggende værdi.

Et første eksempel kunne være Facebooks nyhedsalgoritme. Facebooks nyhedsalgoritme filtrerer de nyheder, som for enhver bruger dukker op, når personen logger på Facebook, og vurderer dels hvilke nyheder som er relevante at vise, og dels hvordan disse skal prioriteres, det vil sige, hvilke som skal vises først. Præcis hvordan den gør det er naturligvis hemmeligt, men overordnet kunne man måske naivt forvente, at den for eksempel forsøgte at skabe mest mulig brugertilfredshed, ved at vise de nyheder som er mest interessante for den enkelte bruger.

Det er imidlertid meget tvivlsomt, om det virkelig er denne værdi Facebooks algoritme er designet til at fremme. Et mere plausibelt bud er, at den er designet til at maksimere brugeres eksponeren for og interaktion med de reklamer, som Facebook får sin indtægt fra. Det kan i den forbindelse være relevant for Facebook at skabe brugertilfredshed, for så vidt som dette for eksempel får brugere til at besøge Facebook oftere og i længere tid. Men også kun for så vidt som dette er tilfældet. I situationer hvor de to hensyn skilles ad, vil algoritmen antageligt tilstræbe at indfri hensynet til reklameindtægt.

Hvordan kunne det ske? Et primitivt og fuldstændig fiktivt eksempel kunne være valget mellem at prioritere alle nyheder, og servere dem i strengt prioriteret rækkefølge, versus at blande dem så de mest interessante nyheder optræder strøet ud mellem andre nyheder, der er mindre interessante. Den første model kunne føre til at brugere er kortere tid på Facebook, fordi de læser de mest interessante nyheder igennem, registrerer at nyhederne bliver mindre og mindre relevante, og derpå logger af. Det vil antageligt være en bedre brugeroplevelse for de fleste. Omvendt vil den anden model kunne holde brugere aktive på Facebook længere tid, fordi der regelmæssigt dukker en ny, interessant nyhed op, imellem den linde strøm af mindre interessante nyheder. Det vil antageligt samlet set være en mindre god brugeroplevelse, men den længere tid på platformen kan for virksomheden veksles direkte til flere reklameindtægter.

I en situation som ovenstående kan der være en god forbindelse mellem algoritmens funktion, og den værdi som den i sidste ende skal fremme, men det kan være uklart for mange brugere, at denne værdi er Facebooks indtjening snarere end deres brugeroplevelse, og kontroversielt om det sidste er den rigtige værdi at fremme, især selvfølgelig når og hvis det sker på bekostning af andre værdier (om dette faktisk er tilfældet ved Facebook er naturligvis et andet spørgsmål - de optræder her alene som hypotetisk eksempel).

Et andet og meget diskuteret eksempel kunne være brugen af COMPAS-teknologi i en lang række amerikanske stater, til at vurdere dømte kriminelles risiko for at begå fremtidige forbrydelser. Én kritik som er blevet fremført i den forbindelse, er at disse vurderinger inddrages, når dommere skal udmåle straffen, hvilket angiveligt krænker den dømtes ret til at blive behandlet som uskyldig indtil det modsatte er bevist (idet dommeren derved implicit straffer vedkommende for forbrydelser hun antages at ville begå i fremtiden).

Man kan diskutere om dette synspunkt i sig selv er korrekt - det vil sige, om det vitterligt krænker en persons ret til at blive betragtet som uskyldig, hvis risikovurderinger inddrages i strafudmålingen - men mere centralt i denne sammenhæng er det, at dette ikke er en effekt af den algoritmiske agent. Hvis dette vitterligt udgør et problem, så er det et problem som findes i samme form og udstrækning, når dommere inddrager denne type vurdering uden at bruge en algoritmisk agent (f.eks. ved at lave en intuitiv vurdering). Det er således et eksempel på, at algoritmiske agenter kan tjene kontroversielle værdier eller formål, men også på at udfordringen i denne sammenhæng er at holde fokus på denne værdi, snarere end på at der er en algoritmisk agent involveret.

For at samle op, så er det fuldstændig afgørende i vurderingen af algoritmiske agenter, at overveje hvilke værdier algoritmen er designet til at fremme, og i den forbindelse om disse værdier er hensigtsmæssige mål for algoritmen. Anvendelsen af algoritmiske agenter er i den forbindelse risikofyldt fordi vi kan komme til at glemme, at der er sådanne værdier på spil. Men omvendt kan vi også, i den kritiske analyse af algoritmiske agenter, komme til at overse, at det i nogle tilfælde er de værdier, som algoritmen er sat til at fremme, som er problematiske, snarere end anvendelsen af en algoritmisk agent som sådan (den pointe har jeg tidligere illustreret i diskussionen af såkaldt intelligent politiarbejde).

Som de tre indlæg forhåbentlig har illustreret, så er dataetik et komplekst felt, med en række både forskellige og relaterede problematikker. Som forskningsfelt er det i disse år i rivende udvikling. Det er en god ting. For praksis har for længst overhalet vores refleksioner. Algoritmiske agenter udvikles og introduceres flere og flere steder. Hvis vi skal nå at formulere grundigt gennemtænkte svar på de etiske spørgsmål, som brugen af algoritmer rejser, så er det nu vi skal i gang.

Skitser til en dataetik 2: algoritmisk forskelsbehandling

(Advarsel: *nørdet*. Dette indlæg er, selv efter denne blogs standard, ret abstrakt og teknisk.)

I første afsnit af mine skitser til en dataetik præsenterede jeg to argumenter for brugen af algoritmiske agenter - effektivitet og objektivitet - og en række mulige fejl som de kunne begå, og som de må vurderes på. I dette afsnit handler det om et andet forhold, nemlig det, at algoritmiske agenter kan forskelsbehandle personer, på måder som kan virke problematiske.

Direkte forskelsbehandling
Den første og måske mest oplagt mulighed for, algoritmer kan forskelsbehandle på en problematisk måde, er at de kan lægge forskelle til grund, som vi intuitivt mener, ikke bør spille en rolle.

Vi kan for eksempel forestille os en algoritme der forsøger at identificere personer, som svindler med offentlige midler, og som giver personer med en bestemt etnicitet en højere sandsynlighed end andre. Selv hvis dette skulle være korrekt - det vil sige, at flere personer med denne etnicitet svindler, selv når man kontrollerer for andre faktorer som alder, indkomst, uddannelse, etc. - så vil mange mene, at det er udtryk for moralsk problematisk diskrimination, hvis algoritmen på denne måde forskelsbehandler på grund af etnicitet. I givet fald er der tale om såkaldt direkte diskrimination.

Diskrimination er et kompliceret fænomen, og det er langt mindre klart både hvad diskrimination er, og hvornår/hvorfor den er moralsk problematisk, end mange personer ofte antager. Ville det, for eksempel, være lige så problematisk, hvis det var mænd som var mere tilbøjelige til at svindle, og derfor mænd som fik justeret deres sandsynlighed? Og hvad, for at tage et andet eksempel, med en algoritme, som skal vurdere hvilke personer som skal tilbydes en test mod en bestemt sygdom, som kvinder har større sandsynlighed end mænd for at lide af? Mange vil nok være langt mindre sikre på, at det i dette tilfælde udgør et problem, hvis algoritmen justerer kvinders sandsynlighed på grund af deres køn, således at flere kvinder (og færre mænd) tilbydes testen. Hvis det er korrekt, så er det ikke selve det, at forskelsbehandle på baggrund af bestemte karakteristika, som er problematisk, men snarere dét at forskelsbehandle på bestemte måder, uanset hvilke grupper som er involveret (det har jeg i sin tid skrevet en artikel om).

Som det sidste eksempel illustrerer, så kan det ind imellem endda virke problematisk, hvis der er distinktioner, som burde indgå i analysen og/eller som del af beslutningsgrundlaget, men som er blevet overset eller bevidst udeladt. En del kritikere påpeger, at det eksempelvis kan være et problem, når langt de fleste algoritmer udvikles af personer, som har en særlig demografi (med en måske lidt grov generalisering: højtuddannede, analytisk begavede men introverte unge mænd), fordi de kan dele antagelser og blinde vinkler, som de uforvarende kommer til at overføre til algoritmen.

Et fiktivt eksempel kunne være et stykke software, som skal analysere bestemte helbredsdata, men som overser at kvinders menstruationscyklus påvirker dataene, og af denne grund ikke kan lave lige så gode vurderinger for kvinder, som den kan for mænd. Her er der tale om at kvinder ved at blive behandlet på samme måde som mænd stilles ringere uden grund, idet (kan vi forestille os) algoritmen uden videre kunne tage højde for de relevante forskelle og derved give kvinder en lige så præcis vurdering, men ikke gør det (eksemplet er kun fiktivt i løs forstand - der er massevis af eksempler på at medicinske tests, medikamenter og procedurer udvikles til mænd, uden at tage højde for at de vil virke anderledes på kvinder). Som sådan er det også et eksempel på såkaldt indirekte diskrimination.

Indirekte forskelsbehandling
Den anden store udfordring for algoritmiske agenter knytter sig netop til, at selv når en algoritmisk agent ikke direkte lægger et karakteristika til grund for forskelsbehandling på en måde som er problematisk, så kan fordelingen af fejl og effekter mellem grupper være ulige på måder som kan være det. Det er værd at bemærke, at dette sagtens kan være tilfældet, selvom agenten samlet set er lige så god som (eller bedre end) en menneskelig agent til lave korrekte vurderinger. En algoritmisk agent, som samlet set laver samme mængde, type og vægt af fejl som en menneskelig agent kan alligevel lave fejl og effekter, som rammer andre personer og grupper, end de som ville være blevet ramt af en menneskelig agent.

Forskelle i effekt mellem to grupper kan opstå uden at involvere direkte forskelsbehandling af de to grupper, når de afspejler andre forskelle imellem de to grupper, som algoritmen reagerer på. Algoritmen behøver således ikke at skelne direkte mellem grupperne for at vurdere eller behandle de to grupper forskelligt, hvis den skelner på baggrund af egenskaber som er ulige fordelt mellem grupperne, eller hvis behandlingen virker forskelligt på de to grupper.

Hvis algoritmen for eksempel er lavet til at opdage social svindel, og personer med en bestemt alder eller køn har tendens til at begå denne type forbrydelse, så vil det ikke være overraskende, at algoritmen succesfuldt identificerer flere af denne type personer som svindlere end personer i den bredere befolkning uden direkte at lægge alder eller køn til grund, så længe den kan skelne på baggrund af andre karakteristika, som korrellerer med alder eller køn. Vi kan sige at algoritmen "opdager" forskellen, selvom vi har forsøgt at skjule den.

Indirekte diskrimination er et komplekst fænomen, og der er ikke konsensus i forskningen om hvordan vi skal forstå det, eller hvad som er galt med det. Men én plausibel forklaring, som jeg selv har argumenteret for, er at indirekte diskrimination er en handling der uhensigtsmæssigt stiller en sårbar gruppe ringere, ved at behandle dem på samme måde som vi behandler andre, uden at tage hensyn til at dette netop for denne gruppe vil have en særlig, negativ effekt.

En anden mulighed er at algoritmen laver flere fejl for en gruppe og færre for en anden, laver andre typer fejl for en gruppe end for en anden (f.eks. flere type 1 fejl og færre type 2 for en gruppe, og omvendt for en anden gruppe), eller at den laver større fejl for en gruppe end for en anden. Denne type forskelle kan, ligesom ovenfor, især virke problematisk, hvis fejl i højere grad end ellers rammer særligt sårbare grupper.

Et meget diskuteret eksempel er brugen af COMPAS i det amerikanske retsvæsen, hvor softwaren er blevet brugt til at vurdere dømtes risiko for at begå nye forbrydelser i fremtiden (dvs. recidivisme). Nogle analyser af softwaren har kritiseret den for, at den havde tendens til at fejlklassificere sorte som havende en høj risiko (falsk positiv-fejl), mens den havde tendens til at fejlklassificere hvide som havende en lav risiko (falsk negativ fejl).* 

Den første effekt kunne også opstå alene fordi algoritmen havde tendens til systematisk at undervurdere hvides risiko. I praksis synes det imidlertid at være tilfældet, at den også systematisk overvurderede sortes risiko for recidivisme.

Sådanne forskelle er vigtige. I det aktuelle eksempel betyder det at flere sorte end hvide får lange straffe eller nægtes prøveløsladelse, og at dette for flere sorte end hvide beror på en fejl.

Prospektiv og retrospektiv vurderingslighed

En subtil udfordring ved at forsøge at få algoritmiske agenter til at behandle personer ligeligt, knytter sig til, at fejlratioer kan være forskellige prospektivt og retrospektivt. 

NorthPointe, som udvikler COMPAS, forsvarede sig ved at påpege, at algoritmen giver personer samme sandsynlighed for at begå ny kriminalitet for en given vurdering, uanset race. Det vil sige, at hvis algoritmen vurderer, at en person har x% sandsynlighed for recidivisme, så begår denne person faktisk en ny forbrydelse i y% af tilfældene, og dette er tilfældet på tværs af f.eks. køn, race, etc. Algoritmen er altså lige så god til at vurdere chancen for recidivisme, uanset hvem man er.

Kald dette for prospektiv vurderingslighed: En algoritme må ikke begå flere fejl, målt som ratioen mellem de gange hvor den gætter rigtigt og de hvor den gætter forkert, i sine vurderinger af én gruppe, end den gør i sine vurderinger af en anden gruppe.

ProPublica, som kritiserede COMPAS, argumenterede imidlertid for, at det er uretfærdigt, at en sort person, som ikke begår fremtidige forbrydelser, har en større sandsynlighed for, at være blevet fejlagtigt vurderet, som havende en høj sandsynlighed for recidivisme (og omvendt, at en hvid person som begår en fremtidig forbrydelse har en større sandsynlighed for at være blevet fejlagtigt vurderet som havende en lav sandsynlighed for recidivisme).

Kald dette for retrospektiv vurderingslighed: En algoritme må ikke begå flere fejl, målt som ratioen mellem de gange hvor personer som befinder sig i en kategori vurderes rigtigt og de hvor disse personer vurderes forkert, for én gruppe, end den gør for en anden gruppe.

De to typer lighed stiller forskellige spørgsmål. Den første spørger: hvis en person klassificeres som havende et karakteristika, hvad der så sandsynligheden for, at dette er rigtigt? Og er denne sandsynlighed forskellig, for forskellige grupper? Den anden type lighed spørger: hvis en person faktisk har et karakteristika, hvad er så sandsynligheden for, at vedkommende vil blive klassificeret rigtigt? Og er denne sandsynlighed forskellig, for forskellige grupper?

Det kan umiddelbart lyde mærkeligt, at der skulle kunne være situationer, hvor de to typer lighed kan skilles ad, men overvej følgende simple eksempel:

Gen-test: En særlig genetisk disposition forekommer oftere hos mænd end hos kvinder. Et hospital bruger en test for den genetiske disposition i et år, og får følgende resultater:

	Mænd (antal)		Kvinder (antal)
	Tester negativt	Tester positivt	Tester negativt	Tester positivt
Har disposition	20	80	20	32
Har ikke disposition	20	20	20	8

Testen omfatter ialt 140 mænd og 80 kvinder, af dem har 100 mænd og 52 kvinder faktisk den genetiske disposition. Ingen af delene er underlige, fordi dispositionen forekommer oftere hos mænd. Men er testen lige så god for kvinder, som for mænd?

Én måde at vurdere dette spørgsmål på, er at sammenligne succesraterne for henholdsvis positivt og negativt testede. Af de mænd som tester positivt (100) er det 80 som har dispositionen og 20 som er blevet fejldiagnosticeret. Det giver en succesrate på 80%. Det er fuldstændig samme resultat, som for kvinderne (40 kvinder, 32 som faktisk har dispositionen, 8 som er fejldiagnosticerede). Hvis vi sammenligner hvor god testen er til at ramme rigtigt, når den tester positivt, så synes den altså at være lige god for begge køn.

Billedet er det samme for de personer som tester negativt. Bliver man testet negativt, er der for begge køn en 50% sandsynlighed for, at man ikke har dispositionen, og en 50% sandsynlighed for, at man alligevel har den (denne fiktive test er derfor samlet set, og i parantes bemærket, ikke imponerende, men det er ikke her pointen). Det skyldes at der for begge køns vedkommende er 20 som korrekt testes negativt og 20 som fejldiagnosticeres.

Det kan således se ud til, at testen er lige så god for kvinder som for mænd. Men det er fordi vi foreløbig kun har vurderet den i lyset af prospektiv vurderingslighed. Hvis vi i stedet spørger, hvor god testen er til at ramme rigtigt, for de som faktisk har og ikke har dispositionen, så er billedet anderledes.

Hvis man er en mand, og faktisk har dispositionen, så er der 80% chance for, at man vil blive testet positivt, og 20 procent chance for at man bliver testet negativt. Hvis man er mand og ikke har dispositionen, så er der 50% chance for at blive testet positivt, og 50% chance for at blive testet negativt. For mænd er der således ingen forskel på prospektiv og retrospektiv vurderingslighed.

Men for kvinder, som faktisk har dispositionen, er der kun 62% chance for at blive testet positivt (20/32). Omvendt er der for kvinder, som ikke har dispositionen, kun 29% chance for at blive testet positivt (8/20). Det betyder at testen i dette perspektiv er meget bedre (80% vs. 62%) til korrekt at identificere de mænd, som har dispositionen. Men den er også meget bedre til ikke at fejldiagnosticere de kvinder, som ikke har dispositionen (29% vs. 50%).

Som eksemplet illustrerer kan de to typer lighed altså skilles ad. Og faktisk er dette ikke bare muligt. Når der er relevante forskelle mellem grupperne vil de nødvendigvis skilles ad, og det er derfor umuligt at opnå begge typer lighed på samme tid (matematisk bevis her, enkel forklaring her). Det betyder at vi i mange situationer vil være tvunget til at vælge, hvilken af de to typer lighed, som vi vil sikre, når vi designer algoritmen.

Samme algoritme-tid, samme algoritme-kanal...
Som dette indlæg har skitseret, så er der en række potentielt problematiske måder, som algoritmiske agenter kan forskelsbehandle på. For flere af dem vil vi være nødt til at lave vanskelige afvejninger af konkurrerende hensyn, f.eks. mellem forskellige idealer om lighed, og mellem hensynet til lighed og hensynet til det mål som algoritmen tjener.

I tredje og sidste afsnit af skitserne skal vi kigge på de udfordringer for algoritmiske agenter som knytter sig til deres brug af data, de reaktioner de kan afstedkomme, deres manglende transparens, og de værdier de bygger på.

-----

* Det er fortsat kontroversielt (se her og her) i hvilken udstrækning dette faktisk udgør problemer ved softwaren. Eksemplet tjener imidlertid som en udmærket illustration af den generelle udfordring for algoritmiske agenter, uanset hvad vi bør mene om lige præcis COMPAS.