Algoritmerne udfordrer vores forbud mod diskrimination

 

Næsten alle er enige om, at det er forkert at diskriminere. Hvis en patient ikke vil tro på lægens vurdering alene fordi hun er kvinde, et diskotek ikke vil lukke unge ind alene fordi de er muslimer, eller en arbejdsgiver ikke vil ansætte en ansøger alene fordi hun er sort, så fordømmer vi vedkommende.

Forbuddet mod diskrimination er da også slået fast i en lang række regelsæt, inklusiv den europæiske menneskerettighedskonvention (artikel 14) og EU's charter om grundlæggende rettigheder (artikel 21).

De mest klassiske eksempler på diskrimination, som eksemplerne ovenfor, er såkaldt direkte diskrimination. I moderne regulering af og teori om diskrimination arbejder man imidlertid også med en anden form for diskrimination.

Vi kan forestille os en arbejdsgiver, som lurer at sorte ansøgere typisk er håndboldfans, mens hvide ansøgere typisk er fodboldfans (sådan er det naturligvis ikke, men eksemplet skal kun vise en pointe). For samtidigt at undgå sorte medarbejdere og fordømmelsen af direkte diskrimination indfører arbejdsgiveren en politik om ikke at ansætte håndboldfans.

Arbejdsgiveren diskriminerer ikke direkte på baggrund af race, men effekten er (næsten) den samme. Man plejer at sige, at hun indirekte diskriminerer mod sorte.

Diskrimination har historisk været en udfordring som knyttede sig til menneskers handlinger. De sidste ca. 10 år er der kommet fokus på, at det også kan optræde, når algoritmer støtter eller træffer beslutninger. Algoritmiske beslutningssystemer findes i stadigt flere sammenhænge, fra diagnosticering i sundhedssektoren, over vurdering af risici i finanssektoren, og til screening af ansøgere på arbejdsmarkedet.

Selvom algoritmisk diskrimination på mange måder er ligesom menneskelig diskrimination – den kan være direkte eller indirekte, og ramme de samme beskyttede grupper – så rejser den også en række udfordringer. Konkret giver algoritmisk diskrimination os behov for at overveje:

• Hvad stiller vi op med uigennemsigtig diskrimination?

• Diskriminerer algoritmer eller vurderer de fakta?

• Hvorfor er direkte diskrimination værre end indirekte diskrimination?

• Hvad betyder det, at blive stillet dårligere?

• Hvad er standarden for hvornår forskelsbehandling er dårlig?

Lad mig præsentere hver af disse udfordringer i denne rækkefølge.

Uigennemsigtig diskrimination

Den første udfordring er, at det kan være vanskeligt at afgøre, om en algoritme direkte forskelsbehandler beskyttede grupper. Det skyldes at algoritmer kan være uigennemsigtige.

Problemet med at algoritmer kan udgøre ”sorte kasser” har været meget omdiskuteret. Ofte er fokus på den udfordring, at en algoritme kan være så kompleks, at det er meget vanskeligt at forstå hvordan den virker. Det er imidlertid ikke dette, som udgør den væsentligste udfordring for at regulere algoritmisk diskrimination, for det er ofte relativt enkelt at fastslå, om selv en kompleks algoritme direkte forskelsbehandler, blandt andet ved at bruge metoder udviklet indenfor såkaldt ”explainable AI”.

Til gengæld kan den nødvendige information om algoritmen være utilgængelig ganske simpelt fordi udvikleren beskytter den. Mange algoritmer udvikles og anvendes af private virksomheder, der ofte med god grund betragter algoritmens funktion som en forretningshemmelighed. Men udvikleren kan også beskytte information om algoritmen, fordi offentliggørelse kan føre til, at personer ændrer adfærd på uønsket vis. Vi kan eksempelvis forestille os en arbejdsgiver, som anvender en algoritme, til at forsøge at identificere den bedste ansøger. Hvis ansøgerne har adgang til information om hvordan algoritmen virker, så vil de kunne ændre deres ansøgning, for at narre algoritmen. Der kan altså være flere grunde til at nægte adgang til information om algoritmen, og hvis udvikleren afviser adgang til informationerne, er det umuligt at slå fast, om algoritmen direkte forskelsbehandler.

Til gengæld vil det ofte være relativt let at slå fast at algoritmen enten direkte eller indirekte forskelsbehandler. For at vurdere dette behøver man nemlig kun at kigge på, hvordan algoritmen faktisk behandler personer. Hvis den systematisk stiller visse grupper ringere end andre, så forskelsbehandler den på mindst én af de to måder.

Algoritmens resultater kan typisk formidles uden at afsløre algoritmens funktion. Vurderingen af forskelsbehandling behøver derfor ikke kompromittere udviklerens forretningshemmeligheder. Og hvis man ønsker at vurdere algoritmen før den tages i brug, så kan relativt enkle statistiske tests, for eksempel hvor man får algoritmen til at vurdere et stort sæt hypotetiske sager, give samme indsigt.

Kort fortalt: det kan ofte være vanskeligt, at finde ud af, om en algoritme direkte forskelsbehandler, men enkelt at fastslå at den enten direkte eller indirekte forskelsbehandler. Hvis direkte og indirekte diskrimination var sidestillede, ville det være tilstrækkeligt at vide, at mindste en af delene finder sted. Men fordi de behandles meget forskelligt, vil det ofte være afgørende om det er direkte eller indirekte forskelsbehandling, som er på spil.

Beslutninger vs. vurderinger af fakta

Den anden udfordring er, at det i mange situationer ikke er klart, at algoritmer diskriminerer. Det skyldes, at det ikke er diskriminerende at foretage en faktuel vurdering, men alene at behandle personer på den ene eller den anden måde. De algoritmer som støtter eller automatiserer beslutninger, foretager typisk faktuelle vurderinger.

Et eksempel kan illustrere. Vi kan forestille os et hospital, som anvender en algoritme til at hjælpe med at diagnosticere en bestemt type kræftknude. Hvis knuden er ondartet skal patienten opereres. Hvis knuden er godartet, er det bedst at lade den være. Vi kan endvidere forestille os, at algoritmen skelner mellem mænd og kvinder, for eksempel fordi visse symptomer peger stærkere på en ondartet knude, når de optræder hos kvinder, end når de optræder hos mænd. Algoritmens vurdering udtrykkes som en sandsynlighed for, at en kræftknude hos en given patient er ondartet. Diskriminerer algoritmen?

Det virker meget besynderligt, at hævde at dette skulle være tilfældet. Ganske vist skelner algoritmen mellem mænd og kvinder – den behandler dem i én bestemt henseende forskelligt – men dels gør den det fordi der faktisk er forskel på mænd og kvinder, dels stiller den derved alle patienter bedst muligt, fordi vurderingen for både mænd og kvinder er mere præcis på denne måde, og dels gør algoritmen ikke selv noget. Den beregner blot så præcist som muligt en risiko.

Når en læge efterfølgende tager stilling til, om patienten skal opereres eller ej benytter vedkommende denne risikovurdering. Og i den beslutning kan lægen diskriminere, hvis for eksempel hun er villig til at lade kvinder løbe større risici end mænd. Men det er vanskeligt at se, at den faktuelle vurdering i sig selv skulle være diskriminerende.

Anvendelsen af en algoritmisk vurdering kan også være indirekte diskriminerende. I eksemplet med arbejdsgiveren, som anvender en algoritme til at identificere den bedste ansøger, kan vi forestille os, at de kompetencer arbejdsgiveren efterspørger oftere findes hos mænd end hos kvinder. I dette tilfælde vil anvendelse af algoritmens vurdering føre til, at flere mænd end kvinder tilbydes ansættelse. Men igen er det ikke algoritmen som diskriminerer. Det er snarere arbejdsgiverens beslutning om at anvende algoritmen, valg af hvilke kompetencer hun efterspørger, og fokus på kompetencer (i stedet for eksempelvis hvilken ansøger som har mest gavn af at blive ansat), som fører til forskelsbehandling.

Kort fortalt: Algoritmer beregner en vurdering af et faktuelt forhold, for eksempel en risiko. I mange situationer er det tvivlsomt, om vi med rette kan sige, at algoritmen derved diskriminerer, og mere præcist at sige, at det er personers beslutning om, at lægge vurderingen til grund for beslutninger, som kan være indirekte diskriminerende.

Stedbarnet indirekte diskrimination

Begge de to første udfordringer handler på hver sin vis om, hvorvidt algoritmisk diskrimination er direkte eller indirekte. Man kunne måske få lyst til at spørge om dette virkelig er så vigtigt? Så længe vi ved, at der er diskrimination på spil, hvorfor skulle det så være afgørende, hvilken slags?

Svaret er, at mange er af den opfattelse, at der er afgørende forskel. Direkte diskrimination er forkert, og kan så godt som aldrig tillades. Undtagelsen er eksempelvis såkaldt positiv særbehandling, hvor sårbare minoriteter gives en fordel, for at hjælpe dem med at indhente det forspring, som andre har.

Indirekte diskrimination derimod, betragtes ofte som langt mindre alvorligt. Det ses blandt andet ved, at der i lovgivningen om diskrimination formuleres en række undtagelser. Under disse undtagelser udgør indirekte forskelsbehandling ikke ulovlig diskrimination.

I amerikansk lovgivning er en praksis som indirekte stiller en minoritet dårligere – som arbejdsgiverens politik om ikke at ansætte håndboldfans – således kun forbudt hvis det enten kan bevises, at formålet med praksissen er at diskriminere, eller hvis praksissen ikke tjener noget relevant formål.

Det første har, forståeligt nok, vist sig at være nærmest umuligt. Hvis ikke man decideret kan opsnuse en email, hvor arbejdsgiveren skriver, at formålet er at undgå at ansætte sorte, så er det svært at bevise, at dette skulle være tilfældet.

Den anden betingelse giver også meget plads for indirekte forskelsbehandling, fordi der ofte vil være mange måder indirekte at forskelsbehandle, som kan siges at tjene et eller andet relevant formål. Arbejdsgiveren kunne eksempelvis hævde, at hun selv er håndboldfan, og at hun ønsker at skabe en medarbejderkultur, hvor dette er en vigtig del af fællesskabet.

Jyske Finans

I Europa er forbuddet lidt anderledes defineret, men har nogle af de samme svagheder. Lidt forenklet kan man sige, at ligesom i USA kan indirekte forskelsbehandling være lovlig, hvis den tjener et legitimt formål. Men forbuddet er også begrænset af en snæver fortolkning af, hvad det vil sige, at en beskyttet minoritet stilles ringere. Det slog EU-domstolen fast i den opsigtsvækkende Jyske Finans dom fra 2017.

Sagsøgeren, Huskic, havde ansøgt Jyske Finans om et lån til en bil. Jyske Finans krævede i udgangspunktet kørekort som dokumentation. Huskic var dansk statsborger, men af kørekortet fremgik alene, at han var født i Bosnien-Herzegovina, som ligger udenfor EU. Derfor krævede Jyske Finans yderligere dokumentation for hans nationalitet.

Huskic kontaktede Ligebehandlingsnævnet, som indbragte sagen. Byretten i Viborg konkluderede, at der var tale om direkte diskrimination, men da Jyske Finans ankede anmodede Vestre Landsret EU-domstolen om en vurdering.

EU-domstolen konkluderede, at der ikke kunne være tale om direkte diskrimination. Det skyldes, at direkte forskelsbehandling kun kan være ulovlig diskrimination, når den er baseret på et såkaldt beskyttet personkarakteristika, for eksempel race, køn eller etnicitet. Omvendt er der masser af forhold, som ikke kan være grundlag for diskrimination. Antallet af stavelser i en persons navn, om man er Brøndby eller FCK-fan, eller de astrologiske stjernetegn, for eksempel. Man kan diskutere fordele og ulemper ved denne måde at regulere diskrimination, men under de givne regler, så virker domstolens fortolkning indlysende korrekt: det land, som en person er født i, er ikke et beskyttet karakteristika.

Men hvad så med indirekte diskrimination? Indirekte diskrimination kræver kun at en praksis har den effekt, at personer med et beskyttet karakteristika stilles dårligere end andre. Domstolen overvejede derfor, om Jyske Finans indirekte diskriminerede på baggrund af etnicitet.

Der er imidlertid to måder, hvorpå man kan forstå hvad det vil sige, at personer med et beskyttet karakteristika stilles dårligere end andre. I den første fortolkning er det tilstrækkeligt, at der findes forskellige etniske grupper, og at en praksis har forskellig effekt for de forskellige grupper, således at den forudsigeligt stiller medlemmer af nogle grupper ringere end medlemmer af andre grupper. Hvis man anlagde en sådan fortolkning, så ville Jyske Finans have indirekte diskrimineret, fordi etniske europæere (danskere, tyskere, franskmænd, etc.) typisk er født i et EU-land, mens personer med en etnicitet vi forbinder med andre dele af verden (arabere, latinamerikanere, japanere, etc.) langt oftere ikke er.

I den anden, langt mere restriktive fortolkning, skal en praksis påføre netop én bestemt etnisk gruppe en ulempe. Det er uklart hvordan man skal trække grænserne for forskellige etniciteter, men det er klart at ”ikke-europæer” ikke er en etnicitet. Domstolen anlagde den restriktive fortolkning, og afviste derfor, at der var tale om indirekte diskrimination i Jyske Finans.

Domstolens restriktive fortolkning betyder, at det er meget få former for indirekte forskelsbehandling, som udgør ulovlig diskrimination. Eksempelvis vil arbejdsgiveren, som forhindrer ansættelsen af sorte ved at diskriminere mod fodboldfans, kunne fortsætte lovligt, hvis blot også asiater typisk er fodboldfans. I denne situation stilles både sorte og asiater godt nok dårligere end hvide, men når hendes forskelsbehandling rammer både sorte og asiater er der ikke én bestemt race, som stilles ringere.

Der findes fremtrædende jurister, som mener, at domstolens restriktive fortolkning i Jyske Finans er forkert. Det er således ikke givet, at domstolen i fremtidige sager vil følge samme restriktive fortolkning.

Hvorfor forskelsbehandle direkte og indirekte diskrimination?

Men et nok så væsentligt spørgsmål er, hvorfor denne forskel på direkte og indirekte diskrimination? Hvorfor forbyde direkte diskrimination uanset hvilke grunde der kan være til det, men tillade indirekte diskrimination, når den tjener et legitimt formål? Tilsvarende ville domstolen med stor sandsynlighed have erklæret det ulovligt, hvis Jyske Finans direkte havde stillet ét sæt krav om dokumentation til personer med de etniciteter, som vi forbinder med EU-lande, og et andet sæt krav til andre. Hvorfor så tillade indirekte diskrimination, som berører de samme grupper?

Der er to oplagte forklaringer. Den første forklaring er, at vi har en tendens til at opfatte det som moralsk værre, hvis en person intentionelt stiller andre dårligt, end hvis det ikke er med vilje, at andre stilles dårligt. De fleste mener for eksempel at koldblodigt mord er værre end manddrab, netop fordi gerningsmanden i det første tilfælde har en intention om at slå ofret ihjel. Når det drejer sig om klassisk diskrimination kan der være mange tilfælde af indirekte forskelsbehandling, hvor diskrimination er utilsigtet, og mange tilfælde af direkte diskrimination, hvor den er intenderet. Men der er ikke nogen nødvendig sammenhæng mellem intentioner og direkte diskrimination, eller mellem utilsigtet diskrimination og indirekte diskrimination, især ikke når det gælder algoritmisk diskrimination.

Det viser sig især, i de stadigt flere tilfælde hvor algoritmer udvikles ved maskinlæring. Når en algoritme trænes ved maskinlæring, så gives den et stort datasæt med eksempler, og en masse information om hvert af eksemplerne. I træningsprocessen justeres algoritmens funktion, således at den lægger vægt på netop den information, som bedst muligt lader den løse sin opgave. For eksempel at identificere den bedste ansøger til en stilling.

Når en algoritme udvikles ved maskinlæring, er det en læringsalgoritme, som afgør hvilke forhold algoritmen skal lægge vægt på. Det betyder, at det er muligt for algoritmen direkte eller indirekte at forskelsbehandle uden at udvikleren intenderer det. I teorien kan det forekomme, uden at udvikleren overhovedet er opmærksom på det.

Omvendt så åbner anvendelsen af algoritmer nye muligheder for at erstatte direkte diskrimination med indirekte diskrimination. Det skyldes at det ofte vil være muligt at bruge en kombination af andre forhold, så man med stor præcision rammer netop den gruppe, som man ønsker at diskriminere. Eksempelvis kan arbejdsgiveren i vores eksempel kombinere forskellen på håndbold- og fodboldfans med andre forhold, hvor der statistisk er forskel på sorte og hvide ansøgere, for endnu bedre at sikre, at hun kun ansætter hvide ansøgere.

Kort sagt: når det gælder algoritmisk diskrimination, så er der ikke nogen grund til at tro, at direkte diskrimination i højere grad skulle være intentionel end indirekte diskrimination. Og derfor ikke denne grund til at behandle dem forskelligt.

Den anden forklaring er, at det ofte er sværere eller mere omkostningsfuldt at undgå indirekte forskelsbehandling, end at undgå direkte forskelsbehandling. En arbejdsgiver, som ønsker at undgå direkte forskelsbehandling på baggrund af race, behøver blot at ignorere ansøgernes race (hvis vi ser bort fra risikoen for implicit bias). En arbejdsgiver, som ønsker at undgå indirekte forskelsbehandling på baggrund af race har en langt vanskeligere opgave. For hvert forhold, som hun ønsker at lægge vægt på, skal hun vurdere om det statistisk set hænger sammen med ansøgernes race. Det kan i sig selv være en vanskelig og omstændelig opgave, at foretage denne vurdering. Men det kan også efterlade arbejdsgiveren med meget få eller måske ingen relevante forhold, som hun kan lægge vægt på.

Af samme grund tillader diskriminationslovgivningen indirekte forskelsbehandling, når den i tilstrækkelig grad tjener et legitimt formål. En arbejdsgiver, som skal ansætte piloter til et flyselskab, har lov til at insistere på at ansøgere skal have pilotcertifikat, også selvom det skulle vise sig, at kun hvide og ingen sorte har et sådant certifikat. Det skyldes helt oplagt, at det ville være livsfarligt for passagererne, hvis man ansatte piloter uden certificering.

Endnu engang illustrerer algoritmisk diskrimination, at dette er en forskel i grad, snarere end en kategorisk forskel. Der kan således være situationer, hvor det gør en meget stor forskel for algoritmens vurderinger, om den kan bruge et beskyttet personkarakteristika eller ej. Og omvendt kan der være situationer, hvor algoritmen bruger et forhold, som hænger tæt sammen med et beskyttet karakteristika, selvom det kun giver mulighed for en marginal forbedring af algoritmens vurderinger.

Kort sagt: når det gælder algoritmisk diskrimination, så vil der typisk være omkostninger forbundet med at undgå både direkte og indirekte forskelsbehandling. Hvis vi vil acceptere nogle former for forskelsbehandling, fordi omkostningen ved at undgå dem er for store, så må vi vurdere fra gang til gang hvorvidt det er tilfældet, både når det gælder direkte og indirekte forskelsbehandling.

Tre forskellige måder at stille personer ringere

Den fjerde og mest diskuterede udfordring ved algoritmisk diskrimination drejer sig om, at det ikke er klart præcis hvad det vil sige, at en algoritme behandler visse grupper dårligere end andre. I forskningen skelnes groft sagt mellem tre forskellige måder man kan forstå dette på:

1. Fordeling af vurderinger
   
2. Fordeling af præcision
3. Fordeling af fejl

En algoritme behandler to grupper forskelligt med hensyn til fordelingen af vurderinger, hvis den har tendens til at vurdere den ene gruppe på én måde, og den anden gruppe på en anden måde. Hvis for eksempel en algoritme har tendens til at vurdere sorte ansøgere som mindre kvalificerede end hvide ansøgere, så behandler den sorte ansøgere dårligere i denne forstand.

En algoritme behandler to grupper forskelligt med hensyn til fordelingen af præcision, hvis den har tendens til at begå flere eller større fejl, når den vurderer personer fra den ene gruppe, end når den vurderer personer fra den anden gruppe. Hvis for eksempel en algoritme har tendens til oftere at vurdere kvalificerede ansøgere som ukvalificerede når ansøgeren er sort, end når ansøgeren er hvid, så behandler den sorte ansøgere dårligere i denne forstand.

Endelig behandler en algoritme to grupper forskelligt med hensyn til fordelingen af fejl, hvis den har tendens til at begå forskellige typer fejl, når den vurderer personer fra henholdsvis den ene og den anden gruppe. Hvis for eksempel algoritmen har tendens til at overvurdere hvide ansøgeres kvalifikationer, og til at undervurdere sorte ansøgeres kvalifikationer, så begår den i princippet fejl i begge tilfælde, men den behandler nok alligevel sorte ansøgere dårligere.

De tre måder at behandle personer forskelligt på har fyldt en del i den nyere forskning. Et vigtigt resultat er, at det ofte vil være umuligt på samme tid at undgå alle typer forskelsbehandling. Det betyder at vi ofte vil være tvunget til at vælge, hvordan vi foretrækker, at algoritmer behandler personer forskelligt. Og det er mildt sagt uafklaret, hvordan vi i den forbindelse skal prioritere.  

Baseline for diskrimination

Den femte og sidste udfordring for algoritmisk diskrimination er, at det er uafklaret, hvornår algoritmisk diskrimination er dårligt. Det kan lyde underligt, men pointen er, at for at sige at noget er dårligt, må man sammenligne det med en standard for, hvad der ville være tilfredsstillende.

Eksempelvis kan det være fristende, at sige, at en algoritme der forskelsbehandler er dårlig, sammenlignet med en algoritme der ikke forskelsbehandler. Denne standard udfordres imidlertid af to observationer: for det første, at det (som ovenfor nævnt) ofte vil være umuligt at undgå enhver form for forskelsbehandling. For det andet, at mennesker, som blev sat til at vurdere det samme forhold, ville møde samme udfordring. Forskelsbehandlingen er umulig at undgå, fordi den følger matematisk af de sammenhænge der er mellem det forhold som skal vurderes, og de relevante grupper. Hvis forskelsbehandling vitterlig er umulig at undgå både for algoritmer og mennesker, så kan det virke urimeligt at insistere på, at den relevante standard er ”ingen forskelsbehandling”.

Hvad hvis vi i stedet sagde, at en algoritme der forskelsbehandler er dårlig, hvis den forskelsbehandler mere end absolut nødvendigt? Det vil sige, hvis den ikke minimerer forskelsbehandlingen? Dette synspunkt er mere troværdigt, men kan også løbe ind i problemer. For eksempel vil vi ofte møde situationer, hvor alternativet til diskriminerende algoritmer er menneskelige vurderinger, som er endnu værre. Hvis anvendelsen af en algoritme fører til mindre forskelsbehandling kan det virke urimeligt at insistere på, at den alligevel er dårlig, fordi den forskelsbehandler mere end den i teorien kunne.

Hvad så endelig hvis vi sagde, at en algoritme der forskelsbehandler er dårlig, hvis den forskelsbehandler mere end eksisterende alternativer? Det vil sige, hvis den for eksempel forskelsbehandler mere, end mennesker som foretager samme vurdering? Dette synspunkt kan også virke troværdigt, men synes i nogle tilfælde at sætte barren for lavt. Vi kan forestille os, en udvikler som træner en algoritme, der skal erstatte stærkt diskriminerende menneskelige vurderinger. I en sådan situation vil det typisk være let at udvikle en algoritme, som er langt mindre forskelsbehandlende. Og det kan i så fald det virke underligt uambitiøst at insistere på, at algoritmen kun behøver være marginalt bedre.

Min tentative holdning er, at den relevante standard varierer med konteksten, således at det for eksempel er relevant at kræve mindst muligt forskelsbehandling når vi skal udvikle en algoritme, men kun at den er bedre end eksisterende alternativer, når vi overvejer om den skal implementeres. Men holdningen er tentativ – vi har brug for at overveje også dette spørgsmål langt mere grundigt end vi hidtil har formået.

Udfordringer og muligheder i algoritmisk diskrimination

Anvendelsen af algoritmer til at støtte eller træffe beslutninger rejser en risiko for algoritmisk diskrimination. Og risikoen for algoritmisk diskrimination rejser en række udfordringer for vores forståelse af, hvad diskrimination er, og hvornår vi bør forhindre den. Vi får med algoritmisk beslutningsstøtte vanskeligere ved at skelne mellem direkte og indirekte diskrimination, og vi får måske gjort nogle beslutninger, som ville have været direkte diskrimination, til i stedet at være indirekte diskrimination. Blandt andet derfor er vi nødt til at overveje, hvad den moralske forskel på direkte og indirekte diskrimination egentlig er. Muligheden for algoritmisk diskrimination viser, at de ikke nødvendigvis er så forskellige, som vi har troet. Sidst men ikke mindst har vi brug for at afklare hvad det vil sige, at en algoritme stiller nogle personer dårligere, og hvad vi skal sammenligne med, når vi skal vurdere om en algoritme er dårlig, fordi den forskelsbehandler. Disse er vanskelige spørgsmål, som det vil tage tid og anstrengelser at besvare.

Men udfordringerne rummer også en mulighed. Ved at tvinge os til at konfrontere uklare dele af vores begreb om diskrimination, får vi lejlighed til at udvikle vores forståelse, så den bliver mere præcis. Selvom det kræver en indsats, så er en sådan afklaring ønskværdig. Diskrimination er for vigtigt, til at vi kan bekæmpe det med bind for øjnene.

Hvor meget privatliv er ”nok”?

Moderne teknologi udfordrer på mange måder privatlivet. De digitale teknologier vi omgiver os med og dagligt benytter os af sporer rutinemæssigt vores adfærd. Mobiltelefoners fysiske placering gemmes af teleselskaber, aktivitet på internettet følges via cookies, og software til ansigtsgenkendelse noterer hvornår vi optræder på billeder. 

Samtidig bliver det stadigt nemmere at lagre og dele data, blandt andet ved at samkøre forskellige dataregistre.

Og endelig har maskinlæring gjort det lettere at anvende alle disse data, ved at finde mønstre og bruge disse til at profilere enkeltpersoner. De reklamer de fleste af os modtager når vi færdes på internettet er skræddersyede til os, fordi vores data passer med en bestemt profil, som er skabt på baggrund af analyse af vores og mange andres data.

Beskyttelse af privatlivet har traditionelt været en hjørnesten i det liberale demokrati. Især statsmagten skulle ikke uden videre have lov til at overvåge og blande sig i hvad borgerne sagde og gjorde. Men udviklingen af de moderne teknologier er gået meget, meget stærkt. I dag indskrænkes privatlivet i lige så høj grad af private aktører. Beskyttelsen af vores privatliv har haft svært ved at følge med.

Udfordringen skyldes imidlertid ikke kun den rivende teknologiske udvikling. Den skyldes også vores uafklarede forhold til privatliv som rettighed og værdi. Én afgørende grund til, at det har vist sig vanskeligt, at holde beskyttelsen af privatlivet opdateret er, at det er langt mindre klart, hvorfor og hvordan vi skal beskytte privatlivet, end man kunne ønske sig. Denne uklarhed gør det selvsagt vanskeligt at formulere regelsæt.

Rettigheder og GDPR

Privatliv er juridisk beskyttet i blandt andet EUs charter om grundlæggende rettigheder, både af artikel 7, om retten til privat- og familieliv, og artikel 8, om beskyttelse af personoplysninger. Begge er imidlertid, ligesom de øvrige rettigheder i chartret, underlagt artikel 52s bestemmelser om at, der kan indføres begrænsninger, ”såfremt disse er nødvendige og faktisk svarer til mål af almen interesse […] eller et behov for beskyttelse af andres rettigheder og friheder.”

Lignende bestemmelser optræder i kronjuvelen i den europæiske databeskyttelse, GDPR-forordningen. Forordningen fungerer som en opdatering af det tidligere databeskyttelsesdirektiv, og var ambitiøs i sit udgangspunkt. Med GDPR skulle borgerens privatlivsbeskyttelse definitivt præciseres og stadfæstes. Men ligesom i chartret gives mulighed for lovligt at behandle data, når dette tjener et legitimt formål, når kun den nødvendige data indsamles (såkaldt dataminimering), og når begrænsningen er proportionel (artikel 23).

Kravet om proportionalitet som optræder i disse regelsæt betyder altså, lidt generelt formuleret, at dataindsamling i tilstrækkelig grad skal tjene et legitimt formål. Hvis dette ikke er tilfældet, så er dataindsamlingen ulovlig, men når det er tilfældet kan den være lovlig, selvom borgeres privatliv derved indskrænkes.

Hvorfor, kan man spørge, skal vi give sådanne muligheder for, at indskrænke privatlivet? Svaret er selvfølgelig, at der i mange sammenhænge er gode grunde til at indsamle data. Offentlige myndigheder, forskere, og virksomheder bruger data på mange forskellige måder, som forbedrer borgernes liv. Med måske det mest fortærskede eksempel, så anvender politi og efterretningstjenester ind imellem indsamlede data til at opklare og forhindre meget alvorlige forbrydelser. Hvis man udelukkede al indsamling af data ville man i mange henseender stille borgerne dårligere.

Proportionalitetskravet giver derfor mulighed for dataindsamling, men sætter samtidig grænser for den, som skal sikre at det kun er i netop de tilfælde, hvor dataindsamlingen gør tilstrækkeligt meget gavn, at vi indskrænker privatlivet.

To udfordringer for proportionalitet

Et proportionalitetskrav er derfor nok en god ide, men det oplagte spørgsmål er selvfølgelig, hvornår helt præcist dataindsamling er proportionel? For at besvare dette spørgsmål skal man i virkeligheden kunne svare på to forskellige spørgsmål.

For det første: hvad er det der skal sammenlignes? En afvejning af proportionalitet kigger på indskrænkning af privatliv på den ene side og legitime formål på den anden. Men hvad helt præcist er privatliv, og hvordan måler man dets værdi? Og hvilke formål er legitime? At forhindre alvorlige forbrydelser er nok et legitimt formål, mens støtte til markedsføringen af den nyeste sæson af ”Ex on the beach” nok ikke er. Men hvad med alle mulige formål mellem disse to yderpositioner?

Selv hvis man kan svare klart på det første spørgsmål, så venter det andet spørgsmål, som er endnu vanskeligere at besvare: Hvordan afgør man om afvejningen af privatliv mod legitime formål falder ud til den ene side eller til den anden? Ligesom med den gamle vits, ”hvad er højest – rundetårn eller et tordenskrald?”, så er det langt fra indlysende. hvordan man skal sammenligne de tilsyneladende vidt forskellige ting. Og hvordan bestemmer man i øvrigt hvilken vej vægten tipper? Det vil sige, hvad er den nødvendige balance mellem de gode formål på den ene side, og en bestemt mængde tabt privatliv på den anden side, for at dataindsamlingen er proportionel?

I krig og kærlighed…

Proportionalitet findes naturligvis i andre sammenhænge. Det er kernen i cost-benefit analyser, hvor man forsøger at vurdere om den økonomiske gevinst ved en investering står mål med udgiftens størrelse. Og det findes i strafferetslige sammenhænge, hvor det er et almindeligt synspunkt at en straf bør være proportionel med forbrydelsen – vi skal ikke straffe butikstyveri med livstidsfængsel, eller rovmord med bøde.

Udfordringen kan illustreres ved at sammenligne med sådan en anden sammenhæng, hvor proportionalitet spiller en afgørende rolle. I moderne teorier om retfærdig krig er krigens legitime formål at forsvare uskyldige mod overgreb. Men i modsætning til hvad det gamle mundheld om, at ”alle kneb gælder” hævder, så kan krigshandlinger kun retfærdiggøres, hvis de i tilstrækkelig grad tjener dette formål.

Det betyder, at proportionalitet i krig, i hvert fald i princippet, kan være relativt enkelt at vurdere. I den ene vægtskål er de lidelser krigshandlingen forhindrer, ved at reducere fjendens evne til at begå overgreb på uskyldige. I den anden vægtskål er de lidelser krigshandlingen forårsager, for eksempel ved at dræbe og lemlæste soldater og civile.

Det er naturligvis mere kompliceret end som så. Mange vil mene, at fjendtlige soldaters lidelser ikke tæller lige så meget som uskyldiges lidelser. Og så er man nødt til at vurdere hvor meget de fjendtlige soldater har gjort sig selv til legitime mål. Samtidig kan det være overordentlig vanskeligt at vurdere effekten af en krigshandling, både de lidelser den forårsager og de lidelser den forhindrer.

Disse komplikationer til trods har vi dog en relativt klar teori om proportionalitet. Vi ved hvad der skal sammenlignes, hvordan det skal sammenlignes, og hvad der skal til for at vægtskålen tipper.

Hvad så med privatliv og GDPR?

Det samme kan desværre ikke siges om privatliv.

I den berømte Tele2-sag fra 2016 hævder EU-domstolen, at den universelle logning af metadata fra borgernes mobiltelefoner er et ”indgreb i de grundlæggende rettigheder… [som] må anses for at være særligt alvorligt.” Men den forklarer ikke hvordan den er nået frem til denne vurdering, eller hvordan ”særligt alvorligt” skal forstås.

Det bliver endnu værre i spørgsmålet om proportionalitet. Her skriver domstolen ganske enkelt, at logningen ”overskrider… det strengt nødvendige.” Det er, i en bogstavelig tolkning, forkert. Den universelle logning vil givetvis ind imellem føre til, at man kan forhindre en forbrydelse, som ikke ville blive forhindret, hvis man ikke loggede universelt. I den forstand er universel logning strengt nødvendig – der findes ikke en mindre indgribende form for logning der i præcis samme grad vil tjene det legitime formål.

Domstolens synspunkt giver kun mening når det fortolkes som en afvejning af proportionalitet: universel logning giver ikke tilstrækkeligt meget bedre beskyttelse mod kriminalitet end mindre indgribende former for logning, til at den kan retfærdiggøres. Men ved ikke engang at anerkende denne afvejning bliver det naturligvis aldeles uigennemskueligt hvordan domstolen har foretaget den.

På lignende vis understreger den europæiske tilsynsførende for databeskyttelse, EU's rådgiver og vagthund på området, i sin seneste vejledning gentagne gange hvor central afvejningen er, kun for at springe let og elegant hen over hvordan den konkret skal foretages.

Som forskerne Dariusz Kloza og Laura Drechsler konkluderer i en nylig analyse, ”synes der at være ingen, som ved præcist hvordan man skal vurdere proportionalitet i forbindelse med beskyttelsen af personlige data”.

Indtil vi udvikler en detaljeret teoretisk forståelse for, hvordan vi skal afveje hensynet til privatliv mod andre hensyn, træffer vi uundgåeligt disse beslutninger i blinde. Hvor vanskeligt det end er, bliver vi nødt til at afklare, hvor meget privatliv, som er ”nok”.