Hvem holder øje med algoritmerne?

Den hastige udvikling af algoritmer, som støtter eller træffer vigtige beslutninger, gør det nødvendigt at etablere nationale myndigheder, som overvåger udvikling og anvendelse, etablerer standarder, sikrer udførlige tests, og godkender algoritmer inden de tages i brug.

Den som ikke lærer af historien...

I 1937 lancerede den amerikanske medicinalvirksomhed Massengill et antibiotika, som blev døbt Elixir Sulfanilamid. Produktet indeholdt et nyt opløsningsmiddel, såkaldt diethylenglycol, som har en let sødlig smag. Det var hensigten, at den søde smag skulle gøre produktet mere egnet til børn.

Det kan være svært at forstå i dag, men i 1937 stillede myndigheder ikke krav til medicinalvirksomheder, om at teste nye produkter. Massengill udførte ikke en eneste test af Sulfanilamid, hverken på mennesker eller dyr. De gjorde sig ikke engang den ulejlighed, at undersøge det nye opløsningsmiddels kendte egenskaber. Hvis de havde gjort det, ville de have opdaget, at det er giftigt.

Resultatet var så tragisk som man kunne frygte. Over 100 personer døde af at indtage Sulfanilamid før produktet blev taget af markedet, heraf langt de fleste børn. Som direkte resultat af skandalen indførte man i Danmark i 1941 lovgivning, som stillede krav til medicinalvirksomheder om, at produkter skulle testes før de blev sendt på markedet.

Det krævede imidlertid en ny skandale godt tyve år senere, den langt mere kendte sag om Thalidomid, før man tog det næste skridt. Thalidomid var ganske vist blevet testet, før det blev sendt på markedet, men de udførte test var pinagtigt mangelfulde, og havde af samme grund ikke registreret en række katastrofale bivirkninger. Især gravide kvinder, som tog produktet for at dæmpe graviditetskvalme, var udsat for en meget høj risiko for alvorlige misdannelser på fostret. Globat blev omkring 10.000 børn født med alvorlige skader af Thalidomid.

Thalidomid-skandalen førte til, at der blev indført præcise og krævende standarder for hvordan lægemidler skal testes, før de sættes på markedet, og der blev oprettet specialiserede myndigheder, med ansvar for at godkende produkterne, og den institutionaliserede ekspertise, som er nødvendig, for kritisk at kunne vurdere, om testkravene er overholdt.

Resultatet findes i dag i Danmark i form af Lægemiddelstyrelsen. Den har lidt over 600 medarbejdere, mange af dem højt specialiserede forskere og eksperter. Det koster naturligvis ikke bare én men en hel del bondegårde, at drive en sådan institution. Begrundelsen for at gøre det er ligetil: den almindelige forbruger har hverken kompetence eller ressourcer til at kunne vurdere lægemidlers virkning, og uden en kritisk og kompetent myndighed til at sikre testning og godkende produkter risikerer vi, at patienter og forbrugere lider alvorlige skader, ganske som ved fortidens skandaler.

Når det i dag virker indlysende, at regulering, overblik og kontrol er afgørende for at sikre lægemidlers kvalitet, kan det måske undre, at det tog så lang tid at indføre det. Hvorfor indførte man ikke en lægemiddelstyrelse allerede i begyndelsen af det 20. århundrede? Svaret er, at de nye lægemidler var en del af en medicinsk revolution, hvor ny viden og teknologi dramatisk udvidede mulighederne for at udvikle og udbrede lægemidler. Som i så mange andre tilfælde haltede lovgivning og institutioner efter den hastige teknologiske udvikling.

Algoritmiske midler

Hvor den moderne lægemiddelindustris udvikling var en af det 20. århundredes teknologiske gennembrud, så er udviklingen af avancerede former for kunstig intelligens med maskinlæring en igangværende teknologisk revolution for det 21. århundrede. Selvkørende biler, tale- og billedgenkendelse, og selvlærte skakprogrammer er blot nogle af de mest prominente eksempler på sådan kunstig intelligens, som for få årtier siden var så godt som science fiction.

Maskinlæring er en måde at udvikle kunstig intelligens, hvor én algoritme lærer af data, og bruger denne læring til at “træne” en anden algoritme, så denne bedst muligt kan løse en opgave. Deepminds berømte skak- og go-spillende program, Alphazero, lærte at vinde, ved at spille tusindevis af spil mod sig selv, og gradvist justere den algoritme, som vurderer hvad det bedste træk er.

Algoritmer udviklet med maskinlæring kan bruges til mange forskellige ting, mange af dem trivielle. Men i stadigt flere tilfælde bruges de også til at træffe eller støtte meget vigtige beslutninger. Det kan for eksempel være medicinske diagnoser, godkendelse af lån, sortering af jobansøgere, eller endda vurdering af risici i forbindelse med varetægtsfængsling og prøveløsladelse.

Algoritmiske risici

I de tilfælde, hvor en algoritme har indflydelse på vigtige beslutninger, medfører anvendelsen også en række risici. Algoritmer kan helt enkelt begå fejl, men de rejser også udfordringer knyttet til eksempelvis privatliv og diskrmination. Lad os kigge på et par eksempler.

For 10 år siden udfordrede IBM to stormestre til at konkurrere mod deres kunstige intelligens, Watson, i det amerikanske quiz-program “Jeopardy”. Jeopardy blev betragtet som et ekstremt udfordrende spil for en kunstig intelligens, fordi det kræver at algoritmerne fortolker og forstår naturligt sprog. Derudover skal spilleren kunne trække på et højt niveau af bred, kontekstfølsom viden. Ikke desto mindre vandt IBMs Watson overbevisende over de menneskelige stormestre.

Kampene viste imidlertid også nogle af svaghederne ved den kunstige intelligens. Watson var ikke i stand til at forstå sine medspilleres svar, og kunne derfor gentage deres fejl. En medspiller forsøgte sig med svaret ”Hvad er ’20’erne?”, fik at vide det var forkert, hvorpå Watson forsøgte ”Hvad er 1920’erne?”, hvilket naturligvis også er forkert. Og på anden-dagen foreslog Watson den canadiske by Toronto som svar på et spørgsmål i kategorien ”Byer i USA”.

Når Watson begår fejl i Jeopardy kan man nøjes med at trække på smilebåndet, men IBM havde større ambitioner for deres opfindelse. Det første store forsøg var, at få Watson til at hjælpe med at stille medicinske diagnoser, især af kræft. Desværre viste det sig, at kræftdiagnoser er en langt større udfordring for en kunstig intelligens end Jeopardy. De medicinske data var mere komplekse og fejlbehæftede, så Watsons diagnoser fik stærkt svingende kvalitet. Det var (og er) et alvorligt problem, for  hvis Watson stiller den forkerte diagnose, så risikerer patienter at dø. Det giver sig selv, at når det drejer sig om så vigtige beslutninger, så er det helt afgørende, hvor mange fejl en algoritme laver.

Sexistiske og snagende algoritmer

En anden risiko er, at algoritmer kan forskelsbehandle udsatte grupper. Det kan ofte ske helt uden, at udvikleren har nogen intentioner om at forskelsbehandle. I et meget omtalt eksempel viste det sig eksempelvis, at Amazons algoritme til prioritering af ansøgere klart foretrak mænd frem for kvinder. Amazon havde designet algoritmen til at forsøge at finde ansøgere, som mindede om deres succesfulde medarbejdere. Men langt de fleste af firmaets hidtidige ansatte var mænd. Den forskel opfangede og anvendte algoritmen, ikke ved direkte at behandle mænd og kvinder forskelligt, men ved at forskelsbehandle på baggrund af mange andre små forskelle mellem mandlige og kvindelige ansøgere. Derved endte den med at gentage og måske endda forstærke historisk diskrimination.

Da forskelsbehandlingen blev opdaget skyndte Amazon sig at kassere algoritmen, men lignende udfordringer kan opstå for alle de grupper vi traditionelt er bekymrede for: etniske, religiøse og seksuelle minoriteter, børn, unge og ældre, personer med handicap, og forskellige køn. Maskinlæring er virkelig godt til at finde statistiske forskelle i data, og hvis sådanne forskelle findes, så trænes normalt en algoritme som forskelsbehandler. Det betyder at alle algoritmer har risiko for at forskelsbehandle alle grupper.

Den tredje risiko er, at algoritmer kan udfordre vores privatliv. Meget af debatten om privatliv har handlet om indsamling og deling af private data. Den problemstillig er også vigtig, blandt andet fordi indsamling og deling af data i stigende grad er rmotiveret af de muligheder, som maskinlæring og algoritmiske beslutninger giver. Men en måske endnu mere væsentlig risiko, er udvikling og anvendelse af algoritmer, som kan udlede privat information.

De fleste af os kender de algoritmer, som anbefaler film, baseret på hvad man tidligere har set. Fordi anbefalingerne afspejler algoritmens vurdering af en persons interesser, kan det være afslørende alene at vise andre personer hvilke film streamingtjenesten anbefaler. De fleste af os ville eksempelvis nok rynke en smule på panden, hvis vi ved et besøg hos en ny bekendt tænder fjernsynet, og opdager at Netflix alene anbefaler dokumentarfilm om seriemordere.

Et mere alvorligt eksempel er, at algoritmer ofte kan udlede meget private informationer om personer på baggrund af tilgængelige data. Det kan eksempelvis være seksualitet eller politisk overbevisning.Det giver sig selv, at det kan være problematisk, hvis sådanne informationer afsløres, i nogle lande endda livsfarligt.

Hvorfor en specialiseret styrelse for datamidler?

Man kan spørge, om det virkelig er nødvendigt, med en specialiseret styrelse for datamidler. Kan man for eksempel ikke overlade det til eksisterende institutioner som Datatilsynet og Ligebehandlingsnævnet at overvåge algoritmerne og håndhæve standarder?

Når det kan være nødvendigt med en specialiseret myndighed, skyldes især to forhold. For det første, at algoritmer ofte kan være teknisk uigennemskuelige, og for det andet, at det i mange tilfælde er vanskeligt at vurdere, om relevante standarder og krav er overholdt.

Algoritmisk uigennemskuelighed betyder, at det er vanskeligt eller umuligt, at forstå hvordan en algoritme virker. Det kan have tre forskellige årsager. For det første, at udvikleren kan have gode grunde til at holde detaljer om algoritmen hemmelige, for eksempel for at beskytte forretningshemmeligheder. For det andet, at det typisk kræver et højt niveau af datalogiske kompetencer, at forstå selv relativt simple algoritmer. Og for det tredje, at nogle algoritmer er så komplekse, at det selv for eksperter er umuligt at overskue hvordan alle de forskellige dele virker til sammen.

En specialiseret myndighed har mulighed for at tackle alle tre udfordringer. Dels kan den fortroligt analysere og vurdere algoritmer, uden at udvikleren behøver at dele detaljer om algoritmen med andre. Dels vil myndigheden kunne ansætte eksperter med de tekniske forudsætninger for at analysere og forstå algoritmer. Og endelig vil den kunne afsætte de nødvendige ressourcer til at analysere teknisk uigennemskuelige algoritmer med tekniske redskaber, så kaldt ”explainable AI”. Det er typisk muligt, at få svar på vigtige spørgsmål om uigennemskuelige algoritmers risici ved at analysere dem, men for en institution kræver det både at den ved hvad man skal spørge om, at den har eksperter ansat med de tekniske kompetencer som er nødvendige for at foretage analyserne, og at den har mulighed for at afsætte de betydelige ressourcer, som er nødvendige for at lave sådanne analyser.

Uklare regler og standarder

Det andet forhold, som taler for en specialiseret myndighed er, at det ofte er vanskeligt at vurdere om relevante standarder og krav er overholdt. Det skyldes i nogle tilfælde, at eksisterende lovgivning ikke er udformet med blik for algoritmiske beslutningssystemer. I sådanne tilfælde kan loven være vanskelig at anvende. Den juridiske beskyttelse mod indirekte diskrimination er eksempelvis væsentligt svagere og mindre præcis end beskyttelsen mod direkte diskrimination. Men netop indirekte diskrimination er den mest presserende risiko ved algoritmiske beslutningssystemer. Det er således nødvendigt at foretage komplekse fortolkninger af eksisterende lovgivning og de særlige forhold som knytter sig til lige præcis algoritmiske beslutninger, hvis man skal anvende diskriminationsforbuddet på algoritmer.

I andre tilfælde skyldes det, at selv målrettet lovgivning er uklar. EU's persondataforordning opsætter eksempelvis stramme regler, som skal beskytte borgeres privatliv. Men beskyttelsen er ofte underlagt en proportionalitetsafvejning, hvor visse indskrænkninger af privatlivet kan forsvares, hvis de i tilstrækkelig grad tjener et sagligt formål. Det er imidlertid uklart hvordan man konkret skal afveje proportionalitet, og dermed meget vanskeligt at sige hvornår man faktisk kan forsvare algoritmiske indskrænkninger i privatlivet.

En specialiseret myndighed vil have mulighed for dels at ansætte den nødvendige faglige ekspertise til at vurdere og håndhæve standarder og krav. Men den vil også, hvis den gives det rigtige grundlag, have mulighed for at udvikle og etablere standarder, der hvor de er principielt uklare.

Hvorfor ikke en datamiddelstyrelse?

I lyset af den success, som Lægemiddelstyrelsen har haft, og de åbenlyse risici som udvikling og anvendelse af algoritmer rejser, synes det oplagt at spørge, hvorfor Datamiddelstyrelsen ikke holder styr på algoritmerne? Hvorfor sætter den ikke lovpligtige standarder, gennemfører omfattende obligatoriske test før en algoritme kan tages i anvendelse, og løbende overvågning af anvendte algoritmer, med krav om at justere eller tage algoritmen ud af drift, når der viser sig at være relevante problemer?

Det korte svar er selvfølgelig, at der ikke findes en Datamiddelstyrelse. Udvikling og anvendelse af algoritmer er groft sagt overladt til den enkelte aktør, uden klare standarder og systematisk myndighedskontrol. Eksisterende myndigheder kan bidrage, men de skal løfte de nye, krævende opgaver oven i deres eksisterende og uden de institutionelle rammer. Ligesom det var tilfældet for lægemidler i begyndelsen og midten af det 20. århundrede, så halter regulering og institutioner bagefter den teknologiske og sociale udvikling

Så hvorfor ikke en datamiddelstyrelse? Det mest almindelige argument imod regulering og kontrol er, at det vil begrænse eller forsinke innovation. Den opfattelse er imidlertid udtryk for et for snævert perspektiv på udviklingen. Ikke al innovation er teknologisk. Udviklingen af institutioner, regulering, test og standarder er også en innovationsprocess, som skal hjælpe os med at træne de rigtige algoritmer på den rigtige måde. 

Etableringen af en Datamiddelstyrelse vil være et vigtigt skridt på vejen. Jo før vi tager det, jo mindre vil vores efterkommere undre sig over, at det tog os så lang tid, at skabe en institution som er så åbenlyst en god ide.