Når er noe en “automatisert avgjørelse”?

Photo by Jason Leung on Unsplash

Vi som driver med personvern har verktøy i GDPR-verktøykassa vår for å håndtere AI. Nærmere bestemt artikkel 22 om forbudet mot automatiserte avgjørelser. La oss se på hva som skal til for at noe er en automatisert avgjørelse. Dette blir litt jussete så hold deg fast! Eller ikke. I cannot tell you what to do 🤗

Så når er noe en automatisert avgjørelse? 

1 Avgjørelsen må «utelukkende være basert på automatisert behandling»

En avgjørelse som «utelukkende» er basert på automatisert behandling er ikke lov. Men «utelukkende» betyr ikke det du tror aka. dette er et eksempel på ordlyd i GDPR som bør endres!

Du som jobber med personvern, har et verktøy i å forhindre at AI tar avgjørelser om deg i artikkel 22. Bestemmelsen sier at avgjørelser som «utelukkende» er basert på automatisert behandling er ikke lov. 

Du skulle tro at «utelukkende» betyr «utelukkende». At det betyr at avgjørelsen BARE kan være tatt på bakgrunn av f.eks. AI-vurderinger. 

Men det er ikke tilfelle. 

Hvis et menneske er involvert i prosessen, men ikke har noen reell innflytelse på resultatet, er det likevel en avgjørelse som «utelukkende er basert på en automatisk behandling». Det holder altså at det ikke er noen meningsfull menneskelig involvering i avgjørelsesprosessen.

Og det endrer betydningen. For det det EGENTLIG står er: «Avgjørelse basert på automatisert behandling uten noen meningsfull menneskelig involvering er ikke lov». 

2 Det må være en «avgjørelse» 

I dette ligger det at behandlingen av personopplysninger og bruken av AI må brukes til å fatte en beslutning om en person. 

Hvis du fatter et forvaltningsvedtak om noen, vil det åpenbart være en «avgjørelse».

Ofte vil denne vurderingen slås sammen med den neste: 

3 Avgjørelsen må ha «rettsvirkning» for den registrerte eller på tilsvarende måte ha betydelig påvirkning 

Med rettsvirkning menes at avgjørelsen må påvirke rettighetene eller den rettslige statusen til den registrerte. 

Det er en litt kronglete måte å si at det må være en avgjørelse av med en viss påvirkning på den registrertes liv. En viss tyngde. 

Har vi eksempler på dette? Ja, flere! Fortalen nevner i punkt 71 eksemplene automatiserte behandlinger av dine personopplysninger for å sette en kredittscore eller for å vurdere jobbsøknaden din. 

Vi har også en sak fra vårt eget Datatilsyn fra 2020. Der ble standpunktkarakter på IB-linja ansett som en automatisert avgjørelse. Dette bl.a. fordi det hadde påvirkning på elevenes fremtid i form av karakterer, og fordi karaktersettingen var basert blant annet på historiske data fra sluttresultatene til tidligere elever ved den aktuelle skolen. 

Tilsynet fattet ikke endelig vedtak i saken av prosessuelle grunner. 

Men den sier likevel noe om at det å sette karakter ved bruk av f.eks. ChatGPT, nok vil være en avgjørelse med «rettsvirkning». Og det er jo interessant i disse eksamenstider!

4 Du må se på helse beslutningsprosessen

Dette er et kriterie som kommer fra en dom fra EU-domstolen kalt Schufa-dommen. 

Schufa er et tysk selskap som lager en «credit score» eller kredittvurdering på folk. Dette er en vurdering som sier noe om en person sannsynligvis vil kunne betale for seg i fremtiden. Måten Schufa kom frem til denne «scoren», var ved hjelp av en matematisk formel – en algoritme om du vil – som tok i betraktning en rekke parametere basert på data om hvordan andre folks tidligere betalingsevne.

Schufa mente at de ikke var en del av avgjørelsesprosessen, og at de dermed ikke bidro inn i en eventuell automatisert avgjørelse. De hadde nemlig bare gitt informasjon til banken. Det var banken som brukte kredittvurderingen til å fatte en avgjørelse. 

Domstolen hørte ikke på dette argumentet.

I stedet konkluderte domstolen med at vilkårene for når noe er en automatisert avgjørelse kan oppfylles på forskjellige tidspunkter og av forskjellige parter. 

Hva betyr dette? Jo, at du må se avgjørelseskjeden under ett. Schufa sin etablering av kredittvurdering er en del av avgjørelsen, selv om de ikke fatter endelig avgjørelse. 

Og det gjør at leverandører som lager automatiserte beslutningsstøtteverktøy, f.eks. ved bruk av AI eller maskinlæring, VIL være en del av en beslutningskjede, og dermed må respektere forbudet mot automatiserte avgjørelser i artikkel 22.

Denne bloggposten er basert på nyhetsbrevet mitt om personvern. Driver du med personvern og kunne tenke deg støtte i form av et ukentlig nyhetsbrev? Meld deg på her!