Algoritmisk orättvisa – när domstolen är blind för digitala bevis

Idag fattas allt fler beslut av algoritmer, också inom offentlig sektor. Men vad händer när det blir fel? Vad händer om den kod som skapar besluten inte är lagenlig, och de beslut som algoritmerna skapar blir felaktiga? Finns det någon institution som ser till att allt ställs till rätta? Finns det någon som följer upp, och ser till att vartenda beslut som en felaktig algoritm har gett upphov till rättas, och som ser till att koden skrivs om för att säkra upp framtida beslut? Tyvärr ser det dystert ut. Min forskning visar att det i dag råder en algoritmisk orättvisa som riskerar att drabba alla som omfattas av algoritmiskt beslutsfattande. Denna orättvisa, som kan uppstå vid kodning, implementering eller användning av beslutssystem, befästs då domstolarna är blinda för problemet och visar en oförmåga att just ställa allt till rätta. Forskningen visar att det är nästintill omöjligt för en enskild individ att kunna bevisa att en algoritmisk beslutsprocess varit olaglig och att algoritmiska beslut blivit fel.

Jag har följt, och involverat mig i, ett fall av algoritmiskt beslutsfattande i Göteborg, där stadens grundskoleförvaltning 2020 använde ett felaktigt kodat system för skolplaceringen av 12 000 elever. Den felaktiga koden ledde till att 1 400 barn placerades på andra skolor än de skulle ha placerats på om beslutssystemet varit kodat på rätt, och på ett lagenligt, sätt. (1) Hundratals barn placerades exempelvis på skolor som ligger ”nära” deras hem om man ser till fågelvägen – men som i verkligheten ligger på motsatt sida Göta älv, med timslånga pendlingsresor till följd. Trots att praxis säger att skolvägen (gång/cykelväg) ska vara avgörande för skolplaceringar hade förvaltningen instruerat beslutssystemet att placera barnen i enlighet med geografisk närhet ur ett fågelperspektiv.

I detta fall var det inte tekniken det var fel på, utan det föll på kodningen, implementeringen och användningen av systemet. Systemet gjorde inte fel, utan felen uppkom genom förvaltningens felaktiga instruktioner till systemet, och förstärktes av att förvaltningen hade en sådan blind tilltro till teknikens förmåga att skapa ett perfekt utfall, att de inte ville titta på resultatet av de instruktioner som de hade matat in. De tänkte att större insyn skulle kunna locka dem att ändra visst utfall manuellt, och den risken ville de inte ta. I detta fall såg alltså grundskoleförvaltningen inte ens besluten innan de skickades ut, utan tänkte att beslutsprocessen skulle bli mer rättssäker och likvärdig på detta sätt. Detta handhavandesätt innebar att ett helt orimligt utfall (med hundratals barn placerade på fel sida av älven) inte bara undgick att upptäckas, utan också tilläts spridas över staden. Denna spridning av felen skedde då barnen som hade placerats på fel skolor puttade undan andra barn i systemet (barn som nu inte fick plats på de närliggande skolorna där de ville gå – eftersom de fylldes upp av barn från andra sidan älven). I detta systematiska utfall identifierades dominoeffekter i upp till sex led. Vilket visar att en brist på 100 platser i centrala stan, genom en felaktig instruktion i systemet, kan leda till 600 felaktigt placerade barn. Dessa fel skapades genom en felaktigt kodad algoritm, en aningslös hantering av resultatet och en bristfällig uppföljning, där de felaktiga placeringarna inte har rättats till.

Philip Alston, FN-expert på fattigdom och mänskliga rättigheter, har varnat för just detta. Att offentliga myndigheter i en iver att digitaliseras och vara ”effektiva” och ”rättvisa”, missar risker, dolda motiv och avgörande konsekvenser av digitaliseringen. The world is ”stumbling zombie-like into digital welfare dystopia” (2) påstår han, vilket också verkar stämma med utfallet i Göteborg. Vi riskerar att skapa en digital dystopi. Den digitala transformationen går för närvarande otroligt snabbt och i denna utveckling får algoritmer, och algoritmiskt beslutsfattande, en växande roll, medan det saknas digital kompetens hos offentliga myndigheter samt institutioner som tar ett faktiskt ansvar för att utvecklingen går rätt till.

Ofta automatiseras och digitaliseras alltså beslutsprocesser för att skapa effektivitet och för att höja träffsäkerheten och likvärdigheten i beslut, men få är medvetna om att övergången till det algoritmiska beslutsfattandet ger upphov till andra (nya) konsekvenser. I det algoritmiska beslutsfattandet kan beslutet inte längre skiljas från beslutsprocessen, och nya typer av systematiska fel uppkommer (såsom de omfattande dominoeffekterna i Göteborg). Det går därför inte att bara byta ut ett analogt beslutsfattande mot ett digitalt och tro att befintlig juridisk infrastruktur kommer att räcka för att hantera också algoritmiska konsekvenser. Den digitala transformationen av beslutsfattande innebär en fundamental förändring – som inte bara omfattar vem som fattar besluten – där vi går från en mänsklig till en artificiell aktör – utan förändringen berör också hur besluten fattas, när och var de fattas (eller förutbestäms), att enskilda beslut kan ge systematiska effekter och påverka andra beslut, vidden av eventuella fel och hur felaktigheter kan rättas till. Därför måste vi också förändra sättet som vi hanterar och bedömer beslutsfattande och beslut på, och se över vilka reella möjligheter det finns att kontrollera och rätta felaktiga beslut. Ytterst är detta något som ankommer på våra förvaltningsdomstolar – att bedöma lagligheten i beslut och beslutsprocesser och se till att de eventuella fel som ett felaktigt kodat beslutssystem har gett upphov till också rättas.

Detta, om förvaltningsdomstolarna kan rätta till sådana fel som algoritmiska beslutssystem i offentlig sektor skapar, har varit en drivande fråga för min forskning och ledde till att jag helt enkelt testade den, genom att stämma Göteborgs stad vid förvaltningsrätten och begära en laglighetsprövning av algoritmen som orsakade de felaktiga skolplaceringarna 2020. Genom rättsprocessen (mål nr 6541-20) som följde, upptäckte jag dock något mycket allvarligare än de felaktigheter (och olagligheter) som var inkodade i beslutssystemet. Jag upptäckte att det svenska rättssystemet i dag saknar både legala verktyg och kompetens att hantera följderna av algoritmiskt beslutsfattande. Och att det därför saknas reella möjligheter till rättslig upprättelse när algoritmiskt beslutsfattande blir fel. Trots att felen och den olagliga kodningen i Göteborg senare har befästs, genom att stadens revisorer riktade skarp kritik mot grundskoleförvaltningen och klargjorde att förvaltningen gjort flertalet allvarliga fel i hanteringen, och kodningen, av systemet (3) – så visade det sig omöjligt att vinna detta mål. En omöjlig bevisbörda föll nämligen på mig som sökande, att bevisa innehållet i den algoritm som jag aldrig fick tillgång till. Analyser av det faktiska utfallet – med hundratals barn placerade på fel sida älven – räckte inte som bevisning, (4) och domstolen valde att varken skifta bevisbördan eller använda sin undersökningsplikt för att begära ut aktuell algoritm. Rättsläget pekar på en blindhet för nya digitala makt­obalanser där enskilda inte har insyn i, eller tillgång till, den kod som ligger till grund för beslut som rör dem, samt på en blindhet för digitala frågeställningar och digitala bevis. Det saknas således både verktyg och förståelse för den nya digitala verkligheten. Det juridiska systemet är helt enkelt inte riggat för en digitaliserad offentlig sektor. Detta innebär att domstolarna saknar såväl möjligheter som digital kompetens för att kunna rätta till nya, både systematiska och individuella, fel.

Det finns dock en lösning på dessa problem. Med bas i min forskning vill jag presentera fyra förändringar inom rättssystemet som skulle motverka algoritmisk orättvisa, och som jag anser att vi behöver genomföra för att garantera en fortsatt rättssäkerhet i en digital kontext. Dessa är:

1. Att det bereds möjlighet att överklaga (eller laglighetspröva) koden i algoritmiska beslutssystem, och inte bara de individuella beslut som systemen genererar. Användandet av algoritmiska beslutssystem ger en systematik i de beslut som faller ut, och individuella lösningar kan aldrig vara svaret på systematiska problem. Snarare är det så att individuella lösningar (eller rättningar) skapar följdproblem i systemet. För systematiska fel krävs systematisk rättning, och för att det ska vara möjligt måste algoritmiska beslut gå att överpröva på en övergripande nivå, som innefattar laglighetsprövning av hela systemet och dess underliggande kod.

2. Att det efter individuella domslut som faller ut till den sökandes fördel sker en genomlysning, och rättning, av kod, samt eftersökning och rättning av ytterligare fel som koden orsakat. Om en enskild får rätt mot ett algoritmiskt beslut bör ansvarig offentlig aktör också få ansvar för att gå igenom det system som föranlett felet, och felsöka det. Om felet härrör från inkorrekta indata så är felet troligtvis individuellt, men om felet kan härledas till felaktig kod, så bör det ligga på den offentliga aktörens ansvar att rätta till koden, samt att undersöka om koden resulterat i andra felaktiga beslut och erbjuda rättning också av dem, även om de besluten inte har överklagats.

3. Att bevisbördan för automatisering och systematik placeras på den part som har tillgång till algoritmen, och som har kunskap om de arbetsprocesser som omgärdat algoritmens implementering. Att som i dag placera bevisbördan på sökanden är helt orimligt, speciellt mot bakgrund att Kammarrätten i Stockholm förra sommaren (mål nr 2598-21) fastslog att digitalt material som är knöligt att ta fram faller utanför begreppet offentlig handling. Det är således i stort sett omöjligt för individer att bevisa sin rätt när ett algoritmiskt beslutssystem fallerar, om den offentliga aktören som tillämpat algoritmen inte lämnar ut den.

4. Att domare och domstolar får ökade resurser att satsa på digital kompetens för att kunna bedöma digital bevisning, samt att de får tillgång till testmiljöer där beslutsalgoritmer kan testköras och utvärderas. För att försäkra oss om fortsatt rättssäkerhet så måste Domstolsverket höja den digitala kompetensen hos domarkåren, och se till att de har möjlighet att bedöma den bevisning som anförs. Detta handlar inte bara om kompetens att bedöma lagligheten i beslutsalgoritmer, utan kan också handla om andra bevisfrågor gällande positioneringsdata (från mobilmaster) i brottmål, värdering av avkrypterad bevisning, förståelse av brottslighet i, och genom, kryptovalutor och virtuella världar, samt invändningar kring deepfake. Dessutom behöver vi säkra testmiljöer där utfall av olika algoritmiska beslutssystem kan simuleras och beslutsalgoritmernas laglighet kan utvärderas.

Att domstolen är blind har tidigare lyfts som en garanti för rättssäkerheten i samhället och symboliseras av den ögonbindel som Justitia bär. Den markerar att hon är blind för inflytande och otillbörlig påverkan. Min forskning visar dock att den senaste tidens snabba digitalisering har lett till en annan typ av blindhet – där domstolarna i dagsläget är blinda för digital bevisning. Detta måste förändras. Jag menar att domstolarna måste öppna ögonen för samhällets digitalisering och lära sig att hantera, och rätta till, de eventuella fel som uppstår. Vi kan inte snubbla fram likt ”zombier” längre – utan måste öppna ögonen och se den digitala verkligheten för vad den är, och uppdatera rättssystemet för digitalisering. Jag hoppas att denna artikel kan vara startskottet för en diskussion kring digitaliseringens krav på rättssystemet och hur vi kan anpassa det för algoritmiskt beslutsfattande. Jag tror att det är avgörande att jurister är med i denna diskussion och deltar i den tekniska utvecklingen så att vi kan säkerställa att etiska överväganden görs, och att juridiken byggs in på rätt sätt i samhällets automatiserade och digitaliserade system. Detta är särskilt aktuellt då automatiserat beslutsfattande på kommunal nivå just har blivit lagligt, genom en lagändring den 1 juli 2022.(5) Det är därför hög tid att vi diskuterar hur vi ska hantera de risker som det algoritmiska beslutsfattandet bär med sig.

Charlotta Kronblad
Forskare (postdoktor) vid House of Innovation, Handelshögskolan i Stockholm

Charlotta Kronblad är jurist och civilekonom i grunden och har tio års arbetserfarenhet från advokatbyråer, domstol och industribolag. Hon doktorerade 2020 vid Chalmers tekniska högskola på digital transformation och ingår i dagsläget i ett tvärvetenskapligt forskningsteam på House of Innovation, Handelshögskolan i Stockholm, där hon fokuserar på samhälleliga konsekvenser av digital innovation. Charlotta är också en frekvent talare både hos Advokatsamfundet och inom domstolsvärlden.

Felen i det algoritmiska beslutssystemet

I Göteborgsfallet samspelade en mängd felaktigheter till omfattningen på det defekta utfallet, men i grova drag handlade det om:

1. att förvaltningen valde att se sin egen regel om att placera barn max 8 km från hemmet som en approximativ, snarare än en absolut, gräns;

2. att förvaltningen hade lagt in felaktiga adresser till ett antal skolor;

3. en felaktig instruktion/kodning av systemet – att placera ut barn i enlighet med distansen till skolor räknat på fågelväg i stället för gång/cykelväg;

4. att förvaltningen i strid med skollagen instruerade systemet att prioritera geografiska parametrar före föräldrarnas val av skolor;

5. att dominoeffekter tilläts multiplicera de fel som uppkom; och

6. att förvaltningen vid rättningen av vissa felaktiga beslut inte tog hänsyn till att andra barn hade bättre rätt till dessa platser.

Sammantaget innebar dessa felaktigheter att minst 1 400 barn placerades på skolor som de inte sökt, och där de inte hade placerats om beslutssystemet hade programmerats på korrekt sätt (Göteborgs stads revisionsredogörelse, 2021).

Notera att automatiserat beslutsfattande på kommunal nivå inte var tillåtet överhuvudtaget vid tidpunkten för detta fall, 2020 (vilket adderar till problematiken och dess olaglighet). 450 fel rättades av grundskoleförvaltningen innan terminsstarten (de fel som kunde härledas till att det egna regelverket inte följts – punkten 1 ovan), medan resterande felplacerade barn i stor utsträckning har fått gå kvar på de skolor där de blev placerade av algoritmen.

1 www.mynewsdesk.com/se/goteborgsstad/documents/grundskolenaemnden-granskning-av-verksamhetsaaret-2020-408633

2 www.ohchr.org/en/press-releases/2019/10/world-stumbling-zombie-digital-welfare-dystopia-warns-un-human-rights-expert

3 Stadsrevisionens revisionsredogörelse. Rapporten bygger på en grundlig undersökning med access till algoritmen och omfattande simuleringar i beslutssystemet, länk till rapporten finns i not 1.

4 Två publicerade rapporter som föräldranätverket upprättat (baserat på uppgifter kring faktiska placeringar samt ”reverse engineer­ing” av koden) anfördes som bevis, liksom en revisionsrapport från grundskoleförvaltningen.

5 SOU 2021:16 En väl fungerande ordning för val och beslutsfattande i kommuner och regioner