search bubble news heart bars angle-right angle-up angle-down Twitter Facebook linkedin close clock map-marker calendar
  • Fokus

Rättsfall

K.W. mot Armstrong
År 2011 sjösatte myndigheterna i Idaho, USA, ett nytt AI-verktyg för att beräkna stödet till personer med funktionsnedsättningar inom ramen för delstatens Medicaid-program. Efter förändringen drabbades plötsligt många av rejäla nedskärningar – 20–30 procent var inte ovanligt – i sin ersättning. Gemensamt för de drabbade var att de inte kunde få några riktiga svar på varför de plötsligt fick mindre ersättning, eftersom detta sades vara en affärshemlighet.

4 000 personer väckte då en grupptalan med hjälp av American Civil Liberties Union (ACLU). Det första steget blev att via domstolen begära ut algoritmen bakom beräkningarna. Domstolen gick på de klagandes linje, och domaren yttrande bland annat att det ”är ett flagrant brott mot kravet på rättvis rättegång att skära ned någons ersättning med 20 000 dollar om året och hänvisa till att orsaken är hemlig”.

ACLU lät flera experter gå igenom koden. Genomgången visade för det första att algoritmen byggde på felaktiga och ofullständiga data, för det andra att staten själv hade upptäckt problem med verktyget men ändå valt att använda det, och för det tredje att formeln bakom beräkningarna hade allvarliga brister.

Domstolen fann, utifrån ACLU:s granskning, att formeln bakom beräkningarna var oförenlig med konstitutionens krav på rättvis rättegång, eftersom den producerade godtyckliga resultat för ett stort antal människor. Domstolen beordrade också delstaten att sluta använda den aktuella metoden. Nu arbetar staten Idaho tillsammans med representanter för brukarna med att skapa ett nytt beräkningssystem för Medicaid.

ACLU uppger att fallet kostade dem omkring 50 000 dollar att driva.

K.W. v. Armstrong, No. 14-35296 (9th Cir. 2015)

Houston Federation of Teachers mot Houston Independent School District
Houstons skoldistrikt införde år 2011 en ­utvärderingsmodell, Education value-added
assessment system (EVAAS). Systemet, baserat på en algoritm framtagen av ett privat företag, syftade till att mäta lärarnas effektivitet, bland annat med utgångspunkt i elevernas betyg i förhållande till genomsnittet i skoldistriktet. ­Användningen av EVAAS under åren 2011–2016 fick stora konsekvenser för många lärare. Bland annat sades 221 lärare upp under bara ett år som en följd av alltför dåliga EVAAS-resultat.

Lärarfacket vände sig 2014 till domstol och hävdade att EVAAS utgjorde ett brott mot det fjortonde tilläggets rätt till rättvis rättegång.

Lärarna fick till slut möjlighet att se källkoden, om än med stora begränsningar. Den anlitade experten fann då att systemet var omöjligt att tolka. Detta gav stöd åt lärarnas argument att de nekats en rättvis process.

I oktober 2017 fann parterna en förlikning där skoldistriktet lovade att sluta använda EVAAS. Skoldistriktet gick också med på att fortlöpande föra en dialog med lärarrepresentanter kring hur lärarna ska utvärderas. Myndigheten fick också stå för lärarfackets rättegångskostnader, 237 000 dollar.

United States District Court Southern District of Texas, Houston Division, Civil Action H-14-1189

Union nationale des étudiants de France (Unef) mot Université des Antilles
I Frankrike infördes år 2018 ett nytt system för antagning till högre utbildningen. Systemet, Parcoursup, bygger på en komplicerad algoritm som rangordnar de sökande till olika universitet. Under införandet restes en rad krav på att algoritmen skulle offentliggöras. Detta gjordes också på nationell nivå. De lokala varianterna har dock fortsatt varit sekretessbelagda.

Bland dem som krävde offentliggörande av antagningsalgoritmen fanns studenter vid universitetet i Antillerna. Då rektorn vägrade att offentliggöra koden, med hänvisning till skyddet för personuppgifter, vände sig studentkåren till domstol.

Den 4 februari i år meddelade Guadeloupes förvaltningsdomstol i Franska Antillerna att algoritmerna skulle lämnas ut till studentkåren. Enligt domstolen kunde inte utlämnandet av koden avslöja några personuppgifter från antagningen, utan bara hur olika meriter vägdes och rangordnades. I beslutet framgår att universitetet måste lämna ut de efterfrågade uppgifterna inom en månad. Efter det utgår ett vite om 100 euro för varje dags försening. Universitetet ska också betala studentkårens kostnader om 300 euro.

Tribunal administratif de la Guadeloupe, № 1801094.

Annons
Annons