Algoritmernas nya era är här

Har du sökt efter en semesterresa på Google på sistone? Vill du kanske byta arbetsplats? Eller är du oroad över din hälsa?

Oavsett vad du letar efter har du förmodligen redan upptäckt att Google snabbt försöker hjälpa dig på traven, med mängder av annonser om härliga resmål, hugade arbetsgivare, nätdoktorer och undermediciner. Lägg ihop alla sökningar du gjort på ett år, och datorn vet helt enkelt skrämmande mycket om dig, dina behov och dina rädslor. Men hur?

Svaret är algoritmer, eller med ett sammanfattande begrepp: artificiell intelligens (AI). Genom sinnrika formler som väger in en rad parametrar hos dig, hos den grupp du tillhör och hos befolkningen som helhet, och viktar dem mot varandra, kan datorn blixtsnabbt skapa en bild av dig och ge dig vad du vill ha – eller vad du förväntas vilja ha.

Algoritmstyrda annonser kan förvisso vara irriterande och lite skrämmande. Kanske leder de till att du gör en dålig affär eller köper något du inte tänkt. Men algoritmerna används i dag på många fler områden än bara reklam – också där de kan få mycket större och mer djupgående konsekvenser.

Lärarna i Houstons fristående skoldistrikt i USA blev väl medvetna om detta när skoldistriktet år 2011 implementerade ett nytt utvärderingssystem för lärare, baserad på en algoritm. Utifrån olika kriterier, som elevernas betyg i förhållande till snittbetygen i distriktet, fick datorn väga och mäta varje lärare. Där­emot tog den inte in socioekonomiska variabler, som elevernas hemmiljö eller föräldrarnas utbildningsnivå i ekvationen.

De ”bästa” lärarna fick bonus. De ”sämsta” avskedades. Systemet användes ända tills lärarfacket gick till domstol och krävde att det skulle stoppas (se faktaruta på s. 38). Granskningen visade då på stora brister i både själva algoritmen och de data den matats med.

Svåra att tolka
Inte bara i USA utan även i Europa fattas nu allt fler beslut med hjälp av algoritmer. De allra flesta besluten fungerar alldeles utmärkt och går helt obemärkt förbi oss vanliga människor, som vilka satelliter som våra mobiltelefoner ska kopplas upp mot i varje stund eller system för avfallshantering eller energitillförsel.

Betydligt mer komplicerat blir det när, som i fallet med utvärderingen av lärare, algoritmerna ger sig in på områden som rör människors behov och att försöka styra, utvärdera eller förutsäga mänskligt beteende. Dessa beslut får dessutom stora konsekvenser för enskilda människor.

Karl de Fine Licht, lektor i etik och teknik vid Chalmers tekniska högskola i Göteborg, har kommit att intressera sig för användningen av AI och dess konsekvenser. Han pekar på att tekniken ger oss fantastiska möjligheter. Samtidigt varnar han för övertro på resultaten och möjligheterna.

– Det kommer ut olika siffror, och eftersom programmen är så otillgängliga och komplicerade så tänker man lätt att de står för något som de kanske inte riktigt står för, säger han, och pekar på hur man i USA använt AI för att försöka förutsäga återfallsrisk hos dömda brottslingar.

Systemen för bedömning, vars resultat kan påverka intagnas möjlighet att bli villkorligt frigivna, tar bland annat in faktorer som antal tidigare brott och alkoholproblem. Men också den intagnes hemort och brottslighet hos släktingar och vänner räknas in, med följd att personer från fattiga och brottsdrabbade områden bedöms som mer återfallsbenägna än motsvarande personer från mer välbärgade områden. Studier visar också att systemen tenderar att felaktigt bedöma betydligt fler afroamerikaner som återfallsbenägna än vita.

AI används också för att bedöma våldsbenägenhet hos personer misstänkta för brott, bland annat i Washington DC i USA. Bedömningen ingår som en del när en domstol utmäter påföljder, och har kritiserats av många advokater för att befästa och förstärka rasism. Frågan om ras ingår visserligen inte i själva bedömningen. Det gör däremot en rad faktorer som tydligt pekar mot den misstänktes etniska och sociala bakgrund, som bostadsort och närhet till kriminella gäng.

I just Washington DC användes algoritmen för riskbedömningar av ungdomsdomstolarna från 2004. Först 2018 utmanades systemet av advokater, som visade att metoden inte hade tillräckligt vetenskapligt stöd för att domstolen skulle fästa vikt vid den.

– Problemet är förstås att modellerna bygger på data som är väldigt biased, skruvad på olika sätt, vilket gör att resultaten är rätt svåra att använda, och särskilt i det individuella fallet, säger Karl de Fine Licht.

På samma sätt som statistik blir förstås resultaten av algoritmerna helt beroende av vilka data som matas in. En skillnad mot klassisk statistik är dock att AI:s svar är betydligt svårare att ifrågasätta. Det finns helt enkelt ingen att fråga. Datorn själv tiger – och räknar.

Resultaten av AI:ns räknande är alltså helt beroende av vilka data som från början stoppas in. Och data tenderar i sin tur att vara färgade av det samhälle vi lever i, med dess fördomar och skevheter. Till skillnad från, möjligen fördomsfulla, människor, kan tekniken också sprida skevheterna oändligt snabbt och effektivt.

– Algoritmerna kan fatta beslut mycket snabbare än vi. Om man har med bias och sedan trycker ut en massa beslut riskerar vi att få massor av beslut som faktiskt förstärker den bias som finns i systemet genom alla besluten i sig, säger Karl de Fine Licht.

Lär sig själv
Datorernas stora fördel gentemot människor är förstås deras snabbhet och förmågan att processa enorma datamängder. Datorn gör inte heller några slarvfel, och den blir inte trött, hungrig eller uttråkad som vi människor.

Tills helt nyligen har man dock kunnat invända att datorer saknar den kreativitet och den förmåga till nytänkande som människor har. Men utvecklingen av så kallad maskininlärning, där datorer får öva upp sig själva till att lösa problem, har kanske ändrat detta.

Ett exempel är schackdatorn AlphaZero, skapad av Googles dotterbolag Deep Mind. AlphaZero startade programmerad enbart med reglerna för schack. I ett oändligt antal partier fick datorn sedan lära sig spelet, genom att spela mot sig själv.

Resultatet slog schackvärlden med häpnad. På fyra timmar nådde AlphaZero en nivå som slår de allra flesta av världens schackspelare. Programmet krossade snabbt de traditionella schackmotorerna, som programmerats med all världens schackkunskap. AlphaZero visade också prov på något som liknar mänsklig kreativitet, genom att datorn gjorde helt nya drag, som ingen människa gjort tidigare.

Den danske stormästaren Peter Heine Nielsen kommenterade sin upplevelse av AlphaZero med att han alltid undrat hur det skulle kännas om en överlägsen art landade på jorden och visade oss hur de spelade schack. ”Det känns som att jag vet det nu”, avslutade han.

De självlärande datorerna ägnar sig inte bara åt schack. De kan också hjälpa till med rekrytering eller att bedöma låneansökningar. Och här blir det tydligt att algoritmerna kan bidra till att inte bara spegla fördomar, utan också att föröka dem.

När Google och Facebook lät sina datorer, utifrån enorma mängder data i form av namn eller bilder, lista ut vem som skulle få olika platsannonser blev resultatet, föga förvånande, mycket traditionellt. Män fick erbjudandena om höga chefsuppdrag eller traditionella hantverkarjobb, medan kvinnorna fick annonser om lägre chefsbefattningar eller traditionella kvinnoyrken.

På motsvarande sätt har självlärande datorer med uppdraget att bedöma en låneansökan hittat lösningar som kan slå hårt mot enskilda. AI:n kom nämligen fram till att postnummer var den bästa parametern att gå efter, helt enkelt för att personer som bodde i välbärgade områden både fått fler lån tidigare och förmodligen också förmått betala tillbaka dem.

Med allt självständigare datorer blir frågan också vem som egentligen har ansvaret för misstag och diskriminering. Det är en svår fråga att svara på, säger Karl de Fine Licht.

– Det vi måste göra i dag är att bygga en infrastruktur, institutioner, som fördelar ansvar för de här sakerna. Annars riskerar vi att hamna i en situation där det liksom inte finns någon att utkräva ansvar ifrån, säger han.

Behövs institutioner
Virginia Dignum, professor vid Umeå universitet, forskar i social and etisk artificiell intelligens. Hon upplever att medvetenheten kring AI:s potentiella risker har ökat i samhället på senare år.

– Under de senaste ett eller två åren har policyskapare och politiker blivit allt mer medvetna om att de måste fatta beslut och ta steg för att fastslå vilka värden som är viktiga och vilka som inte är det, säger hon, och konstaterar att tekniker och systemutvecklare redan talat om detta i många år.

Den ökade medvetenheten märks bland annat på att EU-kommissionen i slutet av 2018 tillsatte en expertgrupp med uppdraget att skapa etiska riktlinjer för AI-användning. Virginia Dignum är medlem i gruppen, som levererade sina riktlinjer i april i år.

– Expertgruppens riktlinjer är just riktlinjer, inte regleringar eller ens rekommendationer, utan ger en riktning och förslag på vilka områden som är viktiga att se på, förklarar Virginia Dignum, och tillägger att det också kan behövas ytterliga regleringar på EU-nivå eller inom staterna.

En av grundstenarna i riktlinjerna är att all AI-användning måste följa gällande lagar. Men räcker dagens lagstiftning till för den nya tekniken? Frågan har diskuterats i expertgruppen.

– I många fall är de tjänster och produkter som skapas med AI sådana att vi redan har regler för ansvar och konsumenträttigheter. Då behöver vi inte krångla till saker mer än nödvändigt, säger Dignum. Hon exemplifierar med en självkörande bil. Självklart ska den följa de regler som finns i dag för bilar, kring säkerhet och ansvar om något går fel till exempel. Däremot kan det förstås också komma att behövas särskild lagstiftning just kring AI, påpekar Virginia Dignum.

Expertgruppen, som består av 52 personer, ska nu ta sig an uppdraget att dels undersöka om de rekommendationer som ges i slutet av riktlinjerna är tillämpliga och lämpliga för olika områden och branscher, dels att skapa en lista med rekommendationer till medlemsstaterna om regleringar och investeringar på området.

Men för att upprätthålla lagar behövs förstås också institutioner som vi känner tillit till. Och det är inte omöjligt att vi behöver skapa sådana, menar Virginia Dignum.

– Jag tror att vi behöver certifieringsorgan, med tillräckliga tekniska kunskaper, som kan kontrollera systemen, och sedan utdela något slags godkännande av dem, säger hon, och jämför med livsmedelsindustrin.

– Vi har en massa produkter i snabbköpet som sägs vara ekologiska, fair-trade eller annat. Som konsument vet du inte riktigt om det är sant eller inte, men du litar på att det finns institutioner som kontrollerar detta. Vi behöver sådana människor som kan intyga att ett system upprätthåller en viss nivå av skydd för personuppgifter eller att data inte är snedvridna av bias, och att resultaten är rättvisa, fastslår Virginia Dignum.

Hon tillägger att detta naturligtvis är komplext och svårt, bland annat för att vi inte har någon exakt definition av vad rättvis betyder i dessa sammanhang. Även detta behöver alltså regleras. Dessutom utvecklas datasystemen hela tiden. Att ett system är rättvist i dag behöver inte betyda att det är det imorgon.

– Det här behöver vi tänka kring. Men jag tror att det här är rätt väg att gå. Du kan inte förvänta dig att konsumenterna på egen hand ska ta ställning till dessa frågor, precis som du inte kan räkna med att de åker ut till bondgården för att kontrollera att hönsen är frigående, säger Virginia Dignum.

Algoritmer kan diskriminera
Även Europarådet har intresserat sig för frågorna kring AI. I februari i år bjöd Europarådet och det finländska ordförandeskapet in till konferens i Helsingfors för att diskutera AI:s påverkan på de mänskliga rättigheterna, rättsstaten och demokratin.

Den bild som växte fram under inläggen från politiker, höga tjänstemän och forskare var klar: AI och algoritmiskt beslutsfattande innebär stora möjligheter för samhället, men också helt nya utmaningar. Inte minst för att AI ofta kommit att användas i förhållande till samhällets mest sårbara individer, de som behöver statens hjälp.

Advokat Christian Åhlund, tills nyligen ordförande för Europarådets organ ECRI, European Commission against Racism and Intolerance, medverkade vid konferensen. Han konstaterar att risken för diskrimineringen framför allt märks på områden där det redan förekommer diskriminering, som antagning till högre utbildning eller tillgång till bostäder. Fenomenet har fått ett namn: algoritmisk diskriminering.

Professor Frederik Zuiderveen Borgesius vid Amsterdams universitet har på uppdrag av ECRI gått igenom hur AI kan riskera att skapa diskriminering och hur detta kan förhindras. Han ser antidiskrimineringslagstiftning och dataskyddslagstiftning som de viktigaste juridiska medlen för att förhindra algoritmisk diskriminering. Zuiderveen Borgesius vill också utrusta diskrimineringsombudsmännen med mekanismer för att övervaka hanteringen av AI.

– För mig låter detta främmande, det är ju traditionellt inte någon materia som de har haft. Men visst går det att inrätta särskilda avdelningar för det också, säger Christian Åhlund, som anser att lagstiftningen släpar efter ordentligt på detta område.

– Det här blir en väldig utmaning för rättssystemet, inte bara att använda de här möjligheterna som AI ger, utan rättssystemet måste också se till att producera reglering som är användbar och effektiv samtidigt, säger han.

Meningslös transparens
Förutom att algoritmerna tycks ge fördomsfulla och ibland felaktiga resultat, som dessutom får stor inverkan på enskildas liv, är de förstås svåra att bemöta och försvara sig mot, eftersom det är näst intill omöjligt att förstå vilka grunder de vilar på. De är helt enkelt inte det minsta transparenta.

Och även när algoritmerna går att förstå kan det bli mycket kostsamt att undersöka dem, vilket de som ifrågasatt olika beslut fått erfara, till exempel de lärare som utmanade Houstons utvärderingssystem (se faktaruta nedan).

Christian Åhlund har ett förslag på hur transparensen skulle kunna ökas: genom en omvänd bevisbörda i beslut som fattas med AI.

– Det skulle innebära att en myndighet som avslår en ansökan om till exempel socialbidrag skulle behöva visa att beslutet är välgrundat, i stället för som i dag, där den som stämmer, eller överklagar, ska kunna visa att beslutet är felaktigt, säger han, och tillägger att omvänd bevisbörda ju redan finns inom vissa delar av arbetsrätten och diskrimineringsrätten.

Det bästa sättet att skapa transparens kan tyckas vara att ge programkoden till alla, konstaterar Virginia Dignum. I praktiken är sådan transparens helt meningslös.

– Du kommer inte att förstå den. Inte ens jag förstår den. Verklig transparens tror jag handlar mycket mer om processen runt omkring, säger Dignum.

Viktiga uppgifter blir då sådant som vilka personer som är inblandade i processen, vilka faktorer som tagits in i algoritmen, vilka data som har använts och vem som samlat in datan. Virginia Dignum jämför med revisorns roll i företag: att intyga att allt gått rätt till men inte att avslöja företagets hemligheter.

Även Karl de Fine Licht ser det som ganska meningslöst att lämna ut koden bakom algoritmerna. I stället tror han på det som kallas förklarande AI, där datorn inte bara levererar ett svar utan också förklarar svaret.

– Det ger ett underlag som vi kan använda oss av för att till exempel överklaga ett beslut. Transparens i fråga om förklaringar medan processen fortfarande är osynlig för oss, sammanfattar han.

Förklarande AI eller fristående granskare är också ett sätt att komma runt problemet med att algoritmer kan vara IP-rättsligt skyddade av de företag som tagit fram dem.

Data är makt
Den israeliske historikern Yuval Noah Harari målar i sin artikel Why Technology Favors Tyranny upp en dyster bild av samhällsutvecklingen. Enligt Harari var en viktig anledning till demokratins och marknadsekonomins seger över diktaturen på 1900-talet att ingen enskild aktör längre kunde överblicka all relevant information i det allt mer komplexa samhället. Demokratin med sin decentralism blev helt enkelt mer effektiv än enväldet.

Med AI:s utveckling riskerar detta att vändas upp och ner, menar Harari. Plötsligt går det att hantera närmast hur stora datamängder som helst. Diktaturen kan åter visa sig vara det mest effektiva systemet, genom att den snabbt kan reagera på de data som kommer in. Dessutom kan diktaturen bygga sig ännu starkare genom att samla in ännu mer data – och bygga ännu bättre algoritmer.

Hararis resonemang för lätt tankarna till Kina, som enligt många bedömare är i full färd med att bygga upp ett storebrorssamhälle med närmast fullständig kontroll över medborgarna, med hjälp av AI. Exemplet visar tydligt att AI lika effektivt kan användas till onda som till goda ändamål, som likabehandling och snabbhet.

Varken Karl de Fine Licht eller Virginia Dignum ser dock sådana tendenser i Europa, mycket på grund av våra demokratiska och rättsstatliga traditioner. Där­emot ger Kina och andra avskräckande exempel skäl att noga värna våra demokratiska institutioner, menar Karl de Fine Licht, som samtidigt varnar för naivitet.

– Kina utvecklar en väldigt kraftfull AI. Att de kan göra det beror på att de har tillgång till så fruktansvärt mycket data, som de kan träna AI:n på, säger han.

Blotta mängden av data som samlas in om medborgarna ger alltså ett försprång när det gäller att skapa ännu bättre AI, som förstås även kan säljas till demokratiska stater. Kontrollsamhället får alltså en konkurrensfördel, ungefär som i Hararis resonemang. Detta kan sätta press på våra demokratiska institutioner framöver, påpekar Karl de Fine Licht.

– Å ena sidan vill man ha en AI som folk kan lita på, som är etisk försvarbar. Å andra sidan kommer det att testas hårt av de praktiska realiteterna, att vi konkurrerar med andra aktörer som inte alls behöver följa de här reglerna, säger han, och beskriver att företag redan i dag kämpar hårt för att få tillgång till så mycket data om oss konsumenter som möjligt.

Även Virginia Dignum betonar vikten av att vi vårdar våra demokratiska och rättsstatliga traditioner och institutioner. Hon pekar också på att den digitala världen saknar gränser. Det kan därmed vara svårt att hålla fast vid vår syn på exempelvis skydd för personuppgifter.

– Vi i Europa kan förstås köpa kinesiska produkter, som telefoner, och vi vet inte riktigt vad som finns där inuti, i form av kontroller av användaren, säger hon och tillägger att detta är en fråga för lagstiftaren och juristerna.

Hon fortsätter:

– Vi kontrollerar ju kinesiska produkter i fråga om kemikalier till exempel, så att leksaker inte innehåller farliga ämnen. Vi behöver samma typ av kontroller även för digitala tjänster och produkter som vi köper från Kina och andra länder utanför EU.

Ger arbete för jurister
AI-utvecklingen skapar alltså en hel del för lagstiftaren och för juristerna att ta tag i. Virginia Dignum ser det som en viktig uppgift för jurister att nu undersöka hur regler och institutioner fungerar i förhållande till AI-tjänster, och vad som kan behöva regleras ytterligare.

Än ser vi kanske inga tvister om algoritmisk diskriminering i svenska domstolar som i USA, men det är förmodligen bara en tidsfråga. Christian Åhlund är övertygad om att utvecklingen kommer att ge arbetsuppgifter för advokater framöver, i alla fall om advokaterna är tillräckligt insatta i saken för att ställa de rätta frågorna.

– Absolut tror jag att det kan bli en mycket intressant nisch för advokater i fortsättningen. Hela området är ju i dag egentligen oreglerat, säger han.

Men hur långt kan då utvecklingen av AI gå? Finns det saker som vi aldrig kan överlåta till tekniken?

Varken Karl de Fine Licht eller Virginia Dignum ser någon sådan absolut gräns.

– Det finns förstås saker som vi anser är speciella för människan, men de kan förändras. Det vi säger nu att tekniken aldrig kan göra, eller vi inte vill att systemen ska göra, kanske inte är samma saker som man säger om några generationer. Det handlar om kultur, säger Virginia Dignum.

Ytterst handlar det också om vad vi vill att tekniken ska göra, påpekar Virginia Dignum. Och det är här begränsningen kommer, påpekar hon.

– Det enda som kanske aldrig kan överlåtas är att besluta vad vi vill att tekniken ska göra och inte göra, att vi fattar dessa beslut.

AI

Artificiell intelligens, eller AI, innebär att datorn får härma det mänskliga tänkandet och hitta samband och avvikelser eller själv lära sig av de problem som ska lösas. Man utnyttjar alltså datorns förmåga att snabbt gå igenom stora mängder data för att låta den hitta samband och ”se” mönster på ungefär samma sätt som en människa skulle göra. Det kan handla om till exempel mönsterigenkänning, bild­analys eller talförståelse.

En form av AI kallas maskininlärning. Datorn får då själv pröva sig fram till ett sätt att lösa det problem som presenteras. I djup maskininlärning har man tagit ytterligare ett steg och låter datorn själv skapa program för att lösa problem.

Text: Ulrika Öster Research: Eva Ekholm

Källor

AI Now Institute: Litigating Algorithms. Challenging Governement Use of Algorithmic Decision Systems, 2018.

American Civil Liberties Union: Pitfalls of Artificial Intelligence Decisionmaking Highlighted In Idaho ACLU Case, www.aclu.org.

American Federation of Teachers: Federal Suit Settlement: End of Value-Added Measures in Houston, publicerad i oktober 2017 på www.educationviews.org.

Buranyi, Stephen: Rise of the racist robots – how AI is learning all our worst impulses, The Guardian, 8 augusti 2017.

Cullum, Bronte: Guadeloupe university must disclose admissions algorithms, court orders, Global Data Review, 21 februari 2019.

Harari, Yuval Noah: Why Technology Favors Tyranny, The Atlantic, oktober 2018.

High-Level Expert Group on Artificial Intelligence set up by the European Commission: Ethics Guidelines for Trustworthy AI, 2019.

Law Geek: AI vs. Lawyers: the Ultimate Showdown, 2017.

O’Neill, Cathy: Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy; Broadway Books, 2017.

Raso, F. A.; Hilligoss, H.; Krishnamurthy, V.; Bavitz, C.; Kim, L.: Artificial Intelligence & Human Rights: Opportunities & Risks, The Berkman Klein Center for Internet & Society Research at Harvard University, 2018.

Svernlöv, Carl; Magnusson, Matilda: Rådgivningsansvar vid användande av artificiell intelligens, Balans nr 3 2018.

Zuiderveen Borgesius, Frederik: Discrimination, artificial intelligence and algorithmic decision-making, Europarådet, 2018.