Annonser

EU:s AI-förordning och hög risk

EU:s AI-förordning [1] börjar stegvis gälla efter ikraftträdandet den 1 augusti 2024. Enligt advokat Dag Wetterbergs mening är AI-förordningen minst lika komplicerad och utmanande som dataskyddsförordningen, GDPR. Mest utmanande är troligen de så kallade högrisk-AI-systemen. I artikeln utforskar Dag Wetterberg vad leverantörer och tillhandahållare av högrisk-AI-system bör förbereda sig på inför att AI-förordningen blir gällande lag.

1 Europaparlamentets och rådets förordning (EU) 2024/1689 av den 13 juni 2024 om harmoniserade regler för artificiell intelligens (”Förordningen”).

Efter att de flesta organisationer har vant sig vid att tillämpa GDPR kommer nu en ny förordning inom EU vilken enligt min mening är minst lika utmanande som GDPR. Förordningen reglerar hur AI-system får etableras på marknaden och vilka risker som är förknippade med AI-system och vad som avses med förbjuden AI och AI.

Förordningstexten består av inte mindre än 144 sidor varav 180 skäl, 113 artiklar och 13 bilagor. Att detta är en utmanande lagstiftning är en underdrift. När GDPR blev lagstiftning inom Europa sa många att det var den mest komplicerade lagstiftningen EU någonsin har infört. Jag är benägen att påstå att AI-förordningen är minst lika komplicerad och kommer att leda till väldigt många tolkningar och utmaningar för alla som ska tillämpa den. Saken är att i princip alla som använder AI-system måste förhålla sig till AI-förordningen eftersom den berör utvecklare av AI-system men också användare av AI-system. Således måste alla som kommer att använda AI-system, vilket är de flesta av oss, att behöva tillämpa denna komplicerade lagstiftning.

AI-förordningen reglerar AI-system vilka enligt huvudregeln är förbjudna. Den reglerar även AI-system som är tillåtna utan att utvecklare och användare behöver vidta någon specifik åtgärd. Med denna utgångspunkt är det troligt att de mest utmanande AI-systemen är de så kallade högrisk-AI-systemen vilka kommer att kräva en certifiering och rigorös dokumentation innan de får föras ut på EU:s marknad, alltså på de 27 medlemsländernas marknader.

Svenskt Näringsliv har varit ganska kritiska till Förordningen eftersom man anser att den hämmar utvecklingen av AI inom EU. I denna del jämför man sig med USA och Kina. Den stora skillnaden mellan Europa å ena sidan och USA och Kina å andra sidan är att USA och Kina har lagt ner och lägger ner betydligt mer på investeringar relaterade till AI än vad EU har gjort och gör. Europa har i anledning av de betydligt blygsammare investeringarna hamnat efter USA och det kan även tilläggas att EU inte har haft lagstiftning på plats och att AI-förordningen inte kommer att börja tillämpas fullt ut förrän om två år och i vissa delar om tre år (förutom föreskrifterna om förbjuden AI som kommer att tillämpas från och med februari 2025).

Stapeldiagram som jämför investeringar i AI i Nordamerika, Asien och Europa

Linjediagram som jämför investeringar 2018–2023 i US jämfört med EU och Storbritannien

Jämförelser mellan investeringar i AI i olika delar av världen. USA:s framgångar på AI-området beror till stor del på de enorma investeringar som har gjorts, i kombination med att USA har några av de bästa klustren för AI-utveckling (Stanford, Google, Microsoft o.s.v.), enligt Dag Wetterberg.

Trots detta har Svenskt Näringsliv naturligtvis rätt i att vi får en väldigt komplicerad, utmanande och i viss mån begränsande lagstiftning för leverantörer som vill utveckla AI-system och tillhandahållare som vill använda AI med hög risk. Enligt min mening är en av de centrala utmaningarna i denna del knutna till frågor som rör företagshemligheter och transparens vilket kan bli hämmande för utvecklare av AI-system.

Till lagstiftningens fördelar, enligt min mening, hör att EU tar sikte på att reglera AI-system som får stor påverkan på oss som individer utifrån EU:s stadga [2] i förgrunden. För att exemplifiera ska en leverantör av ett högrisk-AI-system rörande rekrytering kunna visa att systemet tar hänsyn till diskriminering och på vilket och vilka sätt detta görs. För det fall leverantören bryter mot AI-förordningen riskerar man, precis som med GDPR, att få betala höga sanktionsavgifter.

Det skulle kunna leda till stora problem och orättvisor om en myndighet använder högrisk-AI som leder till förfång för en enskild individ. Därför är jag ändå positiv till denna reglering och ser framför mig att vi som juridiska rådgivare kommer att ha en viktig funktion i att hjälpa företag som utvecklar AI-system men även som rådgivare till företag som vill tillhandahålla högrisk-AI-system inom sin verksamhet om hur de ska förfara i det hänseendet samt planera inför tidpunkten då AI-förordningen blir gällande lagstiftning inom EU.

Denna artikel utforskar vad som klassificeras som högrisk-AI enligt AI-förordningen och vad leverantörer [3] och tillhandahållare [4] av högrisk-AI-system bör tänka på och förbereda sig på inför det att AI-förordningen blir gällande lagstiftning.

Är AI något nytt?

Herbert Simon som var en pionjär inom AI yttrade redan 1957:

History of AI

”It is not my aim to surprise or shock you – but the simplest way I can summarize is to say that there are now in the world machines that think, that learn and that create. Moreover, their ability to do these things is going to increase rapidly until – in a visible future – the range of problems they can handle will be coextensive with the range to which the human mind has been applied.”
(Herbert Simon 1957)

Tillsammans med Allen Newell utvecklade han det första AI-programmet, Logic Theorist, som kunde bevisa matematiska satser. Logic Theorist markerade en milstolpe inom AI-forskning och inspirerade till vidare utveckling av problemlösningsprogram och algoritmer. Det var en av de första förevisningarna av hur datorer kunde användas för att utföra uppgifter som traditionellt krävde mänskligt intellekt, och det lade grunden för framtida arbete inom artificiell intelligens och kognitionsvetenskap. Simon bidrog också till utvecklingen av General Problem Solver, en tidig AI-programvara designad för att lösa generiska problem. Simon tilldelades Sveriges riksbanks pris i ekonomisk vetenskap till Alfred Nobels minne 1978 för sin forskning om beslutsfattande inom ekonomiska organisationer.

Som ett exempel på en myndighet i Sverige som kommit långt i sin användning av AI kan nämnas Skatteverket. Myndigheten har effektiviserat sin verksamhet och skapat mer utrymme för det som kräver mänskliga förmågor att förebygga och bekämpa fel och fusk och att öka rättssäkerheten och enhetligheten. Till exempel har Skatteverket sedan 2019 ett AI-system som sorterar inkommande e-post. Skatteverket använder även AI för att ge stöd till handläggare och göra analyser av, och urval ur, stora datamängder och att göra kontroller och fatta beslut. [5] Sammantaget är alltså AI inget nytt men genom den snabba utvecklingen av så kallad generativ AI [6] har fokus hamnat mer på dess starka påverkan och därmed behovet av att reglera densamma.

Hur definieras AI-system?

AI-system: ett maskinbaserat system som är utformat för att fungera med varierande grad av autonomi och som kan uppvisa anpassningsförmåga efter införande och som, för uttryckliga eller underförstådda mål, drar slutsatser härledda från den indata det tar emot, om hur utdata såsom förutsägelser, innehåll, rekommendationer eller beslut som kan påverka fysiska eller virtuella miljöer ska genereras. [7]

Det är viktigt att det i AI-förordningen finns en tydlig definition av vad som utgör ett AI-system. Definitionen har som utgångspunkt att den ska kunna anpassas till internationella standarder för att säkerställa rättssäkerhet och underlätta global enighet och acceptans. Det har även varit av högsta vikt att hitta en definition som är så flexibel så att den kan anpassas till den snabba tekniska utvecklingen inom AI. Genom en enhetlig definition hoppas EU att AI-förordningen ska kunna säkerställa att AI-system utvecklas och används på ett sätt som är både säkert och etiskt, samtidigt som man främjar innovation och internationell samverkan. [8] Det har inte varit lätt att definiera AI och det kan noteras att det inom akademin har påpekats att det inte går att definiera AI. På sedvanligt sätt får praxis avgöra vad som är (eller inte är) ett AI-system i slutändan.

Vad är ett högrisk-AI-system?

I AI-förordningen avses med AI-system med hög risk AI-system som kan påverka människors säkerhet, hälsa eller grundläggande rättigheter. Exempel på sådana system är AI som används i medicinsk utrustning, i utbildningsbedömningar eller i rättssystemet. Dessa system måste uppfylla strikta krav på säkerhet, transparens och ansvar för att skydda användarna och samhället från potentiella skador. EU:s AI-förordning identifierar flera kategorier av AI-system som anses vara system med hög risk, nämligen de AI-system som rör:

  • biometri,
  • kritisk infrastruktur,
  • utbildning och yrkesutbildning,
  • anställning, arbetsledning och tillgång till egenföretagande,
  • tillgång till och åtnjutande av väsentliga privata tjänster och väsentliga offentliga tjänster och förmåner,
  • brottsbekämpning,
  • migration, asyl och gränskontrollförvaltning och
  • rättskipning och demokratiska processer. [9]

Dessutom listas en mängd direktiv och förordningar, så som leksakers och båtars säkerhet, vilka kan komma att utgöra högrisk-AI. [10] Således kan det som en utgångspunkt te sig relativt lätt att förstå och utröna vilka AI-system som utgör högrisk-AI-system. I praktiken förhåller det sig tyvärr inte på det sättet utan här krävs både stor kunskap och förståelse för att komma fram till om ett AI-system är ett högrisk-AI-system eller inte. Det kan bli en grannlaga uppgift för oss advokater som rådgivare att hjälpa våra klienter att komma fram till om ett AI-system är ett högrisk-AI-system eller inte.

AI-system som är säkerhetskomponenter i produkter [11]

En säkerhetskomponent definieras som en komponent som finns i en produkt eller i ett AI-system och som fyller en säkerhetsfunktion för den produkten eller det AI-systemet eller som, om den upphör att fungera eller fungerar felaktigt, medför fara för människors hälsa och säkerhet eller för egendom.

För att ett sådant AI-system ska klassas som högrisk-AI krävs det två saker:

a) AI-systemet är avsett att användas som en säkerhetskomponent i en produkt, eller AI-systemet är i sig en produkt, som omfattas av unionens harmoniseringslagstiftning som förtecknas i bilaga I. [12]

b) Den produkt vars säkerhetskomponent enligt led a är AI-systemet, eller själva AI-systemet som en produkt, omfattas av krav på att genomgå en tredjepartsbedömning av överensstämmelse för att den produkten ska kunna släppas ut på marknaden eller tas i bruk enligt unionens harmoniseringslagstiftning som förtecknas i bilaga I.

Vad betyder detta och vad krävs det för att ett AI-system som är säkerhetskomponenter ska klassas som högrisksystem? Detta är inte helt lätt att utröna bara genom att läsa skälen och artiklarna i AI-förordningen. När det gäller led a måste man ta reda på om den aktuella säkerhetskomponenten i en produkt eller i sig listas i bilaga I (till exempel att det är fråga om leksakers säkerhet). Om den gör det går man till led b för att ta reda på om den även måste genomgå en tredjepartsbedömning. När det till exempel gäller leksaker måste man se huruvida den aktuella leksaken är CE-märkt och i så fall bör led b bli tillämpligt innebärande att den är att anse som en produkt som omfattas av regleringen rörande högrisk-AI varvid regleringarna i AI-förordningen blir tillämpliga.

Kraven för leverantörer av högrisk-AI

För högrisk-AI-system måste leverantörer genomföra omfattande riskbedömningar för att identifiera och minska potentiella risker. Detta inkluderar att förutse och förebygga oönskade konsekvenser och att övervaka systemen kontinuerligt för att upptäcka eventuella avvikelser. AI-systemen måste utformas med robusthet, noggrannhet och cybersäkerhet i åtanke för att garantera deras säkerhet även under oförutsedda förhållanden.

Ett annat viktigt krav är att leverantörerna måste säkerställa att de data som används för att träna och testa AI-systemet är av hög kvalitet samt relevanta och representativa för den avsedda användningen. Detta är avgörande för att förhindra att systemen blir partiska eller diskriminerande. Vidare krävs att leverantörerna dokumenterar och lagrar alla data som använts för att träna och testa systemen, vilket underlättar övervakning och granskning.

Transparens är en central princip i förordningen. Leverantörer måste skapa detaljerad teknisk dokumentation som beskriver AI-systemets utvecklingsprocess, design och funktionalitet. Denna dokumentation är nödvändig för att tillsynsmyndigheter ska kunna förstå hur systemen fungerar och om de följer lagstiftningens krav. Dessutom måste AI-systemen åtföljas av tydlig och lättillgänglig information för användarna, inklusive instruktioner om korrekt användning och åtgärder för att minimera risker.

Förordningen betonar också vikten av mänsklig övervakning och kontroll över AI-system som anses vara högrisksystem. Dessa system ska vara utformade så att människor kan övervaka och kontrollera resultaten, särskilt i situationer där systemet kan påverka grundläggande rättigheter. Leverantörerna är också skyldiga att kontinuerligt övervaka systemens prestanda för att säkerställa att de fungerar som avsett, och vid behov uppdatera och förbättra systemen.

För att säkerställa att högrisk-AI-system uppfyller alla krav enligt AI-förordningen måste leverantörerna genomföra en konformitetsbedömning. Denna bedömning verifierar att systemen följer de fastställda reglerna, och i vissa fall kan det krävas att en oberoende tredje part involveras, beroende på systemets komplexitet och risknivå. Om ett AI-system för högriskanvändning orsakar allvarliga incidenter eller misslyckanden, är leverantörerna skyldiga att rapportera dessa händelser till relevanta myndigheter och utreda orsakerna.

Slutligen måste alla högrisk-AI-system registreras i en EU-databas, vilket gör det möjligt för myndigheter att spåra och övervaka dessa system. Leverantörerna måste också säkerställa att deras AI-system är spårbara, så att det är möjligt att förstå och förklara de beslut och åtgärder som systemen vidtar.

Kraven för tillhandahållare av högrisk-AI

För att påminna oss: En tillhandahållare kan alltså vara en advokatbyrå som köper in ett högrisk-AI-system till advokatbyrån (se not 4). För tillhandahållare av AI-system är regleringen av vad som måste kontrolleras något kortare än för en leverantör men fortfarande relativt rigorös. Tillhandahållare av högrisk-AI-system måste följa vissa krav för att säkerställa säkerheten och respekten för grundläggande rättigheter. För det första måste de vidta lämpliga åtgärder för att följa systemets bruksanvisningar, vilket innebär att använda systemet på det sätt som avses och i enlighet med instruktionerna. De som använder AI-systemen (till exempel anställda på en advokatbyrå) måste ha tillräcklig kompetens. Detta inkluderar att de har fått nödvändig utbildning och att de har den auktoritet som krävs för att kunna utöva mänsklig tillsyn över systemet. Om tillhandahållaren upptäcker en risk som kan påverka hälsa, säkerhet eller grundläggande rättigheter, är tillhandahållaren skyldig att informera både leverantören och marknadskontrollmyndigheten om denna risk.

Vidare måste alla loggar som genereras automatiskt av systemet sparas i minst sex månader. Detta är för att säkerställa att det finns tillräcklig dokumentation för att kunna spåra och granska systemets prestanda och beslutsfattande processer. Tillhandahållare är också skyldiga att informera arbetstagare och deras representanter om användningen av högrisk-AI-system på arbetsplatsen. Detta innebär att arbetstagarna ska veta om de är föremål för sådana system. På samma sätt måste personer som påverkas av automatiserat beslutsfattande få information om detta, så att de är medvetna om hur beslut som berör dem fattas.

Slutligen måste tillhandahållare genomföra en konsekvensbedömning för att utvärdera hur systemet kan påverka grundläggande rättigheter. Resultatet av denna bedömning ska sedan rapporteras till marknadskontrollmyndigheten, vilket hjälper till att säkerställa att alla potentiella risker identifieras och hanteras på rätt sätt.

Sammanfattning och några tankar

Denna artikel snuddar endast vid utmaningarna med högrisk-AI. Som advokater och rådgivare är vi ännu en gång inne i en väldigt intressant tid eftersom generativ AI ändrar vårt arbetssätt och ger oss ytterligare snabba och effektiva verktyg att lösa problem till gagn för våra klienter. Precis som när Google blev ett effektivt sätt att finna information runt 2004 (ja, ni läste rätt) kommer generativ AI att innebära att arbetstakten och effektiviteten i vår rådgivning skruvas upp och att våra klienter kommer att kräva det av oss.

En vän till mig som är arkitekt menade att generativ AI inte är någon utmaning och att den inte kommer att stjäla arbete från arkitekterna (han sa det gravallvarligt). Han menade att ny teknik alltid givit hans kontor mer arbete. Min första tanke och min förvåning gjorde att jag skrattade åt hans kommentar. Men han kan ha en poäng – det kan vara så att precis som med andra tekniska landvinningar skapas mer och intressantare arbete för oss advokater då vi kan lägga rutinärenden därhän och fokusera på de stora utmaningarna. Som Lisa Ekdahl sa redan 1994: Vem vet? Framtiden får avgöra.

När börjar Förordningen att gälla?

1 augusti 2024
AI-förordningen träder i kraft.

1 februari 2025
6 månader efter ikraftträdande
Förbud införs mot AI med oacceptabel risk. Förbudet gäller även system som tidigare tagits i bruk.

1 augusti 2025
12 månader efter ikraftträdande
Särskilda regler för nya AI-modeller för allmänna ändamål samt AI-modeller för allmänna ändamål med systemrisk börjar gälla, med undantag för böter för leverantörer av dessa modeller. Modeller som före detta datum släppts ut på marknaden ska uppfylla kraven inom tre år, senast sensommaren 2027.

1 augusti 2026
24 månader efter ikraftträdande
AI-förordningen börjar gälla generellt, till exempel regler för AI-system med viss risk och nya AI-system som används inom högriskområden listade i bilaga III. AI-förordningen omfattar inte AI-system med hög risk som tagits i bruk eller släppts ut på marknaden före detta datum (augusti 2026), såvida inte en större ändring av systemet har gjorts därefter.

1 augusti 2027
36 månader efter ikraftträdande
Regler för högrisk-AI-system som finns i nytillverkade produkter som regleras i sektorspecifik produktsäkerhetslagstiftning börjar gälla, till exempel i leksaker, hissar och maskiner, se AI-förordningen, bilaga I, avsnitt A. Skyldigheter kommer att konkretiseras och specificeras i harmoniserade standarder som produkterna förväntas efterleva. Olika produkter som motorfordon, luftfartyg och marin utrustning som omfattas av lagar som förtecknas i AI-förordningen, bilaga I, avsnitt B, regleras huvudsakligen av sektorspecifik lagstiftning.

2030
Offentlig sektors gamla högrisk-AI-system, enligt bilagorna I och III, måste uppfylla kraven sex år efter ikraftträdandet, 1 augusti 2030, artikel 111.2. Storskaliga IT-system inom området frihet, säkerhet och rättvisa, som tagits i bruk eller släppts ut på marknaden före augusti 2027 och som förtecknas i bilaga X, måste uppfylla vissa krav i AI-förordningen senast den 31 december 2030, artikel 111.1. Ett exempel är Schengens informationssystem.

Källa: Svenskt Näringsliv, AI-förordningen – en introduktion och guide  

Dag Wetterberg
Advokat

Advokat Dag Wetterberg är grundare av Wetterberg Advokatbyrå. Han är specialiserad på GDPR och EU:s AI-förordning, immaterialrätt, it-rätt, marknadsrätt och medierätt. Dag Wetterberg har publicerat böcker om GDPR och medierätt samt ett flertal artiklar.

2 Europeiska unionens stadga om de grundläggande rättigheterna (2012/C 326/02).

3 Leverantör: Den som utvecklat ett AI-system eller en AI-modell för allmänna ändamål och släpper ut systemet eller modellen på marknaden, eller tar systemet i bruk i eget namn eller varumärke. Leverantören ska säkerställa att leverantörens AI-system eller AI-modell uppfyller kraven i förordningen.

4 Tillhandahållare: Den som använder ett AI-system under sin egen tillsyn, förutom när detta sker för personligt och privat bruk. Tillhandahållare ska vidta lämpliga tekniska och organisatoriska åtgärder för att säkerställa att systemet används på ett korrekt sätt.

skatteverket.se/omoss/varverksamhet/skatteverketssynpa/aiartificiellintelligens.4.1997e70d1848dabbac9363f.html

6 Till exempel Chat GPT som är det mest kända programmet avseende generativ AI.

7 AI-förordningen artikel 3.1. Samma definition som OECD använder.

8 Skäl 12 i Förordningen.

9 Bilaga III – AI-system med hög risk som avses i artikel 6.2

10 Bilaga I – Förteckning över unionens harmoniseringslagstiftning

11 Bilaga I – Förteckning över unionens harmoniseringslagstiftning

12 Bilaga I – Förteckning över unionens harmoniseringslagstiftning