Har vi kontroll på AI?

AI används i allt fler delar av offentlig verksamhet för att effektivisera arbetet, bearbeta information och ge stöd i olika processer. Men vad händer när tekniken gör fel – och människan som ska kontrollera resultatet inte upptäcker det? Den 14 oktober lyfte Integritetsskyddsmyndigheten, IMY, riskerna med den mänskliga kontrollen av AI.
När AI används i offentlig verksamhet är mänsklig kontroll en central fråga. Det handlar om att inte överlåta hela processen till tekniken utan att en människa finns med och granskar resultatet.
Men enligt IMY räcker det inte att bara ha en människa med i processen.
Kontrollen kan brista
AI kan producera felaktiga uppgifter och generativ AI kan skapa information som inte stämmer. Därför behöver resultatet granskas innan det används vidare.
Samtidigt pekar IMY på faktorer som kan göra den kontrollen mindre effektiv. Det kan handla om tidspress, bristande AI-kunskap, övertro på tekniken eller organisatoriska och tekniska brister.
Risken är att den som ska kontrollera AI-resultatet i praktiken accepterar det utan en tillräckligt noggrann granskning.
Från analys till beslutsunderlag
Frågan blir allt viktigare när AI får en större roll i offentlig förvaltning. AI och datadrivna arbetssätt används bland annat för att bearbeta information, effektivisera interna processer och förbättra analyser och beslutsunderlag.
Digg och IMY har också tagit fram gemensamma riktlinjer för användningen av generativ AI i kommuner, regioner och statliga myndigheter. Där betonas att generativ AI kan vara ett stöd i verksamheten, men att användningen måste ske med hänsyn till bland annat lagstiftning, transparens och mänsklig kontroll.
Vid beslutsfattande är kraven särskilt höga. Digg rekommenderar att generativ AI inte används för att självständigt fatta beslut som direkt påverkar människor.
Kalmar visar problemet i praktiken
Ett konkret exempel som IMY lyfter är Kalmar kommun. Där har myndigheten tillsammans med kommunen undersökt användningen av AI för att transkribera och sammanfatta samtal inom socialtjänsten.
AI kan avlasta socialsekreterarna från dokumentationsarbete, men tekniken kan också transkribera fel eller lägga till sådant som aldrig sagts.
Därför ska en socialsekreterare granska resultatet.
Men IMY pekar på att även denna kontroll kan fallera. Om handläggaren exempelvis arbetar under tidspress finns en risk att AI-resultatet accepteras utan att det granskas tillräckligt noggrant.
Ställer nya krav på verksamheten
Frågan handlar därför inte bara om hur bra själva AI-systemet är.
När kommuner, regioner och myndigheter inför AI behöver de också säkerställa att medarbetarna har tillräcklig kunskap om tekniken – och faktiska möjligheter att kontrollera det som systemen producerar.
AI kan frigöra tid och effektivisera offentlig verksamhet. Men när tekniken får större inflytande över information och underlag blir också frågan om vem som granskar AI:n – och hur – allt viktigare.
Källor:Integritetsskyddsmyndigheten (IMY), Myndigheten för digital förvaltning (Digg)


