AI-studie: Myndigheter kan fastna i tillitsdilemma

Myndigheter uppvisar en förhållandevis hög övergripande AI-mognad, men investeringar för att säkerställa en tillförlitlig användning av AI-teknik och styrning inom offentlig sektor släpar efter.

Detta framgår av studien Data and AI Impact Report: The Trust Imperative, som är genomförd av IDC på uppdrag av SAS Institute. OFFENTLIGA AFFÄRER ställde frågor till Josefin Rosén, expert på tillförlitlig och etisk AI-användning på SAS Institute.

Josefin Rosén. Arkivbild.

Undersökningen tyder på att organisationer implementerar avancerade AI-lösningar med en otillräcklig datagrund, vilket ökar risken för partiska beslut, säkerhetsincidenter och kostsamma operativa fel.

Obalans blir ett hinder

Resultaten i rapporten visar på ett så kallat tillitsdilemma, där organisationer riskerar att antingen vara alltför försiktiga med AI-användning eller att förlita sig på AI-system som inte är tillräckligt validerade. Obalansen, som återfinns i alla undersökta regioner, utgör ett betydande hinder för en effektiv användning av AI inom offentlig sektor.

Rapporten visar även hur användningen av AI och investeringarna i tekniken utvecklas i olika länder samt hur väl organisationer hanterar detta tillitsdilemma. Även om alla undersökta branscher brottas med liknande utmaningar är tillit särskilt avgörande inom offentlig sektor, där AI påverkar beslut som rör medborgare. 

Här följer intervjun med Josefin Rosén.

OFFENTLIGA AFFÄRER: Det framgår att när det gäller att leverera tillförlitlig AI ligger offentlig sektor efter branscher som försäkring, bank och life science. Tror du att man inom offentlig sektor generellt har var varit för ängsliga för att ”halka efter” och därför (alltför?) snabbt gått in i AI-lösningar utan tillräckliga förberedelser?

JOSEFIN ROSÉN: Jag tror att det är lätt att förenkla det här till att handla om att offentlig sektor antingen är för försiktig eller för snabb. Min bild är att man snarare navigerar i en ganska svår balansgång.

Det finns en tydlig vilja att inte halka efter, inte minst när AI går från experiment till att bli en del av kärnverksamheten. Samtidigt bär offentlig sektor ett annat ansvar än många andra branscher, eftersom besluten många gånger påverkar människors vardag, rättigheter och möjligheter och därför måste kunna granskas, förklaras och i många fall också ifrågasättas.

Det vi ser i både studien och i praktiken är att många organisationer går relativt snabbt från pilot till användning. Men det innebär också att arbetssätt, datagrund och styrning inte alltid hinner mogna i samma takt. Det är egentligen där utmaningen ligger.

För AI i offentlig sektor handlar inte bara om att få något att fungera, utan om att få det att fungera på ett sätt som är rättvist, transparent och tillförlitligt över tid.

Så jag skulle säga att det inte är en fråga om att man varit för snabb eller för försiktig. Snarare har teknikutvecklingen gått snabbare än organisationernas förmåga att bygga de strukturer och arbetssätt som krävs runt den. 

OFFENTLIGA AFFÄRER: Ni hävdar att resultaten i rapporten visar på ett så kallat tillitsdilemma, där organisationer riskerar att antingen vara alltför försiktiga med AI-användning eller att förlita sig på AI-system som inte är tillräckligt validerade. 

a) Hur valideras AI-system i dag?

JOSEFIN ROSÉN: I dag tänker många på validering som något tekniskt. Att modellen presterar bra och levererar rätt resultat. Men det räcker inte, särskilt inte i offentlig sektor. Verklig validering behöver omfatta hela livscykeln: datakvalitet och datakällor, hur modellen tränas och används, om resultaten är förklarbara och möjliga att granska, och hur de följs upp över tid.

Det som blir tydligt i rapporten är att många organisationer upplever en hög tillit till AI, men att färre har byggt in de mekanismer som gör systemen tillförlitliga, till exempel styrning, transparens och ansvarsfulla arbetssätt. 

Det är där tillitsdilemmat uppstår. Man vill använda och lita på AI, men har inte alltid gjort det arbete som krävs för att veta när systemen faktiskt är värda att lita på.

I grunden handlar det om gapet mellan hur mycket vi litar på AI, och hur väl vi faktiskt har säkerställt att den förtjänar den tilliten.

b) Skiljer det sig åt mellan olika regioner/länder?

JOSEFIN ROSÉN: Det finns absolut skillnader, men det mest intressanta är hur lika utmaningarna är. Tillitsdilemmat finns i alla regioner, och påverkar en stor andel organisationer globalt. Det som skiljer sig är snarare var man lägger tyngdpunkten. I Europa ser vi till exempel ofta mer fokus på regelverk, styrning och arkitektur. Men även här återkommer samma grundutmaning: att organisationens förutsättningar, som data, arbetssätt och kompetens, inte alltid hänger med i den snabba utvecklingen. 

Så även om vägen framåt kan se lite olika ut är själva grundproblemet i stort sett detsamma.

c) Har Sverige en egen modell för AI-validering?

JOSEFIN ROSÉN: Sverige har inte en enhetlig modell för AI-validering, men vi har en stark utgångspunkt. Vi har en tradition av transparens, ansvar och tillit i offentlig sektor och det är viktiga byggstenar när man utvecklar tillförlitlig AI. Samtidigt formas mycket av arbetet av europeiska ramverk, inte minst genom AI Act och framväxande standarder inom området. 

Men det som avgör i praktiken är inte om vi har en modell på papper, utan hur vi omsätter den i vardagen. 

Tillförlitlig AI byggs inte genom en enskild kontroll eller certifiering. Den behöver byggas in från början och genom hela livscykeln.

Det handlar om att skapa arbetssätt där transparens, ansvar och uppföljning är en naturlig del av hur man arbetar, inte något som läggs på i efterhand.

OFFENTLIGA AFFÄRER: Studien visar att få organisationer har lyckats kombinera hög tillit till AI med system som är verifierbart tillförlitliga. Kommer vi att ha kommit till rätta med denna problematik inom de närmaste fem åren?

JOSEFIN ROSÉN: Jag tror att vi kommer att ha tagit stora steg, men inte att det här är en fråga som blir “klar”.

Det som är tydligt i studien är att det i dag är väldigt få organisationer som verkligen lyckas kombinera hög tillit med system som är verifierbart tillförlitliga. Samtidigt finns det tydliga tecken på mognad. Investeringarna ökar, medvetenheten om risker är hög, och kopplingen mellan ansvarsfull AI och faktisk nytta blir allt tydligare.

Min erfarenhet är att det är en viktig brytpunkt. När organisationer börjar se att tillit inte är något som kommer i andra hand, utan en förutsättning för att få ut värde av AI, då händer det saker.

Men det är också viktigt att komma ihåg att detta inte är något man ”blir klar med”. Tillförlitlig AI behöver byggas och underhållas löpande, genom hela livscykeln och i hela organisationen. Och i offentlig sektor blir det extra tydligt, eftersom det ytterst handlar om relationen mellan myndighet och medborgare.

Så om fem år tror jag att vi har bättre strukturer, fler konkreta exempel som fungerar i praktiken, och ett mer moget sätt att arbeta. Men också en fortsatt medvetenhet om att det här är en balansgång vi behöver hantera över tid.

I whitepaperet How Trustworthy AI Transforms Public Service utvecklas resonemangen kring hur offentlig sektor kan omsätta AI:s potential i konkret och tillförlitligt värde för medborgare och samhälle.