På menneskets premisser

Kunstig intelligens (KI) er i ferd med å endre industrien. For Equinor er det avgjørende å finne den rette balansen mellom å utnytte ny teknologi og ivareta sikkerheten.

Jan Tore Ludvigsen, fagleder innen organisatorisk sikkerhet og menneskelige faktorer i Equinor, oppsummerer de viktigste suksessfaktorene ved innføring av KI: 

- Kritisk tenkning og menneskelig kontroll er avgjørende for å lykkes, sier han. 

Han forklarer at selskapets filosofi er å sette mennesket i sentrum når de tar i bruk ny teknologi. 

- Vi kan ikke implementere ny teknologi og deretter forvente at menneskene skal tilpasse seg teknologien. Vi må gjøre grundige risikovurderinger og utvikle verktøy som støtter menneskene i arbeidsprosessene. 

- KI skal ikke erstatte mennesker, men enkelte oppgaver vil bli endret eller løst på nye måter. Jeg mener at mennesket blir enda viktigere når vi tar i bruk KI. 

Styrker og svakheter 

Ludvigsen mener at vellykket bruk av KI handler om å utnytte de komplementære styrkene til mennesker og maskiner.  

- KI-systemer utmerker seg ved å kunne prosessere enorme datamengder på kort tid og finne mønstre som mennesker ikke kan oppdage like effektivt. Menneskelig ekspertise er derimot overlegen når det gjelder kontekstforståelse, evnen til å sette informasjon i sammenheng og å ta intuisjons- eller kunnskapsbaserte beslutninger. 

- Dette er utgangspunktet for vårt menneske-maskin-samarbeid. Vi må bruke KI til det systemene er best på, og oss mennesker til det vi er best på. Akkurat som vi tidligere har gjort med automatiserte systemer. 

Kritisk tekning og menneskelig kontroll er avgjørende for å lykkes med KI.

Dokumenterte gevinster 

Equinors tilnærming til kunstig intelligens er todelt. Kontorbaserte KI-løsninger tuftet på store språkmodeller brukes av de fleste ansatte til oppgaver som oversettelser, tekstskriving og presentasjoner. Samtidig utvikler selskapet industrielle applikasjoner rettet mot spesifikke bruksområder.  

- Per i dag har vi over 150 KI-verktøy i vårt register, og vi har allerede høstet betydelige gevinster fra teknologien, forteller Ludvigsen. 

Han trekker blant annet fram maskinlæring for tilstandsovervåkning innen vedlikeholdsoptimalisering, hvor selskapet har dokumentert konkrete kostnadsbesparelser.

Teknologien brukes også i betydelig grad innen undergrunnsarbeid, særlig for brønnplanlegging. 

- Vi har også stor tro på å bruke KI for å bistå med å finne riktige krav i styringssystemet enklere og raskere enn før. Det er imidlertid fortsatt fageksperter som må vurdere om kravene er gode og om fortolkningene er tilfredsstillende, understreker han. 

Overtillit 

EUs nye forordning om kunstig intelligens stiller krav til menneskelig kontroll av KI-systemer, altså at mennesker må overvåke og kunne gripe inn dersom noe feiler. Ludvigsen er svært positiv til kravet, men peker samtidig på et etisk dilemma:  
 
- Det er problematisk når teknologiselskaper hevder at deres applikasjoner kan brukes i sikkerhetskritiske settinger så lenge mennesker overvåker. Da overføres ansvaret til sluttbrukeren.  
 
- Vi er bevisste på at modellene har begrensninger. De kan være upålitelige, gjøre feil eller gi beslutningsstøtte som ikke er helt korrekt.

- Samtidig har også mennesker sine begrensninger. Folk gjør feil. Som mennesker er vi ikke gode til å overvåke, fordi vi lett kjeder oss. Vi har også en tendens til å stole for mye på systemene, ha såkalt overtillit.

Automasjonens ironi

For å illustrere problemet trekker han frem et eksempel med bilister som blindt følger GPS-en.  

- På Østlandet hender det at folk kjører inn i skiløyper, fordi løypene fungerer som veier om sommeren. Folk kan kjøre flere kilometer innover før de innser feilen. Selv når de ser at de befinner seg i en skiløype, fortsetter noen å kjøre til bilen ikke kommer lenger. 

Dette fenomenet er velkjent innen sikkerhetsforskning under begrepet "automasjonens ironi". Jo mer man stoler på og bruker et system, desto mindre blir man i stand til å forstå situasjonen og handle selvstendig.  

- Min bekymring er at vi blir passive i forhold til teknologien. Hvis du ikke stiller spørsmål ved informasjonen du får, stoler du på noe du kanskje burde være kritisk til. Slik oppstår det et tap av situasjonsforståelse som gjør at du ikke er i stand til å gripe inn når noe er feil eller går galt.

Må medvirke 

Ludvigsen er opptatt av at økt bruk av KI krever tverrfaglig kompetanse.  
- Vi må forstå både menneskene, teknologien og hvordan organisasjoner fungerer. Vi kan ikke overlate utviklingen til teknologene alene. 

En sentral del av arbeidet er derfor inkludering av arbeidstakerne. 

- Vi er nødt til å lytte til sluttbrukerne. Det er de som skal jobbe med risikoen og kjenner den på kroppen. De sitter med den viktigste kunnskapen om sitt eget arbeid. 

Streng kvalifisering 

For å sikre at systemene i er pålitelige, gjennomfører Equinor grundige prosesser for kvalifisering av ny teknologi. Det betyr at noen applikasjoner kan bli avvist. 
 
- Et eksempel er en KI-assistent som skulle brukes i kontrollrommet. Testing med faktiske operatører i simulator viste at beslutningene fra assistenten ikke var pålitelige nok, og prosjektet ble derfor stoppet, forteller Ludvigsen. 
 
Selv om selskapet har veletablerte retningslinjer for risikoanalyse og barrierestyring, påpeker han at disse nå videreutvikles for å også omfatte KI. 
 
- Det pågår internasjonalt standardiseringsarbeid på dette området, men landskapet er fortsatt krevende. Det er derfor behov for brukervennlige retningslinjer. 

Vi er nødt til å lytte til sluttbrukerne. Det er de som skal jobbe med risikoen og kjenner den på kroppen. De sitter med den viktigste kunnskapen om sitt eget arbeid. 

KI ennå ikke moden

- Vi har tro på at KI kan bidra positivt til sikkerheten på sokkelen, gjennom for eksempel bedre tilstandsovervåkning for sikkerhetssystemer og redusere menneskers eksponering for risiko og farlig arbeid.  
 
Samtidig mener Ludvigsen at KI i dag totalt sett har større effektiviseringsgevinst enn sikkerhetsgevinst, og at teknologien ikke er klar for implementering i kritiske kontrollsystemer. 
 
- Jeg er bekymret for at betydningen av menneskelig overvåking ikke er fullstendig forstått. Vi bør unngå KI-maskinlæring i kontrollsystemene inntil vi kan dokumentere at teknologien er pålitelig og at det er mulig for mennesker å beholde kontrollen. 
 
- Selv om KI kan hjelpe oss med å systematisere data, overvåke systemer og gi bedre oversikt over hvilke sikkerhetsbarrierer vi har på plass, mener jeg at usikkerheten knyttet til teknologien per i dag overskygger de potensielle fordelene - spesielt ved sikkerhetskritisk arbeid i kontrollrom.