Svak risikostyring av KI i storulykkeindustrien

Kunstig intelligens kan skape nye sikkerhetsrisikoer i petroleumsvirksomheten. Høy usikkerhet krever en forsiktig tilnærming når teknologien utvikles og tas i bruk. Havtil ser bekymringsfulle eksempler på svak risikostyring, særlig når fageksperter uten tilstrekkelig kjennskap til storulykkerisiko utvikler løsningene.

Kunstig intelligens (KI) utvikler seg raskt. Høyere usikkerhet gjør teknologien mer krevende å håndtere enn etablerte løsninger.  For etablerte teknologier finnes det solid erfaring, historiske data og kjente risikoer. Med KI mangler mye av denne kunnskapen. Dette skaper større usikkerhet. 

– Vi har manglende kunnskap om nye risikoscenarier som kan oppstå og hvordan svikt i KI-teknologiene kan påvirke kjente storulykkescenarier, advarer Elisabeth Lootz, sjefingeniør i Havtil. 

Hun understreker at høyere usikkerhet krever ny tilnærming hvor både utviklermiljøer og brukere av teknologien må stille strenge krav til hvordan risiko vurderes og håndteres.  

- Når kunnskapsgrunnlaget er begrenset og usikkerheten høy, må dette reflekteres i risikovurderingene. 

Risikobegrep

I 2015 ble det presisert i det norske petroleumsregelverket at risiko skal forstås som konsekvensen av aktivitetene, med tilhørende usikkerhet. Havtil publiserte i den forbindelse et notat om risikobegrepet og et notat om risikostyring. 

– Det presiserte risikobegrepet fra 2015 er spesielt verdifullt når nye teknologier som KI introduseres i en høyrisikoindustri som petroleumsvirksomheten, fordi det legger større vekt på usikkerheter og kvaliteten på kunnskapsgrunnlaget i risikovurderingene.

- Det betyr at KI-området krever en mer forsiktig tilnærming enn tradisjonelle teknologier, understreker Lootz. 

Relevante notater

Notater om risikostyring

• Notat om risikobegrepet (2016) (PDF)
• Notat om risikostyring (2018) (PDF)
• Notat om barrierestyring (2017) (PDF)

 

Kompetansegap forsterker utfordringene 

Usikkerheten som følger med KI-teknologi forsterkes av at nye fagdisipliner kommer inn i næringen uten tilstrekkelig kjennskap verken til storulykkerisiko eller til hvordan offshoreoperasjoner planlegges og utføres. Dette skaper et kompetansegap som kan påvirke evnen til å identifisere og håndtere sikkerhetsrisikoer allerede i utviklingsprosessen. 

– Vi ser at mange utviklere som kommer fra andre næringer og fagtradisjoner har begrenset kunnskap om risikostyrings- og barrierestyringsprinsipper, risikovurderingsverktøy og krav til teknologikvalifisering, sier Lootz. 

– Det er en utfordring når fagpersoner som ikke fullt ut forstår risikobildet offshore utvikler systemer som skal brukes der. De har den tekniske kompetansen, men flere mangler forståelsen av konteksten de opererer i. 

Havtil observerer også at risikostyringen ofte begrenses til hvert enkelt KI-system, uten at det vurderes hvordan systemene vil fungere sammen i komplekse driftsmiljøer med flere personer, team og teknologier.

- Vi ser eksempler på at det ikke er tilstrekkelig integrasjon mellom selskapenes sikkerhetseksperter og utviklermiljøer, noe som kan føre til at potensiell risiko ikke blir identifisert, vurdert og håndtert i utviklingsprosessen. 

Nye sikkerhetsrisikoer 

Den raske utviklingen av KI skjer i et konkurranseutsatt miljø hvor selskapene selv uttrykker bekymring for å bli hengende etter. Dette presset kan føre til at sikkerhetshensyn nedprioriteres til fordel for rask implementering. 

Lootz trekker fram flere nye sikkerhetsrisikoer: 

Upålitelige prediksjoner og feil output er en hovedrisiko. Fordi mange KI-systemer er lite transparente, kan de feile på måter som er vanskelige å forutse eller forstå. Dette er særlig kritisk når det er forventet at mennesker skal overvåke og gripe inn ved systemfeil. 

Degradering over tid representerer en ytterligere utfordring. KI-modellene kan gradvis bli mindre nøyaktige, fordi verden og dataene de baserer seg på endrer seg. Dette krever mer kontinuerlig overvåking og vedlikehold sammenlignet med tradisjonelle systemer som forblir relativt stabile over tid. 

KI-området krever en mer forsiktig tilnærming enn tradisjonelle teknologier.

Overtillit til menneskelig overvåking

Et gjennomgående funn i Havtils oppfølging er at mange aktører baserer seg på at mennesker alltid skal være til stede for å overvåke og gripe inn hvis KI-systemet svikter. Forskningsbasert kunnskap om menneskelige muligheter og begrensninger brukes i mindre grad til å designe teknologier som er menneskesentrert og som støtter sikre operasjoner.   

– Forskning viser at mennesker har begrenset evne til å overvåke automatiserte systemer over tid uten å miste situasjonsforståelse, og at evnen til å gripe inn effektivt svekkes over tid. Overdreven tillit til beslutninger fra automatiserte systemer er også et kjent fenomen som ikke tilstrekkelig adresseres i mange digitaliseringsprosjekter, påpeker Lootz. 

- En tverrfaglig tilnærming med bred brukerinvolvering og involvering av arbeidstakernes representanter er avgjørende for å utvikle og kvalifisere sikre løsninger. 

Manglende læring etter hendelser

Systematisk hendelsesrapportering og læring etter hendelser har vært avgjørende for sikkerhetsutviklingen i petroleumsvirksomheten. Industrien mangler imidlertid etablerte systemer for å håndtere KI-hendelser. 

– Per nå er det ikke utviklet kriterier for rapportering av KI-relaterte hendelser. Ingen hendelser har hittil blitt rapportert til Havtil, og vi har heller ikke sett noen systematisk rapportering innenfor selskapene. Per nå er det heller ikke gransket hendelser der KI er involvert. Det gjør at vi mister viktige læringsmuligheter. 

Dette står i kontrast til hvordan petroleumsindustrien ellers arbeider med sikkerhet. 

– Informerte beslutninger, rettet mot å redusere risiko gjennom økt kunnskap, står sentralt i risikostyringspraksis, sier Lootz.  

Brev til næringen om KI

Høyere usikkerhet krever en forsiktig tilnærming når KI-løsninger utvikles og tas i bruk i næringen.  

- Vår bekymring er at vi ser eksempler på det motsatte, nemlig svak risikostyring i utvikling og bruk av KI-systemer. Havtil forventer at aktørene tar høyde for usikkerheten som følger med KI-teknologi, og at kompetansegapet mellom teknologiutviklere og sikkerhetseksperter adresseres.

- Vi sendte derfor i mai et informasjonsbrev til næringen om hvordan vårt regelverk kommer til anvendelse når det gjelder KI. Her viser vi at blant annet at kravene til risiko- og barrierestyring står ved lag, også når det gjelder KI. 

– Forsvarlig risikostyring er en grunnleggende forutsetning for å få operere på norsk sokkel, konkluderer Lootz. 

Intervjuet er basert på fagartikkelen (2025) Risk management and uncertainty of artificial intelligence in high hazard industry, presentert på ESREL-konferansen i juni 2025.