- Kunstig intelligens kan være en ressurs og bidra til å redusere risiko, men det forutsetter at selskapene forstår og aktivt følger opp risiko når ny teknologi utvikles og tas i bruk, sier seniorrådgiver Linn Iren Vestly Bergh, som leder Havtils oppfølging av næringens arbeid med kunstig intelligens (KI).
Ny risiko
- Mange av risikoene knyttet til KI er annerledes enn de risikoene vi har erfaring med fra petroleumsindustrien og vanlige IT-systemer, forklarer hun, og trekker fram maskinlæring som et eksempel.
- Maskinlæring er et sentralt element i mange KI-systemer. Hvor godt maskinlæringen fungerer avhenger imidlertid av både kvaliteten på dataene den trenes på, og metoden som brukes for å trene modellen.
- Uten nøyaktige treningsdata kan du ende opp med resultater som leder deg på villspor. Det er ikke alltid lett å oppdage slike feil, spesielt i komplekse systemer. I tillegg kan svakheter i data og treningen av maskinlæringsmodellen føre til at den ikke gjenkjenner sjeldne eller uvanlige situasjoner. Det kan gjøre det vanskelig for modellen å reagere riktig hvis en ukjent situasjon skulle oppstå, advarer hun.
Utvikling og utprøving
- Vi ser eksempler på bruk av KI i vår næring, og vi forventer å se en økning i bruken i årene som kommer. Bruk av KI i ulike operasjoner og produkter er imidlertid i en tidlig fase, og det er høy grad av uttesting og produktutvikling, sier Bergh.
Hun peker på områder som tilstandsovervåking og planlegging av vedlikehold, autonome kraner, automatiserte boreoperasjoner og sikring av IKT-systemer som områder hvor det pågår utvikling og utprøving av KI som en del av løsningen.
- Etter hvert som KI utvikles og tas i bruk i operasjoner av betydning for sikkerheten, er det enda viktigere å sikre forsvarlig datakvalitet og datahåndtering, vedlikehold, meningsfull menneskelig kontroll, åpenhet og sporbarhet. Dette er spesielt viktig i industrier med storulykkerisiko, som i petroleumsvirksomheten, påpeker hun.
Havtil ser også at industrien ønsker å bruke ferdig utviklede deler av eller hele produkter, selv om disse ofte kan være utviklet for andre industrier og formål. Kostnadsreduksjon og forenkling av integrasjon inn i eksisterende digitalt økosystem er drivere for dette.
- Det er selskapene som må eie og kontrollere risikoen ved å innføre nye systemer og teknologi, understreker Bergh.
- Dette gjelder også ved innkjøp av produkter og løsninger. Selskapene er ansvarlige for å følge opp forsvarlig utvikling og anvendelse av KI-systemer. Det krever tverrfaglighet og samspill internt i selskapene og i næringen.
Menneskelige faktorer
Det er også andre risikofaktorer ved KI-systemer som kan få betydning for storulykkerisiko. Eksempler på dette er mangel på transparens og svake brukergrensesnitt, og kompleksitet og mangelfull dokumentasjon, som gir dårlig sporbarhet. I tillegg kan også KI misbrukes, noe som gir sårbarheter for bevisst påvirkning.
Bergh understreker at god teknologiutvikling handler om mer enn teknologi. Det handler også om mennesker.
- KI må ses i et helhetlig perspektiv, slik at forhold som knyttes til mennesker, teknologi og organisasjon er inkludert i utvikling, bruk og vedlikehold av løsningene.
- Håndtering og vurdering av sårbarhet og risiko må også ta høyde for menneskelige muligheter og begrensninger.
Det er selskapene som må eie og kontrollere risikoen ved å innføre nye systemer og teknologi.
Svart boks
Dagens offshorearbeidere har i større grad gått fra å samle inn informasjon ute i felt ved hjelp av syn, hørsel, lukt og manuelle målinger og beregninger, til å evaluere prognoser presentert på en skjerm, gjerne basert på et maskinlæringssystem.
De digitale løsningene kan produsere gode og presise resultater. Samtidig kan systemet som ligger til grunn være så komplekst at det er vanskelig for mennesker å forstå. Dette åpner for nye feilkilder – og økt risiko. Enkelte datamodeller er så komplekse at beslutningstakerne ikke klarer å forstå hvorfor anbefalingene ble som de ble. Dette fenomenet kalles ofte svart boks-problematikk.
Det kan også være vanskelig å forklare resultatene fra komplekse modeller i ettertid. For eksempel er det krevende å få innsikt i beslutningsprosessene til modeller som benytter nevrale nettverk.
- Selv om verktøy for å inspisere slike modeller er under utvikling, mener vi at det er avgjørende å bruke nok ressurser på å videreutvikle verktøy og metoder for innsyn og risikohåndtering, sier Bergh.
- Vi ser at selskapene bruker KI-løsninger som beslutningsstøtte der mennesker fortsatt har en hånd på rattet. Samtidig er det fare for at oppmerksomheten til mennesket som overvåker svekkes. Dette kan skje av vane eller fordi den "sannheten" som KI-systemet presenterer, farger menneskets vurdering.
Podkast: De 5 KI-paradokser
I denne episoden av Havtil-podden snakker vi med Mica Endsley, direktør for SA Technologies og tidligere sjefsforsker for US Air Force. Hun har utmerket seg som en ledende forsker innenfor ansvarlig kunstig intelligens. Her gir hun oss et innblikk i det hun kaller de 5 KI-paradokser.
Overvåking
Menneskelige feil oppstår ofte fordi det er et gap mellom egenskapene til teknologien og mennesket. Ved innføring av KI vil personell i økende grad få en overvåkende og passiv rolle. Dette skaper et behov for årvåkenhet, altså evnen til å oppdage feil og reagere raskt dersom unormale situasjoner oppstår. Erfaring viser at ren overvåking ikke utnytter menneskets iboende styrker på best mulig måte.
- Trening og opplæring er sentralt, men systemer må være designet med mennesket i sentrum. Dette er et viktig tema som vi setter søkelys på i våre tilsyn, men også noe som eksperter i stor grad tar opp etter hvert som teknologien blir mer komplekst, sier Bergh.
Prioritert område
Havtil vil de neste årene ha økt oppmerksomhet på sikkerhet knyttet til KI i petroleumsnæringen.
- Ambisjonen vår er å se til at det etableres trygge og gunstige rammebetingelser for bruk av KI. Samtidig vil vi aktivt følge opp at næringen håndterer risikofaktorer knyttet til utvikling og vedlikehold av KI-løsninger, sier Bergh.
I løpet av de neste årene vil Havtil arbeide med å øke kunnskap om risikofaktorer ved bruk av KI i operasjoner av betydning for sikkerheten til havs. Usikkerheter knyttet til selve KI-modellene og beste praksis for utvikling av sikre og pålitelige KI-løsninger vil være sentralt i arbeidet.
Trening og opplæring er sentralt, men systemer må være designet med mennesket i sentrum.
Dialog med næringen
I 2023 gjennomførte Havtil flere møter med operatører og leverandører i petroleumsvirksomheten for å innhente informasjon om selskapenes arbeid med KI.
- Møtene viste at næringen har høye ambisjoner om å ta i bruk KI for å forbedre effektivitet og sikkerhet. Risikostyring av KI et umodent felt generelt, det reflekteres også i vår næring. Vi ser at aktørene har startet arbeidet med dette, men at arbeidet er i en tidlig fase.
Gjennom møteserien kom det fram at selskapene arbeider med å etablere formålstjenlige og systematiske metoder for å identifisere og håndtere risiko knyttet til KI. Imidlertid er praksis for utvikling og vedlikehold av disse systemene i mindre grad etablert. Retningslinjer for styring av systemene er derfor heller ikke helt på plass.
- Selv om bruk av KI er i startfasen, ser vi at KI brukes i systemer for planlegging og beslutningsstøtte allerede i dag. Det blir derfor viktig framover å rette oppmerksomheten mot hvordan selskapene kan utnytte teknologien på sikrest mulig måte.
- En viktig del av dette er også å styrke Havtils virkemidler gjennom regulering, tilsyn og rådgivning knyttet til oppfølging av KI i næringen.
HMS-regelverket
Regelverket for helse, miljø og sikkerhet for petroleumsvirksomheten er funksjonsbasert, teknologinøytralt og bygger på prinsipper om risikostyring.
- Regulering kan spille en sentral rolle i innovasjon, ved å legge til rette for stabile og forutsigbare rammer for selskapene i næringen, både med tanke på utvikling og bruk, sier Bergh.
Havtil ser nå nærmere på de juridiske utfordringene ved bruk av KI i petroleumsvirksomheten. Dette inkluderer forholdet mellom prinsipper og krav i HMS-regelverket og de unike egenskapene ved KI.
- Vår vurdering så langt er at det i HMS regelverket er flere krav som kommer til anvendelse også for bruk av KI. Imidlertid, kan det være risikoforhold som vil kreve videreutvikling av regelverket og veiledningsdelen.
- Henvisning til normer eller standarder om KI kan inkluderes i veiledningsdelen av forskriftene ved behov. Referanser til eksisterende og kommende standarder, anbefalinger og samsvarsvurderinger kan også tas inn etter hvert, i tråd med hvordan regelverket fungerer i dag.
Samarbeid
- Fremover vil det handle mindre om hvorvidt vi skal ta i bruk KI, men mer om hvordan vi gjør det på en forsvarlig måte, understreker Bergh.
- I dette arbeidet er det viktig at arbeidsgiver, ansatte og myndighetene samarbeider, engasjerer seg og bidrar med erfaringer og kompetanse.