Oppfølging av kunstig intelligens og sikkerhet

Vi deler mye informasjon om KI og sikkerhet, men erfarer at denne informasjonen ikke alltid når frem til målgruppene. Derfor sender vi brev direkte til selskapene, i tillegg til at vi publiserer informasjonen her på nettstedet

Vi ber om at ledere og medarbeidere med ansvar for å anskaffe, utvikle og drifte systemer der KI inngår, samt arbeidstakernes representanter, blir gjort kjent med innholdet i  brevet.

Regelverk

HMS-regelverket innen petroleumsvirksomheten er funksjonsbasert, teknologinøytralt og bygger på prinsipper om risikostyring. Dette gjør regelverket slik det er i dag også anvendbart ved oppfølging av KI-løsninger. Informasjonen fra Havtil må leses i lys av det til enhver tid oppdaterte HMS-regelverket.

Bakgrunn

Regjeringens nasjonale strategi for kunstig intelligens ble publisert i januar 2020. Strategien legger vekt på at tilsynsmyndighetene, på sine tilsynsområder, skal føre kontroll med at systemer som bruker kunstig intelligens opererer innenfor prinsippene for ansvarlig og pålitelig bruk av kunstig intelligens. Havindustritilsynet (Havtil) anvender den nasjonale strategiens definisjon av KI.

I 2024 publiserte Digitaliserings- og forvaltningsdepartementet en ny nasjonal digitaliseringsstrategi. Når det gjelder KI fremheves det at regjeringen frem mot 2030 vil etablere en nasjonal infrastruktur for KI, der Norge skal være i front på en etisk og trygg bruk. I Norge er det etablert en oversikt over nasjonale KI-ressurser som er tilgjengelig på regjeringen.no

Kunnskapsgrunnlag og oppfølging i næringen

Vi har publisert en rekke artikler, forskningsrapporter og utredninger på våre hjemmesider om risiko til knyttet KI. Et eksempel er DNV GL sin rapport «Forsvarlig bruk av kunstig intelligens i petroleumssektoren» (2024).

Rapporten beskriver grunnleggende risikoforhold ved utvikling og bruk av kunstig intelligens i petroleumsvirksomheten, spesielt med hensyn til storulykkesrisiko.

Denne rapporten samt andre studier, kunnskapsoppsummeringer og utredninger av relevans for vår oppfølging av digitale teknologier som KI er tilgjengelige under temaområdet Kunstig intelligens her på nettstedet. Dette er kunnskap som selskapene bør anvende i eget risikoreduserende arbeid.

De siste årene er det også utarbeidet en rekke internasjonale publikasjoner og oversikter som gir informasjon om mulig risiko og sentrale mekanismer for forsvarlig utvikling og bruk av KI. Dette er kunnskap som har vært sentral i utformingen av europeisk regelverk, standarder samt ulike nasjonale og internasjonale strategier. Videre har disse også vært viktige kunnskapskilder for Havtil sitt arbeid med KI og oppfølging av næringen.

KI i petroleumsvirksomheten representerer også usikkerhet. Grunnlaget for kunnskapsbaserte beslutninger knyttet til sikker bruk i systemer av betydning for sikkerheten er i dag begrenset. Teknologien er i mange tilfeller ikke tilstrekkelig dokumentert og pålitelig. Vi har mindre kunnskap om hendelser som kan oppstå, eller hvordan KI kan inngå som en av flere bakenforliggende årsaksfaktorer i mulige hendelser. Et svakt kunnskapsgrunnlag og høy usikkerhet taler for at forsiktighetsprinsippet må gjelde for forsvarlig utvikling og bruk av KI.

Innføring av løsninger der KI inngår utvikles i et raskt tempo. Gjennom våre tilsyn møter vi ofte beslutningstakere som har begrenset kjennskap til hvordan KI er regulert. Næringen har gjentatte ganger uttrykt behov for faglig veiledning og informasjon om hvordan utvikling av teknologi skal sees i lys av regelverkets innretning og formål.

Basert på utviklingen i næringen der KI-systemer i økende grad tas i bruk, ser vi behov for å styrke vår oppfølging av selskapenes risikostyring knyttet til utvikling, bruk og vedlikehold av KI. Havtils oppmerksomhet rettes i første rekke mot forsvarlig bruk av KI i petroleumsvirksomheten som storulykkesindustri.

KI i lys av regelverkets innretning og formål

Petroleumsvirksomheten er forbundet med storulykkesrisiko. Havtils regelverk har en risikobasert tilnærming der nødvendig risikoreduksjon og et forsvarlig sikkerhetsnivå er en forutsetning for aktiviteten. Virksomhetene har ansvaret for sikkerheten. Dette ansvaret inkluderer også forsvarlig bruk av KI.

Bruk av KI i petroleumsvirksomheten kan påvirke risiko knyttet til storulykker, sikkerhetssystemer, barrierer eller kritisk infrastruktur. KI i planlegging, drift og som beslutningsstøtte kan direkte og indirekte påvirke sikkerhet, arbeidsmiljø, beredskap og sikring.

KI er et fagområde med høy utviklingstakt og det arbeides med å utarbeide nye standarder på området. Vi vil vurdere behov for oppdateringer av vårt regelverk samt henvisninger til nye standarder i tiden som kommer. Vi ber dere derfor følge med på eventuelle endringer i vårt regelverk.

Oversikten under viser utvalgte regelverkskrav og hvordan de kan komme til anvendelse (listen er ikke uttømmende). Oversikten ligger også som en tabell i vedlagte brev.

Rammeforskriften § 11 om prinsipper for risikoreduksjon andre og tredje ledd
Dette innebærer at det velges løsninger som reduserer sannsynligheten for at bruk av KI bidrar til at skade og feil-, fare- og ulykkessituasjoner oppstår. Det betyr også at det velges løsninger som reduserer kjente KI-risikoer, og at tekniske, operasjonelle og organisatoriske tiltak bidrar til ytterligere risikoreduksjon. Risikoreduksjon er essensielt gjennom hele livssyklusen til KI-systemet.

Rammeforskriften § 23 om generelle krav til materiale og opplysninger
Dette innebærer at den ansvarlig sikrer teknisk dokumentasjon av KI-systemer, både ved innkjøp, videreutvikling eller egenutvikling av KI-systemer. I dette inngår det å dokumentere utvikling og bruk av KI-systemet. Dette kan for eksempel inkludere informasjon om hvilke data som inngår samt trening, testing og validering av KI-systemet. Dokumentasjon om KI-systemet skal også kunne tilgjengeliggjøres for tilsynsmyndigheter slik at revisjoner og granskninger kan gjennomføres.

Rammeforskriften § 13 om tilrettelegging for arbeidstakermedvirkning første ledd
Dette innebærer at både brukernes og arbeidstakerrepresentantenes kunnskap og erfaring inkluderes i arbeidet med å utvikle og ta i bruk KI-systemer med betydning for arbeidsmiljø og sikkerhet.

Når innføring av nye teknologier som KI fører til endringer i arbeidsprosesser og andre organisatoriske endringer skal arbeidstakernes representanter gis anledning til å medvirke.

Styringsforskriften § 5 om barrierer første, andre og fjerde ledd
Der hvor bruk av KI vil inngå som en del av barrierefunksjoner knyttet til ulike feil-, fare- og ulykkessituasjoner vil de samme kravene om pålitelighet, tilgjengelighet, funksjonalitet, integritet, robusthet og uavhengighet gjelde.

Styringsforskriften § 11 om beslutningsgrunnlag og beslutningskriterier første og fjerde ledd
Dette innebærer at beslutningsgrunnlag informert av KI må ha nødvendig kvalitet. Beslutninger informert av KI må uttrykkes slik at de kan følges opp.
Dette kravet adresserer også beslutninger som inngår i selskapets risikostyring av KI. Det er viktig å sikre et tilstrekkelig kunnskapsgrunnlag ved å involvere relevante fagfolk og brukergrupper.

Styringsforskriften § 16 om generelle krav til analyser første, andre og tredje ledd

Dette innebærer at det brukes anerkjente og formålstjenlige KI-modeller. Det betyr at modellens formål, dataenes representativitet, gyldighet og begrensninger må synliggjøres. Beslutninger som kan påvirke helse, miljø og sikkerhet og som informeres av KI-systemer må være pålitelig.

Resultater fra analyser fra KI-systemer kan være unøyaktige eller feil som følge av feilkilder fra for eksempel trening av modell, avvik mellom trenings- og operasjonelle data eller bruk av utdaterte data. Det er viktig at brukere av KI- systemer med betydning for sikkerheten, gjøres kjent med egenskaper ved KI-systemet og at resultater fra KI-systemer formidles til målgruppen på en nyansert og helhetlig måte.

Styringsforskriften § 13 om arbeidsprosesser andre og tredje ledd
Dette innebærer at der KI-systemer inngår i arbeidsprosesser er det viktig at samspillet med menneskelige og organisatoriske faktorer ivaretas.

KI-systemer som inngår i arbeidsprosesser og grenseflater mellom disse skal være beskrevet.

Innretningsforskriften § 9 og teknisk og operasjonell forskrift § 9 om kvalifisering og bruk av ny teknologi og nye metoder
Dette innebærer at det etableres representative kriterier for utvikling, prøving og testing av KI-systemer. Dette gjelder også systemer der KI-systemer inngår. Kriteriene for utvikling og testing av KI-systemer skal være representative for bruksområdet. Testkriterier skal dekke både normale og feil-, fare- og ulykkessituasjoner.

Det er viktig at design av KI-systemer er menneskesentrert og at det utvikles testkriterier for systemytelse, det vil si samspill mellom mennesker, KI-teknologien og organisasjonen.

Innretningsforskriften § 21 og teknisk og operasjonell forskrift § 21 om menneske-maskin-grensesnitt og informasjonspresentasjon første og andre ledd
Dette innebærer at KI-systemer presenterer korrekt og lett tilgjengelig informasjon til brukeren. Dette inkluderer også kvaliteten til informasjonspresentasjon, transparens og forklarbarhet i brukergrensesnittet.

KI-systemer skal kunne overvåkes, og det skal kunne treffes tiltak for å kvalitetssikre resultater fra KI-systemet. Dette innebærer at grensesnittet kommuniserer begrensninger og usikkerhet ved KI-systemets resultater på en korrekt og lett forståelig måte. KI-systemet må også understøtte at brukeren enkelt og hurtig kan utføre nødvendige aksjoner, og være dimensjonert for både normale og kritiske situasjoner.

Innretningsforskriften §§ 32-34 om brann- og gassdeteksjonssystem, nødavstengningssystem og prosessikringsystem første ledd
For systemer der det i dag stilles krav til uavhengighet, vil uavhengighetskravet også gjøre seg gjeldende dersom KI-løsninger inngår i systemene.

Innretningsforskriften § 34a om kontroll- og overvåkningssystem
Dette innebærer at KI-systemet beskyttes mot IKT relaterte farer, og at systemet i seg selv har robust beskyttelse mot angrep som kan påvirke KI-løsningens pålitelighet.

Aktivitetsforskriften § 31 om overvåking og kontroll første og tredje ledd og
Teknisk og operasjonell forskrift § 57 om overvåking og kontroll
Dette innebærer at der KI brukes i systemer av betydning for sikkerheten skal det legges til rette for at brukerne skal kunne utføre overvåkings- og kontrollfunksjon på en sikker og effektivt måte til enhver tid. Dette innebærer også tilstrekkelig bemanning og kompetanse til å utføre disse oppgavene.

Aktivitetsforskriften § 45 om vedlikehold og Teknisk og operasjonell forskrift § 58 om vedlikehold
Dette betyr også at KI-systemer vedlikeholdes i et livssyklusperspektiv, inkludert vedlikehold av data som inngår i KI-systemet.

Aktivitetsforskriften § 23 om trening og øvelser første ledd og
Teknisk og operasjonell forskrift § 52 om trening og øvelser
Kravet om trening og øvelser gjelder også for personell som bruker KI-systemer.

Opplæring, trening og øvelser er avgjørende for at personell kan bruke KI-systemer på en forsvarlig måte.

Aktivitetsforskriften § 47 om vedlikeholdsprogram første og andre ledd og Teknisk og operasjonell forskrift § 59a om vedlikeholdsprogram første og andre ledd
Dette innebærer at feilmodi og modellskjevheter systematisk forebygges ved hjelp av et vedlikeholdsprogram for KI-systemet.
Videre innebærer dette at aktiviteter for å overvåke KI-systemets ytelse og tekniske tilstand slik at feilmodi eller modellskjevheter identifiseres og korrigeres i et livssyklusperspektiv.