Teknologikvalifisering
Beskrivelse
Aker BP hadde mangelfulle kriterier for utvikling, prøving og bruk slik at kravene til helse, miljø og sikkerhet ble ivaretatt for bruken av digitale teknologier som KI i kraner og operatørrobotene. Forutsetninger lagt til grunn for beslutning for bruk av disse nye teknologiene var derfor ikke uttrykt slik at de kunne følges opp.
Begrunnelse
Aker BP informerte om at standarden DNV-RP-A203 var i bruk i selskapet. I henhold til denne standarden skal man ved de ulike trinnene i utviklingen (TRL-nivå) gjennomføre relevante aktiviteter og dokumentere hva teknologien skal gjøre; hvilke krav som gjelder; identifisere usikkerheter og eventuelle nye feilmekanismer; utarbeide plan for analyser, tester og verifikasjoner; dokumentere at kravene er oppfylt og vurdere om teknologien er tilstrekkelig kvalifisert for anvendelsen, før en gå over i neste Technical Readiness Level (TRL).
Teknologien må være utviklet for det tiltenkte bruksområdet, tilpasses operasjonell risiko og det må reflekteres i akseptkriteriene. Aker BP presenterte at TRL 4 var terskel for første utprøving i felt, mens TRL 7 markerte ferdig kvalifisert teknologi og klar for drift. Vi ble informert om at menneske-maskin grensesnitt var ansett for å være viktig med tanke på utvikling av de digitale teknologiene.
I tilsynet tok vi utgangspunkt i to brukseksempler for KI. Gjennom tilsynet gjorde vi følgende observasjoner knyttet til de to bruksområdene:
Kraner med KI modeller:
- Technology Qualification – Technology Basis and Assessment Document no.: Rev.: Page: 60688-01-IN104 fra 2024 beskrev softwareløsningene for å automatisere kranene inkludert hva teknologiene skal gjøre og hvilke krav som gjelder. Vi etterspurte, men ble ikke fremvist eller tilsendt verifiserbare dokumenter med tydelige kriterier, tester eller evalueringer knyttet til de ulike TRL-nivåene. Det kom ikke frem hvilke vilkår som var blitt oppfylt for å bevege seg fra et TRL nivå til det neste, eksempelvis fra TRL 3 til 4. Vi etterspurte, men mottok ikke 3. parts dokumentasjon på kvalifisering av TRL 4. Dokumentasjon viste at det ikke var planlagt egne tredjepartsvurderinger for TRL 5 og 6. Som følge av dette fremkom det ikke tydelig hvilke kriterier, tester og krav til dokumentasjon selskapet ville stille for verifikasjon og oppnåelse av disse modenhetsnivåene.
- Under intervju kom det frem at det kunne være utfordrende å følge teknologikvalifiseringsprosessen for bidragsytere og beslutningstakere.
Det ble uttalt at selskapets BMS-prosess (styringssystem) burde tydeliggjøres for å understøtte TRL-prosessen, med mer formelle beslutninger samt dokumentasjon av beslutninger underveis. Mangelfull sporbarhet og dokumentasjon øker risiko for at tilsynsmyndigheter og andre relevante aktører ikke klarer å følge opp at teknologiutviklingen skjer på en forsvarlig og sikker måte. Dette kan også gjøre det vanskeligere for beslutningstakere og arbeidstakernes representanter å følge utviklingsarbeidet og forstå hvilke vurderinger og beslutninger som ligger til grunn.
- Vi ble informert om at selskapet anvendte standarden for Human Readiness Level (HRL) for menneske – maskin grensesnitt til kranene. Dette innebærer at man må ha kriterier for Human Factors i hvert TRL nivå. Ut ifra intervjuer og presentasjoner fikk vi ikke et klart svar på om det var etablert akseptkriterier og gjennomført tester som inngikk for menneske-KI samhandlingen for å sikre menneskelig kontroll. Technology Qualification – Technology Basis and Assessment Document no.: Rev.: Page: 60688-01-IN104 fra 2024 beskrev overordnede akseptkriterier som «HMI and UX defined and implemented with relevant data shown on screen», men de var ikke formulert på en måte som gjør det mulig å få fulgt opp slik at informasjon presenteres på en slik måte at faren for feilhandlinger reduseres. Vi fikk høre at det var gjennomført CRIOP for kranene, men vet ikke om denne omfattet KI-påvirket input for kranoperatør. Vi mottok ikke rapporten under tilsynet.
- Basert på presentasjoner, intervju og oversendt dokumentasjon kunne ikke Aker BP dokumentere at det var gjennomført en helhetlig kvalifiseringsprosess for kranene med KI-modeller med akseptkriterier, testing opp mot kriterier og dokumentasjon av resultater så langt i kvalifiseringsprosessen.
Operatørroboter med endringsmodeller (KI) for beslutningsstøtte:
- Vi ble informert om at endringsmodellene var i en tidlig fase i utviklingsløpet. Mål for endringsmodellene er TRL 4 i februar/mars 2027, og at roboter med KI-modellene er planlagt i drift (TRL6) august 2027 og «robot teknologi bevist» (TRL7) juli 2028. Endringsmodellene var under utvikling av to eksterne leverandører. Vi ble presentert overordnede krav til KI-modellene, eksempelvis datakvalitet, nøyaktighet, menneskelig kontroll, dokumentasjon og vedlikehold og at det skulle være konkrete, målbare krav per endringsmodell. Kravene fremsto som relevante, men var i mindre grad omsatt til konkrete akseptkriterier med planer for testing av modellene til bruk i et kvalifiseringsløp. Det var imidlertid satt enkelte kriterier for recall/prediksjonsrate i kontraktene, satt av leverandørene selv. Det var ikke avklart metoder for testing. Vi ble orientert om at de ulike endringsmodellene befant seg på et sted mellom TRL 1 og 3. Foreløpig var det uklart hva som var kriterier for TRL 4 og hvordan disse skulle måles.
- Under intervjuer fikk vi beskrevet ulike måter kvalifiseringen var planlagt gjennomført; som ett kvalifiseringsløp for samtlige endringsmodeller; to kvalifiseringsløp for henholdsvis leveranse fra de to leverandørene; eller én TRL for hver endringsmodell. Basert på de ulike beskrivelsene av hvordan kvalifisering av endringsmodellene skulle skje fremkom det ikke hvordan det pågående arbeidet med endringsmodellene skulle inngå som del av et teknologikvalifiseringsløp.
I intervjuer ble det opplyst at oppfølgingen av prosessen varierte mellom de to leverandørene og at dokumentasjonen så langt i hovedsak er begrenset til møtereferater. Selskapet har selv erkjent at eget styringssystem for teknologikvalifisering ikke er fulgt i tilstrekkelig grad.
Hjemmel
Risikostyring og risikoforståelse knyttet til planlagt bruk av roboter
Beskrivelse
Det var mangler ved Aker BPs risikostyring og risikoforståelse i robotprosjektene.
Begrunnelse
Bruk av KI i en høyrisikoindustri medfører usikkerhet som må identifiseres, vurderes og håndteres gjennom systematisk risikostyring. Risikostyringen må være integrert i selskapets styrings- og beslutningsprosesser og gi et tilstrekkelig grunnlag for forsvarlige beslutninger.
Aker BP opplyste at KI-modellene i kranprosjektet skulle støtte operasjoner som kan ha betydning for sikkerheten. Videre ble det opplyst at endringsmodellene i operatørroboten skulle bidra til det forebyggende sikkerhetsarbeidet ved fremtidig fjernstyring av Yggdrasil. Under tilsynet var det uklart hvordan selskapet hadde identifisert, vurdert og ville håndtere risiko ved planlagt bruk av KI i de to robotprosjektene.
- Risikostyringen fremstod i begrenset grad som formalisert og integrert i selskapets øvrige styrings- og beslutningsprosesser. Under tilsynet presenterte Aker BP disse HMS-målene for operatør- og kranrobotene: Reduksjon av personell-eksponering i risikoutsatte områder; avdekke avvik tidligere og styrke storulykkesforebygging; bygge trygg, kompetent og ansvarlig bruk av roboter/fjernstyrte kraner, samt mål om å bruke teknologi som driver for kontinuerlig HMS-forbedring. Selskapet kunne ikke redegjøre for hvordan måloppnåelse ville verifiseres i utviklingsprosjektene. Ut fra oversendt dokumentasjon i forkant av tilsynet var det ikke etablert og dokumentert konkrete og verifiserbare HMS-mål for de to prosjektene. Målene fremsto derfor i begrenset grad som styrende for prosjektgjennomføringen.
- Vi fikk i begrenset grad tilgang til revidérbar dokumentasjon med dokumentkontroll som viste hvordan risikostyringsaktiviteter var gjennomført, inkludert kvalifisering av teknologiene, jf. punkt 5.1.1. Formelle beslutninger var i liten grad dokumentert.
- På spørsmål om hvilke standarder som var i bruk for oppfølgingen av KI i prosjektene ble vi fremvist en oversikt over en rekke standarder. For teknologikvalifisering fikk vi informasjon om at DNV-RP-A203 skulle anvendes i begge prosjektene. For oppfølging av KI i prosjektene ble vi gjort oppmerksom på at det kunne velges hvilke andre standarder fra oversikten som var mest relevante. Det var dermed uavklart hvilke standarder og normkrav som faktisk var besluttet lagt til grunn for bestilling, utvikling og oppfølging av KI-modellene og endringsmodellene. Etterspurt oversikt over besluttet standardbruk ble ikke mottatt.
- Mottatt dokumentasjon viste flere steder til at kran ikke er definert som barriere, og at KI ikke vil inngå i styringssystemet. Et slikt premiss kan bidra til at mulige sikkerhetsmessige konsekvenser ved bruk av KI i operasjonene i begrenset grad blir belyst. Samlet sett viser dokumentasjonen en begrenset risikoforståelse knyttet til bruk av KI i en høyrisikoindustri.
- Arbeidstakermedvirkningen var ikke tilstrekkelig tilrettelagt for utvikling av ny teknologi som KI. Det var ikke etablert opplæring eller støtteverktøy som satte verneombud i stand til å ivareta rollen på en tilstrekkelig måte i prosjektene. Dette var også observasjon i tilsynet med industriell IKT, instrumenterte sikkerhetsfunksjoner, bruker og teknologisamhandling i sentralt kontrollrom, sak 26/289, som ble gjennomført i mai i år.
- Vi etterspurte, men mottok ikke, risikoanalyser som viste hvordan risiko ved bruk av KI-modellene var identifisert og vurdert ut fra planlagt bruk og operasjonell kontekst. Vi kunne derfor ikke verifisere at relevante risikoer, inkludert feilprediksjoner, og eksempelvis bruk av syntetiske data, pretrente modeller, store språkmodeller (LLM) og relevante hendelsesscenarioer, var identifisert, vurdert og håndtert.
- Kranoperasjonene vil innebære en aktiv samhandling mellom menneske og KI. Vi kunne ikke verifisere om kjente risikoer ved samhandling mellom menneske og KI var vurdert eller planlagt vurdert. Dette gjelder blant annet risiko for under- eller overtillit til KI, konsekvenser av feilprediksjoner, manglende transparens, økt kognitiv arbeidsbelastning og hvordan usikkerhet i KI-modellenes output skal synliggjøres for operatør. Basert på presentasjon fremgår det at prosjektet bruker prinsipper for Human in the Loop (HITL), men det er uklart om det er arbeidet systematisk for å sikre at dette er vurdert og håndtert på en måte som gjør at mennesket reelt sett er i «loopen» og opprettholder situasjonsforståelse under ulike driftsbetingelser og mulige feil-, fare- og ulykkessituasjoner. Det fremkom ikke at det var identifisert eller gjennomført tiltak knyttet til dette, for eksempel hvordan usikkerhet skal fremstilles for operatør.
- Aker BP var bestiller av endringsmodeller for operatørroboter hos flere leverandører. Selskapet kunne i begrenset grad redegjøre for hvordan risiko ble vurdert og fulgt opp, risiko knyttet til datagrunnlag, modellvalg, bruk av syntetiske data og pretrente modeller, samt leverandørenes kravsetting til leveransene.
Hjemmel