Fem paradokser ved kunstig intelligens

Mica R. Endsley er svært positivt innstilt til kunstig intelligens (KI). Men ikke ubetinget. Den ledende amerikanske forskeren peker på noen viktige forutsetninger for samhandling med KI.

I 1983 tok den britiske psykologen Lisanne Bainbridge for seg paradoksene og utfordringene som oppstår når man automatiserer systemer. I den innflytelsesrike artikkelen “Ironies of automation” var Bainbridges hovedpoeng at selv om automatisering er ment å redusere menneskelige feil og øke effektiviteten, kan det faktisk skape nye problemer. Artikkelen er ansett som et pionerarbeid når det gjelder å påpeke problemer i forhold til automatiseringssystemer.

Amerikanske Mica R. Endsley, ingeniør og tidligere sjefforsker i US Air Force, overfører dette til vår tids bølge av automatisering basert på kunstig intelligens, og finner at problemene vedvarer.

- Det jeg ser i min forskning, er at mange av problemene det ble pekt på i forbindelse med automasjon, er direkte overførbare til kunstig intelligens.

Mica R. Endsley

Mica R. Endsley er en amerikansk ingeniør, tidligere sjefsforsker for det amerikanske luftforsvaret og direktør for SA Technologies. Hun er spesielt anerkjent for sitt arbeid med situasjonsforståelse, som har hatt stor innflytelse på områder som luftfart, militære operasjoner og menneske-maskin-interaksjon. Teoriene og forskningen hennes brukes bredt for å forbedre sikkerhet og effektivitet i komplekse systemer.

En rød tråd gjennom Endsleys karriere er fokus på det menneskesentrerte innenfor teknologiutvikling. Endsley har utmerket seg som en ledende forsker innenfor ansvarlig kunstig intelligens.

I sin artikkel «Ironies of artificial intelligence» fra 2023, lister Endsley opp fem paradokser ved KI.

Paradoks 1: «Kunstig intelligens er ikke så intelligent»

Det første paradokset Endsley trekker fram, er at kunstig intelligens i praksis er et maskinlæringsprogram som er dyktig til å finne statistiske mønstre i store databaser som brukes til å trene programmet med. Svakheten er at det er begrenset til akkurat det. Skjer det noe som går utenfor databasene, har teknologien problemer med å håndtere det.

- Kunstig intelligens er egentlig ikke så intelligent. Det finnes ikke noen fornuft der - eller situasjonsforståelse til å ta gode beslutninger. Alt KI gjør, er å gjenkjenne statistiske mønstre og handle utelukkende basert på disse, sier Endsley.

Paradoks 2: «Folk sliter med å forstå KI»

Paradoks nummer to er at folk sliter med å forstå KI, Og dess mer avansert det blir, dess vanskeligere blir det å forstå.

Endsley påpeker at KI ikke gjør alt, den gjør bare deler av jobben. Derfor må folk involveres. Mennesker må overvåke.

- Og dette er vanskelig, spesielt med tanke på svart boks-prinsippet, når en ikke alltid forstår hvorfor KI gjør det den gjør, påpeker hun.

- Og når vi opplever at til og med programmerere ikke skjønner hvorfor programmene gjør det de gjør, da må vi gjette. Og det viser seg at det er vi ikke gode til, spesielt ikke når systemene endrer seg over tid - når de blir bedre og mer trent, sier Endsley.

Paradoks 3: «Vi sliter med å kompensere for KI sine begrensinger»

Paradoks nummer tre henger sammen med nummer to:

• Vi ser i forskning at oppmerksomheten til mennesker som skal overvåke KI- systemer, er problematisk. Det er vanskelig å holde fokus

• Dette gjelder spesielt for systemer som fungerer godt. Da har vi en tendens til å stole altfor mye på teknologien. I tillegg viser funn at når mennesker ikke gjør noe, men kun overvåker slike systemer, har de en tendens til å miste situasjonsforståelsen.

Når en KI blir mer og mer avansert, bedre og bedre trent på ulike databaser, da blir den menneskelige overvåkingen enda vanskeligere. Og det fører oss over til paradoks nummer fire:

Paradoks 4: «Dess mer intelligent kunstig intelligens blir, dess vanskeligere er det å forstå dens begrensinger og feil»

At KI kan være både fordomsfull og rasistisk, finnes det flere kjente eksempler på. Mange av disse er veldig åpenbare, og lette å se, som for eksempel at når en ber en generativ KI-bildegenerator lage et bilde av en lege, blir det ofte en mann. Slike forutinntattheter eller systematiske feil som oppstår på grunn av begrensninger i datasettene de er blitt trent på, er lette å se.

- Dess mer avansert og bedre trent en KI er, jo vanskeligere er den å gjenkjenne. Og det kan skape problemer, sier Endsley.

Hovedproblemet er at vi mennesker er dårlige til å overvåke og gjenkjenne feil i kunstig intelligens. I tillegger vi dårlige på å vurdere påliteligheten i råd og hjelp vi får fra teknologien.

«Ha fokus på sikkerhet, få inn folk som forstår paradoksene med KI, og som kan få ledelsens oppmerksomhet».

Paradoks 5: «Dess mer vanlig KI er blitt, dess vanskeligere er det for oss å vurdere påliteligheten til teknologien»

Under paradoks nummer fem trekker Endsley fram Chat GPT som en imponerende språkmodell, men også som en modell der faktaene ofte er flyktige.

- Når Chat GPT ikke har tilgang til informasjonen den blir spurt om, ser vi at den finner på ting; den hallusinerer. Og når dette er integrert i en godt fungerende språkmodell, strever folk med å vurdere i hvor stor grad vi kan stole på den. Det skyldes at vi ikke vet hvor kildene kommer fra, hvordan informasjonen er satt sammen og om korrekt informasjon er sauset sammen med feilaktig informasjon.

- Dette blir ekstra problematisk når vi kommer til sikkerhetskritisk teknologi.

Tragisk eksempel

Spørsmålet er hvordan vi skal jobbe seg rundt disse paradoksene.

Endsley mener det handler om å sette mennesket i fokus, sørge for grundig testing og god ledelse. Og ikke minst være klar over paradoksene - og at det er forskjell på høyrisiko- og lavrisikoteknologi.

- I en lavrisikosituasjon er det egentlig ikke så nøye, sier hun.

- Om du blir anbefalt en film du ikke liker, er det til å leve med. Problemet oppstår når man beveger seg inn i industri der vi omgir oss med høy risiko. Innenfor sikkerhetskritisk teknologi er det langt fram til vi kan stole på KI. Den må utvikles og testes grundig, mener Endsley.

Hun er tydelig på at under testing dreier det seg ikke bare om å avdekke programvarefeil og mangler, men også hvordan teknologien interagerer med mennesker – om menneskesentrert teknologiutvikling.

- Når teknologien ikke er menneskesentrert, da ser en at disse systemene faller sammen.

Hun trekker fram Deepwater Horizon-ulykken i Mexicogolfen i 2010 som et tragisk eksempel på at de som jobbet om bord, hadde problemer med å se og forstå de automatiserte-systemene.

- Vi må vie oppmerksomhet til grensesnitt og brukervennlighet når vi utvikler slike systemer. Dette er viktigere dess mer komplisert teknologien er.

Råd til lederne

Endsley kaller seg selv «en forsiktig framtidsoptimist» når det er snakk om kunstig intelligens. Men hun ser store utfordringer, spesielt innenfor sikkerhetskritisk teknologi.

Og hun har noen klare råd til ledere og beslutningstakere som skal implementere KI i sine systemer:

- Ansett folk som er spesialister i menneskesentrert teknologiutvikling og som kan utvikle grensesnitt basert på det. Ansett noen som forstår hvordan folk interagerer med teknologi. Om du ikke gjør det, skaper du bare nye problemer.

- Og viktigst av alt: Ha fokus på sikkerhet, få inn folk som forstår paradoksene med KI, og som kan få ledelsens oppmerksomhet.

Boeing

Endsley trekker fram flyprodusenten Boeing som et selskap som ikke forsto farebildet, og som måtte betale for det.

– Boeing er et selskap som i mange år hadde svært godt rykte når det gjaldt å lage og designe sikre fly. Men så førte kostnadskutt gjennom flere år til at sikkerhetsfokuset ble dyttet nedover i organisasjonen.

• Ledelsen snakket mye om teknologifokus, hvor viktig det var å være positive til ny teknologi. Hensynet til det menneskesentrerte og forståelsen for teknologiens begrensninger ble oversett.
• Dette har skapt en mengde skjulte problemer og feil for selskapet - og ført til store ulykker

Boeing MAX-ulykkene

I oktober 2018 styrtet et Boeing 737 MAX-fly i Indonesia. I mars året etter skjedde det samme i Etiopia. Totalt 346 personer omkom i de to ulykkene.

Granskingen etter tragediene viste at et nytt teknisk Boeing-system var årsak til de to styrtene. Systemet skulle automatisk presse flyets nese ned dersom det sto i fare for å steile. Men pilotene hadde ikke fått god nok opplæring i hvordan systemet kunne skrus av dersom det ble aktivert ved en feil.

Boeing fikk skylden. Hundrevis av fly ble satt på bakken over hele verden, og selskapet betalte 2,5 milliarder dollar i erstatning til de etterlatte etter ulykkene.

Mennesker og KI må spille på lag

Endsley påpeker at det ikke er nok å kjenne til paradoksene ved KI. Det gjelder å ta konsekvensen av disse - spesielt det faktum at mennesker er dårlige til å overvåke KI-systemer.

- Problemene begynner når KI blir et beslutningsverktøy; når teknologien tar automatiske beslutninger og det menneskesentrerte forsvinner.

- I et menneskesentrert perspektiv handler det om å integrere mennesker og teknologi, og utnytte det begge er gode på, sier hun.

- KI må gi mennesker støtte, det er da den blir effektiv.

Hør mer fra Mica R. Endsley i podkasten: De 5 KI-paradokser. Hvor intelligent er kunstig intelligens? Hva må en bransje som ønsker å innføre KI-løsninger vite om teknologien, og hvordan kan vi innføre det på en ansvarlig måte?