NTNUs Copilot-rapport møter kritikk

NTNU har testet ut Copilot for Microsoft 365 gjennom våren 2024. Resultatet ble lagt frem i en rapport, publisert 17. juni, under tittelen «Pilotere Copilot for Microsoft 365». 

I korte trekk er Copilot er en KI-chat som ligner veldig på andre kjente verktøy som for eksempel ChatGPT. 

Copilot for Microsoft 365 lar kunstig intelligens (KI) samle data på tvers av Microsoft-appene. Med tilgang til store mengder data kan verktøyet fungere som en assistent og hjelpe med å behandle og bearbeide tekst, svare på spørsmål, gi sammendrag og forslag, osv.

Copilot Microsoft 365 (M365) må ikke forveksles med «vanlig» Copilot, som er tilgjengelig for både studenter og ansatte ved NTNU. Til forskjell, har Copilot M365 bare blitt testet av et knippe personer ved NTNU. 

Testingen av M365-versjonen har resultert i en rapport hvor det presenteres åtte hovedfunn som nå spilles inn til Datatilsynets prosjekt, i den regulatoriske sandkassen for ansvarlig kunstig intelligens, med mål om å stimulere til innovasjon av etisk og ansvarlig KI fra et personvern­perspektiv.

Omfattende vurdering av KI i offentlig sektor

I tillegg til hovedfunnene inneholder NTNU-rapporten overordnede anbefalinger til hva en organisasjon bør vurdere før verktøy med innebygd kunstig intelligens tas i bruk, informasjon om hvordan testene har blitt gjennomført og opplæringsprogram, samt NTNUs forslag til personvernkonsekvensvurderinger for både Copilot with Commercial Data Protection og Copilot for Microsoft 365, og utkast til retningslinjer for bruk av generativ kunstig intelligens.

På bakgrunn av rapporten har IT-direktør ved NTNU, Håkon Alstad, uttalt på LinkedIn at det ikke er sannsynlig at NTNU vil ta i bruk Copilot for Microsoft 365, fordi man er bekymret for personvern og hvordan verktøyet vil påvirke organisasjonen.

Men rapporten og Alstads uttalelse møter kritikk i et leserinnlegg på Kode24. 

- Det er ikke Copilot som er problemet

- Det er klart at det er visse forutsetninger som må ligge på plass før man skrur på Copilot M365. Man må sørge for at sensitive data ikke ligger og slenger rundt om i skyen, for det som ligger der, det har Copilot tilgang på, sier Per-Torben Sørensen.

Forfatterne av leserinnlegget er Per-Torben Sørensen, Jenn Sveigdalen og Åsne Holtklimpen, som alle er tilknyttet selskapet Crayon som er leverandøren av Copilot Microsoft 365 til NTNU. De er likevel tydelig på at de her svarer som privatpersoner og ikke i regi av Crayon.

I leserinnlegget reagerer de spesielt på at Copilot får skylden for problemer som ikke skyldes verktøyet, men NTNUs egen behandling av data.

- Vi har sagt i seks måneder at Copilot behandler data som sluttbrukeren allerede har tilgang til. Hvis Copilot behandler persondata feil, så er det fordi at man har lagret persondata feil, sier Sørensen.

I NTNU-rapporten trekkes det blant annet frem at man er bekymret for at Copilot kan gjøre feil og at persondata ikke behandles riktig og i tråd med personvernsforordninger. Men Sørensen mener at problemet ikke bare ligger på det tekniske og strategiske, men også på brukersiden.

- Jobben med å rydde opp i og beskytte sensitive data må gjøres uansett. Jeg tror bare Copilot har synliggjort et problem som allerede lå der. 

Det er mye som må modnes

Sørensen er sikker på at NTNU kan bruke Copilot dersom forutsetningene er på plass. Han mener veien fremover går via brukeropplæring, brukeropplæring og enda mer brukeropplæring. 

- Vi trenger voksenopplæring over hele linja og på global basis. Dette verktøyet er litt som når vi måtte lære oss å «google». Og én ting er å lære seg å bruke verktøyet, en annen er å forstå hva dette kan hjelpe oss med og hva som er begrensningene. 

Sørensen tror folk raskt kan tenke at dette er kunstig intelligens som kan gjøre store deler av den enkeltes jobb med større presisjon.

- Men slik er det ikke. Copilot er i beste fall en assistent. Den kommer med forslag, men ansvaret for å forvalte informasjonen fra Copilot må ligge hos brukerne. Derfor er brukeropplæring et kritisk tiltak, i tillegg til det tekniske og strategiske som selvfølgelig også må være på plass, sier Sørensen.

Både Sørensen, Sveigdalen og Holtklimpen er tydelig på at rapporten som er arbeidet frem av NTNU er god og grundig. De følte likevel for å skrive et motsvar fordi de vet at mange har ventet på denne rapporten og ser til NTNUs pilotprosjekt før de tar stilling til om de selv vil innføre Copilot. 

- I rapporten kommer det frem mye av det samme som vi selv har funnet ut, men for oss er det viktig å få frem at det ikke er Copilot som er problemet. Problemet er egen databehandling. I rapporten sier de også selv at de må ha orden i eget hus, men det skulle ha kommet bedre frem. Det hadde vært mer riktig av Alstad å si «vi har en jobb å gjøre før vi kan slå på Copilot», sier Holtklimpen.

Denne kritikken handler først og fremst om funn nr. 3: «Copilot behandler enorme mengder personopplysninger på nye og ukontrollerte måter». 

- Her kan man rett og slett bytte ut ordet «Copilot» med «organisasjonen», sier Sveigdalen.

For stor risiko for NTNU

Håkon Alstad er IT-direktør ved NTNU og har vært tett på copilot-prosjektet ved NTNU. Han sier Crayon har rett i at man må ha orden på dataene sine, men at det er en større jobb for hele sektoren. Derfor har både NTNU og SiKT egne prosjekter på «Orden i eget hus».

- Vi skjønte tidlig at det var problemer på personvernsiden, og det er først og fremst fordi man ikke kan slå av enkelte funksjoner slik Copilot M365 virker nå. Når man slår på Copilot M365, så har den tilgang til alt. Kunne man for eksempel slå av tilgang til e-post, så hadde ting stilt seg annerledes. 

Alstad poengterer at mange andre institusjoner kanskje ikke har samme personvernsutfordringer som NTNU. Flere institusjoner behandler alt i egne saksbehandlingssystemer, men ved NTNU går mye på e-post. 

- Vi har hatt et godt samarbeid med Crayon og Microsoft, on når vi sier at vi ikke kommer til å ta i bruk Copilot M365 nå, så er det med trykk på nå. Det kan godt hende vi vil ta det i bruk senere, men akkurat nå er det både for kostbart og for stor risiko for NTNU å ta det i bruk.

Viktig med debatt

Heine Skipenes er medforfatter av rapporten og en viktig ressurs for personvernstenkning ved NTNU. Han er glad for at rapporten skaper debatt.

- Vi er glade for at diskusjonen kommer og vi ser på det som positivt. Vi er jo ikke ferdig snakka om dette når vi nå har levert rapporten til Datatilsynet. Debatten starter nå, og prosjektet er bare halvveis. Vi har overlevert våre funn, og nå skal datatilsynet komme med sin konklusjon. 

Bytter ut læringsassistenten med ChatGPT

Skipenes poengterer at rapporten er NTNUs innspill, men at prosjektet som helhet handler om Norges forhold til personvernsforordningen og bruk av KI. For å svare på slike store spørsmål, trenger vi debatt og samarbeid, mener Skipenes.

- Samarbeidet med Microsoft og Crayon har gjort prosjektet mye bedre, og at det kommer en diskusjon nå er helt nødvendig. Dette handler om mye mer enn Copilot. Vi er inne i et teknologisk taktskifte, og vi må ha kontroll og en exit-strategi dersom verktøyet går for langt. 

Skipenes er opptatt av at verktøyene skal gjøre oss bedre, ikke styre oss. 

- For å kunne bruke Copilot M365 ved NTNU må en del ting på plass, også i selve verktøyet. Hvis vi ikke kan skru noen deler av, som for eksempel tilgang til e-post, så kan vi ikke skru noe på. Vi kan ikke velge om vi skal overholde personvernsforordningen. Vi skal overholde den, og hvis dette verktøyet bidrar til risiko og feil, så kan vi ikke fortsette, avslutter Skipenes.