KI-verktøy kan ha fått tilgang på NTNU-ansattes sensitive opplysninger

KI-verktøyet Copilot kan i en kort periode ha lest fortrolige opplysninger om NTNU-ansatte eller studenter. NTNU har meldt avviket  til Datatilsynet.

Copilot er et kunstig intelligens-verktøy, som samler data på tvers av Microsoft-appene.
Publisert

Microsoft Copilot er en kunstig intelligens-chat. Den har mange likheter med andre kjente chatboter, som Chat GPT. Copilot er integrert i nettleseren Edge.

I november 2024 oppdaget NTNU et avvik. 

Det har vært mulig for Copilot å lese fortrolig informasjon, forteller Torkil Ramstad fra Seksjon for sikkerhet og beredskap.

- Det stemmer at vi har hatt et avvik på NTNU. I en periode fra lanseringen 29. oktober til 4. november har det vært mulig for brukere av saksbehandlingsverktøyet Elements å dele informasjon med Copilot direkte fra verktøyet, sier Torkil Ramstad, som er underdirektør for seksjon for sikkerhet og beredskap ved NTNU.

Sak- og arkivsystemet Elements brukes av saksbehandlere ved NTNU. Det behandler åpne og interne dokumenter, i tillegg til dokumenter som er unntatt offentlighet, og inneholder informasjon som kan være strengt fortrolig.

Det er en mulighet for at Copilot kan ha lest denne informasjonen. 

Ansatte og studenter kan være berørt

I avviksmeldingen står det at det finnes en risiko for at personopplysninger kan være på avveie.

- Vi har ikke logger som tilsier at dette har skjedd. Men det har vært mulig å gjøre det og da melder vi rutinemessig dette som avvik og potensielt brudd på personopplysningssikkerheten til Datatilsynet, sier Ramstad.

De eventuelle berørte kan være brukere av løsningen, ansatte og tilknyttede ressurser, studenter, familiemedlemmer av studenter og ansatte, studiesøkere, interessenter, samarbeidsparter og leverandører, eksterne deltagere i prosjekter og forskning, ifølge avviksmeldingen. Siden man ikke vet hvem som eventuelt er berørt av avviket, har det ikke vært mulig å varsle dem. 

Åpnet innebygd versjon av Copilot

Bakgrunnen for hendelsen, er at Elements åpnes i nettleseren Edge. Nettleseren Edge har en innbygd Copilot-versjon som åpnes om man trykker på Copilot-knappen øverst i høyre hjørne. Til denne har brukeren kunnet stille spørsmål, og brukeren kunne, da avviket oppsto, be Copilot om å basere sine svar på  innholdet som den hadde tilgjengelig i nettleseren. 

Det finnes i tillegg en trygg versjon av Copilot, en såkalt «Copilot with enterprise data protection». For å kunne bruke den trygge versjonen av Copilot må brukeren logge seg inn. Den trygge versjonen er ikke tilgjengelig i nettleseren som åpnes når man bruker Elements, og i den trygge versjonen har NTNU kontroll på behandling, sletting og lagring, forklarer Ramstad.

Men i den innebygde versjonen av Copilot var ikke saksbehandlerne innlogget. Det betyr at denne versjonen ikke har den samme graden av sikkerhet som hvis man bruker en såkalt Enterprise-innlogging. 

- Problemet her var at nettleseren i det trygge behandlingsmiljøet ikke var pålogget, og da fungerer applikasjonen helt annerledes. Det har da vært mulig for brukere å be Copilot om å gi svar ved å bruke for eksempel pdf-dokumenter som var åpne i nettleseren. Disse pdf-dokumentene blir da sendt av gårde til Copilot-systemet uten at NTNU kan vite om de blir slettet, blir videre brukt, inngår i treningsgrunnlag osv, forklarer Ramstad. 

Brukeren må aktivt ha trykket på Copilot-knappen og bedt den om å bruke faktiske filer som datagrunnlag for at informasjonen skal ha blitt delt. 

Ramstad forteller at denne muligheten nå er deaktivert. 

Ble meldt inn

- Hva har dere gjort med saken nå, for å sikre at dette ikke skjer i framtida?

- Saksbehandlere ved NTNU har ikke lenger muligheten til å bruke Copilot innebygd i Edge når de saksbehandler i Elements. Vi har sendt ut informasjon til alle saksbehandlere. I tillegg hadde vi informasjon om avviket, sikkerhet og personvern som en egen sak på årets siste spørretime om Elements 11. desember 2024. 

Saken ble meldt i avvikssystemet som ble raskt fanget opp av Digital sikkerhet, og nødvendige strakstiltak ble igangsatt. 

 - Det er uheldig at slike hendelser skjer. Samtidig vil jeg fremheve at hendelsen ble håndtert på en veldig god måte av alle involverte parter, som igjen viser at vi har en god beredskap for å håndtere det uforutsette. Dette avviket understreker viktigheten av at avvik meldes, og at NTNU har gode rutiner og systemer innen informasjonssikkerhet og personvern på plass, sier Ramstad.

 NTNU har ikke fått svar fra Datatilsynet ennå. 

 

Følg UA på Facebook og Instagram.