Var forbudt: Nå kan disse bruke Chat GPT i undervisning og forskning

Fredag lanserte UiO deres personverntrygge KI-chat GPT UiO. De har siden da hatt rundt 500 nye brukere hver dag. 

- For en IT-tjeneste hos oss er det formidabelt, vi har ikke engang pushet dette på studentene, sier Dagfinn Bergsager, seksjonssjef for webutvikling ved UiO.

Avtale med Microsoft

GPT UiO baserer seg på den kjente Chat GPT fra Open AI, men forskjellen er at den nyutviklede tjenesten kan brukes innenfor kravene UiO og lovverket setter til personvern og sikkerhet. 

- Den er en web-applikasjon med innlogging med Feide, så det er kun folk tilknyttet UiO som kan bruke den nå, sier Bergsager.

For å overholde personvernet har de gjort en avtale med Microsoft, som eier store deler av Open AI. 

- Vår web-applikasjon er koblet til Chat GPT via Azure, som er Microsofts skyløsning. På denne måten er det bare vi som vet hvem som har sagt hva, sier Bergsager.

Det er altså fortsatt Chat GPT som generer svarene i GPT UiO, men forskjellen er at Open AI ikke får se hvem fra UiO som har stilt spørsmålene. De får heller ikke lagre og bruke data fra UiO til videre trening av modellene sine, og de har begrenset bruken til å fordeles mellom tre forskjellige datasentre lokalisert i Europa.

Vet ikke kostnaden

Når man bruker Chat GPT vil den bruke informasjon fra hele samtalen du har hatt med den tidligere for å generere svar som passer deg. 

- Open AI gjør dette ved å lagre data i utlandet. For vår løsning må vi sende med hele samtalen ved hvert spørsmål. Derfor lagrer vi samtalene lokalt på UiO, sier Bergsager. 

Chat GPT 3.5 er Open AIs gratisversjon, men neste uke håper de at de også får inkludert Chat GPT 4. Her vil de ha vesentlig lavere kapasitet. 

- Men for mange er det viktig å få inn modell fire. Den er bedre på noen fagområder, sier han. 

Første offentlige visning av NorGPT: - Regjeringen må kjenne sin besøkelsestid

Det er UiO sentralt som vil dekke kostnadene for betalingsversjonen, men de vet enda ikke hvor dyrt det vil bli. 

- Vi betaler etter hvor mange ord som sendes inn, så når samtalene blir lange blir det dyrt. Hvis 30 000 studenter begynner å bruke denne daglig vil det klart ha en større kostnad, sier han. 

Stor interesse

15 til 20 institusjoner har allerede meldt interesse for å bruke GPT UiO. 

- BI er den første vi har gjort en avtale med, og de vil nok kunne bruke tjenesten innen de neste ukene, sier han. 

De har allerede 3000 aktive brukere på UiO, og anslår at de har kapasitet til at 1000 bruker GPT UiO samtidig. 

- Det virker som om Microsoft er litt gniene på å gi oss GPU-ressurser for å skalere opp bruken, dessuten er det dyrt. Jeg er bekymret for kapasitetsproblemer, men tror vi har en løsning, sier Bergsager. 

Han håper BI kan inngå en lignende avtale med Azure, og få tilgang på egne GPU-ressurser. 

Fem studenter mistenkt for å bruke chatbot på eksamen

- Det viktige er at dataen kun blir lagret hos oss. Skulle NTNU meldt interesse måtte også de fått inngått sin egen avtale, sier han. 

Åpner for bruk i undervisning

UiO har tidligere forbudt bruk av Chat GPT i undervisningen, fordi det krevde at studentene registrerte seg og oppga personopplysninger til Open AI. 

- Nå kan forelesere be studenter bruke GPT, for eksempel for å skrive kode eller analysere teksten den produserer. Jeg håper det vil bli brukt mer i undervisning, og er spent på hva det vil bli brukt til, sier han. 

GPT UiO er klarert for å håndtere persondata (kategori gul), og de jobber med å utvide dette til mer sensitive personopplysninger som helsedata. 

- Da må vi kjøre modellen lokalt. Dette har vi ressurser til lokalt og i Norge, det er gode samarbeid på regnekraft internt i sektoren. Men det vil kanskje bli en noe dårligere modell, sier han. 

Kan inkludere flere modeller

NorGPT kan bli redningen for det norske språket

På sikt ser de for seg å inkludere andre språkmodeller enn Chat GPT i web-løsningen deres.

- Vi har allerede prøvd noen open source-modeller, men de er veldig dårlige. 

De er involverte i arbeidet med å utvikle norske språkmodeller, men disse er ikke klare for bruk enda. NTNU-modellen Nor GPT er en av disse. 

- Mange sier at de snart kommer på banen, men vi er der allerede. Modellen vår fungerer og skalerer til økt bruk, og vi ser for oss å kunne tilby den til veldig mange.  

Handler kun om databehandling

- GPT UiO handler kun om databehandling, hovedproblemene med Open AIs Chat GPT gjenstår fortsatt, sier professor Erik Velldal ved UiO. 

Han er involvert i trondheimsbaserte Norw AI, som utvikler den norske språkmodellen Nor GPT. I tillegg er han involvert i utviklingen av flere andre språkmodeller ved UiO. 

- Chat GPT har mange problemer som går forbi personvern. Først og fremst er det det vi kaller en sort boks, hvor vi ikke kjenner til hvordan modellen er konstruert eller hvilke data som er brukt. Den er også i hovedsak trent på engelske data, sier han. 

Av Chat GPTs treningsdata er norske data antatt å utgjøre én promille. 

- Det vi ønsker å oppnå med norske språkmodeller er å ha full kontroll på utvikling og data, og å trene på større mengder norske data slik at modellene reflekterer våre verdier og kultur. Norske modeller vil også ha mer oppdatert norsk informasjon.

Prøver å koordinere norske modeller

Det finnes allerede flere norske språkmodeller som kan brukes, men disse er ikke i nærheten av å ha like god ytelse som Chat GPT. Dette kunne vi blant annet se under lanseringen av Nor GPT på Arendalsuka tidligere i høst. 

- Det gjenstår mange trinn med det vi kaller «fine tuning», som trengs for å få en god samtalerobot. Her mangler det ressurser. I tillegg er ikke de norske modellene like store, det vil kreve store regneressurser både å utvikle og å tilby for bruk, sier han. 

Flere aktører utvikler nå sine egne språkmodeller, blant annet UiO, Norw AI, Nasjonalbiblioteket, Schibsted og Ruter. I Norge er det begrenset med regnekraft, og begrenset hvor mye norsk data som er tilgjengelig i treningen av modellene. 

- Men det er pågående initiativer for et koordinert samarbeid, spesielt siden man trener modellene på samme data. Det er mange som prøver seg, og det er viktig å samkjøre dette nå. Spesielt NORA, som er en paraply for mange aktører i norsk AI, prøver å få til en koordinert innsats.