- Kanskje det er på tide å la Forskningsrådet slippe å ha ansvar for fagevalueringene og overlate det til institusjonene selv? Så kan Forskningsrådet bruke sine midler til å støtte forskning istedenfor å vurdere den, skriver denne ukas gjesteskribent.
- Den rigide inndelingen til Forskningsrådet vanskeliggjør en rettferdig vurdering, skriver Holden.
Nåværende jobb: professor i matematikk ved Institutt for matematiske fag, NTNU. Leder av Abelkomiteen.
Tidligere roller i UH: Styremedlem NTNU 2009–17, Tidl. leder av flere utvalg i Forskningsrådet og ERC Consolidator Grant Panel, tidl. Preses DKNVS. Var generalsekretær i Den internasjonale matematikkunionen.
Er opptatt av: Forskningspolitikk, akademia, teknologi, NTNU
Forskere er vant til
å bli evaluert. Det vanligste er selvsagt når vi sender fagartikler til
tidsskrifter for publisering. Tilbakemeldingen fra navnløse fageksperter kan være nådeløs, det kan
være at ekspertene har misforstått artikkelen, men det kan også skje at
artikkelen får ros og blir akseptert.
Videre blir vi vurdert når vi søker om
prosjektstøtte, og iallfall når det dreier seg om FRIPRO fra Forskningsrådet,
har det stort sett gitt avslag de siste årene. Disse vurderingene gir også muligheter for ikke alltid like meningsfulle
rangeringer av forskere, noe jeg skrev om i UA.
Men man kan også foreta vurdering av fagene på nasjonalt nivå. I Norge sier Forskningsrådets vedtekter at «Forskningsrådet skal sørge for evaluering av norsk forskning». Videre har NOKUT ansvaret for å «gjennomføre evalueringer av betydning for å kunne bedømme kvaliteten i høyere utdanning». I praksis skjer forskningsevalueringene omtrent hvert tiende år, og følger et gitt rammeverk.
Nå er det matematikks tur, og det er en evaluering av forskningen og ikke undervisningen. Det er gode grunner til å dele de to områdene, men i Norge er størrelsen på fagene i stor grad drevet av studenttilgangen, så det kan gi problemer om evalueringen foreslår endringer i størrelsen av et fagmiljø.
Forskningsrådet sier at «Hovedmålet med fagevaluering av matematikk, naturvitenskap og teknologi 2022-2024 er å vurdere kvaliteten på norsk forskning, rammebetingelsene for matematisk-naturvitenskapelig og teknologisk forskning i Norge, og forskningens relevans for sentrale samfunnsområder». Evalueringen skal resultere i anbefalinger til institusjonene, Forskningsrådet og departementene.
Forskningsrådet har benyttet resultatene fra tidligere evalueringer som grunnlag for forskningspolitiske råd til regjering og berørte departementer, og til å utvikle nye virkemidler som f.eks. senterordninger og Unge forskertalenter.»
For hvert enkelt miljø er dette ganske abstrakt, men det koker fort ned til –hvordan blir min gruppe vurdert? Vi blir «invitert» til å delta – men det har nok form av et tilbud man ikke kan avslå.
Evalueringen har to nivåer – det overordnede som skal resultere i råd til myndighetene, og det mer håndverksmessige som er hvordan vurderingen utføres lokalt. Matematikk er inndelt i ren og anvendt matematikk, et skille som var mye tydeligere før, og som er lite formålstjenlig nå. Mye god matematisk forskning foregår nettopp i grenselandet der impulser fra anvendelser gir opphav til ny (ren) matematikk, og vice versa.
I Bergen er det en sterk gruppe ved matematikk som arbeider med geovitenskap, ved NTNU har vi en god gruppe som arbeider med kryptografi. I Oslo har de på Matematisk institutt en avdeling som har en fysisk vanntank.
Alle disse gruppene kunne blitt vurdert av andre paneler, og den rigide inndelingen til Forskningsrådet vanskeliggjør en rettferdig vurdering. Denne diversiteten i moderne matematikk er god, og viser hvordan matematikk griper inn i stadig flere områder. Dette kan i viss grad kompenseres med sammensetningen av eksperter i panelene, men disse er små, og det blir vanskelig å få dette til på en rettferdig måte.
Man skal også oppgi 5–15 publikasjoner fra hver gruppe fra de siste 5 årene. Det er litt vanskelig å forstå hvorfor antallet ikke skal skaleres med gruppenes størrelse. Dette betyr at for mange vil ikke en eneste publikasjon inngå i vurderingen, og det kan resultere i dårlig stemning i gruppen uten at noen vinner noe på det.
Forskningsrådet ønsker ikke at man skal lage spesielle enheter i forbindelse med evalueringen. Det er forståelig, men intern organisering av universitetene har ikke Forskningsrådet noe med. På NTNU er vi i gang med en omfattende prosess for organisering av nivå fire, og om den i tid sammenfaller med en evaluering, kan ikke det overstyres av en ekstern evaluering.
Denne gangen er miljøene blitt bedt om «å tilpasse mandatet ved å opplyse om egne strategiske mål og andre lokale forhold som er relevant for evalueringen.» Dette er en god idé – vi arbeider under ganske ulike betingelser, og her kan vi forklare disse.
En fagevaluering med utarbeidelse av detaljerte og omfattende bakgrunnsdokumenter er svært ressurskrevende for institusjonene. For Forskningsrådet er dette også svært kostbart, og i en tid der innvilgelsesprosenten på prosjektsøknader er godt under 10%, er det betimelig å spørre om man kan forsvare denne ressursbruken. For miljøene er det min mening at dette vanskelig kan begrunnes – tilbakemeldingen blir ofte påpeking av forhold man kjente godt til på forhånd, og råd uten klar mottager. Og det har ingen budsjettmessige konsekvenser.
Forskningsrådet sier at «hver enkelt institusjon vil ha ansvar for å følge opp anbefalingene som gjelder egen institusjon. Forskningsrådet vil benytte evalueringens vurderinger og anbefalinger i utviklingen av finansieringsvirkemidlene og i rådgiving overfor departementene.»
Dette er ikke uproblematisk, og ingen ressurser er nevnt. Forskningsrådet har ingen instruksjonsmyndighet overfor universitetene. Tvert imot har universitetene et selvstendig ansvar for å oppfylle sitt samfunnsansvar innenfor budsjettrammene der forskning er én av flere oppgaver. Om evalueringen sier at matematikk ved NTNU er kraftig underfinansiert (jeg kan jo drømme), er det vanskelig å se at dette vil ha store budsjettmessige konsekvenser for oss.
I evalueringen av juridiske fag skriver komiteen: «Finansieringen av den rettsvitenskapelige forskningen er svært ulik blant de deltakende institusjonene. Det er store forskjeller når det gjelder hvilke midler som er tilgjengelig. Dette fører til at institusjonene har ulik kapasitet når det gjelder å produsere forskning på et høyt internasjonalt nivå på tvers av alle underdisipliner innen rettsvitenskapelig forskning. Denne ubalansen gjør det svært vanskelig for de minste institusjonene å produsere forskning på et høyt internasjonalt nivå, og påvirker muligheten til å få ekstern finansiering.»
Det er lite trolig at det skal komme friske midler som kan utjevne denne forskjellen, og i Norge er det slik at hver enkelt institusjon må prioritere innen egne budsjettrammer. Bare en evaluering av institusjonen vil kunne vise om fordelingen mellom ulike fag er rimelig.
Det fins andre måter å foreta nasjonale fagevalueringer. I Storbritannia har man det såkalte Research Excellence Framework (REF) der man hvert femte år gjennomfører en omfattende detaljert vurdering av hvert fag. Vitenskapelige arbeider blir vurdert, og institusjonene får en karakter som har budsjettmessige konsekvenser.
I Proba-rapporten Kartlegging av evalueringer av kvalitet i forskning og høyere utdanning skrives det: «REF 2014 ble kritisert av flere grunner, særlig på grunn av de høye kostnadene. Totalt 1100 forskere i Storbritannia ble betalt for å vurdere totalt 191 232 forskningsartikler som ble levert inn for vurdering. Tidskostnaden, og alternativkostnaden vurderes som høy ettersom forskere får liten tid til egen forskning. Det anslås at den totale kostnaden for REF 2014 var på rundt £250 millioner eller om lag 1,2 prosent av årlige forskningsbevilgninger.»
Institusjoner som Oxford og Cambridge vil alltid komme ut på topp, men for mindre institusjoner kan en dårlig REF ha dramatiske konsekvenser.
I Danmark og Sverige er det vanlig at universitetene selv organiserer evaluering av hele institusjonen. Eksperter kommer på besøk, og gir sine råd til rektor og styre. Da unngår man problemene som er knyttet til lokal organisering av fag, og man får et «øyeblikksbilde» (et «øyeblikk» kan fort ta et halvt år) av hele institusjonen, som så kan foreta sine prioriteringer. Da blir det kort vei mellom råd og handling.
En innvending er selvsagt at man kan stille spørsmålstegn ved objektiviteten i en sånn evaluering. Min erfaring er at man får like ærlige tilbakemeldinger her som i Forskningsrådets evalueringer. Jeg har selv vært med i mange slike (Uppsala, KTH, Göteborgs Universitet, Københavns Universitet, Aalborg, og DTU). Man mister selvsagt en nasjonal sammenligning innen fagene – hvilket universitet har det beste fysikkinstituttet – noe som kanskje ikke er så viktig.
Forskningsrådsevalueringene har en rekke problemer knyttet til seg. Den sjablongmessige inndeling av fag er lite tilpasset varierende faginndelinger på universitetene, evalueringene er svært ressurskrevende og tilbakemeldingene har få konsekvenser for miljøene.
Ressursspørsmål må løses internt på institusjonene og ikke innen fagene. Kanskje det er på tide å la Forskningsrådet slippe å ha ansvar for fagevalueringene og overlate det til institusjonene selv? Så kan Forskningsrådet bruke sine midler til å støtte forskning istedenfor å vurdere den.
