Studiebarometeret: Gjesp

Gjestekommentaren blir kortere enn vanlig denne uka. Ikke fordi jeg ikke har mye å si om dagens tema, studiebarometeret, men fordi absolutt ingen bryr seg lenger. Så hva er da vitsen med å skrive en lang tekst som leder fram til en knakende god slutt ingen kommer til?

Da Nokut presenterte resultatene av det første studiebarometeret i 2014, var det knyttet en viss interesse til resultatene. Etter at de sedvanlige unnskyldningene og bortforklaringene var unnagjort, «lav svarprosent», «det er kun de mest negative som svarer», «undersøkelsen kommer på feil tid i studieløpet», «undersøkelsen ble gjort på feil tid av året», «undersøkelsen ble preget av en uoverensstemmelse med linjeforeningen akkurat da den ble gjennomført» osv. osv., var det spennende å sammenligne seg med lignende studier andre steder i landet. Gjorde en det bedre var det klapp på skulderen og frem med brystkassa, og gjorde en det dårligere var det å lute seg tilbake til kontoret for å finpusse bortforklaringene nevnt ovenfor. «Undersøkelsen er for dårlig», «undersøkelsen passer ikke for vår måte å undervise på», «undersøkelsen er for lang», «undersøkelsen fanger ikke opp det viktigste» osv. osv.

Alt dette er vel og bra, undersøkelsen er ikke god. Den er vel heller ikke elendig. På en skala fra 1 til 5 hvor 1 er svært dårlig og 5 er svært god, hva gir vi studiebarometeret?

Jeg spurte noen programledere ved eget fakultet i en uhøytidelig undersøkelse om a) hvor fornøyde de var med kvaliteten på studiebarometeret og b) hvor nyttig de syntes studiebarometeret var. Her varierte svarene fra 1-3, og med et snitt rundt 2 minus ville det vært blodrøde varsellamper om en skulle følge Nokuts egen fargepalett for resultatene i studiebarometret.

Det ble forøvrig lagt fram en hakket mer seriøs evaluering av studiebarometeret i fjor. I evalueringen skrives det om svakheter ved studiebarometeret: «Den mest påtakelige er at det overgripende formålet og målet med undersøkelsen er vagt.» Videre skriver de at «Oppsummert kan vi konstatere at spørreskjemaet har behov for en grundig gjennomgang. Spørsmål som ikke tilfører lærestedenes kvalitetsarbeid noe bør tas bort. Spørsmål som skal beholdes må konkretiseres».

For en spørreundersøkelse som har blitt «forbedret» hvert år siden 2014 er dette rimelig drepende kritikk, men ifølge Nokuts nettsider har de lest dette som et utmerket skussmål: «Studiebarometeret gir utdanningsinstitusjonene og studieprogrammene et unikt innblikk i hvordan studentene opplever kvaliteten på utdanningene sine.»

Nokut har også selv gjennomført en del analyser av de innsamlede dataene, men det må være lov å spørre seg om hvor godt kvalitetssikret disse analysene er? For hvem kvalitetsikrer egentlig Nokut? Det er et alt for billig poeng å påpeke at Nokut med sin ambisjon om å være «eit framtidsretta og internasjonalt leiende kvalitetssikringsorgan for høgare utdanning» ikke virker nevneverdig opptatt av å kvalitetssikre egne analyser, så det skal jeg la ligge. Jeg har nemlig registrert at de ikke er så glade i den typen kritikk.

Det en burde spurt om er selvsagt om studiebarometeret har noe med utdanningskvalitet å gjøre i det hele tatt. Nå som arbeidslivsrelevans er det eneste myndighetene virker å være opptatt av, er det for eksempel slik at studentenes selvrapporterte tilfredshet faktisk sier noe om hvor bra det går med de der ute i arbeidslivet?

Vent … det er faktisk noen som har gjort akkurat det med grundige og internasjonalt kvalitetssikrede analyser. I en studie publisert i fjor av forskere ved NTNU (Institutt for Samfunnsøkonomi og NTNU Samfunnsforskning) fant man nemlig at den eneste faktoren fra studiebarometeret som korrelerte positivt med merverdi i arbeidslivet (målt for eksempel med lønnsforskjeller) var tid brukt på studiet. Faktorene studiebarometeret ellers måler av egenrapportert tilfredshet: total fornøydhet, fornøydhet med undervisning, veiledning, arbeidslivsrelevans, læringsutbytte og studiemiljø var om noe negativt korrelert med dette kvalitetsmålet. Hvis en tenker over det, er funnet ikke så veldig overraskende.

Funnet er ifølge forskerne også i tråd med nyere internasjonal forskningslitteratur. En plausibel tolkning er at arbeidsgivere setter pris på arbeidstakere som har lært seg å jobbe hardt og selvstendig og dermed tar ansvar for egen læring, snarere enn studenter som er superfornøyde fordi de får alt lagt til rette for seg.

Svarprosenten på studiebarometeret er nå under 40 %. Studentene bryr seg altså ikke. Vitenskapelige ansatte bryr seg meg bekjent heller ikke (med mindre programmet deres har så gode resultater at det blir kakefeiring selvsagt), og resultatene debatteres i liten grad. Det er ikke engang noen som orker å dra debatten i Universitetsavisa, selv om det fortsatt er spede forsøk på å holde liv i den i Khrono. Skal en dømme etter nedgangen i antall medieoppslag i fjor og hittil i år er lufta i ferd med å gå ut av studiebarometeret.

Så hvorfor har det gått sånn? Ideen bak studiebarometeret er jo ikke så dum. I stedet for at hver enkelt institusjon lager sin undersøkelse, hvorfor ikke ha en alle kan bruke, og hvor en dermed lett kan sammenligne mellom institusjoner og program?

Det er bare det at alle som har laget slike undersøkelser vet at det krever ekstrem disiplin å holde undersøkelsen kort når mange behov skal dekkes samtidig. En må klare å huske hva som er hovedmålet og hva en tenker å bruke videre. Alle spørsmål av typen ‘kjekt å ha’ må bort. Spør du 10 institusjoner om hva som bør være med får du minst 10 nye spørsmålsbatterier. Selv etter kutt i siste utgave er det derfor fortsatt nesten 100 spørsmål som skal besvares. Hvem gidder det i dag hvor en ikke kan få en pakke levert i postkassen en gang uten å få to-tre spørsmål om hvor fornøyd en er med denne fantastiske opplevelsen? Mindre enn 4 av 10 studenter tydeligvis.

Ok, men hvis ingen (mulig unntak for oppdragsgiver KD og Nokut selv) bryr seg kan vi vel spare oss bryet? Nja, jeg ville vel først prøvd med å kutte ned til et antall spørsmål som var overkommelig på 3-5 minutter. Det er faktisk fullt mulig og helt nødvendig. For eksempel når det gjelder undervisningen: De fleste studiesteder har vel både emne- og programevalueringer for slikt, ja det har vel Nokut selv pålagt oss? Ergo burde et par overordnede spørsmål om undervisning være nok.

Dette ble visst lengre enn planlagt, så det får holde for i dag. Jeg kommer ikke til å starte noe fakkeltog for å få lagt ned studiebarometeret, ei heller stille i noe fakkeltog for å protestere om det blir lagt ned. Et barometer skal måle trykk. Her er det dessverre bare å varsle L for lavtrykk og finne fram paraplyen. Gjesp – og god natt.

Referanse:

Falch, T. Iversen, J.M.V, Nyhus, O.H., Strøm, B. (2022). Quality measures in higher education: Norwegian evidence. Economics of education review 87.