Studiebarometeret er et viktig verktøy for å styrke studiekvalitet

Studiebarometeret gir verdifull informasjon om kvaliteten ved studieprogrammene, men undersøkelsen må ses i sammenheng med andre kilder for å gi et godt bilde av kvaliteten.

Vi vil takke stipendiat Anders Dechsling, Høgskolen i Østfold, professor Stefan Sütterlin, Høgskolen i Østfold, førsteamanuensis Ricardo G. Lugo, NTNU, og instituttleder Lars Rune Halvorsen, Høgskolen i Østfold, for innspillene om Studiebarometeret i innlegget i Khrono og artikkelen i Nordisk tidsskrift for pedagogikk og kritikk. Dette tar vi med oss i arbeidet med å utvikle undersøkelsen videre.

Enkelte av innvendingene ble også fremmet av andre etter at Studiebarometeret 2019 ble lansert i februar 2020, og er også besvart tidligere. I kjølvannet av dette ble det gjennomført et seminar i november 2020 hvor veien videre for Studiebarometeret ble diskutert. Siden har NOKUT lyst ut en evaluering av undersøkelsen. Hensikten med denne er å gjøre Studiebarometeret mer relevant for institusjonene og deres kvalitetsarbeid.

Det er Faugert (en del av Technopolis Group) som vil gjennomføre evalueringen og den vil ferdigstilles i juni 2022. Høyskolene og universitetene vil i vinter bli involvert i evalueringen, og vi håper at alle svarer på henvendelsene de får fra Faugert/Technopolis. Dette er en god mulighet til å påvirke veien videre for Studiebarometeret.

Studiebarometeret dekker flere formål

Da Studiebarometeret ble til i 2013, var det flere formål som skulle dekkes:Det skulle gi informasjon om studiekvalitet til studiesøkere, det skulle brukes av institusjonene i kvalitetsarbeidet og være tilgjengelig for forskning, media og forvaltningen.

I tillegg hadde NOKUT i mandatet at resultatene skulle publiseres i en portal, og at dette blant annet skulle fungere som et verktøy for å sammenlikne studieprogrammer for studiesøkere. Dette har påvirket hvordan resultatene blir framstilt på studiebarometeret.no.

Tematisk bred undersøkelse

Vi har forsøkt å unngå et for langt spørreskjema, da dette både kan føre til at færre svarer og at flere av de som svarer, hopper av skjemaet underveis. Med bakgrunn i dette er det ikke mulig å dekke hvert område detaljert med mange spørsmål. Vi har derfor valgt en løsning med relativt få og ganske generelle spørsmål om hvert av kvalitetsområdene våre.

Spørreskjemaet er også påvirket av formålene nevnt over. Blant annet har formålet med publisering av resultater i en portal gjort differensiering av spørreskjemaet vanskelig, basert på for eksempel fagfelt eller studienivå. Utvalget av studenter har også påvirket innholdet i spørreskjemaet. I samarbeid med institusjonene ble det bestemt at studenter i andre og femte studieår skulle svare på undersøkelsen. Hva disse studentene har forutsetning for å svare på, påvirker derfor hvilke spørsmål som stilles.

I tillegg har vi en referansegruppe som består av representanter fra institusjonene, forskningsinstitutter, studenter og arbeidslivet. Nesten hver gang vi foreslår å ta ut spørsmål vi mener er mindre relevante eller gode, får vi henvendelser fra institusjoner som ønsker at spørsmålene skal beholdes. Vi får også tilbakemeldinger fra faglig ansatte som bruker resultatene fra Studiebarometeret, sammen med andre kilder, til å utvikle kvaliteten i studieprogrammene.

Sier noe om studiekvaliteten

Det er ikke gitt at forutsetningene som ligger til grunn i dag skal være med videre. Vi synes derfor det er spennende med innspill som utfordrer disse. Vi opplever at forfatterne trekker et skille mellom generelle spørsmål som i stor grad handler om studieprogrammenes rammevilkår (eller spørsmål om infrastruktur som forfatterne kaller det), som de har rett i at Studiebarometeret primært består av i dag, og spørsmål som i større grad går inn i kjerneaktiviteten, nemlig læringen i et studieprogram.

Vi er ikke enige med forfatterne at rammevilkårene, og studentenes opplevelse av disse, ikke har noe med studiekvalitet å gjøre. Vi er imidlertid enige i at det ikke er så enkelt som at et tilsynelatende dårlig resultat på et enkeltspørsmål, i seg selv betyr at kvaliteten er dårlig. Det er viktig å se flere ting i sammenheng før man trekker konklusjoner. Derfor anbefaler vi at man bruker resultatene som et utgangspunkt for dypdykk ned i enkelttemaer, hvor man også trekker inn andre kilder. Dette vet vi gjøres på flere av institusjonene. Med jevne mellomrom gjør også vi slike dypdykk.

I innlegget vises det blant annet til hvordan spørsmålene om tidsbruk påvirkes av helt andre forhold enn god læring. Dette er også noe vi selv har trukket fram i analyseprosjektet Rom for mer læring. Her fant vi at en viktig faktor som påvirket tidsbruken til studentene, var hvordan de oppfattet forventningene som ble stilt til dem fra underviserne.

I dette prosjektet fant vi også ut at studenter i ulike fagdisipliner responderte ulikt på undervisernes forventninger. Her kommer vi inn på at annet punkt som forfatterne trekker fram, det at det ikke alltid gir mening å sammenlikne studieprogrammer i ulike fag, og de trekker fram skillet mellom profesjons- og disiplinfag som et eksempel.

Vi tror en differensiering av deler av spørreskjemaet kan styrke undersøkelsen. Forutsetningen er imidlertid at det på nasjonalt nivå kan trekkes tydelige og enkle skiller mellom slike grupper. Samtidig er Studiebarometeret en nasjonal undersøkelse som sendes til over 70 000 studenter på 1 800 studieprogrammer, og det er derfor begrensninger på hvor faglig spisset undersøkelsen kan bli.

Lite som tyder på at manipulasjon påvirker i vesentlig grad

Forfatterne kommer også med noen metodiske innvendinger. De viser for eksempel til en rekke forskningsartikler som viser hvordan studentevalueringer kan manipuleres. Vi er klar over disse utfordringene og anerkjenner at dette også kan påvirke resultater i Studiebarometeret, som i andre studentevalueringer.

Samtidig mener vi denne kritikken ikke er fullt så treffende på undersøkelser som Studiebarometeret, hvor studentene blir bedt om å vurdere hele studieprogrammet, ikke bare en undervisningstime eller et emne. Forskningsartiklene som forfatterne viser til, dreier seg i hovedsak om studentevalueringer av undervisning og undervisere på emnenivå.

Vi har gjort enkle undersøkelser av enkelte av disse metodiske innvendingene. Vi har ikke funnet ting som tyder på at manipulasjon har påvirket svarene i vesentlig grad. Vi har imidlertid ikke gjort omfattende undersøkelser på dette og er også klar over at andre faktorer påvirker.

Til slutt vil vi minne om at all data fra Studiebarometeret er gjort tilgjengelig for forskning hos NSD – Norsk senter for forskningsdata. Det er derfor fullt mulig for forskere å undersøke slike forhold nærmere.

Del med andre