Evalueringer av utdanningskvalitet

Evalueringer er en del av NOKUTs arbeid med å sikre og fremme kvalitet i utdanning. Det er nedfelt i lov og forskrift at NOKUT skal gjennomføre evalueringer av betydning for å kunne bedømme kvaliteten i norsk høyere utdanning. NOKUT ivaretar evalueringsoppdraget gjennom nasjonale, komparative evalueringer av en gruppe studietilbud. Dette vil oftest være studieprogram innenfor et spesifikt fagområde, men NOKUT kan også gjennomføre tematiske evalueringer av utvalgte kvalitetsområder på tvers av fag.

Mål med NOKUTs evalueringer av utdanningskvalitet

NOKUTs evalueringer skal frembringe ny kunnskap om kvalitet i utdanning og bidra til videre kvalitetsutvikling. Hensikten med evalueringen er ikke å undersøke om utdanningsinstitusjoner oppfyller gjeldende krav i lov og forskrifter, men å identifisere utfordringer og god praksis, og gi anbefalinger om tiltak for kvalitetsutvikling. Evalueringsprosessen skal legge til rette for læring gjennom deling av erfaringer og kunnskap, og evalueringsresultatene offentliggjøres i en sluttrapport.

Rammer for NOKUTs eksterne evalueringsvirksomhet

Forutsetningene for NOKUTs evalueringer for å bedømme kvalitet er forankret i

NOKUTs eksterne evalueringsvirksomhet omfattes dessuten av nasjonalt rammeverk for evaluering av norsk forskning og høyere utdanning og skal dermed bidra til kvalitetsarbeid ved institusjonene, kunnskapsbasert policyutvikling, et godt kunnskapsgrunnlag for studiesøkere og samarbeidspartnere, tillit til høyere utdanning i befolkningen og åpenhet om bruk av offentlige midler.

NOKUTs arbeid med ekstern kvalitetssikring er også forankret i European Standards and Guidelines for Quality Assurance in the Higher Education Area (ESG 2015).

Med utgangspunkt i disse rammene har NOKUT utarbeidet prinsipper for vår eksterne evalueringsvirksomhet, som en del av vårt interne system for kvalitetssikring og kvalitetsutvikling. Disse prinsippene ble formelt innført i 2022.

Om evalueringsprosessen

NOKUT videreutviklet evalueringsmetoden sin gjennom arbeidet med Evalueringen av lektorutdanning for trinn 8–13. Vi gir her en oversikt over de viktigste elementene i evalueringer av utdanningskvalitet.

  • Hver evaluering utvikles i dialog med interessentene, for å legge til rette for at evalueringen skal være til nytte for dem. Dette betyr at hver evaluering har egne evalueringstema og evalueringsspørsmål eller kriterier som er tilpasset den aktuelle utdanningskonteksten. Interessentene kan for eksempel involveres gjennom:

       – Innspillsmøter om mulige evalueringstema

       – Referansegruppemøte om forslag til evalueringstema og evalueringsspørsmål

       – Høringsrunde om forslag til evalueringstema og evalueringsspørsmål

    Evalueringstema og evalueringsspørsmål publiseres på NOKUTs nettside og formidles til evalueringsdeltakerne før evalueringen settes i gang.

  • Sakkyndig komite

    Evalueringens vurderingsarbeid utføres av en sakkyndig komite, mens NOKUT har ansvar for evalueringsmetode og administrativ støtte.

    NOKUT skal sørge for at komiteen har en hensiktsmessig sammensetning, og den skal inkludere minst én student og minst én representant fra arbeids- eller samfunnsliv. NOKUT ber interessenter om innspill til komiteens sammensetning i evalueringens oppstartsfase og utdanningsinstitusjonene har mulighet til å uttale seg om forslaget til sakkyndig komite før de sakkyndige utnevnes.

  • Datagrunnlag

    Evalueringens datagrunnlag inkluderer institusjonenes selvevalueringer med dokumentasjon, digitale eller fysiske institusjonsbesøk, registerdata fra DBH, data fra Studiebarometeret, og eventuelt andre kvantitative og kvalitative data.

    Selvevalueringsskjemaet utvikles i dialog med interessenter. NOKUT ønsker at sentrale aktører tilknyttet studieprogrammet skal involveres i arbeidet med å svare på selvevalueringen. Den sakkyndige komiteen går gjennom selvevalueringene som en del av deres vurderingsarbeid.

    Komiteen følger opp selvevalueringene gjennom et fysisk eller digitalt institusjonsbesøk. Besøket går vanligvis over to dager, og komiteen intervjuer da sentrale aktører tilknyttet studietilbudet. Dette inkluderer for eksempel ledelse på programnivå og fakultets- eller avdelingsnivå, undervisere, administrativt ansatte, studenter og viktige eksterne samarbeidspartnere.

  • Den sakkyndige komiteen skriver evalueringens sluttrapport, støttet av NOKUT. Utkastet til sluttrapporten sendes til utdanningsinstitusjonene for gjennomlesing, og de har muligheten til å melde inn det de opplever som faktafeil, skrivefeil og misforståelser. NOKUT korrigerer deretter eventuelle feil før rapporten offentligjøres. Utdanningsinstitusjonene har også muligheten til å skrive en offentlig uttalelse om evalueringsrapporten. Uttalelsene legges frem for NOKUTs styre og publiseres sammen med evalueringsrapporten. Utdanningsinstitusjonene har også rett til å klage på evalueringsrapporten på bakgrunn av feil knyttet til NOKUTs prinsipper for ekstern evalueringsvirksomhet (pdf).


Illustrasjon av prosessen

Illustrasjon av prosessen

Institusjonelt handlingsrom til å tilpasse lokale periodiske evalueringer til nasjonale evalueringer i regi av NOKUT

NOKUT er klar over at institusjoner kan ha planlagt å gjennomføre lokale periodiske evalueringer i samme periode som studietilbud deltar i en nasjonal evaluering, og at dette kan medføre ekstra arbeidsbelastning for institusjonene. Ifølge Kunnskapsdepartementets studiekvalitetsforskrift § 2-1 andre ledd skal institusjonene gjennomføre periodiske evalueringer av alle studietilbudene sine. NOKUT vil understreke at det er institusjonene selv som har ansvar for å gjennomføre periodiske evalueringer av alle studietilbudene sine* og at den nasjonale evalueringen ikke kan erstatte institusjonenes periodiske evalueringer. Likevel har institusjonene handlingsrom til å tilpasse sine periodiske evalueringer til de nasjonale evalueringene som gjennomføres av NOKUT.

* I studiekvalitetsforskrift § 2-2 fjerde ledd heter det at NOKUT skal gi forskrift om tilsyn med institusjonenes kvalitetsarbeid og disse bestemmelsene skal være i tråd med kravene i ESG (europeiske standarder og retningslinjer for kvalitetssikring i høyere utdanning). ESG slår fast at det er institusjonene selv som skal gjennomføre periodiske evalueringer av alle studietilbudene sine (jf. ESG-standard 1.9).

Handlingsrom og tilpasninger

Nedenfor redegjør vi for hvilket handlingsrom som ligger i forskriften, og hvilke tilpasninger som kan være aktuelle for institusjonene som skal gjennomføre periodiske evalueringer samtidig som et eller flere studietilbud deltar i en nasjonal evaluering.

  • Våren 2022 gjennomførte NOKUT en gjennomgang av tilsynsrapportene for å se hvordan institusjonene bruker handlingsrommet som ligger i studiekvalitetsforskriften § 2-1 andre ledd. Tilsynene viser at institusjonene har ulike tilnærminger til kravet og har laget forskjellige typer ordninger. I noen tilfeller vil de lokale kravene som institusjonene selv stiller til sine periodiske evalueringer kunne medføre overlapp og ekstra arbeidsbelastning for utdanningene når de deltar i en nasjonal evaluering. I slike tilfeller mener NOKUT at studiekvalitetsforskriften § 2-1 andre ledd gir institusjonene handlingsrom til å lage lokale tilpasninger for å unngå dobbeltarbeid, så lenge de sørger for at de oppfyller alle kravene i forskriften.[1]

    NOKUT vil særlig fremheve følgende punkter:

       – Det stilles ikke nasjonale krav til hvordan institusjonene skal innrette sine periodiske evalueringer. Institusjonene kan velge å bruke resultatene fra evalueringene til å kontrollere at studietilbudene ved institusjonen driftes i henhold til gjeldende regelverk (jf. studietilsynsforskriften § 4-1 tredje ledd), eller for å systematisk innhente et eksternt blikk på studietilbudets kvalitet – ut over de minstekravene som stilles i gjeldende regelverk (jf. studietilsynsforskriften § 4-1 fjerde ledd). Så lenge representanter fra arbeids- eller samfunnsliv, studenter og eksterne sakkyndige som er relevante for studietilbudet har reell medvirkning, kan institusjonene innrette sine periodiske evalueringer på ulike måter.

       – Studiekvalitetsforskriften § 2-1, andre ledd, spesifiserer heller ikke noen tematikk for institusjonenes periodiske evalueringer. Institusjonene kan i prinsippet velge å fokusere på ulike tema i sine evalueringer eller endre på temaer for å ta hensyn til en ny kontekst eller situasjon.

       – Det stilles ikke nasjonale krav til når periodiske evalueringer må gjennomføres og det spesifiseres heller ikke tidsintervall. Så lenge institusjonene gjennomfører periodiske evalueringer ofte nok for å vedlikeholde og utvikle kvaliteten i studietilbudet sitt,[2] kan institusjonene i prinsippet endre på tidsintervall og rekkefølge på sine evalueringer.

    [1] Vi viser til NOKUTs veiledning til kravene i universitets- og høyskoleloven, studiekvalitetsforskriften og studietilsynsforskriften til kvalitetsarbeid (2022, s. 8)

    [2] I Kunnskapsdepartementets merknad til bestemmelsen i §2-1 andre ledd står det at hvor ofte slike evalueringer bør gjennomføres er avhengig av hva som kreves for å vedlikeholde og utvikle kvaliteten i studietilbud.

  • Institusjonene som planlegger å gjennomføre periodiske evalueringer av et studietilbud som samtidig deltar i en nasjonal evaluering kan bruke handlingsrommet beskrevet ovenfor for å utnytte arbeidet med den nasjonale evalueringen i sine periodiske evalueringer. Da kan følgende alternativer være aktuelle:

    1. Koordinere den periodiske evalueringen av det aktuelle studietilbudet med den nasjonale evalueringen
      I tilfeller der det er planlagt en periodisk evaluering av det aktuelle studietilbudet samtidig som den nasjonale evalueringen skal gjennomføres, kan institusjonen vurdere temaene som skal tas opp i den periodiske evalueringen i lys av de temaene som inngår i den nasjonale evalueringen.
    2. Supplere den periodiske evalueringen av det aktuelle studietilbudet med den nasjonale evalueringen
      Institusjonen kan også velge å supplere sin periodiske evaluering med datamateriale og dokumentasjon (f.eks. institusjonens selvevaluering) eller resultater fra den nasjonale evalueringen.
    3. Utsette den periodiske evalueringen av det aktuelle studietilbudet
      De nasjonale og periodiske evalueringene vil i mange tilfeller kunne supplere hverandre, men de kan også medføre ekstra arbeidsbelastning for studietilbudene når de skjer i samme tidsrom. I slike tilfeller kan institusjonen vurdere å utsette sin periodiske evaluering av det aktuelle studietilbudet.

    Her ønsker vi å understreke to forhold:

       – Når NOKUT fører tilsyn med institusjonenes kvalitetsarbeid, må institusjonene kunne redegjøre klart og tydelig hvorfor de har gjort avvik fra egen rulleringsplan, der et studietilbud ikke blir periodisk evaluert som planlagt.

       – Institusjonene må også passe på at en slik tilpasning ikke reduserer antallet periodiske evalueringer på en drastisk måte over tid, noe som igjen kan bety at de ikke oppfyller studiekvalitetsforskriften § 2-1 andre ledd.

Oversikt over alle eksterne NOKUT-evalueringer