Bruk av kilder i kvalitetsarbeid

Norske universiteter og høyskoler er pålagt å ha et internt kvalitetssikringssystem, som NOKUT fører periodisk tilsyn med hvert 6.–8. år. Vi har undersøkt hvordan utdanningsinstitusjoner bruker kilder for å dokumentere kvalitetsarbeidet sitt. 

Vi var interesserte i to spørsmål:

  1. Hvilke typer kilder finner vi i institusjonenes dokumentasjon?
  2. Hvordan er kildene koblet til institusjonens kvalitetsområder?

Datamaterialet kommer fra fem institusjoner som var en del av NOKUTs periodiske tilsyn som ble gjennomført i 2020.

  • Norske universiteter og høyskoler er pålagt å ha et internt kvalitetssikringssystem, som NOKUT fører periodisk tilsyn med hvert 6.–8. år. Gjennom disse tilsynsprosessene dokumenterer institusjonene sitt systematiske kvalitetsarbeid, blant annet gjennom ulike kilder som spørreundersøkelser, maler, strategiske planer osv. (se Studiekvalitetsforskriften §2-1. Krav til systematisk kvalitetsarbeid). I dette prosjektet undersøkte vi hvordan utvalgte utdanningsinstitusjoner bruker kilder for å dokumentere sitt kvalitetsarbeid. Vi var interesserte i to spørsmål:

    1. Hvilke typer kilder finner vi i institusjonenes dokumentasjon?
    2. Hvordan er kildene koblet til institusjonens kvalitetsområder?


    I det første spørsmålet undersøkte vi de ulike kildetypene institusjonene har brukt, og hvordan kildene skiller seg fra hverandre. I det andre spørsmålet så vi nærmere på institusjonens håndtering av kilder, ved å undersøke hvordan institusjonen knytter kildene til et konkret kvalitetsområde (for eksempel inntakskvalitet, relevanskvalitet, undervisningskvalitet). Institusjonene har ofte selvdefinerte kvalitetsdimensjoner. Dimensjonene varierer mellom institusjonene i antall og i hvordan de beskrives, selv om de kan bety det samme eller tilnærmet det samme i praksis (f.eks. inntakskvalitet = opptakskvalitet = kvalitet på rekruttering, informasjon og studentmottak). Et viktig poeng: Institusjonene anvender kilder for sitt eget kvalitetsarbeid, og ikke primært for et tilsyn.

  • Vi definerte "kilder" som alle dokumenttyper som institusjonene brukte for å dokumentere og legitimere sitt systematiske kvalitetsarbeid. Fra den innsendte dokumentasjonen klarte vi å skille mellom primær- og sekundærkilder. Primærkilder danner rådata, for eksempel evalueringer, undersøkelser, kartlegginger, etc. Dokumenttyper som prosesserer disse dataene, som møtereferater eller overordnete rapporter på forskjellige organisasjonsnivå, betegnes som sekundærkilder.

    De fleste kildene var relatert til den interne, skriftlige kommunikasjonen eller til kommunikasjonen mellom institusjonen og eksterne organisasjoner (f.eks. utviklingsavtaler med Kunnskapsdepartementet). Kildene kan være interne (f.eks. noen typer evalueringer) eller eksterne og lagt ut på institusjonens nettside (f.eks. strategiplaner og organisasjonskart). Kildene hadde ulike formål og kom i forskjellige formater. Det fantes minst fem kategorier som kildene kan plasseres i:

    1. “Genererende” kilder (som vi definerer som primærkilder) som samler data om utdanningstilbudet og institusjonens prestasjon (f.eks. periodiske evalueringer av studietilbud, Studiebarometeret, sensorrapporter, etc.).
    2. Kilder av “informerende” og “refererende” art (f.eks. PowerPoint presentasjoner, møtereferater, etc.) brukes for skriftliggjøring og dokumentasjon av interne avtaler og møter.
    3. Andre kilder har som formål å standardisere og formalisere interne rutiner og prosesser (f.eks. retningslinjer, maler, vurderingsordninger, etc.).
    4. Et fåtall kilder er “visualiserende”, dvs. at de reduserer organisasjonskompleksiteten gjennom kart og avbildninger.
    5. “Planleggende” kilder som utvikler og representerer institusjonens ambisjoner og mål (f.eks. strategiske planer og årsrapporter).


    Disse kategoriene er ikke tydelig avgrenset. Noen kilder kan være både informerende og veiledende (f.eks. ansvars- og rolleavklaring). Tabell 1 viser en oversikt over de ulike kategoriene, basert på den innsendte dokumentasjonen:

    Tabell 1: Kildetyper
    Kildetype Kategori Formål Eksempler
    Primær Genererende Kilder med formål om å måle og produsere data om utdanningstilbudet og institusjonens prestasjon Periodisk studieprogramevaluering, Studiebarometeret, SHoT, underveisevaluering, sluttevaluering, sisteårsundersøkelse, sensorrapport, fagfellevurdering
    Sekundær Beskrivende Kilder med formål om å informere om tidligere møter og avtaler og som bidrar til intern skriftlig kommunikasjon Møtereferat/protokoll, e-post, tilstandsmelding, stillingsutlysning, PowerPoint presentasjon, styresak, avtale, FS (f.eks. studentdata), orientering, vedtaksnotat, velkomstbrev
    Sekundær Visualiserende Kilder med formål om å avbilde interne organisasjonsstrukturer og tidsrammer Årshjul, organisasjonskart, skjermdumper av f.eks. nettsider
    Sekundær Veiledende Kilder med formål om å standardisere og formalisere interne rutiner og prosesser Kvalitetssystem, kvalifikasjonsrammeverk, kvalitetshåndbok, retningslinjer, evalueringsskjema, ansvars- og rolleavklaring, rutiner, reglement, maler, vurderingsordning, beslutningsgrunnlag, merriteringsordning
    Sekundær Planleggende Kilder med formål om å utvikle institusjonens mål og reflektere over institusjonens samlete progresjon Handlingsplan, strategiplan, årsplan, årsrapport, aktivitetsplan, utviklingsavtale

    NB: Denne tabellen er ikke uttømmende; ikke alle kildetyper institusjonene har sendt er oppført her.

  • Datamaterialet vårt kommer fra fem institusjoner: Høyskolen Kristiania (HK), Høgskolen i Molde (HiM), Høgskolen i Østfold (HiØ), Høgskulen i Volda (HVO), og Samisk høgskole (SH). Disse institusjonene har vært en del av NOKUTs “Prosjekt 3”-tilsyn (P3) som ble gjennomført i 2020. Tabell 2 gir en oversikt over antall studenter og ansatte ved disse institusjonene.

    Tabell 2: Antall studenter og ansatte ved P3-institusjoner
    Høgskolen i Molde Høgskolen i Østfold Høgskulen i Volda Høyskolen Kristiania Samisk høgskole
    Studenter 2 900 7 800 4 500 13 299 173
    Ansatte (administrative, vitenskapelige og tekniske) 230 570 351 494 37

    Kilde: tall fra DBH / institusjonen (2019/2020)

  • Styringskvalitet defineres i kvalitetshåndboken og er et av de åtte kvalitetsområdene som høyskolen har definert for å sikre at kvalitetssystemet er dekkende ut fra både myndighetskrav og høyskolens egne målsettinger. Ifølge høyskolen betegner styringskvalitet “høyskolens evne til å styre kvalitetssikring og kvalitetsutvikling av egen virksomhet.” (Kvalitetshåndbok 2019, s. 5). God styringskvalitet oppfattes som en viktig del av et balansert forhold mellom formelt og uformelt kvalitetsarbeid og defineres av åpenhet og transparens.

    Sentrale kvalitetsindikatorer som er knyttet til styringskvalitet er ledelsesforankring, mål- og planstruktur, rapportering og råd og utvalg. Disse indikatorene, med måltall og resultater, er tilgjengelige for alle ansatte gjennom kvalitetsportalen. Informasjons- og dataflyt spiller en sentral rolle i videreutviklingen av høyskolens styringskvalitet, og høyskolen har stort fokus på databehandling (Compilo / Power BI). Ifølge kvalitetshåndboka er oppfølgingspunkter for høyskolens styringskvalitet: kvalitetsindikatorer, opplæringsprogram, prosesser og rutiner, utvalg og råd og faglig organisering.

    Det er mest sekundærkilder som danner grunnlaget for institusjonens styring. Det utarbeides en rekke sekundærkilder i form av rapporter på forskjellige organisasjonsnivå som skal belyse styringskvalitet. Det finnes årsrapporter fra ulike råd og utvalg (høyskoleledelsen, Læringsmiljøutvalget (LMU), Undervisningsutvalget (UUV) og Lokalt Organ for Kvalitet i Utdanningen (LOKUT)); årsrapporter fra administrative enheter; årlige kvalitetsrapporter fra studieprogramleder; årlige kvalitetsrapporter fra dekaner; en samlet, årlig kvalitetsrapport for høyskolen. Tabellen nedenfor viser flere detaljer og hvilken funksjon de ulike kildetypene har i institusjonens kvalitetsarbeid:

    Tabell 3: Eksempler på kildetyper og kildenes funksjon – Høyskolen Kristiania
    Eksempler på kildetyper Kildenes funksjon
    Kvalitetsrapport 2018 Understreker viktigheten med styringskvalitet som eget kvalitetsområde (for eksempel pga. fusjoneringer) | Gir en utfyllende beskrivelse av styringskvalitet; presiserer rapporteringslinjer, prosesser og rutiner | Peker ut arbeidet og rapporteringer fra LOKUT, UU, Råd for samarbeid med arbeidslivet (RSA), Ansettelsesutvalg og LMU som viktige kilder for å heve styringskvalitet
    Rapporteringsmaler på school-nivå* Brukes for å strukturere rapporteringer fra studieprogramledere, som tar utgangspunkt på sitt institutt med indikatorene under styringskvalitet
    Handlingsplaner kvalitet 2019 (eksempler fra instituttene) Definerer tiltak og baserer seg på: Innspill fra ledermøter for faglig koordinering (ukentlig / annenhver uke) som dokumenteres med referater (distribueres i instituttene); Tilbakemeldinger fra de administrative enhetene; Rapporteringer fra studieprogramnivå og fagevalueringer

    * Høyskolen Kristiania er organisert i fire akademiske avdelinger, kalt schools.

  • Læringsmiljøkvalitet er ett av seks kvalitetsområder i Høgskolen i Østfolds (HiØ) kvalitetssystem. De seks kvalitetsområdene skal dekke, og har betydning for, studentens læringsutbytte og skal systematisk vurderes innenfor hvert studieprogram/-tilbud. Læringsmiljø hos HiØ omfatter fysiske-, psykososiale-, organisatoriske-, digitale-, og pedagogiske forhold som ofte glir over i hverandre og virker inn på studentenes studiesituasjon. HiØs systembeskrivelse redegjør for 10 rapporter og/eller evalueringer som bruker ulike primær- og sekundærkilder i sin redegjørelse for læringsmiljøkvalitet. Vi har valgt å begrense presentasjonen ved å vise til de fire rapportene som utelukkende omhandler læringsmiljø.

    Læringsmiljøutvalgets årsrapport viser til primærkilder som Studentenes helse- og trivselsundersøkelse (SHoT), og HiØs avvikssystem «Si-ifra». Av sekundærkilder har denne rapporten også brukt Oxford Research sin rapport “Evaluering av ordningen med LMU». I tillegg viser de til skriftlige, men også uformelle/muntlige primærkilder eller «informanter» som innspill fra læringsmiljøkonsulent, fra avdelinger, ulike administrative og pedagogiske enheter og studentombudet. Disse kildene gir dem informasjon om alle de ulike dimensjonene av læringsmiljø. Evalueringen av fadderuken baseres på egne spørreundersøkelser besvart av studenter som har deltatt. I flere rapporter, som for eksempel kvalitetsrapport for HiØ og «Tilstandsmelding for HiØ», bruker de aktivt Studiebarometerets resultater som omhandler læringsmiljø. Tabellen nedenfor viser flere detaljer og hvilken funksjon de ulike kildetypene har i institusjonens kvalitetsarbeid:

    Tabell 4: Eksempler på kildetyper og kildenes funksjon – Høgskolen i Østfold
    Eksempler på kildetyper Kildenes funksjon
    Årsrapport – Læringsmiljø-utvalg Gir orienteringer (muntlige eller skriftlige kilder), informanter som miljøkonsulent, administrative enheter, SPUL og studentombudet. | Inneholder SHoT-undersøkelsen: kort redegjørelse om funn rundt psykiske plager og ensomhet ved HiØ. HiØ sammenlikner seg også med nasjonale skår. | Beskriver tilbakemeldings- og avvikssystemet Si-ifra: gjennomgang, kategorisering og analyse av alle henvendelser. Eksempel: hvor mange henvendelser var av organisatorisk, pedagogisk og fysisk art, osv. | Baserer seg på en ekstern rapport fra Oxford Research sin “Evaluering av ordningen med LMU". Her brukte de resultatene fra rapporten til å foreslå endringer i LMUs mandat.
    Evaluering av studiestartuka ("fadderuke") Viser svar fra: Spørreundersøkelse til studenter (alder, bosted, motivasjon for å begynne ved HiØ, campus-tilknytting, osv.); Spørreundersøkelse til ansatte ved HiØ som har deltatt. Tema også her er hvordan ansatte opplever informasjonen; Egenevaluering for prosjektgruppen.
    Kvalitetsrapport for HiØ Aggregerer informasjon om kvalitetsutviklingen og baserer seg på: Studiebarometeret som viser til gjennomsnittsskår på læringsmiljø ved HiØ, og sammenlikner seg med nasjonale skår; SHoT som viser til undersøkelsen og sammenlikner seg med nasjonale skår; Avvikssystemet Si-ifra som beskriver antall henvendelser som kommer inn. Sier litt om innholdet i henvendelsene; Avdelingenes kvalitetsrapport oppsummeres (også på kvalitetsområdet læringsmiljø).
    Tilstandsmelding for HiØ Opplyser om institusjonens tilstand og baserer seg på Studiebarometeret (sammenstiller skår og sammenlikner resultater på avdelingsnivå); læringsmiljø er et av temaområdene ("fysisk læringsmiljø / infrastruktur" og "faglig og sosialt læringsmiljø").

  • Programkvalitet er ett av åtte kvalitetsområder i HVOs kvalitetssystem. Ifølge høyskolen omfatter kvalitetsområdet kvaliteten på studieplanene, gjennomføringen av studiene og hvordan studieprogrammer er utformet for at studentene kan oppnå læringsutbyttet. Videre skal programmene ha relevant kobling til FoU-aktiviteter samt gjenspeile høyskolens overordnete strategi. Læringsutbyttenes definisjoner skal være styrende for utvikling av innhold, arbeidsmåter og vurderingsformer i emnene. Internasjonalisering defineres også som en viktig bestanddel av programkvalitet. På overordnet nivå er det spesielt Utdanningsutvalget som har et særskilt fokus på og ansvar for programkvalitet.

    I “Handlingsplan for kvalitet i utdanningane ved Høgskulen i Volda – 2019-2021" defineres det flere mål og tiltak i forbindelse med programkvalitet samt ansvarlige aktører og tidslinjer. Et mål er, for eksempel, at alle studieprogram skal ha naturlig integrerte og relevante internasjonaliseringskomponenter, også for studenter som ikke vil reise på utveksling. Dette målet iverksettes bl.a. med årlige møter mellom internasjonalt kontor og studieprogrammene, tilbakemelding og forslag til tekster om internasjonalisering i studieprogrammer, og at alle studieprogram bør tilby emner på engelsk dersom det er relevant. Disse tiltakene vurderes løpende av internasjonalt kontor, studieprogramansvarlige/studieledere, dekaner og emneansvarlige.

    Videre har høyskolen definert ulike kilder og indikatorer som skal utgjøre programkvalitet. En sentral kilde som angis av HVO er Studiebarometeret og emneevalueringer. Sentrale kilder i forbindelse med programkvalitet er avdelingsrapportene. Rapportene baserer seg på 1) tall på fagansatte med gjennomført kurs i pedagogisk basiskompetanse på avdelingen, 2) internasjonaliseringstall (inn- og utgående studenter), 3) resultater fra Studiebarometeret, 4) SHoT-undersøkelser og 5) innspill fra kvalitetsutvalget. Tabellen nedenfor viser flere detaljer og hvilken funksjon de ulike kildetypene har i institusjonens kvalitetsarbeid:

    Tabell 5: Eksempler på kildetyper og kildenes funksjon – Høgskulen i Volda
    Eksempler på kildetyper Kildenes funksjon
    Handlingsplan for kvalitet i utdanningane ved Høgskulen i Volda 2019–2021 Definerer mål, tiltak, ansvar og tidsrom i forbindelse med programkvalitet, eksempel: Mål: “HVO skal ha god utdanningsledelse på alle nivåer”; Tiltak: “Alle studieprogram skal ha en programansvarlig/studieleder”; Ansvar: “Dekanene”; Tidsrom: Løpende”
    Årsrapport for studiekvalitet 2018–2019 Sammenstiller avdelingens rapporteringer om programkvalitet; oppfører tilbakemeldinger fra emne- og studieprogramsvansvarlige og studenter som hovedkilde.
    Avdelingsvis rapport om studiekvalitet (eksempel: avdeling for samfunnsfag og historie) Definerer programkvalitet med: Tall på fagansatte med gjennomført kurs i pedagogisk basiskompetanse på avdelingen; Internasjonaliseringstall for ASH-studier; Resultat fra Studiebarometeret; Resultater fra SHoT-undersøkelsen; Tilbakemeldinger fra studentene i faggrupper for studiekvalitet, sporadiske tilbakemeldinger fra klasser, enkelte studenter til undervisere.

  • Kvalitetssystemet ved Høgskolen i Molde (HiM) definerer tre kvalitetsområder eller "satsningsområder":* 1) relevans og fremragende utdanninger basert på spennende forskning, 2) bærekraft, innovasjon og studenter med logistikkompetanse og 3) smart regional utvikling med levende studiesteder. Kvalitetsområdene understøttes av 18 tiltakspunkt, og høyskolen har videre knyttet dette til målepunkter på avdelingenes årsrapporter. Målepunktene er rammekvalitet, programkvalitet og resultatkvalitet. Som case fra HiM har vi valgt å se spesielt på det siste målepunktet "resultatkvalitet". Målepunktet inkluderer frafall, gjennomføring, strykprosent, kandidatproduksjon og samfunns- og arbeidslivsrelevans.

    HiM viser eksempel på at avdelingene redegjør for studiepoengproduksjon, gjennomføringsgrad og strykprosent og at de sammenlikner tallene med tidligere år. For noen av målepunktene sammenlikner de seg også med andre tilsvarende studier ved andre høyskoler (DBH). HiM redegjør også kort for resultatkvalitet på institusjonsnivå ved å vise til avdelingsrapportene og gjennomføringstall over et par år, både på bachelor- og masternivå. Andre relevante kilder knyttet til "resultatkvalitet" i kvalitetsrapporten er NOKUT-portalen og Tilstandsrapport for høyere utdanning 2019 (karakterfordeling). 

    HiM har egen kandidatundersøkelse som gjennomføres annethvert år. Undersøkelsen gir blant annet svar på hva kandidatene har som hovedaktivitet, hvor lang tid det gikk fra de var ferdige med graden til de kom i arbeid, hvor relevant de mener utdannelsen har vært for den stillingen de har, type ansettelsesforhold (fast eller midlertidig), stillingsprosent, inntekt og hvorfor de eventuelt ikke har fortsatt studiene ved høyskolen. Alle gradsgivende studieprogram skal evalueres hvert tredje år gjennom en relevansevaluering. Evalueringene skal skje i samarbeid med arbeidslivet. Tema for disse evalueringene skal være studieprogrammenes relevans og kandidatenes arbeidstilpasning. Kandidatundersøkelsen kan brukes som grunnlag for evalueringene. Tabellen nedenfor viser flere detaljer og hvilken funksjon de ulike kildetypene har i institusjonens kvalitetsarbeid:

    Tabell 6: Eksempler på kildetyper og kildenes funksjon – Høgskolen i Molde
    Eksempler på kildetyper Kildenes funksjon
    Årsrapport om studiekvalitet 2018/19 (avdelingens kvalitetsrapporter) Brukes for å vise: Gjennomføringsgrad og bruker data fra DBH med tall for fullført på normert tid / gjennomstrømming; Strykprosent (tall som rapporteres til DBH brukes); måler seg med gjennomsnittet i sektoren; Samfunns- og arbeidslivsrelevans: HiM har en egen kandidatundersøkelse som gjennomføres annethvert år (gjennomført i 2013, 2015 og 2017).
    Programårsrapporter Bruker statistikk, oppsummeringer og analyser fra møter i kvalitetsteam, kullmøter, emneevalueringer, Studiebarometeret, seksjonsmøter, eksterne parter i utviklingen av programmet.

    * HiM bruker kildene opp mot "målepunkter".

  • Opptakskvalitet er ett av seks kvalitetsområder, som det også rapporteres årlig om til styret for forskning og utdanning og høgskolens øverste styre. I Samisk høgskoles kvalitetssystem defineres opptakskvalitet som både formelle krav i forbindelse med opptak og opptakets resultater. Samisk høgskole mener at god opptakskvalitet er at høgskolen har tilstrekkelig med søkere og at søkernes forkunnskaper holder et høyt nivå. Opptakssystemet omfatter rutiner fra rekruttering til mottak av nye studenter. Gjennom arbeidet med dette kvalitetsområdet skal høgskolen systematisere og analysere nøkkeltall, og evaluere tiltak knyttet til arbeidet rundt opptak.

    Nøkkeltallene for opptakskvalitet innhentes fra DBH og sammenlignes med høgskolens opptak av studenter fra tidligere år, for å følge utviklingen for hvert enkelt studieprogram. Tallene brukes også til å følge alders-, kjønns- og demografisk sammensetning av studenter. Samisk høgskole har som mål å bruke informasjonen til å tilrettelegge for fleksible studier. Det er en ambisjon for høgskolen å utvikle et system for evaluering av oppstartsuka, men av hensyn til ressurser har ikke dette arbeidet blitt prioritert foreløpig. Videre har høgskolen innført et digitalt avvikssystem i 2019, hvor studentene kan melde avvik og gi tilbakemelding som også vedrører opptakskvalitet.

    Tabellen nedenfor viser flere detaljer:

    Tabell 7: Eksempler på kildetyper og kildenes funksjon – Samisk høgskole
    Eksempler på kildetyper Kildenes funksjon
    Årlig kvalitetsrapport Aggregerer informasjon fra: DBH, som brukes til å innhente nøkkeltall; Studentundersøkelser som tar for seg læringsmiljø.
    Årsrapport Aggregerer informasjon om andel kandidater som fullfører på normert tid.
    Spørreundersøkelser til videregående elever Får informasjon om samisk ungdom / ungdom i samiske kommuner; får kjennskap til Samisk høgskole og hva de vektlegger om de skulle søke seg til Samisk høgskole og hvilke studietilbud de ønsker; brukes til å øke synligheten av Samisk høgskole, for eksempel gjennom målrettet bruk av sosiale medier, åpen dag og skolebesøk.

  • Dette prosjektet hadde som formål å dypdykke ned i dokumentasjonen NOKUT får tilsendt gjennom tilsyn, og få større forståelse rundt hvordan akkrediterte høyskoler bruker ulike kilder. Vi var i utgangspunktet interessert i to spørsmål: Hvilke typer kilder finnes i institusjonenes dokumentasjon? og  Hvordan er kildene koblet til institusjonens kvalitetsområder?

    Vi valgte ut fem institusjoner fra normal tilsynsrunde i 2020 og har sett nøye på dokumentasjonen deres. Funnene våre viser blant annet at det kan skilles stort sett mellom to hovedkategorier:

    1. Primærkilder samler og danner i utgangspunktet ny data.
    2. Sekundærkilder er primært dokumenter med ulike formål som enten aggregerer data / funn fra primærkilder til videre analyse for å ha et beslutningsgrunnlag (for eksempel handlingsplaner), eller som regulerer kvalitetsarbeidet (for eksempel kvalitetshåndbøker).

    Alle dokumenter kan i utgangspunktet fungere som en kilde i et beslutningsgrunnlag og kildene brukes derfor på alle organisasjonsnivå. Vi ser også ved innsending av dokumentasjon til NOKUT, at noen krav dokumenteres mye grundigere enn andre, og at antallet kilder institusjonen bruker for å dokumentere sitt kvalitetsarbeid varierer betraktelig. En årsak kan være at kravene har vært utfordrende å operasjonalisere og forstå. Årsaken kan være at institusjonene enten overkompenserer (dvs. at de "pøser på" med dokumentasjon) eller at de legger ved for lite. Den deskriptive og kvalitative analysen av det innsendte materialet, samt erfaringene fra tilsynene peker også på følgende problemstillinger fremover når det gjelder institusjonens kildebruk:

    • Spenning mellom uformelt og formelt kvalitetsarbeid. Ifølge studiekvalitetsforskriften "§2-1. Krav til systematisk kvalitetsarbeid" skal institusjonene sikre tilfredsstillende dokumentasjon av kvalitetsarbeidet. Institusjonene har etablert mandater og maler for hva og hvordan man skal rapportere, og rapporteringen er i stor grad deskriptiv. Likevel, den uformelle, gjerne muntlige rapportering i kvalitetsarbeidet (korte sløyfer fra for eksempel student til studieprogram) er fortsatt en viktig og vesentlig bestanddel av institusjonens kvalitetssystem.

    • Styringskvalitet: mer behov for kvalitative data og analyser? I casene presentert over påpekte flere sakkyndige komiteer et behov for større systematikk og tydeligere definerte kvalitetsområder eller måleparametere. Samtidig har alle casene bestått §4-1-4 (systematisk innhenting av informasjon fra relevante kilder). Høyskolene har sannsynligvis ikke for lite kilder/data, men derimot mye data som ikke analyseres, eller som ikke kobles med hverandre på en effektiv måte. Våre funn og vurderinger fra den sakkyndige komite ved tilsynet ved Høyskolen Kristiania tyder på at de har utviklet en konstruktiv måte å håndtere denne utfordringen på. Høyskolen har definert styringskvalitet som et eget kvalitetsområde som syr sammen andre kvalitetsområder på en systematisk måte. Styringskvalitet og kildebruken i dette kvalitetsområdet arter seg derfor litt annerledes. Her er det større fokus på sekundærkilder som allerede inneholder og prosesserer analyser, basert på funnene fra primærkildene. Sekundærkildene brukes sånn sett i større grad til styring og organisasjonsutvikling.
       
    • Monokildebruk versus økosystem?Det siste aspektet henger tett sammen med måten kildene brukes og hvor viktig de er for det enkelte kvalitetsområdet. SHoT eller Studiebarometeret, for eksempel, er viktige kilder i en direkte vurdering av “læringsmiljøkvalitet”, men ikke like relevant for å belyse “styringskvalitet”. Et annet aspekt er at det virker som mye i dokumentasjonen NOKUT mottar er knyttet til samme type primærkilde, nemlig studentene. Selv om vi ser en stor variasjon av kilder generelt, ser det ut som institusjonene baserer seg mest på undersøkelser knyttet til studentens tilfredshet.