Sammendrag
Desentralisert ordning for kompetanseutvikling er en nasjonal strategi for lokal skoleutvikling (Kunnskapsdepartementet, 2017). Dette paradigmeskiftet er fra nasjonal styring av skoleutvikling til lokal samhandling for skolebasert kvalitetsutviklingsarbeid. Studien spør om hvordan skoleledere og PPT kan arbeide forskningsorientert og kunnskapsbasert med kvalitetsutvikling i skoler. Hensikten er å utforske en modell som støtte i arbeidet for systematisk kvalitetsutvikling. Datagrunnlaget er innhentet i et prosjekt med 94 deltagere som møttes gjennom åtte samlinger i seks måneder. Deltagerne var skoleledere og ledere i PPT fra seks kommuner, samt to forskere fra et lokalt universitet. Det gjøres en tema- og kontekstanalyse av logger fra observasjoner, intervjuer og dokumenter. Det rapporteres om at anvendelse av kvalitative metoder er viktige for å frambringe ny kunnskap i skoleorganisasjonen. Funn peker på at medskaping i lærende møter i laget rundt elevene ikke bare er å mene noe, men at praksisnær kunnskap er innhentet ved hjelp av observasjon, logger og lytting. Funnene understreker betydningen av en modell som støtte for å strukturere lærende samtaler for kvalitetsutvikling. Modellen som er prøvd ut og omtales som triangulert analysemodell anbefales for å lykkes med systematisk kvalitetsutvikling i laget rundt elevene. Modellen bidrar med å reflektere ut fra opplæringens verdigrunnlag, vurdere og videreutvikle praksis.

Keywords: forskningsorientert skoleutvikling, aksjonsforskning, lokal samhandling, triangulert analysemodell

Innledning
Denne artikkelen bygger på et seks måneders prosjekt for å forske fram en ny modell for forskningsorientert og kunnskapsbasert skoleutvikling i skolers små og store fellesskap. Prosjektet ble gjennomført som et samarbeidprosjekt mellom seks kommuner som skoleeiere og to forskere fra et lokalt universitet. Aksjonsforskningsmodellen fikk tilnavnet triangulert analysemodell og ble utformet og anvendt som en aksjonsforskningsstrategi for profesjonsfellesskap basert på kvalitetsvurderingssystemet i Meld. St. 21 (2017). Prosjektets 94 deltagere var fra ungdomsskoler, 1- 10 skoler, barneskoler, en spesialskole, ledere i Pedagogisk Psykologiske tjenester (PPT) og seks kommunalsjefer som skoleeiere. Ved å arbeide med aksjonsforskning i en kvalitetsmodell med fem faser fikk deltagerne kunnskap og ferdigheter med å innhente data med kvalitative forskningsmetoder, vurdere og utvikle kvalitet i skolens praksis.

I forbindelse med nytt Læreplanverk for Kunnskapskløftet (2020) er det gitt skoleeiere et nytt ansvar og handlingsrom for lokal kvalitet- og kompetanseutvikling (Kunnskapsdepartementet, 2017). Nasjonale myndigheter beskriver i Meld. St. 21 Lærelyst- tidlig innsats og kvalitet hvordan nasjonalt nivå vil støtte og stille krav til lokal kompetanseutvikling. Målet er at alle skoler og kommuner, gjennom samarbeid med universiteter og høyskoler, skal ta ansvar for handlingsrommet til å drive lokal kvalitetsutvikling. Lokale skolemyndigheter skal arbeide systematisk for å bedre elevenes læringsmiljø og læringsutbytte i alle fag (ibid, s. 85) og kompetanseutviklingen skal være forskningsorientert og kunnskapsbasert (ibid, s.86). Departementets bidrag med ressurser er regulert i tilskuddsordningen «Desentralisert ordning for kompetanseutvikling(dekomp)».

Universitetet og skolene i regionen hadde lang tradisjon med å samarbeide om skoleutvikling, men oftest i form av tidsbegrensede nasjonale satsinger som Ungdomstrinn i Utvikling (UiU), Kompetanse for mangfold, Veiledningskorps, Vurdering For Læring, Bedre skolemiljø, Kompetanse for kvalitet, Språkløyper og Realfagsatsingen. Å gå fra tidsbegrensede prosjekter til et langvarig partnerskap med gjensidig ansvar utløste et behov for et kunnskapsgrunnlag for samhandlingen. I delrapporten (Markussen, Carlsten, Seland Sjaastad, 2016), sluttrapport 1 (Postholm, Normann, Dahl, Dehlin, Engvik og Irgens, 2017) og sluttrapport 2 (Lødding, Gjerustad, Rønsen, Bubikova-Moan, Jarness og Røsdal, 2019) fra satsningen Ungdomstrinn i Utvikling 2012-2017 vises det til funn og anbefalinger for lokal skoleutvikling. Gjennom både kvantitative og kvalitative undersøkelser viser evalueringene betydningen av systematisk skoleutvikling og utvikling av skolen som en lærende organisasjon. Virkemidlene er satsning på skolebasert kompetanseutvikling og lærende nettverk.

Profesjonsfellesskap er både team i skolen, samarbeid med PPT og foreldre, lederfellesskap i kommunen og på tvers av kommunene. I Læreplanverket for Kunnskapsløftet av 2020 står det at verdier skal oppleves av elevene og komme til syne i skolens praksis. Skoler med høye bidrag til elevenes faglige og sosiale læring ser ut til å systematisk kunne vurdere god kvalitet og videreutvikle praksis. Flere studier har undersøkt hvordan skoler kan arbeide i lærende fellesskap for å utvikle kompetanse om kvalitet. Undervisningsvurderinger skal kunne gjennomføres som samhandling i laget rundt elevene og læreren (Leithwood & Seahore-Louis, 2012; Hargreaves & Fullan, 2012; Irgens 2010) og videreutvikling av praksiser skal være til for å forbedre elevresultater og læringsmiljø. Studiene viser sammenhenger mellom kultur for læring og ledelse av læring i lærende praksisfellesskap. Intensjonene i nytt læreplanverk fra 2020 vil ivareta elevenes medvirkning i vurderingen for kvalitetsutvikling, og tidligere studier vier lite oppmerksomhet til skoleutvikling med deltagerinvolvering i vurderingsprosessen. Artikkelen søker å bidra til forskningsfeltet om systematisk kvalitetsutvikling i samhandlingen i laget rundt elevene.

Forskerne i prosjektet hadde fått i oppdrag å utarbeide et utkast til en aksjonsforskningsmodell som skulle ivareta verdier og prinsipper for grunnopplæringen i tråd med nytt Læreplanverk for kunnskapsløftet fra 2020. Modellen ble godkjent av skoleeierne som lokale aktører med ansvar for lokal kompetanseutvikling i prosjektet. Hensikten er å utforske en modell som støtte i arbeidet for systematisk kvalitetsutvikling i samhandlingen i laget rundt elevene i tråd med opplæringens verdigrunnlag. I analysen vektlegges aspekter ved lokal kompetanseutvikling som danner grunnlaget for artikkelens forskningsspørsmål hvordan kan vi arbeide forskningsorientert og kunnskapsbasert med skolens gode praksiser?

Med forskningsorientert menes det i denne sammenhengen deltagernes arbeid med å innhente data ved å anvende kvalitative forskningsmetoder. Forskningsmetoder er systematiske og planmessige framgangsmåter som brukes for å innhente pålitelig kunnskap. Å innhente pålitelig kunnskap som grunnlag for å gjøre en analyse og vurdere blir lagt til grunn for å utforske bruk av modellen. Begrepet triangulering er for å bedre forstå betydningen av et rikt datagrunnlag for å gjøre en analyse og kunne vurdere. Innhentet data skal kunne belyse en situasjon eller praksis ut fra to eller flere punkt. Opplæringens verdigrunnlag er i artikkelen henvist til som ny overordnet del med verdier og prinsipper for grunnopplæringen fra 2020 (LK20). Kapitler som blir belyst fra verdier er menneskeverd, fra kapittelet med prinsipper er det grunnleggende ferdigheter og kapittelet om prinsipper for skolens praksis belyses profesjonsfellesskap og skoleutvikling.

Aksjonsforskning for forskningsorientering og kunnskapsutvikling
Aksjonsforskning er en systematisk undersøkelse av egen praksis med et ønske om å forbedre den. Det handler om å bli bedre i det du skal gjøre som profesjonsutøver uansett om det er lærer, sykepleier, lege eller psykolog. Individet handler inn i samfunnet og bidrar med dette til «the social stock of meaning» (Berger & Luckmann, 1967). Fakta blir ikke avdekket av vitenskapen, men bidrar med mulige svar til et spørsmål som er reist. Selvrefleksjonens plass i forskningstilnærming handler ikke om å bygge opp teori for å anvende, men å bygge opp kunnskap for å forstå den. Sagt ved å referere til Wittgenstein (1997, s.78) … problemer blir ikke løst ved å framskaffe ny empiri, men å sammenstille det som for lengst er kjent. For at skolefolk skal kunne reflektere over verdier i egne praktiske handlinger og kunne forbedre praksiser, betinges av felles forståelse, og enighetskontekst. Som kjent er ikke språket et presist verktøy, og kommunikasjon kan bli spesielt utfordrende når mennesker bærer med seg ulike meninger inn i sosiale interaksjoner. Gjennom språkets interpersonelle og relasjonsskapende funksjoner kan verdier via språket «in action» tales fram som bevisstgjørende for etiske spørsmål.

Å lære ved å analysere sensoriske data i aksjonsforskningsprosesser vil være å innhente informasjon og data ved å sanse og «fange» opplevelser. Å utforme spørsmål for aksjonsforskningsprosesser som fører til at deltagerne får innsikt i det de trenger å få kunnskap om beskrives som en nøkkelfaktor (Coghlan & Rigg, 2012). Det er ikke en løsning i seg selv som endrer, men å utforske og reflektere i felleskap. De sensoriske data som innhentes via å se, lytte, lukte og dermed sanse og erfare kan innhentes som data i en lærende prosess for å optimalisere og endre praksiser i organisasjoner. I nyere forskning om skolebasert kompetanseutvikling anses det som viktig å utvikle kompetanse om å jobbe med systematiske utviklingsprosesser (Lysne & Postholm, 2018).

Forskningskompetanse av høy kvalitet og relevans for utviklingsprosesser er nødvendig for å sikre en solid kunnskapsutvikling om og for skoler. Hope & Grimsæth (2016, s. 75-80) har gjort sentrale funn som understøtter at lærere og skoleledere synes det er vanskelig å mestre kvalitative metoder for innhenting av kvalitative data ved observasjon som forskningsmetode. Lærerne i denne studien hadde en sterk tendens til å vurdere læreren som underviste og ikke elevenes læringsutbytte som et resultat av undervisningen. Det vil være viktig for fortolkningene og analysen at grunnlaget kan bringe innsikt som bidrar til å generere handlingsbar kunnskap. Å utforske ved å innhente data ved flere kvalitative forskningsmetoder vil bidra med ulike utsiktpunkter i fortolkning- og analyseprosessen som del av læringen. Det blir forklart som triangulering med henvisning til metodetriangulering (Røykenes, 2009). Innhentet data representerer to eller flere synsvinkler som grunnlag for analyse og vurdering for læring. Weiss (2019) beskriver i sin studie om dialoger som struktureres i faser kan hjelpe praksisfellesskap med refleksiv praksisforståelse. Dette bevitnes i andre nordiske studier om lærende prosesser for skoleutvikling (Dudley, 2015; Hallås & Grimsæth, 2016; Munthe, Bjuland og Helgevold, 2015; Olsen & Wølner, 2017, s. 95).

I en systematisk læreprosess vil deltagernes erfaringer og opplevelser gi datagrunnlag i læreprosessen. Datagrunnlaget innhentes ut fra forskningsmetodiske prinsipper for å kunne bidra til en «forsknings-turn» i læringsarbeidet. Læreprosesser i organisasjoners kollektive fellesskap er ofte tilknyttet organisatoriske formål. I tradisjonen (Coghlan & Rigg, 2012) anses det at problemer ikke kan løses med enkle tilgjengelige løsninger. Aksjonsforskning for læring beskrives som en organisatorisk alpha, beta og gamma for aksjonering (Rigg & Coghlan, 2016). Læreprosessens «alpha» er utforskning av problemer eller muligheter i sin sammenheng og gjennomføres i en kollektiv sosial interaksjonsprosess. Det systemiske «beta» er å formulere spørsmål som kan gi retning for å utforske og undersøke i fellesskapet. Aksjoneringen ledes gjennom sykluser av prøving og feiling, handling og refleksjon. Ved å aktivt utforske i egen praksis innhenter deltagerne erfaringsbasert data som grunnlag for analyse, derav innhenting av informasjon og data ved anvendelse av forskningsmetoder. Det systemiske «gamma» (Rigg & Coghlan, 2016) betegnes som deltagernes læring, innramming og selvbevissthet som deltagende aktører.

Opplæringens verdier – grunnlag for kvalitetsutvikling
Aksjonsforskning skal føre til endring og ønsket endring i nytt læreplanverk (LK20) er at skolens praksis skal sørge for at menneskeverdet, og de verdiene som støtter opp under det, legges til grunn for skolens praksis (kapittel 1.1 i LK20). I kapittelet om profesjonsfellesskap og skoleutvikling står det hvordan skolefellesskap skal reflektere over felles verdier, og vurdere og videreutvikle sin praksis. Opplæringens verdigrunnlag skal med dette legges til grunn for om kvaliteten i skolens praksis er god. Dette innebærer å kunne vurdere i fellesskap hva man bør gjøre mer av.

Kjernevirksomheten i skolen er elevenes læring som er gjenstand for kontroll og utvikling fra nasjonale og lokale skolemyndigheter (Mausethagen, Skedsmo og Prøitz, 2017). Karakterer, tall og statistikker er et fattig språk som uttrykksform for elevers læring og profesjonens praksiser, men de samme tall, karakterer og statistikker kan på utmerkede måter benyttes som utgangspunkt for å forske og lære i skolers fellesskap. Skolens læreplanverk (LK20) har seks gjennomgående verdier som skal etterleves i skolens profesjonsfaglige fellesskap på tvers av kompetanse og skole innad i skoler og mellom skoler, og mellom PPT og skoler.

Forskningsposisjoner som subjekt eller objekt i forskningsarbeidet vil ha betydning for nærhet eller avstand til praksiser som utøves. Refleksivitet omtaler Calas og Smircich (1992, s. 40) som prosessen mellom kunnskap og tilblivelse av kunnskap. I skolens forskende prosesser vil forskere kunne være lag med skoleledere, lærere, PPT-veiledere og elever. Definisjonen av hvem som er aktør i vurderingsarbeider er av interesse med tanke på opplæringens verdigrunnlag. Ut fra revidert Kunnskapsløftet (2020) er medvirkning et viktig element for å lykkes med å forvalte menneskeverdet. Det er i skolens praktisering av læreplanverkets verdier og prinsipper og elevene opplever og erfarer hvordan praksisene påvirker eget læringsmiljø og læringsutbytte. Interaktiv aksjonsforskning som et samlebegrep er der praktikeren er forsker og inkluderer både forskning rundt aksjoner og læring av disse aksjonene (Postholm, 2007). I all forskning for å lære av aksjoner er fokus rettet både mot handlinger og mot forskning rundt disse handlingene (ibid). I arbeidet med å arbeide forskningsorientert og kunnskapsbasert med kvalitetsutvikling er det elevenes læringsresultater og læringsmiljø som kan si noe om kvalitet.

Casebeskrivelsen
Aksjonsforskningsmodellen triangulert analysemodell var utarbeidet som støtte til lokal skolebasert kompetanseutvikling. Ut fra modellen skulle deltagerne trene på å undersøke et spørsmål med en undrende og nysgjerrig tilnærming for å kunne reflektere, vurdere og lære innad og på tvers mellom skoler og PPT. Å arbeide med kunnskapsbaserte praksiser i skoler handler ikke bare om å re-agere på innhentet data om elevutbytte og resultater fra brukerundersøkelser, men å agere som system ut fra opplæringens verdigrunnlag og prinsipper. Deltagernes hverdagspraksiser er å agere og handle, mens de nå skulle innta posisjon som forskere der refleksjon og undring var det sentrale.

I oppstarten var deltagerne i prosjektet nysgjerrige på den endrede aktørrollen for skolebasert kompetanseutvikling til skoleutvikling, fra praktiker til forskende praktiker. Meld. St. 21 (2016-2017, s. 85-86) beskriver rollen der kommunen skal ha hovedansvaret for kvalitetsutvikling i skolen og at kompetanseutvikling skal være forskningsorientert og kunnskapsbasert. Deltagernes utforskende blikk på skolers data som utgangspunkt for skoleutvikling åpner for å gå inn i forskningsprosessen med nysgjerrighet om hva som støtter og utvikler elevenes læring eller læringsopplevelser. Hver skole har et analysebrett der statistikk og data for egen skole er tilgjengelig for samfunnets borgere. Statistikkene er en oversikt over skolens bidrag til elevenes læring, elevers læringsutbytter og brukerundersøkelser. Disse kvantitative dataene er et uttrykk som inviterer til å gjøre skolers ansatte nysgjerrige på didaktiske praksiser som ligger bakenfor tall og statistikker om elevers læring.

Å forske fram ny kunnskap i skolen har i arbeidet med modellen triangulert analysemodell en struktur for dialoger i lærende fellesskap som fører «flokken» fra forskere på praksiser til å reflektere, lære og utvikle nye praksiser. I triangulert innhenting av data skal praktikeren som forsker arbeide med analyse av data som er innhentet med to eller flere kilder. I prosjektet anvendte deltagerne tradisjonelle kvalitative metoder som intervjuer, observasjoner, logger og dokumentanalyser. Det var ønske om en endring som sprang ut fra behovet for en aksjonsforskningsmodell som kunne bidra til å arbeide forskningsorientert med skolenes elev- og undervisningsdata fra Kvalitetssirkelen for kvalitetsutvikling i skole og lærebedrift (Meld. St. 21, 2017, fig. 6.2).

Fig.1: Triangulert analysemodell - prosjektets aksjonsforskningsmodell for kvalitetsutvikling i skoler basert på Meld. St. 21 (2016-2017), 2017.

Forskningsorientert kunnskapsutvikling
Prosjektperioden var 6 måneder og deltagerne møttes tre hele dager og to halve dager, samt i gruppevis mellomarbeid mellom samlingene. Den forskningsorienterte skoleutviklingen ble veiledet av de to forskerne som fasiliteter i prosjektet. Forskerne sammenfattet gruppenes innsamlede data mellom samlingene. Skoleeierne hadde før oppstart delt deltagerne i sets (aksjonsforskningsgrupper) som skulle arbeide sammen gjennom hele prosjektet. Det var i alt 15 sets der deltagerne i gruppen var fra samme kommune. Ledere av PPT fra de seks kommunene arbeidet i fokusgruppe med skoleledere i egen kommune. Forskningsspørsmålet var formulert, men hver gruppe utarbeidet eget delspørsmål. Gruppenes delspørsmål ga retning for gruppenes videre arbeid med innhent av data, analyse og drøfting for å bidra til kunnskap om gode praksiser og ny kunnskap.

Stegvis arbeidet deltagerne med aksjonslæringsmodellen ved å arbeide forskningsorientert med skolers praksiser.

Steg 1, å formulere offensive spørsmål
Å flytte fokus fra å være profesjonsutøver til å undre seg over praksis er kjernen i praksisnær forskning. Men praktisk streben er et ønske om alltid å arbeide med å gjøre praksiser bedre mens refleksiv praksisforskning er alliert med et ønske om å orientere seg etter praktikeres ønske om å utrette og å finne en måte å organisere seg på i egen virksomhet. Deltagerne var til daglig praksisutøvere av instrumentell praksisutøvelse. Dette gir praktikeren faktakunnskap, mens de nå ble medforskere i en aksjonsforskningsmodell med refleksiv praksisforskning som gir praktikeren orienteringskunnskap (Lindseth, 2017). Å arbeide med et forskerblikk på kunnskap og kunnskapsutvikling skapte nysgjerrighet.

Deltagerne var delt inn i fokusgrupper der hver gruppe valgte delspørsmål og videre forskningsdesign for videre forskningsprosess. Prosjektets overordnede forskningsspørsmål etterspør om vi kan arbeide forskningsorientert og kunnskapsbasert med skolens gode praksiser. Ut fra hovedspørsmålet utformet hver fokusgruppe eget delspørsmål som var presist og retningsgivende for forskningsprosessen som skulle startes opp etter hermeneutiske prinsipper. Slik som i klassiske hermeneutiske studier er det fortolkningen som har en sentral plass i studien og innsamlet data vil være deler av helheter (Thagaard, 2019). I kvalitative studier vil det å samle inn data i et feltarbeid kunne utfordre praksisutøveres rolle som forskere. For å komme tettere på didaktiske praksiser og kunne gjøre et utvalg måtte gruppedeltagerne gjøre seg kjent med mylderet av tall, statistikker og brukerundersøkelser som ga uttrykk om elevers læring. Den nasjonale databasen for nasjonale prøver, Elevundersøkelsen, eksamensresultater og grunnskolepoeng har en egen nettside for Analysebrettet der deltagerne hadde tilgang.

I prosessen der grupper med skolefolk undret seg sammen rundt gode elevresultater og om dette kan ha sammenheng med didaktiske praksiser i skolen som organisasjon. Hver gruppe fant elevresultater fra en skole. Hvis elevresultater innen en ferdighet eller fag var signifikant bedre på samme trinn over minst to gjentagende år kunne dette danne grunnlag for undring. Ut fra ønsket om å vite mer utformet gruppene et delspørsmål, et forskningsspørsmål for gruppens studie. Ved et eksempel fra en gruppe kan vi se forskningsspørsmål og utvalg:

En gruppe med 8 deltagere fra ungdomstrinnet velger et overordnet tema de vil forske på. De representerer fra tre ulike ungdomsskoler og i søk etter tema rettes blikket mot den ene ungdomsskolens gode resultater i matematikk på eksamensresultatene over flere år. Fokusgruppens delspørsmål – hva gjør at G skoles elever har gode resultater på eksamen i matematikk? Gruppen oppfattet spørsmålet som godt nok for å si noe om hva og hvem de ville forske på. For å finne ut hva de ville forske på valgte de en kontekst:

a) faglig pedagogisk praksis

b) hvordan snakker lærerteamet om matte sammen

c) elevinvolvering

d) opplæring for elever med behov for tilpasset opplæring og spesialundervisning

I eksempelet over gjør gruppen et utvalg for egen studie og former et offensivt spørsmål som kan bringe ny innsikt og handlingsbasert kunnskap til gruppens deltagere. Spørsmålet gir retning og inviterer deltagerne til å innhente kvalitative data som kan generere en videre innsikt om hverdagspraksiser. Det er dette som Coghlan & Rigg (2012) henviser til som «forsknings-turn» i aksjonsforskningsarbeidet. Det er ikke et praktisk problem som skal løses, men et avgrenset tema som ved å bli utforsket kan bringe ny kunnskap i organisasjonen og gjøre kunnskapen overførbar for andre.

Steg 2, å innhente informasjon og data
I steg 2 skulle deltagerne gjøre et utvalg for kvalitative metoder gruppene ville benytte. Hver fokusgruppe planla en triangulert metodisk tilnærming, metodetriangulering, for å innhente data som kunne gi informasjon om gruppenes delspørsmål ut fra forskningsspørsmål ved hjelp av to eller flere kvalitative metoder. Å oppdage handlingsrom for å endre i kollektive praksiser beskriver Hope og Grimseth (2016) med at profesjonen må bort fra å innhente kvalitative data ved generelle observasjoner. Profesjonen trenger mer kunnskap om innhenting av kvalitative data som bidrar med innsikt for å generere handlingsbar kunnskap. Det antas (ibid) at lærere og skoleledere er vant med å handle raskt ikke forholde seg til en forskningsorientert tilnærming til handlinger.

I steg 1 ble det gitt eksempel fra gruppe x som valtet et delspørsmål fra en ungdomsskoles eksamensresultater i matematikk. Gruppen valgte videre kontekst der de ville innhente data om faglig pedagogisk praksis, hvordan snakker lærerteamet om matte sammen, elevinvolvering og opplæring for elever med behov for tilpasset opplæring og spesialundervisning. Gruppen bestemte seg for å observere med logg, intervjue lærerteam med logg, samt å samle inn dokumenter som elevorienterte dokumenter som arbeidsplaner og ukeplaner og skolens lokale planer for faget. Gruppen valgte å dele seg inn i mindre grupper for å gjennomføre innhentingen av data i de fire temaene. Fokusgruppene måtte planlegge innhenting av data ved tid for observasjon, tid for intervju og forespørsel om dokumenter som var aktuelle for konteksten.

Steg 3, å analysere og vurdere
De 15 aksjonsforskningsgruppene hadde gjennom to måneder arbeidet med steg 1 og 2 i gruppene. De hadde en valgt kontekst, et offensivt spørsmål for det forskningsorienterte utviklingsarbeidet og innhentet kvalitative data ved flere kvalitative forskningsmetoder. Analysegrunnlaget skulle kunne gi innsikt i hvilke pedagogiske praksiser som støttet de gode læreprosessene. Deltagerne hadde samlet data ved observasjoner gjennomført i undervisning med logg, observasjoner fra møter i lærerteam med logg, intervjuetekster, dokumentanalyse av elevens ukeplaner og arbeidsplaner. Innhentet data ble kategorisert i gruppene for å kunne danne grunnlag for en kontekst- og temaanalyse. Gruppene arbeidet fram et språk om pedagogiske praksiser som kunne være mulige årsaker for de tall om elevresultater og brukerundersøkelser som lå til grunn for gruppenes aksjonslæringsprosesser. I eksemplene kommer det fram informasjon som kan bringe innsikt om handlinger og roller:

- Ledergruppene i skolen har lærende møter i nettverk og egne ledermøter med utviklingsarbeid som tema

- Respekt-programmet har gitt et hopp som går veldig på elev og læringssyn. Noen fellesnevnere går på et felles positivt elevsyn og på læring og holde fokus over tid.

- Har sett på rapporter for RESPEKT- programmet og Ungdomstrinn i Utvikling og sammenhenger mellom elevundersøkelsen og satsinger på utviklingsarbeider. Ser på tre områder i elevundersøkelsen: a) faglig utvikling, b) motivasjon for læring og c) demokrati og medvirkning. Alle skolene bidrar til gode grunnskolepoeng. Vi utarbeidet spørsmål. Vi ser at elevundersøkelsen gjør noen større byks på Vurdering For Læring (VFL), elevmedvirkning og faglig utfordring. Evaluering av respekt gir ingen signifikant endring, men peker positiv oppover.

- Skolen arbeider etter en læringssløyfe i matematikk, et læringsløp der den matematiske samtalen er viktig. Lik struktur på timene er innført. Gode til å ta i bruk. Hver elev hadde hvert sitt måleark, hva kunne de mye og lite om. Lærerne var på og veiledet hele tiden.

Deltagerne i gruppene leste og kodet datamaterialet flere ganger for å bli fortrolige med innholdet og danne en oppfatning av forståelse. Gruppene arbeidet individuelt, to og to og delte refleksjoner ved å legge fram ny kunnskap etter rundeprinsippet i gruppe. Å lese dataene analytisk innebærer å vurdere dataene og hva de kan gi en forståelse av sammen med notater og de begrunnelser deltagerne mente tekstene gir uttrykk for. Deltagerne ble også bedt om å lese tekstene refleksivt som i denne sammenhengen var å knytte tekster og informasjon med den kontakten deltagerne selv hadde i felten og hvordan dette preger dataene.

Koding og kategorisering av data er en vanlig framgangsmåte i kvalitativ analyse og i dette prosjektet arbeidet deltagerne med å sammenligne data internt i gruppene og i sekvensielle økter som ble fasilitert på tvers mellom gruppene. På engelsk betegnes denne analytiske tilnærmingen for «cross – sectional analysis» (Mason, 2018, s. 194-196) der en systematisk organisering av dataene er særlig viktig når vi har en omfattende mengde data som for eksempel mange logger fra observasjoner og intervjuer.

Steg 4, å frembringe handlingsbar kunnskap
Gruppene hadde kodet og kategorisert gruppevis og kategoriene for temaanalysen begynte å danne et mønster. Hver gruppe gjennomførte en normativ prosess ut fra kategoriserte data ved å utforme påstander. Dette ble gjennomført ved at hver deltager utformet individuelle påstander, og tok et utvalg av sine tre viktigste påstander. Det var krav om til å skrive påstander som hele setninger slik at implisitt kunnskap kom til syne i beskrivelser av praksiser. Coghlan & Rigg (2012, s. 66-67) beskriver hvordan refleksjon og tilbakemeldingsarbeider gjøres for å støtte og utfordre hverandre som aktører i en lærende prosess. I refleksjonene vil deltagerne kunne gjenkjenne og omformulere antagelser, samt motta tilbakemeldinger. I en prosess er fordelen å lære som selvrefleksjon, lære i lag, lære som organisasjon og på tvers mellom skole og PPT. Påstandene ble samlet og skrevet på store flip - over ark med tusj. Da en og en deltager la fram egne påstander ble påstandene begrunnet ved å knytte påstanden til en kontekst. Hver gruppedeltager fikk ti poeng i form av stjerner de kunne benytte som poeng til de påstandene de synes var viktigst. Gruppene valgte ut de påstandene som hadde fått flest stemmer som gruppens påstander.

Da hver gruppe hadde valgt gruppens viktigste påstander delte gruppenes deltagere seg på tvers av for å dele. Etter delingen gikk hver deltager tilbake til eget sete for å få mulighet til å formulere om eller justere gruppens påstander. Gruppenes påstander ble samlet inn, digitalisert og i dette arbeidet ble det synliggjort hvilke påstander som hadde flest poeng, dette kommer fram i eksemplene:

- Systematiske og godt forankrede leseplaner/planer/planverk støtter god læring for elevene, planene må brukes i praksis og følges opp av skolelederne x15

- God klasseledelse skaper godt grunnlag for elevenes lesing og læring x10

- God klasseledelse av elevenes samarbeids- og læringskultur (klassevenner og fagsamtaler mellom elever), med autoritet og varme x10

- Klasseleders bruk av læringssløyfer sikrer gode rutiner og strukturer i timer og fagemner inkl. VFL x8

- Nivådifferensiering etter elevenes måloppnåelse gir bedre resultater, aktiviserer alle elever, variasjon i undervisningen x9

Påstander i denne læreprosessen ble grunnlag for egne og kollektive refleksjoner for læring. Påstandene som et uttrykk for forskningsbasert organisatorisk kunnskap som kan frembringe reflektert kunnskap ble av deltagerne knyttet til kvalitetskriterier til det nasjonale kvalitetssystemet. Flere av deltagerne omdefinerte påstandene som vurderingskriterier for kvalitet i skolebasert kompetanseutvikling. I formal logikk er det sannsynlig at påstander kan utledes av hverandre, mens at et grunnprinsipp ikke kan utledes av et annet. Som et ledd i det ønskede paradigmeskiftet med å arbeide forskningsorientert med skoleutvikling i et partnerskap mellom lokalt universitet og lokale skoleeiere, vil aktørenes forståelse av prinsipper trenge å bli eksplisitte. Dette for å imøtekomme ny overordnet del verdier og prinsipper for grunnopplæringen (LK20) som grunnlag for å vurdere kvalitet og kvalitetsutvikling. I drøftingsdelen ble påstandene i steg fire drøftet mot grunnbegreper om prinsipper; for elevenes læring, utdanning og danning og for skolens praksis. Dette gjøres rede for i denne studien under overskriften «å praktisere forskningsorientert og kunnskapsbasert».

Forskningsetiske betraktninger
Deltakerne var pålagt deltagelse i prosjektgruppene av skoleeierne som prosjekteiere i samarbeid med Universitetets forskere. Dette kan påvirke forskningsresultatene i studien. Målet var å frambringe forskningsorientert kunnskap for ledere i skole og PPT for å innhente data som refleksjonsgrunnlag for å vurdere, utvikle og videreutvikle praksiser i skoleorganisasjonen. Forskerens intensjon i denne studien var både opplæring i forskningsorienterte tilnærminger for læring, utvikle en modell for å strukturere samtaler innad og på tvers og å studere prosessen. Underveis fikk deltakerne skrevet ut underveisrapporter fra innsamlede data, og til slutt en sluttrapport. Dataene var sortert og kategorisert i overskriftene for skolers prinsipper for læring, utvikling og danning, samt prinsipper for skolers praksiser (overordnet del, LK 20). Rapportene er benyttet som grunnlag for denne artikkelen og sendt til skoleeierne i prosjektet for godkjennelse før fagfellevurdering og publisering. Skoleeierne har hatt mulighet til å trekke data før publisering. Data i artikkelen er ikke kontroversielle, og utvalget er av allmenn interesse.

Enkeltpersonenes rolle vektlegges ikke. De er en del av aksjonsforskningsgruppene og framstår ikke som enkeltpersoner. I forskerens innsamlede materiale som er sammenstilt av alle deltagernes innsamlede data for støtte i læreprosessene, er gruppene kun definert med nummer og deltakerne omtalt som leder 1, leder 2 og så videre, men det er forskjellig fra gang til gang hvem som er hva. Det er ikke tatt lyd eller video i studien, men kun benyttet logger fra samtaler, intervjuer og observasjoner. Det vil ikke være mulig å gjenkjenne enkeltpersoner ut fra transkripsjonene og hvem som står bak de forskjellige sitater og utsagn.

Å praktisere forskningsorientert og kunnskapsbasert
Med utgangspunkt i studiens forskningsspørsmål om hvordan kan vi arbeide forskningsorientert og kunnskapsbasert med skolens gode praksiser samlet deltagerne i gruppene data i form av notater, dokumenter og refleksjonslogger. Innsamlet data skulle bidra med innsikt og ble sortert ut fra hver gruppes delspørsmål for så å bli sortert og kategorisert i hver gruppe. I hvert ledd i aksjonsforskningsprosessen samlet forskeren inn data fra alle gruppene, digitaliserte og skrev ned innsamlet data fra alle deltagerne slik at deltagerne kunne få tilgang til eget og andres materiale i en skriftlig versjon. På grunn av et rikt datamateriale for denne studien vil jeg i drøftingsdelen belyse med utgangspunkt i det norske læreplanverkets prinsipper for læring, utvikling og danning, og prinsipper for skolers praksis (LK20).

Denne delen er strukturert slik at presentasjon av empiri, analyse og diskusjon i teksten er føyd sammen fortløpende. Analysen og drøftingen består dermed ikke av analyse etterfulgt av diskusjon, men av disse to elementene innlemmet i hverandre. I kontekst- og temaanalyse (Thagaard, 2020) tolkes empiri ved å koble empirien med kontekst, teori og tema. I forskningsorientert skoleutvikling er forandringen å arbeide fra praksis til reflektert praksis, og dermed kunnskapsbasert og lærende med forskningsorientert kunnskap i skolen. I et paradigmeskifte der aktørene som skoleeiere, skoleledere og forskere i lokalt universitet sammen skal ta ansvar for lokal og regional skoleutvikling fant deltagerne fram til viktige funn som ble drøftet opp mot prinsipper for læring og prinsipper for skolers praksis. Et resultat for aksjonsprosessens alpha, beta og gamma er at deltagerne i læreprosessen ble kjent med hverandres prosjekter på tvers av skoler, fikk innlemmet faglige begreper i nytt læreplanverk og ny kunnskap om å arbeide forskning- og kunnskapsbasert med kompetanseutvikling. Dette er oppdagelser som også er gjort i studien til Frimann, Herstad, Søbye & Bach (2018) der også kritisk refleksjon førte til profesjonsutvikling og en diskursiv reorganisering av kunnskapsbegrepet.

Prinsipper for læring, utdanning og danning
I ny overordnet del for nytt læreplanverk (LK20) står det at skolen har både et danningsoppdrag og et utdanningsoppdrag. Danningen og utdanningen er gjensidig avhengig av hverandre for elevens læring. Prinsippene for arbeid med læring, utvikling og danning skal hjelpe skolene til å løse dette doble oppdraget (LK20).

For å hjelpe og støtte paradigmeskiftet der lokale aktører har nytt ansvar for skoleutvikling krever nye ansvarsdialoger som føres på alle nivåer (dialogarenaer), fra klasserom til kommunestyre. Ansvarsdialogene foregår ikke bare 1:1, men også på arenaer der flere deltar og sammen skaper ny kunnskap. I deltagernes refleksjoner og drøftinger ble det lagt vekt på skolens ansvar for å avklare elevsynet i profesjonsfellesskap og hvordan et positivt elevsyn bør legges til grunn for skolenes praksiser. Det var i alt åtte grupper som formulerte refleksjoner om at...Engasjerte lærere med et positivt elevsyn som engasjerer seg i elevenes læring og hvordan de underviser… er avgjørende for å lykkes med prinsipper for læringsarbeidet. Det var flere grupper som formulerte prinsipper som støttet dette ved … Elevene føler når det er ekte engasjement fra lærerne.

Som det første tema for analysearbeidet kom det fram viktige refleksjoner rundt det kollektive ansvaret for elevenes læring og at skolene så ut til å lykkes med å forankre planer for kompetanse i fagene og grunnleggende ferdigheter. Dette kom fram i femten gruppers refleksjonsarbeider. I gruppenes arbeider ble følgende prinsipp delt …Systematiske og godt forankrede leseplaner støtter god læring for elevene, planene må brukes i praksis og følges opp av skolelederne. Planene skulle støtte elevenes progresjon gjennom opplæringsløpet og gi kompetanse i fagene. Det kom også fram at skolen skal se opplæringen i fag i lys av de verdiene og prinsippene som hele opplæringen bygger på.

I arbeidet med refleksjoner hadde alle gruppene formulerte utsagn om hvordan elevenes sosiale læring og utvikling ble preget både av læringsarbeidet i klasserommet og lærerteamets samarbeid. I alt fjorten grupper hadde utsagnet…Godt samarbeid i lærerteamet/arbeidsteamet rundt elevene støtter elevresultatene og en vi-følelse i profesjonsteamet. I der formulerte prinsippene ble det lagt vekt på at elevenes var avhengige av engasjement og forutsigbare relasjoner i lærer – elevrelasjonene. At skoleledere og lærere har forventninger og har tro på elevene, er konsekvente og samstemte voksne støtter elevens faglige og sosiale læring. Et av utsagnene betegner dette …Gode, trygge elevsamtaler er preget av høye ambisjoner og stor omsorg.

Refleksjoner om god klasseledelse kom fram i drøftingene og ble omtalt som grunnlaget for elevenes læringsarbeid. Noen deltagere formulerte dette som et pedagogisk prinsipp ved ….God klasseledelse skaper godt grunnlag for elevenes lesing og læring…Videre utforming av prinsippet skrev en gruppe at god klasseledelse var å modellere godt læringsarbeid med tipsplakater, gode oppstarter og avslutninger der elevene ble sporet på og av læring. I et utsagn blir det også uttalt autoritet og varme …God klasseledelse av elevenes samarbeids- og læringskultur (klassevenner og fagsamtaler mellom elever), med autoritet og varme.

I refleksjonene og drøftingene definerte deltagerne et fjerde tema, grunnleggende ferdigheter som regning, lesing, digital, muntlig og skriving. Formålet med opplæringen er at flest mulig elever skal gjennomføre videregående skole og i voksenlivet kunne delta i samfunnsliv og arbeidsliv. I paradigmeskiftet der lokale forskere og skoleeiere vil arbeide forskningsorientert med skoleutvikling for å støtte og utvikle elevenes læring gjennom hele opplæringsløpet var ikke noe nytt for deltagerne. Det nye og forandrede i en forskningsorientert tilnærming opplevde deltagerne tiden de fikk til refleksjon og å dele læring på tvers i hver gruppe og mellom gruppene. Ut fra temaanalysen der grunnleggende ferdigheter var det fjerde temaet fant deltagerne fram til kjennetegn på gode didaktiske praksiser. Dette kom til uttrykk på forskjellige vis og eksempelet fra regning kom det fram at … regning, som en kognitiv ferdighet, må det brukes mer tid i uka på enn det fag og timefordelingen tilsier… I innsamlet data som lå til grunn for analysearbeidet hadde de fleste gruppene fokus på lesing som den grunnleggende ferdigheten de pekte ut i disse kategoriene. At skolen hadde forankrede planer for progresjon i elevenes opplæring, kom fram ved … Alle lærere skal være leselærere med utgangspunkt i leseplanen. Lesestrategier brukes i alle fag… og …Ledere og lærere er nysgjerrige sammen på elevenes læring og utvikling. Planene må brukes i praksis og følges opp av skolelederne. Lederne følger opp kollektive rutiner, skriftlig, og en god avslutning av timen er god HMS for neste time...

Prinsipper for skolens praksis
I bruk av modellen triangulert analysemodell for forskningsorientert og kunnskapsbasert skoleutvikling var antagelsen å hjelpe lokale aktører med utforsking med fokus rettet både mot handlinger og mot refleksjon rundt disse handlingene (Postholm, 2007). Slik sett blir refleksjoner forent med praksisfeltet og prosessen mellom kunnskap og tilblivelse av kunnskap blir til.

I aksjonsforskningsprosesser vil praktikeren som utforsker kunne se praksiser i sekvenser, og kunne fortelle serielle historier om praksiser. Praktikere som innhenter kvalitative data som små og store lærende fellesskap vil kunne bidra med flere historier med tanke på at det ikke er sekvenser praktikeren legger til grunn. Når historier fortelles fra flere deltagere, gir informasjonen flere utsiktspunkt i læreprosessen. Å arbeide forskningsorientert innehar i sin natur å stille spørsmål og utvikle praktikerens evne til å stille spørsmål som er nyttige for skoleutviklinger.

Innhente informasjon om spørsmålet ved å triangulere som observere, lytte, stille spørsmål, gå i dybden og forankre. Få lærerteam til å reflektere over hva som er viktig for å få god praksis, avklare forventninger knyttet til bruk av leseplan. Innhente informasjon, utvikle profesjonsfellesskapet, reflektere/analysere, milepæler, evaluere.

En systematisk og godt forankret plan som brukes i praksis av lærerne og følges opp av ledelsen støtter god læring for eleven. Medskaping i lærende møter involverer hele personalet der deltagerne stiller spørsmål og lytter. I arbeid med å lære i læringsfellesskap over tid er det behov for at deltagerne observerer, undersøker, prøver ut, oppsummerer/analyserer og drøfter og justerer i fellesskap. Skoleledere kan eksempelvis arbeide med komparativ analyse mellom ståstedsanalyse og punkt fra Elevundersøkelsen, f.eks. spørsmålene om Vurdering For Læring i Elevundersøkelsen.

For å få til forskningsorientert praksisnær kunnskap kommer det fram i deltagernes drøftinger hvordan anvendelse av kvalitative metoder er med på å frambringe ny kunnskap i organisasjonen. At medskaping i lærende møter ikke bare er å mene noe, men at praksisnær kunnskap er innhentet ved hjelp av observasjon, logger og lytting. I aksjonsforskningsmodellens er bredden i datagrunnlaget som innhentet informasjon viktig for å kunne lære, noe vi ser i loggen til en av gruppene … Få lærerteam til å reflektere over hva som er viktig for å få god praksis, avklare forventninger knyttet til bruk av leseplan. Innhente informasjon, utvikle profesjonsfellesskapet, reflektere/analysere, milepæler, evaluere … Utsagnet bekrefter at deltagerne beveger profesjonsspråket i retning mot det nye læreplanverkets overordnede del kapittel 3.5 som sier om profesjonsfellesskap og skoleutvikling og hvordan skolen skal være et profesjonsfaglig fellesskap der lærere, ledere og andre ansatte reflekterer over felles verdier, og vurderer og videreutvikler sin praksis (LK20).

Veien videre
For å få til en varig forandring for forskningsorientert og kunnskapsbasert skoleutvikling i et partnerskap mellom lokale høyskoler og universiteter og skoleeiere for grunnskoler og PPT kan denne studien bidra med innspill til ny kunnskap om hvordan aktørene kan samhandle. Desentralisert ordning for kompetanseutvikling som nasjonal strategi er kommet samtidig som nytt læreplanverk som en villet endring. Fra høsten 2021 er kommuner og skoler i gang med «Kompetanseløftet for spesialpedagogikk med inkluderende praksis» og det er et håp om å kunne bruke modellen triangulert analysemodell for intern og ekstern samhandling.

Elevens læring er selve kjernevirksomheten i skoler, og modellen Triangulert analysemodell ble utformet og anvendt som en aksjonsforskningsstrategi for å lære i profesjonsfellesskap innad og på tvers av skoler og deres støttesystem PPT basert på kvalitetsvurderingssystemet i Meld. St. 21 (2017). Triangulert analysemodell bidrar med å strukturere lærende samtaler i faser i små og store profesjonsfellesskap. For veien videre har det lokale universitetet som ledet prosessen fått ressurser til en konferanse for skoleledere og PPT i de seks kommunene for å ferdigstille modellen. Det er også igangsatt et arbeid med å utvikle en forskningsbasert fagbok om modellen. Hensikten er å kunne reflektere og handle ut fra skolens verdigrunnlag, vurdere og videreutvikle praksis innad i skoler, på tvers mellom skoler og i samhandling med støttesystemet PPT.

Referanser
Berger, P. & Luckmann,T. (1967). The Social Construction of Reality: A Treatise on the Sociology of Knowledge. London: Penguin

Bjuland, R., Helgevold, N. & Munthe, E., (2015). Lesson Study. I utdanning og praksis. Oslo: Cappelen Damm

Calàs, M. & Smircich, L. (1992). Dangerous liaisons: The “feminine-in-management” meets “globalization”. Business Horizons, Volume 36, Issue 2, p. 71-81

Coghlan, D., Rigg, C. (2012). Action learning as praxis in learning and changing. In Pasmore, W.A., (Rami) Shani, A.B., Woodman, R. (Eds.), Research in organization change and development (Vol. 20, pp. 59–90). Emerald

Dudley, P. (2015). Lesson Study. Professional learning for our time. Oxford: Routledge

Frimann, S., Herstad, L., Søbye, A. & Bach, S. K. (2018). Skabelsen af en videnorganisation. Forskning & Forandring. Vol. 1, No. 2, 2018, 25–47

Hallås, B.O. & Grimsæth, G. (2016). Lesson Study i en nordisk kontekst. Oslo: Gyldendal Akademisk

Hope, C. & Grimsæth, G. (2016). Lesson Study i en nasjonal satsing for god klasseledelse. I: Hallås, B.O. & Grimsæth, G. (2016). Lesson Study i en nordisk kontekst. Oslo: Gyldendal Akademisk

Kunnskapsdepartementet (2020, 27.05). Læreplanverket for Kunnskapsløftet 2020. Oslo: Utdanningsdirektoratet. Hentet fra https://www.udir.no/laring-og-trivsel/lareplanverket/nye-lareplaner-i-grunnskolen-og-gjennomgaende-fag-vgo

Lindseth, A. (2017). Refleksiv praksisforskning. I: Halås C.T., Kymre, I. G. & Steinsvik, K. (2017). Oslo: Gyldendal

Lysne, D.A. & Postholm, M.B. (2018). En studie av skolebasert kompetanseutvikling i lokale kontekster. Tidsskriftet FoU i Praksis, 12(1), 69–86

Mausethagen, S., Prøitz, T.S. & Skedsmo, G. (2018). Elevresultater. Mellom kontroll og utvikling. Oslo: Fagbokforlaget

Mason, J. (2018). Qualitative Researching. 3. utg. London: Sage

Kunnskapsdepartementet (2017). Lærelyst – tidlig innsats og kvalitet i skolen (Meld. St. 21. (2016-2017)). Oslo: Kunnskapsdepartementet

Olsen, K.O. & Wølner, T.A. (2017). Lesson Study og læreres læring. Oslo: Gyldendal Akademisk

Postholm, M. B. (2007). Interaktiv aksjonsforskning: forskere og praktikere i et gjensidig bytteforhold. I: Forsk med! Lærere og forskere i læringsarbeid (s.12-33).

Rigg, C. & Coghlan, D. (2016). Action learning and action research – revisiting, similarities, differences, complementarities, and whether it matters. Action Learning: Research and Practice Vol, 13, NO 3, 201-203. Routledge

Røykenes, K. (2009). Metodetriangulering – et metodisk minefelt eller en berikelser av fenomener? Oslo: Sykepleien Forskning 2009, nr. 4, s. 224 -227

Thagaard, T. (2019). Systematikk og innlevelse. En innføring i kvalitative metoder. Oslo: Fagbokforlaget

Weiss, M. (2019). Philosophical Practice as Didactical Framework for Conferences. Philosophical Practice – Journal of APPA. Volum 14, nr. 1, s. 2292-2304

Wittgenstein, L. (1997). Filosofiske undersøkelser (oversatt av M.B. Tin). Oslo: Pax

Markussen, E., Carlsten, T.C, Seland, I. og Sjaastad, J. (2016). Fra politisk visjon til virkeligheten i klasserommet. Evaluering av virkemidlene i Ungdomstrinn i Utvikling (rapport 2015:27). Oslo: Nordisk institutt for studier av innovasjon, forskning og utdanning (NIFU)

Postholm, M. B., Normann, A., Dahl, T., Dehlin, E., Engvikc, G. og Irgens, E.J. (2017) Ungdomstrinn i Utvikling – en mulighetens gavepakke til skole- og utdanningssektoren. Trondheim: NTNU

Lødding, B., Gjerustad, C., Rønsen, E, Bubikova-Moan, J. Jarness, V. og Røsdal, T. (2019). Sluttrapport fra evalueringen av virkemidler i satsningen Ungdomstrinn i utvikling (Rapport 2018:32). Oslo: Nordisk institutt for studier av innovasjon, forskning og utdanning (NIFU)