Regeringens skrivelse 2021/22:39

Riksrevisionens rapport om Pisaundersökningen Skr.

2018	2021/22:39

Regeringen överlämnar denna skrivelse till riksdagen.

Stockholm den 20 oktober 2021

Stefan Löfven

Anna Ekström (Utbildningsdepartementet)

Skrivelsens huvudsakliga innehåll

Skrivelsen innehåller regeringens bedömningar med anledning av Riksrevisionens granskningsrapport Pisaundersökningen 2018 – arbetet med att säkerställa ett tillförlitligt elevdeltagande (RiR 2021:12).

Riksrevisionens övergripande slutsats är att för många elever har exkluderats i den svenska Pisastudien 2018. Den höga andelen exkluderade elever kan inte förklaras av ett högt antal nyanlända elever till följd av flyktingkrisen 2015 och varken regeringen eller Statens skolverk har säkerställt att Pisaundersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. Riksrevisionen anser vidare att varken regeringen eller Skolverket har vidtagit tillräckliga åtgärder för att utreda de tveksamheter som framkom i samband med undersökningen.

Riksrevisionen uttalar sig i samband med granskningen om tillförlitligheten av en rapport från OECD i september 2020 om den svenska Pisastudien och anser inte att OECD:s rapport är trovärdig och att det borde ha gått att finna en lämpligare aktör än OECD för uppdraget. Slutligen bedömer Riksrevisionen att regeringen inte fullföljt sitt uppföljningsansvar.

Riksrevisionen rekommenderar regeringen att ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisaundersökningen. Riksrevisionen rekommenderar Skolverket att förbättra arbetet med att säkerställa ett korrekt deltagande i kommande Pisaundersökningar.

Regeringen delar i huvudsak Riksrevisionens övergripande bedömning att för många elever har exkluderats från att delta i Pisa 2018 men bedömer

1

Skr. 2021/22:39 att resultatet i läsförståelse är fortsatt högre jämfört med resultatet 2012. Regeringen instämmer i huvudsak i Riksrevisionens iakttagelse att Skolverket inte i tillräcklig utsträckning har följt upp den höga andelen exkluderade elever eller andelen bortfall. Regeringen har därför den 6 maj 2021 gett Skolverket i uppdrag att förstärka sina insatser för att säkerställa ett högt deltagande i enlighet med OECD:s gällande riktlinjer i Pisa 2022 (U2021/02549).

Regeringen delar vidare Riksrevisionens bedömning att uppföljningen av exkluderingar har försvårats genom att exkluderingar för funktionsnedsättningar och språkbegränsningar samredovisas och har därför för avsikt att vidta åtgärder i linje med Riksrevisionens rekommendation till regeringen.

Regeringen delar inte Riksrevisionens bedömning att det borde ha gått att finna en lämpligare aktör än OECD för uppdraget att granska tillförlitligheten av den svenska Pisastudien. När det gäller frågan om regeringen brustit i sitt uppföljningsansvar gör regeringen delvis en annan bedömning än Riksrevisionen. Regeringen har agerat och vidtagit adekvata åtgärder för att försäkra sig om att Pisaresultaten är tillförlitliga. Regeringen instämmer dock i Riksrevisionens iakttagelse att OECD:s rapport bygger på vissa felaktiga antaganden i några avseenden och att Skolverket och regeringen borde ha uppmärksammat felaktigheterna i rapporten.

I och med denna skrivelse anser regeringen att Riksrevisionens rapport är slutbehandlad.

2

Innehållsförteckning		Skr. 2021/22:39
1	Ärendet och dess beredning .............................................................	4
2	Riksrevisionens iakttagelser.............................................................	4
3	Regeringens bedömning av Riksrevisionens iakttagelser ................	8
4	Regeringens åtgärder med anledning av Riksrevisionens
	iakttagelser .....................................................................................	11

Bilaga 1	Bilaga Riksrevisionens rapport om Pisa-
	undersökningen 2018.......................................................	13
Utdrag ur protokoll vid regeringssammanträde den 20 oktober
	2021 ....................................................................................	103

3

Skr. 2021/22:39

1

Ärendet och dess beredning

Riksrevisionen har granskat Sveriges deltagande i Pisaundersökningen 2018 med fokus på exkluderingar och bortfall av elever. Med exkluderingar avses elever som valts ut att skriva proven men som exkluderats från att delta på grund av funktionsnedsättningar eller bristande språkkunskaper. Bortfall avser elever som inte infinner sig till provtillfället. Granskningen har redovisats i rapporten Pisaundersökningen 2018

– arbetet med att säkerställa ett tillförlitligt elevdeltagande (RiR 2021:12). Riksdagen överlämnade granskningsrapporten till regeringen den

29 april 2021. Granskningsrapporten finns i bilagan. Granskningsrapporten innehåller slutsatser och rekommendationer som

riktar sig till regeringen och Skolverket.

Skolverket har beretts tillfälle att yttra sig över Riksrevisionens rapport. Yttrandet finns tillgängligt i Regeringskansliet (U2021/024142).

	2	Riksrevisionens iakttagelser
	Bakgrunden till granskningen
	År 2018 genomfördes för sjunde gången OECD:s internationella
	kunskapsundersökning Pisa (Programme for International Student Assess-
	ment). Studien har sedan 2000 genomförts vart tredje år och undersöker
	15-åriga elevers kunskaper i läsförståelse, matematik och naturvetenskap.
	Sveriges resultat från Pisaundersökningen 2015 indikerade att den
	nedåtgående kurvan för Sverige vänt. Resultaten i alla tre ämnesområden
	förbättrades. Resultaten i undersökningen 2018 bekräftade denna bild med
	resultat i linje med de från 2015. Såväl andelen exkluderade elever som
	andelen elever som registrerades som frånvarande vid provtillfället ökade
	dock väsentligt mellan 2015 och 2018. Eftersom ett av undersökningens
	syften är att jämföra olika länders skolsystem, är det viktigt att veta om de
	15-åringar som deltagit för ett specifikt land är representativa för landets
	15-åringar som helhet. Det kan därför finnas grupper av elever som av
	särskilda skäl behöver undantas, exkluderas, innan studien genomförs.
	OECD har fastställt kriterier för när exkluderingar ska göras. Till exempel
	ska dels elever med vissa funktionsnedsättningar, dels elever som inte har
	svenska som modersmål och som dessutom har begränsade kunskaper i
	svenska och som har fått mindre än ett års undervisning i svenska
	exkluderas. OECD har även angett att exkluderingarna inte bör överstiga
	fem procent av målpopulationen. I Pisa 2018 uppgick andelen exkluderade
	elever i	Sverige till 11,1 procent. Andelen	bortfall uppgick till
	13,5 procent.
	När provresultaten från undersökningen 2018 publicerades hösten 2019
	uppstod en diskussion om att det var relativt många elever som exkluderats
	från proven. Skolverket, som ansvarar för genomförandet av den svenska
	Pisaundersökningen, uppgav att OECD:s riktlinjer för exkluderingar följts
	och att resultaten var tillförlitliga. I Skolverkets rapport Pisa 2018. 15-
4	åringars	kunskaper i läsförståelse, matematik	och naturvetenskap

(Skolverket 2019) anges att den ökade graden av exkludering mellan 2015 Skr. 2021/22:39 och 2018 i huvudsak berodde på en ökad andel elever med begränsad

erfarenhet av det svenska språket till följd av den invandring som skett åren innan Pisa 2018 genomfördes. OECD, som planerar och organiserar Pisastudien, bedömde mot denna bakgrund att den svenska exkluderingsgraden var acceptabel.

I juni 2020 beslutade Skolverket att be OECD att göra en granskning av
tillförlitligheten av den svenska Pisastudien. Företrädare för regeringen
bistod då Skolverket med att etablera kontakt med OECD.
I sin rapport med anledning av granskningen konstaterar OECD att det
stora antalet exkluderade elever troligen kan förklaras med det stora
flyktingmottagandet åren innan Pisaundersökningen 2018. OECD bekräf-
tade alltså Skolverkets bedömning att Sveriges deltagande och resultat var
korrekt.
Riksrevisionens övergripande iakttagelser
Den höga andelen exkluderade elever i Pisaundersökningen 2018 kan
inte förklaras av ett ökat antal nyanlända elever
Skolverket har i sin ovan nämnda rapport Pisa 2018 angett att den stora
ökningen av andelen exkluderade elever var en konsekvens av de
migrationsströmmar som flyktingkrisen 2015 gav upphov till. Riksrevi-
sionen har därför undersökt om ett ökat antal nyanlända elever är en giltig
förklaring till den höga andelen exkluderade elever i Pisaundersökningen
2018. Enligt Riksrevisionens analys har de flesta elever som kom till
Sverige i samband med flyktingkrisen varit för länge i svensk skola vid
tidpunkten för Pisaundersökningen 2018 för att kunna exkluderas enligt
OECD:s kriterier. Riksrevisionen har inte hittat någon annan förklaring till
den höga andelen exkluderade elever. Riksrevisionens bedömning är
därför att för många elever exkluderades i undersökningen.
Skolverket har brustit i arbetet med att följa upp exkluderingar och
bortfall
Riksrevisionen har därefter undersökt om Skolverket gett tydliga och
heltäckande instruktioner och relevanta stödinsatser till de skolor som
valts ut att delta i Pisa 2018 om när elever ska exkluderas och när bortfall
ska registreras. Riksrevisionen har även granskat om Skolverket haft en
fungerande kvalitetssäkring och uppföljning av skolornas genomförande
av Pisaundersökningen när det gäller exkluderingar och bortfall.
Riksrevisionen anger i sin rapport att Skolverket genomfört uppskattade
informationsmöten och erbjudit stödinsatser till de s.k. skolsamordnarna.
Vid Skolverkets informationsmöten diskuterades kriterier för exklu-
deringar. Trots detta har skolsamordnarna enligt Riksrevisionen uppfattat
och tillämpat kriterierna på olika sätt, varav vissa felaktigt. Riksrevisionen
konstaterar att Skolverket har genomfört de kvalitetssäkringsmoment som
OECD krävt men att för lite har gjorts för att följa upp hur
skolsamordnarna uppfattat kriterierna och hur de faktiskt har exkluderat
elever. Riksrevisionen bedömer att konsekvensen blev att många elever
exkluderades på felaktiga grunder. Skolverket har vidare, enligt
Riksrevisionen, inte på ett trovärdigt sätt utrett tveksamheterna kring	5

Skr. 2021/22:39

6

exkluderingarna i Pisa 2018. Även Skolverkets kvalitetssäkring och uppföljning av bortfall kritiseras av Riksrevisionen.

Uppföljningen av exkluderingar har enligt Riksrevisionen försvårats efter att Skolverket gjort en ny tolkning av personuppgiftslagen 2016. Tolkningen innebär att exkluderingar för funktionsnedsättningar och språkbegränsningar numera samredovisas. Detta är en fråga som Skolverket enligt Riksrevisionen hade kunnat lyfta till regeringen för att eventuellt åstadkomma en författningsändring, vilket hade kunnat innebära en mer användbar redovisning av vilka elever som exkluderats.

Kritik mot såväl OECD:s rapport som OECD som granskande institution

Riksrevisionen har också granskat den rapport som OECD lämnade den 30 september 2020 efter uppdrag från Skolverket. Även OECD kommer fram till att de höga exkluderingarna troligen beror på det höga antalet nyanlända elever under åren före Pisaundersökningen 2018. Riksrevisionen anser dock att slutsatserna i rapporten bygger på felaktiga antaganden om dels de beräkningar som gjorts av antalet elever som potentiellt kan exkluderas på grund av språkkriteriet, dels hur utbildningen för nyanlända elever är organiserad i Sverige.

Riksrevisionen bedömer det som tveksamt om OECD hade tillräckligt starka incitament att faktiskt upptäcka felaktigheter i data och därmed överpröva sitt tidigare ställningstagande, eftersom organisationen redan en gång tidigare godkänt Sveriges statistik. I Riksrevisionens rapport anges även att OECD inte har haft tillgång till ursprungsdata, utan bett Skolverket göra beräkningar åt dem och att OECD saknar kännedom om svensk skola för nyanlända elever.

Riksrevisionen noterar att både Skolverket och regeringen efter publiceringen av OECD:s rapport har återgett rapportens slutsats att resultaten går att lita på. Enligt Riksrevisionen borde såväl regeringen som Skolverket dock ha uppmärksammat, och i något sammanhang påtalat, felaktigheterna i OECD:s rapport.

Utöver detta redogör Riksrevisionen i sin rapport för internationell forskning som ifrågasätter framför allt OECD:s transparens när det gäller Pisaundersökningen. Riksrevisionen anger även att man funnit det svårt att i vissa fall förstå skälen bakom OECD:s ställningstaganden avseende till exempel olika länders data inom ramen för det generella Pisaarbetet.

Sammanfattningsvis anser Riksrevisionen därför att OECD:s rapport inte är trovärdig och att det borde ha gått att finna en lämpligare aktör än OECD för uppdraget att granska den svenska Pisastudien.

Regeringen har inte fullföljt sitt uppföljningsansvar

Riksrevisionen anger i sin rapport att regeringen inte säkerställt att Pisaundersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. Enligt Riksrevisionens bedömning har regeringen inte heller på ett trovärdigt sätt utrett tveksamheterna kring exkluderingarna i Pisa 2018. Detta beror enligt Riksrevisionen inte nödvändigtvis på att regler eller processer är felaktigt utformade, regeringen har i den här frågan inte fullföljt sitt ansvar att tillse att underlydande myndigheter bedriver sin verksamhet enligt de krav som grundlagen ställer.

Riksrevisionen påpekar att det funnits interna uppgifter i Skr. 2021/22:39 Utbildningsdepartementet som gick emot de förklaringar som Skolverket

levererade avseende de höga exkluderingstalen. En rimlig åtgärd från regeringen hade enligt Riksrevisionen varit att ta kontakt med myndigheten och be om en förklaring till de motstridiga uppgifterna. På liknande sätt borde regeringen ha uppmärksammat att OECD:s rapport innehåller felaktiga antaganden.

Ingen av de granskade har vidtagit tillräckliga åtgärder

Sammanfattningsvis bedömer Riksrevisionen att varken regeringen eller Skolverket har vidtagit tillräckliga åtgärder för att ta reda på om något faktiskt blivit fel när det gäller deltagandet i Pisaundersökningen 2018. Varken regeringen eller Skolverket har säkerställt att Pisaundersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. Enligt Riksrevisionen vilar dock det yttersta ansvaret på regeringen. En expertmyndighet måste ha förmågan att leverera det regeringen efterfrågar, men regeringen måste också ha förmågan att efterfråga rätt information. Därutöver har regeringen ett ansvar att följa upp det som levereras och ingripa om det inte håller god kvalitet. Riksrevisionen anser att det i detta fall har funnits indikationer på felaktigheter kring genomförandet av Pisaundersökningen, bl.a. i Regeringskansliets egna underlag. Riksrevisionens bedömning är att arbetet brustit i båda riktningar om Pisa 2018. Skolverket har inte levererat tillförlitliga data för Pisaundersökningen. Regeringen har brustit i sitt uppföljningsansvar gentemot Skolverket i denna fråga.

Riksrevisionens rekommendationer

Riksrevisionens rekommendation till regeringen:

Ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisaundersökningen.

Riksrevisionen lämnar följande rekommendation till Skolverket: Förbättra arbetet med att säkerställa ett korrekt deltagande i kommande Pisaundersökningar. Ett sådant arbete bör innefatta att större vikt läggs vid följande detaljer i genomförandet:

– Förstärk den inledande kommunikationen med utvalda skolor.

−Säkerställ att instruktionerna uppfattas och tillämpas korrekt av skolsamordnarna.

−Följ upp exkluderingarna mer detaljerat genom att begära in elevprotokollen innan undersökningen genomförs.

−Höj ambitionsnivån i arbetet med att minska bortfallet genom fler uppföljningstillfällen och betona vikten av att elever deltar i informationen som skickas till vårdnadshavarna.

7

Skr. 2021/22:39

	3	Regeringens bedömning av
		Riksrevisionens iakttagelser
	För många elever kan ha exkluderats från att delta i Pisa 2018…
	Regeringen instämmer i huvudsak i Riksrevisionens iakttagelse att för
	många elever har exkluderats i Pisaundersökningen 2018. Riksrevisionen
	anser bl.a. att det ökade antalet nyanlända elever under åren före Pisa-
	undersökningen 2018 inte är en giltig förklaring till de höga exkluderings-
	talen.
	Skolverket anger dock i sitt yttrande att vissa av de slutsatser som dras i
	Riksrevisionens rapport är alltför långtgående. Skolverket uppger bl.a. att
	konsekvenserna av invandringen 2015 är större än vad Riksrevisionens
	analys visar. Skolverket anger även andra skäl till att många elever, i
	enlighet med gällande regelverk, kan ha exkluderats från att delta i Pisa
	2018. Skolverket anser därtill att Riksrevisionen borde ha beskrivit den
	empiri som slutsatserna bygger på mer utförligt och utifrån vetenskapliga
	kriterier.
	Regeringen bedömer mot denna bakgrund att även om det inte enbart
	utifrån den nationella statistiken går att slå fast en exakt nivå för andelen
	elever som ska exkluderas enligt OECD:s riktlinjer på grund av bristande
	språkkunskaper, visar Riksrevisionens granskning att det finns oklarheter
	avseende exkluderingen av vissa elever. Det kan alltså enligt regeringens
	mening ha förekommit att elever har exkluderats från att delta i
	Pisaundersökningen 2018 på ett sätt som inte är förenligt med OECD:s
	riktlinjer.
	…men de övergripande resultaten bedöms kvarstå
	De oklarheter som finns har dock inte enligt regeringen påverkat Sveriges
	resultat eller resultatutveckling på något avgörande sätt. De övergripande
	slutsatser som drogs om resultatet i läsförståelse i Pisa 2018 bedöms kvar-
	stå, dvs. resultatet är fortsatt högre jämfört med resultatet 2012. Denna bild
	stöds även av andra internationella studier. Regeringen noterar i detta
	sammanhang att Riksrevisionen inte har presenterat några alternativa
	resultat.
	Skolverket har inte i tillräcklig utsträckning följt upp den höga
	andelen exkluderade elever
	Regeringen instämmer i huvudsak i Riksrevisionens iakttagelse att Skol-
	verket inte i tillräcklig utsträckning har följt upp den höga andelen exklu-
	derade elever eller andelen bortfall.
	Riksrevisionen bedömer att Skolverket har genomfört alla de moment
	som OECD kräver för att studien ska genomföras korrekt. Enligt
	Riksrevisionen har dock Skolverket inte i tillräcklig grad följt upp hur
	skolsamordnarna uppfattat kriterier för exkludering eller följt upp att
8	skolsamordnarnas beslut att exkludera elever skett i enlighet med gällande

riktlinjer. Riksrevisionen konstaterar vidare att det har funnits anledning Skr. 2021/22:39 att ifrågasätta den höga exkluderingsnivån men att Skolverket inte har

gjort detta. Därmed bedömer Riksrevisionen att Skolverket inte gjort tillräckligt för att undersöka misstankarna om felaktiga exkluderingar.

Riksrevisionen konstaterar även att Skolverket inte längre särredovisar exkluderingsorsakerna och att myndigheten inte lyft frågan till regeringen för att möjliggöra en mer användbar redovisning av exkluderingarna, genom t.ex. en författningsändring. Riksrevisionen anser också att Skolverket borde ha uppmärksammat de felaktigheter som förekom i OECD:s rapport. Slutligen anger Riksrevisionen att man inte ser att Skolverket vidtagit några egeninitierade åtgärder för att få ett så högt deltagande som möjligt och inte heller analyserat skälen till bortfall och exkluderingar för att fastställa vad som låg bakom det.

Regeringen anser att Riksrevisionens granskning visar att Skolverket kan göra mer för att säkerställa att deltagande skolor följer OECD:s regelverk. Likaså behöver Skolverket vinnlägga sig om ett så högt deltagande som möjligt. Därför har regeringen den 6 maj 2021 gett Skolverket i uppdrag att förstärka sina insatser för att säkerställa ett högt deltagande i enlighet med OECD:s gällande riktlinjer i Pisa 2022 (U2021/02549). Regeringen delar vidare Riksrevisionens bedömning att uppföljningen av exkluderingar har försvårats genom att exkluderingar för funktionsnedsättningar och språkbegränsningar samredovisas. Enligt regeringen finns det därför anledning att vidta åtgärder i linje med Riksrevisionens rekommendation till regeringen.

Vissa problem med OECD:s genomförande av uppdraget

Regeringen delar inte Riksrevisionens bedömning att det borde ha gått att finna en lämpligare aktör än OECD för uppdraget att granska tillförlitligheten av den svenska Pisastudien. Regeringen instämmer dock i Riksrevisionens iakttagelse att OECD:s rapport bygger på vissa felaktiga antaganden i några avseenden och att Skolverket och regeringen borde ha uppmärksammat felaktigheterna i rapporten.

Riksrevisionens bedömning är att OECD dels inte haft kännedom om det svenska skolsystemet och hur utbildningen för nyanlända fungerar, dels att OECD:s godkännande av Sveriges data som presenterades i Skolverkets rapport Pisa 2018 baserades på svag empiri. Riksrevisionen anser vidare att det är tveksamt om OECD hade tillräckligt starka incitament att överpröva sitt tidigare ställningstagande eftersom organisationen redan en gång tidigare godkänt Sveriges statistik.

Regeringen konstaterar att OECD är den aktör som har mest kunskap och kompetens om Pisa. OECD har lång erfarenhet av studien och har bäst kännedom om organisationens bedömningar, t.ex. om länders exkluderingar, bortfall och statistik. OECD har också kunskap om samtliga deltagande länder i studien och resultaten i studien över tid.

Sammantaget bedömer därför regeringen att OECD är en organisation med god kompetens att granska den svenska Pisastudien. Regeringen kan dock konstatera att de brister som trots allt förekom i OECD:s rapport borde ha uppmärksammats av Skolverket och regeringen.

9

Skr. 2021/22:39

10

Regeringens uppföljningsansvar har i huvudsak uppfyllts

Regeringen gör delvis en annan bedömning än Riksrevisionen i frågan om att regeringen brustit i sitt uppföljningsansvar.

Riksrevisionen bedömer att regeringen inte har säkerställt att Pisaundersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. Riksrevisionen anser att regeringen borde ha agerat med tanke på att det förekom interna uppgifter inom Utbildningsdepartementet om att exkluderingsnivån förmodligen inte kunde förklaras med en hög andel nyanlända elever åren innan Pisa 2018 genomfördes. Riksrevisionen anser vidare att regeringen inte på ett trovärdigt sätt utrett tveksamheterna kring exkluderingarna i Pisa 2018.

Riksrevisionen anser även att regeringen borde ha uppmärksammat felaktigheterna i OECD:s rapport. Sammantaget innebär detta enligt Riksrevisionen att regeringen inte har fullföljt sitt uppföljningsansvar.

Regeringens uppföljningsansvar innebär bl.a. att regeringen ska följa upp myndigheternas resultat och verksamhet. I uppföljningsansvaret ingår även att regeringen ska ingripa om den bedömer att myndigheterna inte sköter sina uppgifter på ett ändamålsenligt sätt och vidta de åtgärder som är nödvändiga från ett styrningsperspektiv. Regeringen anser sig ha agerat och vidtagit adekvata åtgärder för att försäkra sig om att Pisaresultaten är tillförlitliga. Regeringen har vid flera tillfällen ställt frågor om den höga exkluderingsgraden till sin expertmyndighet och fått svar som bedömts rimliga. Skolverket har angett att OECD:s riktlinjer för såväl genomförande som exkluderingar har följts och att resultaten är tillförlitliga. Regeringen konstaterar att Skolverket gett samma information i andra sammanhang, t.ex. via sin webbplats. Regeringens agerande, där regeringen löpande har efterfrågat information från expertmyndigheten och uppmuntrat till extern granskning då tveksamheter uppstått, ligger helt i linje med det uppföljningsansvar som regeringen har. Det interna arbetsmaterial som tagits fram inom Utbildningsdepartementet har utgjort ett underlag i regeringens kommunikation med Skolverket. Även den omständigheten att Riksrevisionen inte ser någon grund att ifrågasätta att Skolverket gjort och genomfört alla de moment som OECD kräver bekräftar regeringens uppfattning att regeringen har följt upp myndighetens arbete i enlighet med sitt uppföljningsansvar.

När nya uppgifter framkom i media om misstankar om felaktiga exkluderingar har regeringen bistått Skolverket med att etablera en kontakt med OECD, som av Skolverket fick i uppdrag att granska tillförlitligheten av de svenska resultaten.

Regeringen noterar att OECD, som leder och organiserar Pisa, både vid publiceringen av Skolverkets rapport och därefter har stått fast vid att Pisa 2018 genomförts i enlighet med gällande riktlinjer, att den svenska exkluderingsgraden var acceptabel och att det inte fanns skäl att ifrågasätta resultaten.

När det gäller Riksrevisionens bedömning att regeringen borde ha uppmärksammat felaktigheterna i OECD:s rapport, delar regeringen Riksrevisionens bedömning i huvudsak. Eftersom det var Skolverket som var uppdragsgivare förekom dock ingen kommunikation om rapporten mellan regeringen och OECD, varken under eller efter genomförandet. När OECD presenterade sin rapport hade Riksrevisionen inlett sin granskning,

vilken regeringen ville invänta innan några eventuellt ytterligare åtgärder Skr. 2021/22:39 vidtogs. Regeringen borde emellertid ha uppmärksammat felaktigheterna

och i något sammanhang påtalat dem.

4 Regeringens åtgärder med anledning av Riksrevisionens iakttagelser

Riksrevisionen har rekommenderat regeringen att ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisaundersökningen.

Regeringen delar Riksrevisionens bedömning att uppföljningen av exkluderingar har försvårats genom att exkluderingar för funktionsnedsättningar och språkbegränsningar samredovisas. Regeringen har därför för avsikt att vidta åtgärder i linje med Riksrevisionens rekommendation till regeringen.

Riksrevisionen har rekommenderat Skolverket att förbättra arbetet med att säkerställa ett korrekt deltagande i kommande PISA-undersökningar. Regeringen instämmer i huvudsak i Riksrevisionens iakttagelse att Skolverket inte i tillräcklig utsträckning har följt upp den höga andelen exkluderade elever eller andelen bortfall. Regeringen har därför den 6 maj 2021 gett Skolverket i uppdrag att förstärka sina insatser för att säkerställa ett högt deltagande i enlighet med OECD:s gällande riktlinjer i Pisa 2022 (U2021/02549). Uppdraget ska redovisas till regeringen senast den 1 november 2021.

I och med denna skrivelse anser regeringen att Riksrevisionens rapport är slutbehandlad.

11

Skr. 2021/22:39

Bilaga 1

EN GRANSKNINGSRAPPORT FRÅN RIKSREVISIONEN

Pisa-undersökningen 2018

– arbetet med att säkerställa ett tillförlitligt elevdeltagande

rir 2021:12

13

Skr. 2021/22:39

Bilaga 1

Riksrevisionen är en myndighet under riksdagen med uppgift att granska den verksamhet som bedrivs av staten. Vårt uppdrag är att genom oberoende revision skapa demokratisk insyn, medverka till god resursanvändning och efektiv förvaltning i staten.

Riksrevisionen bedriver både årlig revision och efektivitetsrevision. Denna rapport har tagits fram inom efektivitetsrevisionen, vars uppgift är att granska hur efektiv den statliga verksamheten är. Efektivitetsgranskningar rapporteras sedan 2011 direkt till riksdagen.

riksrevisionen

isbn 978-91-7086-594-7 rir 2021:12

omslagets originalfoto: caiaimage

tryck: riksdagens interntryckeri, stockholm 2021

14

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N
T I L L R I K S D A G E N	B E S L U T A D : 2 0 2 1 - 0 4 - 1 5
	D N R : 3 . 1 . 1 - 2 0 2 0 - 0 9 8 4
	R I R 2 0 2 1 : 1 2

Härmed överlämnas enligt 9 § lagen (2002:1022) om revision av statlig verksamhet m.m. följande granskningsrapport:

Pisa-undersökningen 2018

– arbetet med att säkerställa ett tillförlitligt elevdeltagande

Riksrevisionen har granskat om regeringen och Skolverket säkerställt att ett tillförlitligt urval av elever deltog i Pisa-undersökningen. Resultatet av granskningen redovisas i denna granskningsrapport. Den innehåller slutsatser och rekommendationer som avser regeringen och Statens skolverk.

Riksrevisor Helena Lindberg har beslutat i detta ärende. Revisionsdirektör Sofia Sandgren Massih har varit föredragande. Revisionsdirektör Christian Andersson, revisor Frida Karlsson och enhetschef Katarina Richardson har medverkat i den slutliga handläggningen.

Helena Lindberg

Sofia Sandgren Massih

För kännedom:

Regeringskansliet; Utbildningsdepartementet

Statens skolverk

R I K S R E V I S I O N E N

15

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

R I K S R E V I S I O N E N

16

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Innehåll

Sammanfattning och rekommendationer		6
Ordlista		8
1	Inledning	9
1.1	Motiv till granskning	9
1.2	Revisionsfrågor	10
1.3	Bedömningsgrunder	11
1.4	Metod och genomförande	14
1.5	Disposition	16
2	Pisa-undersökningen	17
2.1	Pisa-undersökningen i Sverige	17
2.2	Pisa-undersökningens genomförande	19
2.3	Exkluderingar, bortfall och täckning över tid	22
3	Migrationen inför Pisa-undersökningarna 2015 och 2018 samt
	beskrivning av utbildning för nyanlända	28
3.1	Antalet asylsökande var som störst 2015 och har sedan dess sjunkit för varje år	28
3.2	Utbildning för nyanlända elever sker på svenska	30
4	Ett ökat antal nyanlända är inte en giltig förklaring till den höga
	andelen exkluderade elever i Pisa-undersökningen 2018	32
4.1	Begränsningar i tillgänglig statistik	32
4.2	Exkluderingar av nyanlända elever i Pisa-undersökningen 2018	33
4.3	Beräkningar utifrån elevregistret och invandringsår	34
4.4	Analys av Pisa-undersökningens individdata	35
4.5	Riksrevisionens bedömning	36
5	Otillräcklig uppföljning av exkluderingarna	38
5.1	Skolverkets information och stöd till skolsamordnarna	38
5.2	Skolverkets kvalitetssäkring och uppföljning av exkluderingar och bortfall	42
5.3	Mittuniversitetets genomförande av Pisa-undersökningen	44
5.4	Skolsamordnarnas tillämpning av kriterierna	45
5.5	Riksrevisionens bedömning	47
6	Regeringen och Skolverket har inte säkerställt att tveksamheterna
	kring deltagandet i Pisa-undersökningen utretts ordentligt	49
6.1	OECD gavs i uppdrag att granska Sveriges data ännu en gång	49
6.2	Bristande transparens från OECD gällande Pisa-undersökningen	50
6.3	OECD:s uppdrag var otydligt och resultatet blev inte trovärdigt	52
6.4	Riksrevisionens bedömning	56

R I K S R E V I S I O N E N

17

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

7	Slutsatser och rekommendationer		59
7.1	Brister i Skolverkets arbete med att informera om och följa upp exkluderingar		59
7.2	Regeringen har inte följt upp indikationer på felaktigheter		61
7.3	Rekommendationer		63
Referenslista			65
Bilaga 1. Pisa-undersökningens bakgrund och hur den är organiserad			69
Bilaga 2.		Potentiell påverkan av exkluderingar och bortfall	75
Bilaga 3.		Forskning kring exkluderingar och bortfall	85

R I K S R E V I S I O N E N

18

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

R I K S R E V I S I O N E N

5

19

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Sammanfattning och rekommendationer

Riksrevisionen har granskat Sveriges deltagande i Pisa-undersökningen 2018, med fokus på exkluderingar och bortfall av elever. Med exkluderingar avses elever som valts ut att skriva proven men som exkluderats från att delta på grund av funktionsnedsättningar eller bristande språkkunskaper. Bortfall avser elever som inte dyker upp vid provtillfället.

Granskningen visar på brister i Skolverkets uppföljningsarbete gällande exkluderingar och hur regeringen och Skolverket har hanterat de tveksamheter som uppkommit. Riksrevisionen bedömer att det är allvarligt att varken regeringen eller Skolverket på ett övertygande sätt har följt upp de misstankar om felaktigheter i genomförandet som både media och riksdagens utbildningsutskott fört fram. Skolverket, OECD och regeringen har hävdat att Sveriges låga deltagande i Pisa-undersökningen berodde på inflödet av migranter åren innan proven genomfördes. Granskningen visar att detta inte är en giltig förklaring. Skolverkets beslut att inte längre särredovisa exkluderingsorsaker har gjort det svårare att följa upp eventuellt felaktiga exkluderingar.

Eftersom resultaten från Pisa-undersökningen används som målindikator i många sammanhang, bland annat i budgetpropositionen, är det viktigt att resultaten går att lita på. Om Pisa-undersökningen inte genomförs på ett tillförlitligt sätt kan det få konsekvenser för både utbildningspolitiken och förtroendet för statsförvaltningen.

Granskningens resultat

Liten skillnad i antalet nyligen anlända elever inför proven 2018 jämfört med 2015

Skolverket har förklarat den stora ökningen av andelen exkluderade elever med de stora flyktingströmmar som kom runt 2015. De flesta elever som kom till Sverige

i samband med flyktingkrisen hade dock varit för länge i svensk skola vid tidpunkten för Pisa-undersökningen 2018 för att kunna exkluderas enligt OECD:s kriterier. Riksrevisionens beräkningar visar att andelen elever som kan exkluderas enligt kriterierna för bristande språkkunskap bara har ökat med ungefär

en halv procentenhet för Pisa-undersökningen 2018 jämfört med undersökningen 2015.

Uppskattade informationsmöten men otillräcklig uppföljning

Skolsamordnarna har uppskattat de informationsmöten som Skolverket anordnat men har uppfattat informationen om exkluderingar på olika sätt. Skolverket har inte säkerställt att informationen uppfattats och tolkats i enlighet med regelverket och inte heller följt upp om den tillämpats korrekt. Det har medfört att skolorna har exkluderat elever på olika premisser.

6 R I K S R E V I S I O N E N

20

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Uppföljningen av exkluderingar har försvårats efter att Skolverkets jurister gjorde en ny tolkning av personuppgiftslagen år 2016. Den nya tolkningen medförde att exkluderingar för funktionsnedsättningar och språkbegränsningar numera samredovisas. Skolverket har inte lyft frågan till regeringen för att eventuellt åstadkomma en författningsändring, och därmed en mer användbar redovisning av exkluderingarna.

Misstankar om felaktiga exkluderingar har inte utretts ordentligt

Trots att misstankar om att för många elever exkluderats har lyfts från många håll har varken regeringen eller Skolverket gjort några övertygande ansträngningar för att utreda frågan.

OECD gavs visserligen ett uppdrag att granska den svenska Pisa-statistiken en gång till men kan inte anses ha gjort en oberoende och trovärdig granskning. OECD:s slutsatser baseras på felaktiga antaganden om hur svensk skola fungerar. Samtidigt har Regeringskansliet i interna promemorior fört fram att exkluderingstalen inte kan förklaras på det sätt Skolverket och OECD gjort. Trots detta har regeringen fortsatt att hänvisa till Skolverkets och OECD:s uppgifter om att allt gått rätt till.

Riksrevisionens bedömer att regeringen inte har vidtagit tillräckliga åtgärder för att utreda de tveksamheter som uppstått i samband med Pisa-undersökningen 2018. Det beror inte nödvändigtvis på att regler eller processer är felaktigt utformade. Regeringen har dock inte fullföljt sitt ansvar att se till att underlydande myndigheter bedriver sin verksamhet enligt de krav som grundlagen ställer.

Rekommendationer

Riksrevisionen lämnar följande rekommendation till regeringen:

• Ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisa-undersökningen.

Riksrevisionen lämnar följande rekommendation till Skolverket:

• Förbättra arbetet med att säkerställa ett korrekt deltagande i kommande Pisa-undersökningar. Ett sådant arbete bör innefatta att större vikt läggs vid följande detaljer i genomförandet:

−Förstärk den inledande kommunikationen med utvalda skolor.

−Säkerställ att instruktionerna uppfattas och tillämpas korrekt av skolsamordnarna.

−Följ upp exkluderingarna mer detaljerat genom att begära in elevprotokollen innan undersökningen genomförs.

−Höj ambitionsnivån i arbetet med att minska bortfallet genom fler uppföljningstillfällen och betona vikten av att elever deltar

i informationen som skickas till vårdnadshavarna.

R I K S R E V I S I O N E N

7

21

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Ordlista

Adjudiceringsnämnd – nämnd inom OECD som validerar kvaliteten på deltagande länders data när de i något avseende inte lever upp till OECD:s kriterier (s. 24).

Bortfall – de elever som inte dyker upp på provdagen, trots att de borde, samt de elevers provsvar med en för liten andel besvarade uppgifter (s. 21).

Exkluderingar – en process där vissa elever inte bedöms förmögna att genomföra Pisa-proven, trots att de blivit utvalda att göra det (s. 21).

Kontraktor – internationell konsult kontrakterad av OECD för att hålla samman och genomföra Pisa-undersökningen (s. 17).

Nationellt projektcenter – den aktör i landet som är ansvarig för genomförandet av Pisa-undersökningen (s. 17).

Skolsamordnare – en av rektorn utsedd person på skolan för att genomföra

Pisa-undersökningen (s. 19).

8 R I K S R E V I S I O N E N

22

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

1 Inledning

Pisa-undersökningen1 är en internationell studie med syfte att undersöka i vilken grad respektive lands utbildningssystem bidrar till att 15-åriga elever är rustade att möta framtiden utifrån ämnesområdena läsförståelse, matematik och naturvetenskap. Pisa-undersökningen utvecklas och organiseras av OECD.2 Undersökningen är

i många länder ett viktigt underlag för politiska beslut om framtida utvecklingsinsatser, reformer och resursfördelning inom skolan. Detta gäller även Sverige, framför allt med tanke på att vi saknar nationella kunskapsmätningar med kapacitet att mäta utveckling över tid. Att resultaten ger en tillförlitlig och korrekt bild av det svenska utbildningssystemet är en förutsättning för att de ska kunna bidra till utvecklingen av en skola med hög och likvärdig kvalitet.

För att kunna jämföra resultaten i internationella studier krävs strikta kriterier så att lika jämförs med lika. För att resultaten ska kunna jämföras för ett land över tid krävs också att kriterierna appliceras likadant vid varje provtillfälle. Enligt OECD:s riktlinjer får deltagande länder exkludera högst 5 procent av eleverna för att upprätthålla konsistenta och jämförbara resultat. I Sverige exkluderades drygt

11 procent av eleverna vid den senaste Pisa-undersökningen 2018. Exkluderingsgraden måste begränsas eftersom en hög andel exkluderade elever riskerar medföra att resultaten inte blir representativa för landets utbildningssystem. Därutöver måste minst 80 procent av de utvalda eleverna skriva provet för att resultaten, enligt OECD, ska bli tillförlitliga.3

1.1 Motiv till granskning

Sveriges resultat från Pisa-undersökningen 2015 indikerade att den nedåtgående kurvan för Sverige vänt. Resultaten i alla tre ämnesområden förbättrades. Resultaten i undersökningen 2018 bekräftade denna bild med resultat i linje med dem från 2015.4

Omedelbart efter att provresultaten från undersökningen 2018 publicerades hösten 2019 förekom ett offentligt ifrågasättande av hur många elever som exkluderats från proven.5 Såväl andelen exkluderade elever som andelen elever som registrerades som frånvarande vid provtillfället ökade väsentligt mellan 2015 och 2018. I juni 2020 publicerades en längre artikel om att Sverige exkluderat en för stor andel utlandsfödda elever från proven.6 Företrädare för regeringen bad

1 PISA – Programme for International Student Assessment.

2 Organisation for Economic Co-operation and Development.

3 OECD, PISA 2018 Technical Report, 2018.

4 Skolverket, Pisa 2018 – 15-åringars kunskaper i läsförståelse, matematik och naturvetenskap, 2019.

5 Jällhage och Olsson, ”Kritiken mot Pisa-firandet: ’Skrämmande’", 2019-12-03; Henrekson och Wennström, ”Därför kan vi inte längre lita på Pisa”, 2019-12-17; Letmark, ”Rekordmånga nyanlända fanns inte med i årets Pisa”, 2019-12-04.

6 Hellberg, ”Sveriges PISA-framgång bygger på falska siffror”, 2020-06-02.

R I K S R E V I S I O N E N

9

23

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

då, i samråd med Skolverket, OECD att göra en granskning av det svenska genomförandet av undersökningen.7

Det är viktigt att granska om Pisa-undersökningen genomförts på ett sätt som gör att resultaten är tillförlitliga och om regeringen och Regeringskansliet har hanterat de tveksamheter som uppstod på ett tillförlitligt sätt. Eftersom resultaten från Pisa-undersökningen används i många sammanhang, bland annat som målindikator i budgetpropositionen, är det viktigt att resultaten går att lita på.8

Om det råder oklarheter angående vilka elever som valts ut att göra proven och vilka som undantagits kan det få flera konsekvenser. Det riskerar att skada provens legitimitet och i förlängningen förtroendet för staten. Om resultaten inte är tillförlitliga eller representativa kan det på längre sikt riskera att nödvändiga reformer inte genomförs eller att statliga medel inte utnyttjas på ett effektivt sätt.

I september 2020 ställde sig en majoritet i riksdagens utbildningsutskott bakom ett utskottsinitiativ med innebörden att riksdagen med ett tillkännagivande skulle uppmana regeringen att tillsätta en oberoende utredning kring Sveriges deltagande i Pisa 2018.9 Riksdagen beslutade att avslå utskottets initiativ om att tillsätta en oberoende granskning med argumentet att OECD redan hade blivit ombedda att granska Sveriges resultat en gång till. I sin rapport, som publicerades efter riksdagens beslut, konstaterar OECD att det stora antalet exkluderade elever troligen kan förklaras med det stora flyktingmottagandet åren innan Pisa-undersökningen 2018. OECD bekräftade alltså Skolverkets bedömning att Sveriges deltagande och resultat var korrekt. Riksrevisionens bedömning är dock att det finns anledning att ifrågasätta delar av OECD:s rapport och att det därför är befogat att genomföra ytterligare en granskning.

1.2 Revisionsfrågor

Den övergripande revisionsfrågan är om regeringen och Skolverket har säkerställt att Pisa-undersökningen 2018 genomfördes på ett tillförlitligt sätt vad gäller exkluderingar och bortfall av elever.

För att besvara den övergripande frågan ställer vi nedanstående delfrågor.

1. Är ett ökat antal nyanlända en giltig förklaring till den höga andelen exkluderade elever i Pisa-undersökningen 2018?

2. Har Skolverket givit tydliga och heltäckande instruktioner och relevanta stödinsatser om exkluderingar och bortfall till utvalda skolor?

7 Hellberg, ”Anna Ekström begär ny granskning av resultaten”, 2020-06-03; OECD, A review of the PISA 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020, s. 4; promemoria 2020-06-09, underlag inför möte med utbildningsutskottet.

8 I riksdagens data för tiden 2015-01-01–2020-12-31 finns 577 dokumentträffar på Pisa-undersökningen, 125 träffar på Timss, och 48 på Pirls – de senare är andra internationella elevundersökningar.

9 Bet. 2020/21:UbU4.

10 R I K S R E V I S I O N E N

24

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

3. Har Skolverket en fungerande kvalitetssäkring och uppföljning av skolornas genomförande av Pisa-undersökningarna vad gäller exkluderingar och bortfall?

4. Har regeringen och Skolverket säkerställt att tveksamheterna kring Sveriges deltagande i Pisa-undersökningen utretts ordentligt?

Granskningen omfattar i huvudsak perioden för genomförandet av Pisa 2018. Med genomförande avser vi förarbete, genomförandet av själva studien samt efterarbete i form av sammanställning av resultat, uppföljning och kvalitetssäkring. Granskningen fokuserar på exkluderingar och bortfall i samband med genomförandet av undersökningen och inte på elevernas resultat.

1.3 Bedömningsgrunder

Bedömningsgrunder är de kriterier som Riksrevisionen tillämpar för att värdera sina iakttagelser. Våra bedömningsgrunder utgår i huvudsak från den övergripande intentionen med Pisa-undersökningen och det regelverk, framför allt tekniska standarder, som OECD satt upp för ländernas deltagande. Vi utgår också från gängse krav som ställs på regeringen och svenska myndigheter att tillhandahålla korrekt och tillförlitlig information och statistik. Bedömningsgrunderna operationaliseras utifrån en rimlighetsbedömning av hur de bör anpassas till den granskade verksamheten. Vi utgår även från regeringsformen, myndighetsförordningen och förvaltningspolitiska propositionen och det som framgår där om att myndigheters verksamhet ska bedrivas effektivt, sakligt och korrekt. Nedan beskrivs bedömningsgrunderna för respektive delfråga.

Delfråga 1. Är ett ökat antal nyanlända en giltig förklaring till den höga andelen exkluderade elever i Pisa-undersökningen 2018?

Bedömningsgrunderna är de kriterier för exkludering av elever som OECD har ställt upp för deltagande länder, samt om andelen exkluderade elever ligger i linje med den andel som potentiellt bör kunna exkluderas enligt olika registerdata. Kriterierna för exkludering återges i kapitel 2.

Delfråga 2. Har Skolverket givit tydliga och heltäckande instruktioner och relevanta stödinsatser om exkluderingar och bortfall till utvalda skolor?

OECD har tagit fram specificerade kriterier för vilka elever som ska väljas ut att göra proven och vilka elever som får undantas. En förutsättning för att rätt elever väljs ut och sedan gör proven är att de som ska exkludera elever, i detta fall skolsamordnare på deltagande skolor, faktiskt förstår och tillämpar reglerna på det sätt som är avsett. Här har Skolverket en viktig uppgift att se till att den information och det stöd som ges till skolsamordnarna möjliggör för dem att tillämpa kriterierna som tänkt.

R I K S R E V I S I O N E N

11

25

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Vi bedömer att instruktionerna från Skolverket till skolsamordnarna om exkluderingsregler och bortfall är tydliga och heltäckande om skolsamordnarna följer kriterierna på det sätt som avsetts.

Vad gäller bortfall är det inte en bedömningsfråga på samma sätt som exkluderingar, utan handlar i stället om vilken information som getts om hur skolorna kan agera för att minska bortfallen, och vad som registreras som bortfall i sammanställningarna.

Delfråga 3. Har Skolverket en fungerande kvalitetssäkring av skolornas genomförande av Pisa-undersökningarna vad gäller exkluderingar och bortfall?

När ett land ansluter sig till Pisa-undersökningen förbinder sig landet att följa de krav som OECD beslutat för genomförandet. OECD:s tekniska standarder anger bland annat vilka kvalitetssäkringsmoment som ska göras för att respektive standard ska anses vara uppfylld och vilka eventuella avvikelser som är acceptabla. I Standard 21.1 framgår att de nationella projektcentren10 ska ta fram lämpliga rutiner för att främja deltagande och stödja ett effektivt genomförande.11 Vad detta konkret innebär är däremot inte närmare specificerat. Däremot har OECD tagit fram manualer för genomförandet både till nationella projektledare och skolsamordnare. De standarder och manualer som finns är tänkta att säkra hög kvalitet på genomförandet.

Utöver de regler som OECD kräver att deltagande medlemsländer ska följa finns det inga ytterligare krav från regeringen på hur Pisa-undersökningen ska genomföras.12 Regeringen har inte tagit något initiativ till att införliva OECD:s krav i svensk författning i syfte att tydliggöra tillämpningen för att åstadkomma en enhetlig tolkning av vad som krävs av skolorna i samband med Pisa-undersökningen. Däremot finns krav på myndigheter specificerade på annat håll. Till exempel framgår det av myndighetsförordningen att myndighetens ledning ansvarar inför regeringen för verksamheten och ska se till att den bedrivs effektivt och att den redovisas på ett tillförlitligt och rättvisande sätt.13 Vi menar att detta innefattar ett ansvar att säkerställa att de underlag som myndigheten tar fram i samband med Pisa-undersökningen är tillförlitliga och rättvisande.

10 I Sverige är det enheten för internationella studier på Skolverket.

11 OECD, PISA 2018 Technical Standards, 2015, s. 19.

12 Enligt sin instruktion ska Skolverket ansvara för Sveriges deltagande i internationella kunskapsmätningar. Dessutom får Skolverket i samråd med Regeringskansliet även företräda staten i förhandlingar och ingående av internationella överenskommelse om Sverige deltagande i sådana mätningar, såvitt inte regeringen beslutar något annat (4 § förordning [2015:1047] med instruktion för Statens skolverk).

13 3 § myndighetsförordningen (2007:515).

12 R I K S R E V I S I O N E N

26

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Det ingår även i Skolverkets ansvar att följa upp och utvärdera skolväsendet på nationell nivå.14

Vidare har riksdagen uttalat att det är ”mycket angeläget att den officiella statistiken är av god kvalitet och att den ger en rättvisande bild av läge och utveckling i samhället”.15 Den officiella statistiken ska tillgodose användarnas informationsbehov och förväntningar. Pisa-statistiken ägs av OECD och klassificeras inte som officiell statistik, men den används som underlag för beslut

– till exempel i samband med budgetpropositionen där Pisa-resultaten används som en av flera indikatorer för att mäta måluppfyllelse för grundskolan.16 Rimligen bör höga krav kunna ställas även på den. Skolverket som myndighet med statistikansvar och med ansvar för Pisa-undersökningen i Sverige är därför den aktör som ansvarar för att den statistik som rapporteras in för Sveriges del håller hög kvalitet och ger en rättvisande bild av skolsystemet.

Sammanfattningsvis menar vi att en fungerande kvalitetssäkring och uppföljning innefattar att:

• Skolverket följer upp eventuella förändringar och problem som framkommer i förstudien på ett ändamålsenligt sätt och vidtar relevanta åtgärder inför huvudstudien om så behövs

• Skolverket följer upp eventuella indikationer på problem avseende elevdeltagandet vid provskrivningen i samband med huvudstudien

• om det förekommit felaktigheter under genomförandet av huvudstudien vidtar Skolverket relevanta åtgärder för att motverka att det sker igen vid nästa Pisa-undersökning.

Delfråga 4. Har regeringen och Skolverket säkerställt att tveksamheterna kring Sveriges deltagande i Pisa-undersökningen utretts ordentligt?

Enligt regeringsformen ska förvaltningsmyndigheter och andra som fullgör offentliga förvaltningsuppgifter i sin verksamhet iaktta saklighet och opartiskhet.17 Konstitutionsutskottet har tolkat detta som att information som utgår från det allmänna, det vill säga stat, kommun, regioner och statliga myndigheter, ska vara korrekt, vederhäftig och väl kontrollerad. Om informationen visar sig innehålla oriktiga uppgifter måste åtgärder som korrigerar det vidtas.18 I detta fall innebär det att regeringen och Skolverket, när signaler kommer om att uppgifter som Skolverket tillhandahåller är bristfälliga och strider mot regeringsformens krav på saklighet, på något sätt bör agera. Skolverket bör utvärdera hur de utfört sitt

14 26 kap. 24 § skollagen (2010:800).

15 Prop. 1991/92:118, bet. 1991/92: FIU23; rskr. 1991/92:316.

16 Prop. 2019/20:1 UO16, bet 2019/20:FiU1; rskr. 2019/20:59. Att det är en målindikator framgår även i tidigare års budgetpropositioner.

17 1 kap. 9 § regeringsformen.

18 Bet. 2011/12:KU20, s. 161.

R I K S R E V I S I O N E N

13

27

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

uppdrag. Regeringen bör, utifrån sitt ansvar att se till att underlydande myndigheter bedriver sin verksamhet i enlighet med de krav som grundlagen ställer, kontrollera om brister förekommit och vid behov vidta åtgärder för att komma till rätta med bristerna.19 I den styrande funktionen ingår, enligt konstitutionsutskottet, en skyldighet att leda den statliga förvaltningens verksamhet. Detta förutsätter, menar utskottet vidare, att ”regeringen följer myndigheternas verksamhet och vid behov ser till att vidta de åtgärder som är nödvändiga från ett styrningsperspektiv”.20 I syfte att uppfylla detta finns det alltså anledning för regeringen, om tvivel föreligger, att utse en lämplig aktör att utreda frågan om det inte kan göras internt. Det bör även tillses att uppdraget utförs så att såväl riksdagen som allmänheten kan lita på de slutsatser som dras. Vi kallar detta för regeringens uppföljningsansvar gentemot myndigheterna.

I förvaltningspolitiska propositionen framgår att kontakterna ”mellan Regeringskansliet och andra myndigheter är viktiga inslag i en effektiv förvaltning och bör syfta till informations- och kunskapsutbyte samt förtydliganden av regeringens styrning”.21 Oavsett formerna för regeringens styrning och vilket ansvar regeringen ger myndighetsledningar gäller att det är regeringen som är ansvarig inför riksdagen för hur riket styrs.22

1.4 Metod och genomförande

Delfråga 1: Förklaring till den höga andelen exkluderade elever

Frågan om vad som kan förklara den höga andelen exkluderade elever besvaras genom analys av underlag från ett antal olika källor. Vi har inhämtat statistik från Skolverket på deltagande skolor från undersökningen 2018. För att få en ytterligare bild av antalet nyanlända på deltagande skolor använder vi även andra datakällor, såsom mikrodata från Pisa-undersökningen och statistik från Migrationsverket.

För att få klarhet i hur undervisningen av nyanlända elever fungerar i svensk skola har vi intervjuat ett antal experter inom utbildning för nyanlända. För att få

en välgrundad uppfattning om huruvida det finns skäl att tro att andelen elever med så stora behov av särskilt stöd att de inte kan genomföra provet har ökat har

vikontaktat ett antal experter inom särskilt stöd. Vi har också inhämtat statistik från Socialstyrelsen över utvecklingen av diagnoser för neuropsykiatriska funktionsnedsättningar (NPF-diagnoser) sedan 2015. Vi har haft kontakt med fyra forskare, experter på Skolverket samt Sveriges Kommuner och Regioner. Utbildning för nyanlända beskrivs i kapitel 3.

19 1 kap. 6 och 9 §§ regeringsformen.

20 Bet. 2012/13:KU10 s. 99.

21 Prop. 2009/10:175, s. 101, bet. 2009/10:FiU38, rskr. 2009/10:315.

22 Bet. 2012/13:KU10 s. 99.

14 R I K S R E V I S I O N E N

28

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Delfråga 2 och 3: Tydliga och heltäckande instruktioner och stödinsatser samt fungerande kvalitetssäkring

För att besvara den andra och tredje delfrågan har vi genomfört intervjuer och dokumentstudier. Dessa har i vissa fall även kompletterats med skriftliga frågor. Intervjuerna har i huvudsak genomförts digitalt. På Skolverket har vi genomfört flera intervjuer med den grupp som ansvarar för Pisa-undersökningen.

Vi har genomfört intervjuer med 32 skolsamordnare vid skolor som deltog i Pisa-undersökningen 2018.23 De flesta intervjuer gjordes i november eller december 2020, det vill säga drygt två och ett halvt år efter själva genomförandet av Pisa-undersökningen. Det innebär att det har varit svårt för en del skolsamordnare att minnas vissa detaljer kring exkluderingarna, något vi också beaktar

i granskningen. Samtidigt kan vi konstatera att många minns mycket väl. Att vara skolsamordnare för Pisa-undersökningen är för de flesta något unikt och något som skiljer ut sig från de vardagliga arbetsuppgifterna i skolan, vilket troligen bidrar till att många minns genomförandet väl. I de fall vi inte fått tillräckligt med information för att vara säkra på att skolsamordnaren tolkat kriterierna felaktigt har vi utgått från att exkluderingarna varit korrekta. Vi har också eftersträvat ett brett urval av skolsamordnare att intervjua, såväl typ av skola, var i landet skolan ligger samt hur mycket exkluderingar och bortfall skolan haft.24 Det främsta syftet med intervjuerna har varit att ge en bild av vilka problem som kan ha förekommit i samband med genomförandet. Ambitionen har inte varit att ge en exakt och helt representativ bild. Vi bedömer det senare som ogörligt eftersom det hade krävt för mycket resurser att intervjua samtliga skolsamordnare. Därutöver har vi inte heller fått tag på alla skolsamordnare vi sökt och vissa har inte bedömt att de kommer ihåg tillräckligt för att vilja prata med oss.

Vi har även intervjuat tidigare nationellt projektansvariga vid Mittuniversitetet för att få en bild av hur man i tidigare provomgångar arbetat med att informera och följa upp exkluderingar och bortfall och vad som varit framgångsfaktorer i det arbetet.

De dokument som vi har samlat in har huvudsakligen varit material från OECD och Skolverket om hur deltagandet i Pisa-undersökningen ska hanteras, manualer och information till nationella projektsamordnare. Vi har vidare tagit del av den information som Skolverket skickat till deltagande skolor och skolsamordnare. Vi har också tagit del av uppföljningsrapporter och beskrivningar av arbetet med genomförandet från Skolverket.

Slutligen har vi ställt skriftliga frågor till nationellt projektansvariga i samtliga nordiska länder samt Tyskland.

23 Sammanlagt deltog 223 skolor i Pisa-undersökningen 2018.

24 8 av de skolor vi intervjuat har inte haft några exkluderingar och 3 skolor har inte haft något bortfall. 5 skolor har haft 10 eller fler exkluderingar, 3 skolor har haft 10 eller fler elever som bortfall. Skolorna hade i genomsnitt 5,4 exkluderade elever och 4,5 elever som bortfall.

R I K S R E V I S I O N E N

15

29

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Delfråga 4: Utredning av tveksamheter kring deltagandet i Pisa

För att besvara den fjärde delfrågan, om regeringen och Skolverket säkerställt att tveksamheterna kring deltagandet i PISA-undersökningen utretts, har vi gjort följande: Vi har fått underlag från Skolverket angående uppdraget till OECD och hur de hanterat uppdraget. Vi har fått ta del av kommunikation mellan OECD och Skolverket i frågan, mellan kontraktorn och Skolverket samt kommunikationen mellan Skolverket och Utbildningsdepartementet. Vi har även haft kontakt med Utbildningsdepartementet och fått läsa underlag på plats. Därutöver har vi inhämtat information från OECD via mejl.

Granskningen har genomförts av en projektgrupp bestående av revisionsdirektör Sofia Sandgren Massih (projektledare), revisionsdirektör Christian Andersson samt revisor Frida Karlsson. En referensperson har lämnat synpunkter på granskningsupplägg och på ett utkast till granskningsrapport: Tanja Kirjavainen, postdoc-forskare vid universitetet i Jyväskylä.

Företrädare för Regeringskansliet (Utbildningsdepartementet) och Skolverket har fått tillfälle att faktagranska och i övrigt lämna synpunkter på ett utkast till granskningsrapport. Även OECD har fått möjlighet att faktagranska de delar av rapporten som rör OECD.

1.5 Disposition

I kapitel 2 och 3 ger vi bakgrundsinformation som vi bedömer är nödvändig för att förstå de analyskapitel som följer därefter. I kapitel 4 besvarar vi delfråga 1, i kapitel 5 besvarar vi delfråga 2 och 3, och i kapitel 6 besvarar vi delfråga 4. I ett avslutande kapitel ger vi slutsatser och rekommendationer. Rapporten innehåller även några bilagor. I bilaga 1 ges en beskrivning av Pisa-undersökningens historia och hur den är organiserad I bilaga 2 undersöker vi hur de svenska resultaten

i Pisa-undersökningen 2018 potentiellt påverkades av exkluderingar och bortfall. Bilaga 3 består av en genomgång av forskning kring exkluderingar och bortfall i Pisa-undersökningen.

16 R I K S R E V I S I O N E N

30

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

2 Pisa-undersökningen

I detta kapitel ger vi en kortfattad beskrivning av Pisa-undersökningen. Dels Sveriges deltagande i Pisa-undersökningen, dels hur genomförandet är tänkt att gå till. Vi redogör också kort för exkluderingar, bortfall och täckningsgrad.

Pisa-undersökningen är initierad och organiserad av OECD. För att genomföra undersökningen upphandlar OECD en kontraktor som under ledning av kansliet för Pisa-undersökningen ska utforma och genomföra den. I praktiken är det kontraktorn som har dialogen med respektive land och förser de nationella projektledarna med instruktioner för genomförandet.

2.1 Pisa-undersökningen i Sverige

Sverige har deltagit i Pisa-undersökningen sedan starten 2000. I den senaste undersökningen 2018 deltog 79 länder och regioner, däribland samtliga

37 OECD-länder. I Sverige skrev ett urval av drygt 5 500 15-åriga elever från 207 grundskolor och 16 gymnasieskolor provet och besvarade tillhörande enkät.

I Sverige har regeringen delegerat ansvaret för Sveriges deltagande

i Pisa-undersökningen till Skolverket.25 Myndigheten ska redogöra i årsredovisningen för arbetet med Pisa-undersökningen och publicera en rapport efter varje genomförd studie. Vid både den årliga myndighetsdialogen och vid löpande dialog med myndigheten ska Utbildningsdepartementet följa upp de resultat som Skolverket har uppnått utifrån myndighetens instruktion och regleringsbrev.26

Skolverket är sedan 2015 även nationellt projektcenter för Pisa-undersökningen vilket innebär att myndigheten har ett nationellt projektledaransvar för att undersökningen genomförs enligt de regler som OECD beslutat. Tidigare upphandlade Skolverket denna funktion. Inför den första Pisa-undersökningen ställdes en intresseförfrågan till olika lärosäten och myndigheter.27 Högskolan i Kalmar fick uppdraget.28 Den 1 juli 2002 flyttades Pisa-undersökningens nationella center till Mitthögskolan (Mittuniversitetet från och med 2005).

I samband med undersökningen 2015 tog Skolverket över projektledaransvaret från Mittuniversitetet. Anledningen till detta var främst en ambition att samla alla stora internationella kunskapsundersökningar på en och samma avdelning på Skolverket samt att samordningsmöjligheter rimligen skulle leda till

25 4 § förordning om instruktion för Statens skolverk (2015:1047).

26 Skriftligt svar från Utbildningsdepartementet, 2020-11-18.

27 Skolverket, Anbudsförfrågan Nationell projektledare för OECD-projekt ”A strategy for Students Achievement Outcomes”, 1997.

28 För mer detaljer kring projektledare osv. se Fredriksson, Karlsson och Pettersson, PISA under 15 år

– resultat och trender, 2018.

R I K S R E V I S I O N E N

17

31

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

kostnadseffektivisering. Ett ytterligare motiv var det ökande fokuset på Pisa-undersökningen, vilket medför höga krav på god kunskap om genomförandet. Skolverket menade att den kunskapen bäst kunde erhållas om studien genomfördes av myndigheten.29 Mittuniversitetet ansvarade för genomförandet 2015, men Skolverket skrev slutrapporten och tog därefter över allt ansvar. Projektledaransvaret ligger nu på enheten för internationella studier, där ansvaret för övriga internationella studier också ligger.

2.1.1 Sveriges resultat i Pisa-undersökningen 2000–2018

Sveriges resultat var som bäst vid första tillfället och sjönk sedan successivt fram till och med 2012. Därefter har resultaten återigen förbättrats, framför allt var det en statistiskt signifikant förbättring mellan 2012 och 2015. Pisa 2018 visade att de svenska resultaten i läsförståelse, matematik och naturvetenskap var tillbaka på samma nivåer som 2006, då den kraftiga nedgången i resultat började. Figur 1 visar resultatutvecklingen i de tre ämnesområdena.

Figur 1 Sveriges resultatutveckling i Pisa-undersökningen jämfört med OECD-snittet, 2000–2018

520

510

500

490

480

470

2000		2003	2006	2009	2012	2015		2018
	Sverige Läsförståelse			Sverige Matematik			Sverige Naturvetenskap
	OECD Läsförståelse			OECD Matematik			OECD Naturvetenskap

Källa: OECD:s resultatrapporter.

I Pisa 2018 presterade svenska elever på en nivå som var högre än OECD-genomsnittet inom samtliga tre ämnesområden. Jämfört med Pisa 2015 ökade den uppmätta poängen i samtliga ämnesområden, men förbättringen var inte statistiskt säkerställd.30

29 Skolverket, Förslag angående kommande PISA-cykler, dnr 1.1.2-2015-0180, 2014.

30 Skolverket, PISA 2018 Huvudstudie – manual till skolsamordnare, 2018.

18 R I K S R E V I S I O N E N

32

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

2.2 Pisa-undersökningens genomförande

2.2.1 Skolsamordnare – en viktig funktion

För att säkerställa att de regler som OECD beslutat efterlevs ute på skolorna ska varje deltagande skola välja en så kallad skolsamordnare. Skolsamordnarna ska fungera som kontaktperson mellan skolan och den nationella projektledaren.31 Det är rektorn på respektive skola som bestämmer vem som ska vara skolsamordnare; vanligtvis är det en biträdande rektor eller en lärare som utses. Eftersom eleverna (sedan 2015) gör provet och enkäterna på datorer ska skolorna även utse

en IT-ansvarig som bland annat ska stödja skolsamordnarna vid provtillfället.32

Skolsamordnarna har en viktig roll då de ska förse Skolverket med listor över vilka elever som finns på skolan och därmed ingår i målgruppen för att göra provet. Det är även skolsamordnarna som sedan ska identifiera vilka elever som möter OECD:s regler för exkludering och därmed ska undantas från att göra proven. Skolsamordnaren ska även informera övrig personal och elever om undersökningen.33

Även om det finns utförliga regler från OECD för mycket av arbetet med skolsamordnarna så har Skolverket en viktig roll när det gäller att säkra kvaliteten i deltagandet. I Skolverkets roll ingår bland annat att utbilda och ge stöd till skolsamordnarna i vilka regler som gäller för urval, exkludering och bortfall. Skolverket ska också säkerställa att reglerna tillämpas, samt förse skolsamordnarna med relevanta manualer för hur proven ska genomföras. I arbetet ingår även att översätta och anpassa de manualer som OECD beslutat om så att de blir användbara i den svenska kontexten samt informera vårdnadshavare om Pisa-undersökningen. Översättningen ska ske genom en av OECD bestämd översättningsprocess för att undvika eventuella avvikelser från standarderna.34 I den manual som OECD beslutat för nationella projektledare framgår även att Skolverket ska säkerställa att de elevlistor som samlas in från varje deltagande skola håller hög kvalitet.35

2.2.2 Hur går urvalet till?

Urvalet av elever som ska göra proven sker i flera steg. Inledningsvis listas alla skolor som året innan genomförandet har elever i rätt ålder i årskurs 7 eller högre. I Sverige är det en hel årskohort som ingår i målpopulationen, det vill säga elever födda mellan 1 januari och 31 december det aktuella året – för Pisa-undersökningen 2018 var det elever födda år 2002.36 Special- och särskolor är markerade och

31 Skolverket, PISA 2018 Huvudstudie – manual till skolsamordnare, 2018.

32 Skolverket, Så här går PISA till – en sammanfattande beskrivning, 2017.

33 Skolverket, PISA 2018 Huvudstudie – manual till skolsamordnare, 2018.

34 Ibid.

35 Ibid.

36 Länder som skriver Pisa-undersökningen senare på året har delade årskohorter, det vill säga de ska vara födda mellan exempelvis första mars och sista februari.

R I K S R E V I S I O N E N

19

33

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

exkluderas innan urvalet görs, men räknas med i exkluderingsgraden. OECD gör sedan ett stratifierat slumpmässigt urval av skolenheter som ska delta. Skolsamordnarna ombeds fylla i en elevlista med alla elever i skolan födda det aktuella året och då även ange vilka elever som behöver någon form av extra stöd i sin undervisning. Det finns olika koder beroende på vilken form av stöd eleven har, till exempel för fysiska eller psykiska funktionsnedsättningar, eller extra språkundervisning. I Sverige kodas alla elever med någon form av extra stöd med samma kod.

När elevlistorna kommit in till Skolverket görs ett slumpmässigt urval av elever, enligt ett program som tillhandahålls av den internationella kontraktorn. I varje land ska urvalet omfatta ett visst antal skolor och elever per skola. I Sverige var det 2018 minst 150 skolor och 37 elever från respektive skola. Om en skola inte har 37 elever väljs alla elever på skolan ut. I skolor där det går fler än 37 elever

i korrekt årskurs och åldersgrupp görs ett slumpmässigt urval av elever. Efter att skolsamordnarna fått veta vilka elever som valts ut till proven ska de fylla i ett elevprotokoll och där ange vilka elever som ska exkluderas. Urvalsprocessen illustreras i figur 2.

Figur 2 Urvalsprocessen för Pisa-undersökningen

Skolverket	Skolverket tar in elevlistor	Bortfall
listar skolor	och gör slumpmässigt urval	provdag

OECD	Skolsamordnare
väljer ut skolor	exkluderar elever

Källa: Riksrevisionen.

Anm.: Figuren är något förenklad.

2.2.3 Varför och när kan elever exkluderas?

För att en internationell undersökning ska vara jämförbar mellan länder och över tid måste så många som möjligt av de utvalda eleverna delta. Det måste dock finnas en möjlighet för länderna att undanta vissa elever från proven, huvudsakligen för att de elevernas provresultat inte skulle säga något om landets skolsystem.

Det kan vara elever med grava funktionsnedsättningar. Det kan också vara elever

20 R I K S R E V I S I O N E N

34

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

som nyligen anlänt till landet och vars kunskapsnivå därför inte kan anses vara resultatet av landets utbildningssystem. För att upprätthålla jämförbarheten mellan deltagande länder måste de exkluderingar som tillåts definieras centralt, men också vara begränsade. Om för många elever exkluderas kan inte undersökningens resultat anses vara representativt för landets skolsystem.37 Kriterierna för exkludering har varit oförändrade sedan Pisa-undersökningens start 2000.38

Som nämnts ovan görs de första exkluderingarna redan innan skolorna valts ut i och med att sär- och specialskolor exkluderas. När urvalet av elever sedan gjorts får skolsamordnarna tillbaka listorna och ska då avgöra om det är vissa av de elever som har särskilt stöd som inte kan delta i proven. Bara för att en elev har någon form av särskilt stöd är det inte säkert att hen ska exkluderas. Sammanlagt får exkluderingarna inte överstiga 5 procent av målpopulationen, det vill säga inklusive de exkluderade skolorna.39 OECD har följande riktlinjer för att

en exkludering ska få göras, med avsikten att exkluderingarna ska minimeras:40

• Eleven har en måttlig till svår permanent fysisk funktionsnedsättning (till exempel synnedsättning) som gör att han eller hon inte kan delta vid provet.

• Eleven har en kognitiv, beteendemässig eller emotionell funktionsnedsättning som, enligt en person som är professionellt sakkunnig på området, gör att han eller hon inte kan delta i Pisa-undersökningen. Funktionsnedsättningen ska vara så allvarlig att eleven inte kan tillgodogöra sig de allmänna instruktionerna till provet.

• Eleven uppfyller samtliga tre nedanstående kriterier41

−har inte svenska som modersmål

−har begränsade kunskaper i svenska

−har fått mindre än 1 års undervisning i svenska.

Till provtillfället förväntas alltså 37 elever från respektive skola, minus de som blivit exkluderade, dyka upp. Ett visst antal elever tillåts inte delta av sina vårdnadshavare. Därutöver är det ett visst antal elever som av andra anledningar inte dyker upp på provdagen. Båda dessa grupper kodas som bortfall i statistiken. Dessutom klarar inte alla elever som deltar att fullfölja provet. Om de inte svarat på ett tillräckligt antal av frågorna räknas inte provet utan även dessa prov räknas som bortfall. Det är dock en mycket liten andel elever som får bortfall av denna anledning (knappt en procent).42

37 I bilaga 2 görs hypotetiska beräkningar av hur Sveriges resultat potentiellt skulle förändras i Pisa-undersökningen 2018 om de elever som inte deltog i provet hade varit med.

38 OECD, PISA 2003 Technical Report, 2005, s. 3; OECD, PISA 2018 Technical Standards, 2015.

39 Exkluderingsgraden räknas ut som antalet exkluderade elever delat med det antal elever som skulle deltagit om varken skolor eller elever exkluderats.

40 OECD, PISA 2003 Technical Report, 2005, s. 3; OECD, PISA 2018 Technical Standards, 2015.

41 I andra länder är det självfallet det aktuella språket det gäller.

42 Mejl från OECD, 2020-12-11.

R I K S R E V I S I O N E N

21

35

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

2.3 Exkluderingar, bortfall och täckning över tid

2.3.1 Exkluderingar i Sverige och andra länder

Efter att Skolverkets jurister gjorde en ny tolkning av den numera upphävda personuppgiftslagen får de individuella exkluderingskategorierna inte redovisas separat, utan endast det sammanlagda antalet exkluderade elever redovisas.43

År 2018 exkluderades 681 elever, vilket är drygt 11 procent av de elever som valts ut att skriva proven. Av dessa var 9,8 procentenheter elevexkluderingar och resterande exkluderingar av skolor – särskolor och specialskolor. År 2015 exkluderades sammanlagt 275 elever, varav 154 för funktionsnedsättningar och 121 med anledning av bristande språkkunskaper. Sammanlagt exkluderades knappt 6 procent 2015, varav 4,5 procentenheter var elevexkluderingar.

Sverige har redovisat en gradvis ökning av andelen exkluderingar mellan 2003 och 2015. Mellan 2015 och 2018 steg dock exkluderingsgraden med 94 procent, se figur 3. År 2018 var det 25 skolor som exkluderade 8 eller fler elever, det vill säga mer än 20 procent av de utvalda eleverna.

Figur 3 Sveriges exkluderingar i Pisa-undersökningen 2000–2018, procent

Exkluderingsgrad 12

10

8

6

4

2

0

2000

2003

2006

2009

2012

2015

2018

Källa: Statistik från OECD bearbetad av Riksrevisionen.

43 Skolverket, Hantering av exkluderingskoderna i de internationella studierna, 2016.

22 R I K S R E V I S I O N E N

36

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Om vi tittar på de olika exkluderingsorsakerna var för sig kan vi se att andelen skolor och andelen exkluderade med anledning av funktionsnedsättningar har utvecklats i motsatt riktning under den tid som orsakerna särredovisats. Andelen skolor som exkluderats har minskat och andelen elever som exkluderats har ökat. Detta beror på att det blir allt vanligare att elever med funktionsnedsättningar integreras i ordinarie skolor. Den sammanlagda andelen elever som exkluderats antingen via sär- och specialskolor eller via funktionsnedsättningar har till och med 2015 legat relativt konstant på strax under 4 procent. Enligt Skolverket finns det skäl att tro att det uppstod en viss dubbelexkludering av elever inskrivna

i särskolan, vilket innebär att elever exkluderats både på skol- och elevnivå. Enligt preliminära beräkningar kan det röra sig om en överskattning av den svenska exkluderingsgraden på 0,5 procentenheter.44

Enligt data från Socialstyrelsen på ungdomar med neuropsykiatriska diagnoser kan vi se att antalet ungdomar med diagnoser ökat med ungefär 20 procent sedan 2015.45 Alla ungdomar med diagnoser ska inte exkluderas, utan endast de med så allvarliga problem att de inte kan tillgodogöra sig de allmänna instruktionerna till proven. En ökning av totalen ger dock en indikation på att andelen exkluderingar med anledning av neuropsykiatriska funktionsnedsättningar kan ha ökat. Under antagandet att exkluderingar på grund av fysiska eller kognitiva funktionsnedsättningar inte förändrats, men att beteendemässiga och emotionella funktionsnedsättningar kan ha ökat med ungefär 20 procent ger det

en exkluderingsgrad för funktionsnedsättningar om knappt 3 procent.46 Eftersom Sverige hade nästan 10 procent elevexkluderingar 2018 återstår nästan

7 procentenheter att förklara.

Sverige hade 2018 den högsta exkluderingsgraden av samtliga deltagande länder, inklusive partners.47 Ett antal länder hade en total exkluderingsgrad över

5 procent, som är den på förhand accepterade gränsen av OECD. Sverige ligger även högst av samtliga länder när det gäller elevexkluderingar där OECD har satt en gräns på maximalt 2,5 procents exkluderingar. Detta illustreras i figur 4.

44 Skolverket, PISA 2018 15-åringars kunskaper i läsförståelse, matematik och naturvetenskap, 2019, s. 62, fotnot 108.

45 Data från Patientregistret, levererade 2021-01-12.

46 Vid jämförelse vid 15 års ålder var det i kohorten födda 2002 18 procent fler ungdomar som hade någon form av neuropsykiatrisk funktionsnedsättning än i kohorten född 1999. År 2015 exkluderades 2,49 procent av eleverna med anledning av funktionsnedsättning. Vi antar att 0,16 procentenheter av dem exkluderades med anledning av kognitiv funktionsnedsättning (det vill säga integrerade särskoleelever), vilket ger 2,33 procent kvar för övriga funktionsnedsättningar. 2,33 * 1,18 = 2,75. Till denna siffra adderas de integrerade särskoleeleverna 2018 (0,17) igen och ger då en exkludering av elever med funktionsnedsättning om 2,92. Sammanlagt exkluderades 9,84 procent av eleverna 2018, vilket ger 6,92 procentenheter kvar att förklara. Källa: Statistik från Socialstyrelsen och Skolverket.

47 Partners är deltagande länder som inte är medlemmar i OECD.

R I K S R E V I S I O N E N

23

37

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Figur 4 Totala exkluderingar (x-axeln) samt elevexkluderingar (y-axeln) för olika länder i Pisa-undersökningen 2018, procent

12

Sverige

10

8

Norge

6

Danmark

4

Finland

2

Tyskland

0

0

2

4

6

8

10

12

Källa: Statistik från OECD bearbetad av Riksrevisionen.

När exkluderingsgraden överstiger 5 procent granskas data och skeenden av en adjudiceringsnämnd (adjudication board) vid OECD som oftast godkänner data.48 I tabell 1 redovisas de orsaker som givits för respektive lands höga exkluderingsgrad i samband med Pisa 2018 (OECD-länder). För de länder som ligger nära 5-procentgränsen ges inga förklaringar.

48 Adjudiceringsnämnden består av representanter från OECD, kontraktorn, den tekniska rådgivningsgruppen och urvalsreferee.

24 R I K S R E V I S I O N E N

38

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Tabell 1 Länder med hög exkluderingsgrad 2018 och OECD:s motivering till att acceptera dem

Land	Exkluderingsgrad	Motivering
Sverige	11,1 %	Sveriges höga tal förklaras som en konsekvens av en stor och
		temporär ökning av invandringen.
Israel	10,2 %	Israels höga tal förklaras av att en sorts pojkskolor som tidigare
		var bortfall nu exkluderas. Skolorna vägrar delta.
Luxemburg	7,9 %	Eftersom Luxemburg har konsistent höga exkluderingstal över
		cykler godkänns landets data (2015 – 8,16 %).
Norge	7,9 %	Eftersom andel och typ av exkluderingar var liknande 2015
		godkänns data (2015 – 6,75 %).
Kanada	6,9 %	Eftersom andel och typ av exkluderingar var liknande 2015
		godkänns data. År 2015 finns ett resonemang kring varför det
		stora bortfallet är ok, dock inget om exkluderingar.
Nya Zeeland	6,8 %	Eftersom andel och typ av exkluderingar var liknande 2015
		godkänns data. År 2015 ansågs den höga exkluderingsgraden
		(6,75 %) bero på nyanlända elever med otillräckliga
		språkkunskaper och godkändes därför.
Schweiz	6,7 %	Oklart.
Nederländerna	6,2 %	Oklart.
Turkiet	5,7 %	En ny typ av icke-formell skolform har inkluderats i urvalsramen.
Storbritannien	5,5 %	Oklart. Finns förklaring om bortfallet, inget om
		exkluderingsgraden.
Island	6,0 %	Oklart, ganska nära 5 %.
Australien	5,7 %	Oklart, ganska nära 5 %.
Danmark	5,7 %	Oklart, ganska nära 5 %.

Källa: PISA 2018 Technical Report, kapitel 14.

I figur 5 kan vi se att våra grannländer och Tyskland har haft ganska små förändringar i exkluderingsgrader. Tyskland inkluderas eftersom det är det europeiska land efter Sverige som tog emot flest flyktingar per capita under åren mellan de senaste Pisa-undersökningarna.49 I Danmark har exkluderingarna inom samtliga grupper gått ned förutom den som heter Övrigt.50 I de andra länderna har det varit mindre ökningar inom varje grupp, men ingen som sticker ut.

49 Enligt statistik på asylsökande och beviljade uppehållstillstånd hade Tyskland mellan 80 och 85 procent av Sveriges antal per capita för åren 2015–2017. Uppgifter från Eurostat.

50 Det är lite oklart vad Övrigt består av men ibland kan grav dyslexi eller dyskalkyli kodas däri då inte de andra exkluderingskoderna innefattar sådana svårigheter, se OECD, PISA 2018 Technical Report, 2018.

R I K S R E V I S I O N E N

25

39

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Figur 5 Exkluderingsgrad i ett urval av länder för Pisa-undersökningarna 2009–2018, procent

Exkluderingsgrad 10

8

6

4

2

0

2009

2012

2015

2018

Danmark Norge Finland Tyskland

Källa: Statistik från OECD bearbetad av Riksrevisionen.

2.3.2 Bortfall i Sverige

År 2018 var bortfallet 869 elever (14 procent) varav 161 gällde elever vars vårdnadshavare meddelat Skolverket att eleven inte fick skriva provet. År 2015 var bortfallet 555 elever (9 procent), varav 28 gällde elever som inte fick skriva provet för sina vårdnadshavare. Det har alltså skett en markant ökning i antalet elever som inte får skriva provet för sina vårdnadshavare mellan de två senaste undersökningarna. I övrigt är det troligen en blandning av anledningar, vilket vi återkommer till i kapitel 5.

Sverige har det sjunde högsta bortfallet bland OECD-länderna och det åttonde högsta bortfallet bland samtliga 79 deltagande länder och regioner.

2.3.3 Täckningsgrad

För varje deltagande land räknas flera täckningsgrader ut för att beskriva hur stor andel av målpopulationen som urvalet representerar. Den oftast använda täckningsgraden (index 3) baseras på hur många 15-åringar i landet som befinner sig i skolsystemet, samt exkluderingar. Den beaktar alltså inte hur stort bortfallet är vid provtillfället. Sverige hade 2018 en täckningsgrad på 86 procent. Eftersom i princip alla 15-åringar i Sverige finns inskrivna i skolsystemet är den förhållandevis låga täckningsgraden ett resultat av det höga antalet exkluderade, samt det faktum att några större skolor som ursprungligen var utvalda lades ned innan studiens genomförande. Mexiko och Colombia är två länder med låg täckningsgrad, 66 respektive 62 procent, på grund av att de har många 15-åringar som inte längre går i skolan. Sverige har den sjunde lägsta täckningsgraden av

26 R I K S R E V I S I O N E N

40

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

OECD-länderna.51 Vid alla tidigare undersökningar har Sveriges täckningsgrad legat mellan 93 och 98 procent.

Ett alternativt täckningsindex är det som tagits fram av en engelsk forskargrupp.52 Deras täckningsindex baseras på hur många 15-åringar som befinner sig

i skolsystemet, hur många skolor som avstod från att delta53, hur många exkluderingar som gjorts samt bortfallet vid provtillfället. Med detta sätt att räkna har Sverige en täckningsgrad på 73 procent, att jämföra med Finland, Danmark och Tyskland som har 88, 73 respektive 85 procent.

51 Följande länder har lägre täckningsgrad: Colombia, Israel, Italien, Mexiko, Turkiet och Storbritannien.

52 Anders m.fl., “Is Canada really an education superpower? The impact of non-participation on results from PISA 2015”, 2021.

53 Olika länder har olika regler om huruvida det är obligatoriskt eller inte för skolor att delta.

R I K S R E V I S I O N E N

27

41

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

3 Migrationen inför Pisa-undersökningarna 2015 och 2018 samt beskrivning av utbildning för nyanlända

Som bakgrund till de analyser som görs i kommande kapitel beskriver detta kapitel den migrationssituation Sverige hade inför Pisa-undersökningarna 2015 och 2018 samt hur utbildningssystemet fungerar för nyanlända elever i Sverige.

3.1 Antalet asylsökande var som störst 2015 och har sedan dess sjunkit för varje år

Flyktingsituationen 2015 var unik, Sverige har aldrig tidigare tagit emot så många asylsökande som detta år. Totalt sökte drygt 163 000 personer skydd i landet, merparten inom loppet av några månader.54 Det största antalet kom 2015 och sedan dess har antalet sjunkit för varje år.

För att illustrera situationen med nyligen anlända elever i samband med Pisa-undersökningen visar vi hur många som ansökte om asyl respektive beviljades uppehållstillstånd på övriga grunder åren inför Pisa-undersökningarna 2015 och 2018.55 Reglerna för ansökan om uppehållstillstånd skiljer sig åt beroende på vilka skäl som ligger till grund för ansökan. Personer som ansöker om asyl i Sverige ska lämna in sin ansökan i landet, antigen vid inresa eller på en av Migrationsverkets ansökningsenheter.56 Som asylsökande har du rätt till undervisning i svensk skola.57 För de personer som söker uppehållstillstånd på övriga grunder ska ansökan i regel göras från hemlandet. Det är först efter beslut om uppehållstillstånd som personen folkbokförs i landet och skolplikten därmed inträder.58 Figur 6 visar antalet personer ur Pisa-kohorten som ansökt om asyl medan figur 7 visar antalet personer som beviljats uppehållstillstånd på övriga grunder under de två åren innan Pisa-undersökningarna 2015 och 2018.

54 Migrationsverket, ”Fem år sedan flyktingsituationen 2015”, hämtad 2020-12-17.

55 Med övriga grunder avses personer som beviljats uppehållstillstånd på grund av anknytning, arbete (inklusive anhöriga) samt studier (inklusive anhöriga).

56 Migrationsverket, ”Asylregler”, hämtad 2021-02-15. Det finns även personer som beviljats asyl som kvotflyktingar. Personen kommer då till Sverige efter beslut om uppehållstillstånd. År 2017 beviljades 136 individer födda 2002 uppehållstillstånd som kvotflykting.

57 29 kap. 2–3 §§ skollagen (2010:800).

58 29 kap. 2 § skollagen (2010:800).

28 R I K S R E V I S I O N E N

42

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Figur 6 Antal individer födda 1999 respektive 2002 som ansökt om asyl i Sverige åren innan Pisa-undersökningarna 2015 och 2018

Antal

2 000

1 500

1 000

500

0

2013

2014

2016

2017

Personer födda 1999 som ansökt om uppehållstillstånd (asyl)

Personer födda 2002 som ansökt om uppehållstillstånd (asyl)

Källa: Statistik från Migrationsverket bearbetad av Riksrevisionen.

I figur 6 framgår att det var fler personer som tillhör Pisa-kohorten för undersökningen 2015 (födda 1999) som ansökte om asyl åren innan Pisa 2015 än personer födda 2002 som ansökte om asyl åren innan Pisa 2018. Totalt ansökte 2 524 personer som tillhör Pisa-kohorten om asyl under de två åren inför undersökningen 2015. Detta jämfört med 864 personer från Pisa-kohorten två år innan undersökningen 2018.

Figur 7 Antal individer födda 1999 respektive 2002 som beviljats uppehållstillstånd på grund av anknytning, arbete (inkl. anhöriga), studier (inkl. anhöriga) åren innan Pisa-undersökningen samt som kvotflykting

Antal

2 000

1 500

1 000

500

0

2013

2014

2016

2017

Personer födda 1999 som beviljats uppehållstillstånd på övriga grunder inkl. kvotflyktingar

Personer födda 2002 som beviljats uppehållstillstånd på övriga grunder inkl. kvotflyktingar

Källa: Statistik från Migrationsverket bearbetad av Riksrevisionen.

R I K S R E V I S I O N E N

29

43

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Figur 7 åskådliggör motsvarande siffror för personer som beviljats uppehållstillstånd på övriga grunder och visar att antalet personer som beviljats uppehållstillstånd på dessa grunder var något högre åren inför Pisa-undersökningen 2018 jämfört med 2015 (2 034 respektive 1 829 personer).

3.2 Utbildning för nyanlända elever sker på svenska

Barn som är folkbokförda i Sverige har skolplikt. Som beskrivs i föregående avsnitt har även barn som bor i Sverige men inte är folkbokförda rätt att gå

i skolan. Det gäller till exempel asylsökande och papperslösa.59 Hemkommunen är skyldig att erbjuda en skolplats inom en månad från att eleven anmälts till kommunen. Därefter får det ta upp till två månader att kartlägga eleven, men sedan ska eleven vara placerad i en klass i en skola.60

Det finns huvudsakligen två sätt att organisera utbildningen för nyanlända. Det ena är genom direktintegrering, då eleven går direkt ut i ordinarie klass. Det andra är genom förberedelseklass, då eleven för en tid delvis går i en klass med bara nyanlända. Det råder delade meningar om vilken modell som är den bästa för eleverna.61 Vilken modell som används beror på en mängd faktorer. Det kan bero på hur många nyanlända elever huvudmannen har, men också på vilken modell som huvudmannen anser vara den bästa, tillgången på lärare, ekonomiska förutsättningar och en mängd andra faktorer.

3.2.1 Undervisning i förberedelseklass

Vissa kommuner har alltså förberedelseklasser för nyanlända. Eleverna går där, oftast på deltid, under en övergångsperiod innan de går i ordinarie klass fullt ut. Även i kommuner där det finns förberedelseklasser kan det finnas skolor som inte använder sig av dem, utan integrerar de nyanlända eleverna omgående i ordinarie klass. Tanken med förberedelseklass är att eleverna som går där stegvis ska integreras i ordinarie undervisning. Enligt skollagen ska undervisning

i förberedelseklass avbrytas så snart eleven bedöms ha tillräckliga kunskaper

i svenska för att kunna delta i undervisningen i ordinarie klass.62 Ofta börjar man med praktisk-estetiska ämnen för att så småningom ha all undervisning i ordinarie klass. Elever ska inte få all sin undervisning i förberedelseklass.63 Alla elever i förberedelseklassen har sitt individuella schema. Undervisningen sker på svenska, oavsett vilket modersmål eleven har, och ska följa läroplan och kursplaner för aktuell skolform – precis som för alla elever. Alla elever, även

59 29 kap. 2–3 §§ skollagen (2010:800).

60 3 kap. 12 d § skollagen (2010:800); 4 kap 1 a § skolförordningen (2011:185).

61 Tajic och Bunar, “Do both ‘get it right’? Inclusion of newly arrived migrant students in Swedish primary schools”, 2020.

62 3 kap. 12 f § skollagen (2010:800).

63 Skolverket, Utbildning för nyanlända elever, 2016, s. 27–28.

30 R I K S R E V I S I O N E N

44

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

i förberedelseklass, har rätt till undervisning i alla ämnen efter timplan. Sedan 2015 finns det reglerat att elever inte får gå i förberedelseklass mer än två år.64

Elever med annat modersmål än svenska kan få såväl undervisning i sitt modersmål som studiehandledning på sitt modersmål. När så sker är det ett komplement till den ordinarie undervisningen på svenska och aldrig i stället för. Detta gäller alla elever med annat modersmål än svenska, oavsett om de går

i förberedelseklass eller inte. När en elev gått ett år i förberedelseklass har hen fått ett års undervisning i svenska, precis som hen skulle haft om hen i stället hamnat i en skola som använder direktintegrering av nyanlända elever.

Exakt statistik på hur stor andel av nyanlända elever som går i förberedelseklass går inte att få fram och inte heller hur länge eleverna går där. Vår bedömning efter de samtal vi haft med experter på området och skolsamordnare är att det är ovanligt att elever går där maximal tid, det vill säga fyra terminer. Ett år

i förberedelseklass verkar vara det vanliga. Den bästa uppskattning av hur vanligt det är med förberedelseklass är troligen den som gjorts i en rapport från Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU).65 Av de

138 kommunala huvudmän som svarade på studiens enkät hade 65 procent förberedelseklass för elever på högstadiet. 22 procent av eleverna placerades inledningsvis så gott som heltid i förberedelseklassen och 43 procent placerades på deltid i förberedelseklass.

3.2.2 Undervisning i eller på svenska

I OECD:s regelverk gällande Pisa-undersökningen anges ett av kriterierna för att kunna exkludera en elev från att skriva proven som ”they have received less than one year of instruction in the assessment language”. I Sverige har detta översatts till att eleverna har fått mindre än ett års undervisning i svenska. I samband med diskussionerna kring 2018 års höga exkluderingstal har Skolverket haft en diskussion med kontraktorn om huruvida det är en korrekt översättning, eller om det borde vara undervisning på svenska i stället. Alla experter och skolsamordnare vi diskuterat frågan med är tydliga med att undervisning i förberedelseklass sker

i svenska, på svenska. Vi bedömer att frågan inte har någon betydelse i samband med denna granskning.

64 3 kap. 12 f § skollagen (2010:800).

65 Mörtlund, Arbetet med nyanlända elever i grundskolan – En enkätundersökning om arbetet med nyanlända elever hos kommunala huvudmän för grundskolan, 2020.

R I K S R E V I S I O N E N

31

45

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

4 Ett ökat antal nyanlända är inte en giltig förklaring till den höga andelen exkluderade elever i Pisa-undersökningen 2018

I detta kapitel besvarar vi frågan om huruvida det ökade antalet nyanlända elever under åren före Pisa-undersökningen 2018 är en giltig förklaring till de höga exkluderingstalen. Med giltig förklaring menar vi att exkluderingarna har gjorts i enlighet med OECD:s kriterier.66

Vår slutsats är att den höga flyktinginvandringen till Sverige inte är en giltig förklaring till den höga exkluderingsgraden. Andelen elever som kan exkluderas med anledning av bristande språkkunskap beräknas vara ungefär 2,5 procent, det vill säga ungefär en halv procentenhets ökning jämfört med 2015.

4.1 Begränsningar i tillgänglig statistik

Det finns en del begränsningar i tillgänglig statistik för att besvara denna delfråga. Till att börja med vet vi inte vilka elever som faktiskt exkluderades. Vi vet hur många elever som exkluderades på varje skola, men inte vilka dessa elever var.

Vi vet hur många nyanlända elever det fanns på varje deltagande skola, men inte exakt hur länge de gått i svensk skola. Vi har uppgifter om folkbokföringsmånad för de flesta eleverna, men hur länge en elev varit i Sverige dessförinnan skiljer sig dels mellan individer, dels mellan olika skäl för uppehållstillstånd. Vi kan se flöden av elever med utrikes bakgrund från år till år, men inte när under året eleverna började skolan. Vi vet hur många elever som ansökt om uppehållstillstånd under tidsperioden innan proven och hur många som beviljats uppehållstillstånd, men vi kan inte koppla dessa data till varandra.

Med anledning av dessa begränsningar gör vi flera olika beräkningar och antaganden för att vara säkra på att vi besvarar frågan på ett tillförlitligt sätt. Vi lägger även på en del tid i våra antaganden för att hellre tillåta för många exkluderingar än för få. Eftersom vi kan belysa frågan med flera typer av statistiska uppgifter från olika källor anser vi att det är möjligt att ge ett trovärdigt svar på granskningsfrågan trots de begränsningar vi beskrivit.

66 Se till exempel OECD, PISA 2018 Results, 2019; OECD, PISA 2018 Technical Report, 2018; OECD, PISA 2018 Technical Standards, 2015.

32 R I K S R E V I S I O N E N

46

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

4.2 Exkluderingar av nyanlända elever i Pisa-undersökningen 2018

För att analysera hur stor andel nyanlända elever som potentiellt skulle kunna exkluderas från Pisa-undersökningen 2018 har vi gått till väga på följande sätt. Med hjälp av elevregistret har vi kartlagt hur elevunderlaget i de skolor som deltog i Pisa 2018 såg ut med avseende på nyanlända elever. En nyanländ högstadieelev definieras i Skolverkets statistik som en elev som invandrat under de senaste fyra åren. Det avgörande kriteriet för att en elev ska exkluderas från Pisa-undersökningen på grund av bristande språkkunskaper är att eleven haft mindre än ett års undervisning på svenska. Det räcker alltså inte med att vara nyanländ enligt den statistiska definitionen. Vi har räknat fram hur många elever som potentiellt kan exkluderas under vissa antaganden.

Information kring folkbokföring, invandringsår och skolstart

För att beräkna vilka elever som potentiellt skulle kunna uteslutas från Pisa 2018 har vi uppgifter om invandringsår och invandringsmånad för en majoritet av de nyanlända eleverna. Uppgifterna baseras på folkbokföringsdatum. För hela åldersgruppen födda 2002 (den kohort som skrev Pisa 2018) och som fick uppehållstillstånd 2017 är det ungefär hälften som fått det med asylskäl och ungefär hälften som fått det som anhörig till någon som fått uppehållstillstånd av asylskäl.67

När en person söker uppehållstillstånd som anhörig till någon med asylskäl ska den sökande i regel inte vara i landet. Vi vet inte exakt hur skälen för uppehållstillstånd fördelade sig för denna grupp elever. Vi gör ett antagande att fördelningen är densamma som för hela riket, det vill säga knappt hälften av eleverna var asylsökande.

Vi utgår också från att anhörigsökande och kvotflyktingar inte var i landet innan folkbokföringsdatum. Eftersom det kan ta en månad för kommunen att ordna skolplats, och det ibland behövs kartläggning innan eleven kan börja skolan, har vi antagit att alla de som folkbokförts som anhörigsökande från och med december 2016 kan exkluderas från Pisa-undersökningen 2018.

Hur lång tid det tar för asylsökande elever att få uppehållstillstånd varierar. För de personer födda 2002 som beviljades asyl under 2017 var den genomsnittliga handläggningstiden hos Migrationsverket cirka 19 månader.68 Vi har därför utgått från att en asylsökande elev anlände till Sverige 19 månader innan folkbokföringsdatumet.

Eftersom mottagande kommun har en månad på sig att skriva in nyanlända elever i skolan och upp till två månader på sig att kartlägga dem, utgår vi från att en elev behöver ha varit i Sverige i mer än 15 månader för att bli inkluderad

i Pisa-undersökningen. Vi gör antagandet att de elever som beviljats asyl under 2017 inte kan exkluderas med anledning av språkkriteriet, eftersom de i snitt varit i landet 19 månader dessförinnan. Vi tillåter att de elever som fått uppehållstillstånd som kvotflyktingar exkluderas, men antar att övriga asylsökande barn går i svensk

67 Mejl från Migrationsverket, 2020-12-11.

68 Ibid.

R I K S R E V I S I O N E N

33

47

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

skola.69 Vi antar att elever som fått uppehållstillstånd som anhörig under 2017 kan exkluderas. Vi antar också att elever som fått uppehållstillstånd som anhörig under december 2016 kan exkluderas. Hur vi tänker oss processen till skolstart för olika typer av nyanlända elever illustreras i figur 8.

Figur 8 Illustration av processen innan skolstart för nyanlända elever

Asylsökande

Skolstart

Folkbokföring

Inskrivning/kartläggning

Handläggning cirka 19 mån

Anhörigsökande

Folkbokföring Skolstart

Inskrivning/kartläggning

Handläggning cirka 13 mån

Källa: Riksrevisionen.

Det fanns också drygt 300 elever i de berörda skolorna som saknade löpnummer (personnummer). De är huvudsakligen elever som inte fått uppehållstillstånd ännu, men det kan även vara papperslösa eller elever som fått avslag på ansökan om uppehållstillstånd. Eftersom vi inte vet tillräckligt om dessa elever tillåter vi att de flesta elever utan löpnummer exkluderas, men antar att några av dem fick asyl under de sista månaderna av 2017. Vi lägger även till ett antal som bör ha fått uppehållstillstånd som anhöriginvandrare efter oktober 2017 och därmed

kan exkluderas.70

4.3 Beräkningar utifrån elevregistret och invandringsår

På basis av ovanstående antaganden kommer vi fram till att 2,5 procent av eleverna på de utvalda skolorna kunde exkluderas med anledning av språkkriteriet. Detta är en ökning med 0,5 procentenheter jämfört med hur många som exkluderades med anledning av språkkriteriet i samband med Pisa 2015. Beräkningen är gjord för samtliga elever på de skolor som valdes ut till Pisa 2018 och alltså inte på det urval av 37 elever per skola som valdes ut för

69 Alla barn som bor i Sverige har rätt att gå i svensk skola och som regel anmäls barnen till skolan redan vid ankomst till Sverige.

70 I genomsnitt var det 20 elever per månad som folkbokfördes år 2017. Vi utgår från att det var

20 elever per månad även oktober–december 2017. Vi räknar med att 26 elever fått asyl och drar bort dessa från de utan löpnummer. Vi räknar med att 34 elever fått uppehållstillstånd av andra skäl och därför tillkommit, det vill säga vi adderar dem till det totala elevantalet.

34 R I K S R E V I S I O N E N

48

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

undersökningen 2018. Eftersom urvalet av de 37 eleverna görs slumpmässigt är det inget som talar för att detta skulle snedvrida våra beräkningar.71

Vi har även gjort en beräkning där vi tillåter att samtliga elever, i de utvalda skolorna, som har invandringsår 2017 exkluderas, plus elever utan löpnummer och en viss justering för perioden oktober till december. Då hamnar vi på

en möjlig exkluderingsgrad på 3 procent. När vi gör motsvarande beräkning på hela riket får vi en exkluderingsgrad på knappt 3 procent. Motsvarande beräkning för 2015 är 2,3 procent – baserat på elever födda 1999 och med invandringsår 2014 plus elever utan löpnummer. Siffran för 2015 ligger väl i linje med de faktiska exkluderingarna 2015 som var 2 procent. De olika beräkningarna sammanfattas

i tabell 2.

Tabell 2 Beräkningar av potentiell exkluderingsgrad på grund av OECD:s språkkriterium baserade på olika antaganden

	(1)	(2)	(3)	(4)	(5)
	Riksrevisionens	Antagande att	Beräkning	Beräkning	Faktiska
	föredragna	samtliga elever	som (2) men	som (3) men	exkluderingar
	beräkning	i skolurvalet med	på samtliga	för elever	på grund av
		invandringsår 2017	elever i hela	i Pisa 2015	språkkriteriet
		kan exkluderas	Sverige		i Pisa 2015
Exkluderingsgrad	2,5 %	3,0 %	3,0 %	2,3 %	2,0 %

Källa: Riksrevisionens beräkningar baserade på statistik från Migrationsverket och Skolverket.

Våra siffror, baserade på data över faktiska elever i skolan, tyder alltså på en viss ökning av elever som potentiellt skulle kunnat exkluderas i Pisa 2018. Samtidigt är det viktigt att komma ihåg att det enligt statistik från Migrationsverket inte var fler asylsökande åren precis innan Pisa 2018 än åren precis innan Pisa 2015 och marginella skillnader när det gäller beviljade uppehållstillstånd. Det indikerar att det inte borde vara någon större ökning i exkluderingsgraden. Det är dessutom möjligt att en större andel av de individer utan löpnummer som vi exkluderar faktiskt varit i Sverige en längre tid.

4.4 Analys av Pisa-undersökningens individdata

För att ytterligare undersöka om nyanlända kan förklara uppgången

i exkluderingar för Sverige i Pisa-undersökningen för 2018, undersöker vi data från den enkät med bakgrundsinformation som elever som skriver Pisa-undersökningen fyller i. En av frågorna som eleverna svarar på är hur gamla de var när de kom till landet de skrev provet i.

Genom att studera andelen elever som var 12 eller 13 år gamla när de kom till landet kan vi få en indikation på hur flyktingvågen har påverkat exkluderingsandelen.

71 Denna beräkning är baserad på den population som är kvar efter att skolexkluderingarna gjorts. Om även elever på exkluderade skolor tas med i beräkningen skulle andelen bli marginellt lägre.

R I K S R E V I S I O N E N

35

49

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Eftersom eleverna är 15 år när de skriver proven, kan troligen majoriteten av elever som anländer vid 14 års ålder exkluderas med anledning av bristande språkkunskaper. Vi jämför andelen som kommit som 12- eller 13-åringar för undersökningarna 2015 och 2018 och jämförelsen görs också för Danmark och Tyskland. Tyskland var det europeiska land som efter Sverige tog emot flest flyktingar under åren kring 2015–2016.72 Elever som kom till landet de nu bor i som 12- eller 13-åringar har som regel varit i landet för länge för att kunna exkluderas med anledning av språkkriteriet. Eftersom Sverige tog emot fler migranter per capita än andra länder i Europa under tidsperioden 2014–2017 är det rimligt att tro att andelen bör ha ökat mer i Sverige än i andra länder. Det ska noteras att Pisa-undersökningen är en urvalsundersökning och att det är små grupper elever som undersöks per land. Analysen ska därför tolkas med stor försiktighet.

För Sveriges del visar denna analys att andelen provskrivare som var 12 eller 13 år när de kom hit ökade med runt 80 procent mellan Pisa 2015 och 2018.

I undersökningen 2015 var det 1,2 procent av alla elever som skrev provet som kom till Sverige när de var 12 eller 13 år gamla. 2018 var denna siffra 2,2 procent.73

När vi studerar Tyskland och Danmark, som också tog emot många flyktingar under denna period, visar analysen på en motsvarande ökning med knappt 270 procent respektive drygt 110 procent för Tyskland och Danmark. Sveriges andel av elever som var 12 eller 13 år när de kom till landet ökar alltså inte lika mycket som i dessa länder, vilket kan indikera att Sverige exkluderat en större andel av dessa elever.

Av de drygt 5 000 eleverna som skrev proven i mars 2018 var det 120 elever som flyttat till Sverige som 12- eller 13-åringar. Dessa elever hade resultat

i Pisa-undersökningen som i genomsnitt ligger mellan den 10:e och 20:e percentilen av fördelningen av de svenska elevernas resultat.74 I bilaga 2 gör vi beräkningar av hur de svenska Pisa-resultaten från 2018 potentiellt hade påverkats om de elever som inte skrev provet hade deltagit.

4.5 Riksrevisionens bedömning

Riksrevisionens bedömning är att för många elever exkluderades i samband med Pisa-undersökningen 2018. Vi kan utifrån den statistik som finns tillgänglig för

72 I Tyskland fungerar skolgången för nyanlända ungefär som i Sverige. Det finns introduktionsklasser, men inte alltid. Uppskattningsvis 60 procent av nyanlända 14-åringar går i introduktionsklass

– 22 procent deltid, och 38 procent heltid. Undervisningen sker på tyska, och eleverna får gå där i högst två år. Den stora skillnaden är att nyanlända elever i Tyskland inte har rätt till modersmålsundervisning. Se Gambaro m.fl., ”Integration of Refugee Children and Adolescents In and Out of School”, 2020.

73 Resultaten har viktats med hjälp av studentvikterna i Pisa-undersökningen.

74 Denna skattning av resultatnivån för dessa elever är givetvis osäker på grund av att den endast avser ett mindre antal elever. Vi kan dock konstatera att resultaten för denna grupp elever ligger på ungefär samma nivå i Norge, Tyskland, Danmark och Finland.

36 R I K S R E V I S I O N E N

50

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

deltagande skolor se att det inte var en mycket högre andel elever som nyligen anlänt till Sverige jämfört med 2015. Våra beräkningar tyder på att ökningen av andelen exkluderade elever med anledning av språkkriteriet borde varit cirka en halv procentenhet mellan undersökningarna 2015 och 2018.

Skolverket har i ett flertal situationer argumenterat att det intressanta är att se på representativiteten i deltagandet i Pisa-undersökningen 2018, i stället för att fokusera på andelen exkluderade elever.75 Enligt Skolverkets beräkningar var andelen elever med utländsk bakgrund 9,9 procent i Pisa-undersökningen 2018, att jämföra med andelen i hela målpopulationen som enligt registerdata var

12,3 procent. En eventuell underskattning av elever med utländsk bakgrund uppskattas till 2,5 procentenheter, men samma underskattning fanns

i Pisa-undersökningen 2015 (2,9 procentenheter).76 Enligt Riksrevisionen är inte detta en relevant jämförelse eftersom denna elevgrupp kan ha varit i Sverige redan innan de började skolan. Att representativeten vad gäller elever med utländsk bakgrund är oförändrad säger inget om ifall för många elevexkluderingar har gjorts.

Vi konstaterar även att det mest använda måttet på täckningsgrad, index 3, inte tar hänsyn till bortfallet vilket självfallet har en stor påverkan på resultatens representativitet. Vår bedömning är att ett bättre mått på just täckningsgraden, inte nödvändigtvis representativiteten, är det index som vi presenterade i kapitel 2. Där tas hänsyn till allt som gör att deltagandet inte är 100 procent, såsom bortfall, exkluderingar, ersättningsskolor med mera. Med det måttet blir Sveriges täckningsgrad bara 73 procent.

75 Skolverket, ”PISA 2018: Undersökningens syfte, genomförande och representativitet”, hämtad 2020-01-30.

76 Ibid.

R I K S R E V I S I O N E N

37

51

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

5 Otillräcklig uppföljning av exkluderingarna

I detta kapitel besvarar vi frågan om huruvida Skolverket givit tydliga och heltäckande instruktioner och relevanta stödinsatser om exkluderingar och bortfall till utvalda skolor. Dessutom besvaras frågan om huruvida Skolverket har en fungerande kvalitetssäkring och uppföljning av skolornas genomförande av Pisa-undersökningen vad gäller exkluderingar och bortfall. Sammanfattningsvis finner vi följande:

• Skolverket har haft uppskattade informationsmöten och erbjudit stödinsatser. Vid informationsmötena diskuterades kriterier för exkluderingar. Trots detta har skolsamordnarna uppfattat och tillämpat kriterierna på olika sätt – vissa felaktigt.

• Skolverket har genomfört de kvalitetssäkringsmoment som OECD krävt men lite har gjorts för att följa upp hur skolsamordnarna uppfattat kriterierna och hur de faktiskt har exkluderat elever.

• Skolverkets brev till vårdnadshavare betonar starkt frivilligheten i deltagandet i Pisa-undersökningen vilket kan ha ökat andelen vårdnadshavare som inte tillåter att deras barn deltar.

5.1 Skolverkets information och stöd till skolsamordnarna

Under hösten 2017 skickade Skolverket ut ett brev till samtliga rektorer vid de utvalda skolorna. Brevet innehöll information om att skolan valts ut att delta

i Pisa-undersökningen, vad Pisa är samt att rektor skulle utse skolsamordnare och IT-ansvarig.77 I samband med brevet skickades även en kortfattad informationsfolder med beskrivning av hur Pisa-undersökningen går till och vilka arbetsuppgifter som skolsamordnaren förväntas genomföra.78

5.1.1 Skolverkets informationsarbete om exkluderingar

I början av vårterminen 2018 kallade Skolverket de utvalda skolsamordnarna till informationsmöten. Inför mötena skickade Skolverket bland annat ut en manual till skolsamordnarna med instruktioner om hur undersökningen skulle genomföras på skolan. Manualen innehöll information om syftet med Pisa-undersökningen, skolsamordnarens roll samt stegvisa beskrivningar av skolsamordnarens uppgifter och beskrivning av vilka protokoll och dokument som skolsamordnaren skulle hantera. I manualen fanns även information om hur elever med behov av stöd skulle identifieras och vilka elever som fick exkluderas.

77 Skolverket, Brev till utvalda skolenheter, 2017.

78 Skolverket, Så här går urvalet till – en sammanfattande beskrivning, 2020.

38 R I K S R E V I S I O N E N

52

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Inför informationsmötet ombads skolsamordnarna att lista de elever på skolan som motsvarar undersökningens målgrupp. Dessutom skulle skolsamordnaren göra en anteckning vid de elever som av någon anledning var i behov av stöd i sin utbildning på skolan. Precis innan skolsamordnarmötet skickade Skolverket ut en lista till skolorna på vilka 37 elever som blivit utvalda att delta i undersökningen. Efter att skolsamordnarna fått urvalet tog de ställning till vilka elever som skulle exkluderas i enlighet med OECD:s kriterier.79

Skolverket höll åtta informationsträffar i Stockholm, Göteborg och Malmö. Enligt Skolverket kom i princip alla skolsamordnare till mötena.80 För dem som inte kunde delta hölls utbildningen på telefon, men alla skolsamordnare nåddes inte utan några fick klara sig med skriftlig information.81 Mötena var heldagsmöten och innehöll bakgrund om Pisa-undersökningen, vad som testas och hur resultaten kan användas, information om övriga internationella studier som Skolverket arbetar med samt praktisk information om genomförandet av Pisa-undersökningen.

Enligt Skolverket var en viktig del av informationsmötena att poängtera att Pisa-undersökningen ska vara inkluderande och vikten av att alla elever ska delta. Skolverket gick igenom kriterierna för exkludering av elever och det var vanligt att det blev diskussion med skolsamordnarna om detta. Enligt Skolverket handlade den vanligaste diskussionen om att bedöma vilka elever som kunde exkluderas på grund av kognitiv funktionsnedsättning. Skolverket fick även många samtal från skolsamordnarna om denna elevgrupp i samband med att de skulle bestämma exkluderingarna.82

Diskussionerna om OECD:s kriterier för exkludering av elever omfattade även nyanlända elever. Enligt Skolverket handlade det om att många skolor hade nyanlända elever som fått undervisning i skolan i mindre än ett år men även nyanlända elever som gått i skolan i mer än ett år men fortfarande inte kunde läsa eller skriva på svenska. En del skolsamordnare var även osäkra på hur länge vissa nyanlända elever gått i skola i Sverige då eleven flyttats runt mellan regioner och skolor. Skolverket uppmanade skolsamordnarna att endast exkludera elever som fått undervisning i svenska i mindre än ett år och hade begränsade kunskaper

i svenska och ett annat modersmål än svenska. De skolsamordnare som var osäkra på hur länge en elev gått i skolan i Sverige ombads utgå ifrån vad de kunde uttala sig om på den egna skolan.83

79 Skolverket, Info om hur urvalet görs Pisa, 2019, s. 1.

80 Ibid.

81 Intervjuer med skolsamordnare.

82 Skolverket, Info om hur urvalet görs Pisa, 2019, s. 3.

83 Ibid.

R I K S R E V I S I O N E N

39

53

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Nedan ges två elevexempel ur manualen och ifall de kan exkluderas:84

Även om Roy Zastrows erfarenhet av svenska är begränsad så har han undervisats i svenska i över ett år och uppfyller därför inte PISA:s kriterier för att exkluderas på grund av otillräckliga språkkunskaper. Därför lämnas kolumnen ”Exkl” tom och

Roy Zastrow anses kunna delta i provet.

Enligt utlåtande av en på området professionellt sakkunnig person har Anna Radlov nedsatt kognitiv förmåga och får kod ”4” i kolumnen ”Stöd”. Hon deltar inte i andra liknande prov. Därför kommer hon inte att delta i PISA-provet och får kod ”3” i kolumnen ”Exkl”.

I manualen underströks även vikten av att skolsamordnarna följer rutinerna för att säkerställa att Pisa-undersökningen genomförs på samma sätt i alla deltagande länder. Om rutinerna inte följs kan det leda till att resultaten blir oanvändbara.85

Vidare informerades skolsamordnarna om att många elever med behov av stöd troligen kunde inkluderas i Pisa-undersökningen utan den hjälp de annars får

i klassrummet eller i samband med andra prov. Enligt Skolverket räckte det med att eleven deltog i en del av provet för att resultaten ska kunna användas. Om skolsamordnaren var osäker på om en elev ska exkluderas uppmanades hen att kontakta Skolverket för konsultation.86

5.1.2 Skolverkets arbete med bortfall

Andelen av de utvalda eleverna som inte dök upp på provdagen ökade med

fem procentenheter mellan 2018 och 2015. Det kan finnas en mängd orsaker till att elever inte dyker upp. De kan vara sjuka. De kanske inte får för sina vårdnadshavare. De kanske inte vill. De kanske är bortresta. Det finns olika åtgärder som kan vidtas för att öka närvaron vid provskrivningen. Skolorna kan, till exempel:

• ha entusiasmerande skolsamordnare

• betona hur viktigt deltagandet är

• locka med fika/pizza

• underlätta deltagandet, till exempel inte lägga proven långt bort eller på studiedag

• vara strikta med uppföljningstillfällen.

På informationsträffarna som hölls för skolsamordnarna diskuterade Skolverket hur de kunde arbeta med att motivera eleverna att delta i Pisa-undersökningen. Bland annat visades en film som kunde användas för ändamålet och de fick även

84 Skolverket, Pisa 2018 Huvudstudie – manual till skolsamordnare, 2018, s. 15.

85 Ibid., s. 2.

86 Skolverket, Info om hur urvalet görs Pisa, 2019, s. 3.

40 R I K S R E V I S I O N E N

54

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

broschyrer som skulle delas ut till eleverna. De informerade även om den fikapeng som skolorna kan nyttja vid provtillfället. I samband med Pisa-undersökningen var det en skola som bad Skolverket komma ut och motivera eleverna inför provet, vilket Skolverket gjorde.87

I och med att Sverige i samband med undersökningen 2018 kopplade på personnummer på dem som skrev proven ändrades informationen som gick ut till vårdnadshavarna, enligt krav från SCB.88 I brevet från 2015 betonades vikten av elevens deltagande. I det brev som Skolverket skickade ut 2018 framhölls i stället att det var frivilligt att skriva provet och vårdnadshavarna uppmanades att ringa till kontaktpersonerna på Skolverket om de inte ville att deras barn skulle delta.

Studien är frivillig och som vårdnadshavare har du rätt att få information om att ditt barn är utvald till PISA 2018. Eleverna kommer på sin skola under skoltid att göra provet och besvara enkäten i mars 2018. Om du inte vill att ditt barn deltar i studien ombeds du höra av dig till någon av kontaktpersonerna på Skolverket, se nedan.

Vårdnadshavarna uppmuntrades att ta direkt kontakt med Skolverket för att avlasta skolorna men också för att Skolverket ansågs ha större möjligheter att förklara vad Pisa-undersökningen handlade om och vikten av elevernas deltagande. I några fall där vårdnadshavare ringt om att deras barn inte ska delta lyckades Skolverket ändra deras beslut.89 Andelen elever som inte fick skriva provet för sina vårdnadshavare ökade dock kraftigt 2018 och står för

2 procentenheter av bortfallet.90

De andra nordiska länderna framhöll inte frivilligheten, men det kan framgå lite underförstått. Så här stod det till exempel i det finska brevet:

Vi vill tacka även er för ert barns insats i PISA-undersökningen. Det är viktigt för undersökningens trovärdighet att så många som möjligt av de utvalda eleverna deltar i undersökningen. Vi tror att resultaten åter kommer att bli hedrande för de unga i Finland och den finländska skolan.

Även om det är frivilligt att deltaga i Pisa-undersökningen kan detta presenteras på en mängd olika sätt, vilket de olika nordiska breven illustrerar. Det finns även länder som valt att göra deltagandet obligatoriskt för utvalda elever. Ett exempel är

87 Skriftligt svar från Skolverket, 2021-03-17.

88 Skriftligt svar från Skolverket, 2020-10-27.

89 Skriftligt svar från Skolverket, 2021-03-17.

90 År 2015 var det 28 elever, 2018 var det 161 elever.

R I K S R E V I S I O N E N

41

55

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Tyskland där det i de flesta delstater är obligatoriskt för de utvalda eleverna i federala skolor att delta i Pisa-undersökningen.91

En skolsamordnare vi intervjuat berättade att på deras skola skickades ett redigerat brev ut till vårdnadshavarna, där elever som ville delta uppmanades att anmäla sig till undersökningen. Elever som inte anmälde intresse kontaktades inte igen. På denna skola fick alltså eleverna själva välja om de ville vara med och vårdnadshavare behövde inte anmäla att de inte ville att deras barn skulle delta. De elever som inte anmälde sig till provet registrerades som bortfall.92

OECD hade som krav för att Sveriges resultat skulle godkännas att minst

76 procent av de utvalda eleverna, efter att exkluderingarna gjorts, också skriver proven.93 Skolverket hade som princip att skolor med lägre än 80 procent deltagande på den enskilda skolan skulle ha ett uppföljningstillfälle (det vill säga en ytterligare provdag för elever som var frånvarande vid första tillfället), men om det var svårt att få till tilläts ibland undantag. Fokus var på att det totala bortfallet inte skulle överstiga 15 procent.94 I samband med Pisa-undersökningen 2018 hade 23 skolor mer än 20 procents bortfall och 18 skolor anordnade uppföljningstillfällen.

En ytterligare åtgärd för att minska bortfallet kan vara att undvika att ha nationella prov under samma tidsperiod som Pisa-undersökningen genomförs. Det finns tre Pisa-perioder, två under våren och en under hösten. Sverige genomför undersökningen under den första perioden och det går inte att ändra provperiod.95 Under våren 2018 skrev eleverna i årskurs nio sammanlagt nio nationella prov, två under samma tvåveckorsperiod som Pisa-proven skrivs. Inga andra nordiska länder har nationella prov under samma period som Pisa-undersökningen genomförs.96

5.2 Skolverkets kvalitetssäkring och uppföljning av exkluderingar och bortfall

Inför varje Pisa-undersökning genomförs en förstudie året innan. Syftet är att testa och kvalitetssäkra alla moment, praktiskt och tekniskt samt det material som används, exempelvis informationen till skolorna samt prov- och enkätfrågor. Förstudien är en viktig del i kvalitetssäkrandet av huvudstudien.97 I samband med förstudien 2017 uppmärksammade Skolverket att exkluderingarna var betydligt högre än tidigare år. Totalt 9 procent av eleverna exkluderades från undersökningen i förstudien. Detta fick projektgruppen att ringa runt till skolorna för att säkerställa

91 Mejl från nationell projektledare för Pisa-undersökningen i Tyskland, 2021-01-14.

92 Detta var en skola med färre än 37 elever i målgruppen – Skolverket gjorde alltså inget urval.

93 Skriftligt svar från Skolverket, 2021-03-15.

94 Skriftligt svar från Skolverket, 2020-12-11.

95 Skriftligt svar från Skolverket, 2021-03-15.

96 Mejlkorrespondens med de nordiska nationella projektsamordnarna.

97 Skriftligt svar från Skolverket, 2020-10-27.

42 R I K S R E V I S I O N E N

56

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

att exkluderingarna gjorts korrekt. Enligt Skolverket framkom det inte några tecken på felaktiga exkluderingar under dessa samtal. Många exkluderingar handlade i stället om elever som fått mindre än ett års undervisning i svenska och i vissa fall elever som var analfabeter.98 Det finns ingen skriftlig dokumentation av Skolverkets arbete med att följa upp exkluderingarna i förstudien.99 Skolverket informerade OECD om att de förväntade sig höga exkluderingstal i samband med huvudstudien 2018, på grund av det höga flyktingmottagandet under perioden.100

Genomförandet av Pisa-undersökningen styrs och kontrolleras av OECD och Skolverket har detaljerade manualer att förhålla sig till.101 Skolverket har inte bedömt det som nödvändigt att göra någon ytterligare kvalitetssäkring eller uppföljning av exkluderingar inför huvudstudien. I samband med förstudien hade projektgruppen på Skolverket en längre kommunikation med kontraktorn för undersökningen, där de diskuterade dels anledningarna till de höga exkluderingarna, dels vad det kunde innebära för huvudstudien. Kontraktorn föreslog vid ett tillfälle att det skulle införas ett maxantal för tillåtna exkluderingar per skola men vi kan inte se att detta har följts upp någonstans.102

En försvårande omständighet vad gäller uppföljning av exkluderingar är den tolkning av personuppgiftslagen som Skolverkets jurister gjorde 2016. Från och med förstudien 2017 redovisas exkluderingarna gemensamt i kategorin övrigt,

i stället för separat för funktionsnedsättningar och språkbegränsningar. Skolverket anser att myndigheten saknar rättslig grund att behandla så kallade känsliga personuppgifter enligt den tidigare personuppgiftslagen.103 Tillämpningsområdet för en myndighet att behandla sådana nödvändiga personuppgifter med stöd av exempelvis statistiska ändamål eller något viktigt allmänt intresse har dock tydliggjorts i samband med införandet av EU:s dataskyddsförordning. I samband med detta klargjordes att till exempel anordnande och bedrivande av utbildning utgör ett sådant viktigt allmänt intresse.104 Trots detta har inte Skolverket förändrat sitt ställningstagande i frågan.105 Det är inte upp till Riksrevisionen att göra något rättsligt ställningstagande i detta avseende. Vi kan dock konstatera att Skolverket inte heller har lyft frågan till Regeringskansliet för att möjliggöra en mer användbar redovisning av exkluderingarna genom till exempel

en författningsändring. Det ska tilläggas att lagstiftaren redan har bemyndigat

98 Skolverket, Info om hur urvalet görs Pisa, 2019, s. 3.

99 Skriftligt svar från Skolverket, 2021-03-17.

100 Mejl från Skolverket med skriftliga frågor och svar från Riksrevisionen inför möte, 2020-12-11.

101 Skriftligt svar från Skolverket, 2020-10-27.

102 Mejlkorrespondens Skolverket – Westat, 2017-03-16.

103 Personuppgiftslag (1998:204) som sedan 25 maj 2018 ersattes av EU:s dataskyddsförordning 2016/679 (GDPR).

104 Prop. 2017/18:218, bet. 2017/18:UbU28, rskr. 2017/18:431.

105 Mejl från Skolverket, 2021-01-19.

R I K S R E V I S I O N E N

43

57

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

regeringen att meddela ytterligare föreskrifter om sådan behandling av känsliga uppgifter som är nödvändig med hänsyn till ett viktigt allmänt intresse.106

5.3 Mittuniversitetets genomförande av Pisa-undersökningen

Mittuniversitetet, som hade genomförandeansvaret för Pisa-undersökningen fram till och med 2015, arbetade på ett i vissa avseenden annorlunda sätt än Skolverket. De genomförde alla de moment som OECD kräver, men vidtog några ytterligare åtgärder för att få ett så högt deltagande som möjligt.

Efter att Mittuniversitetet fått listor på vilka skolor som var utvalda att delta

i undersökningen kontaktades alla rektorer på de utvalda skolorna. Därefter åkte projektansvariga från Mittuniversitetet på en rektorsturné och samlade samtliga skolor vid träffar runt om i landet, i fyra olika städer. Med sig hade de en forskare som använde sig av statistik från Pisa-undersökningen i sin forskning. Mittuniversitetet motiverade dessa rektorsturnéer med att det är viktigt att få med rektorerna, annars är det svårt att få det att fungera på skolorna. Ett år gjorde de ingen rektorsturné i samband med förstudien men såg då att exkluderingarna steg varpå de återinförde den till huvudstudien.107

Träffarna sträckte sig över en hel dag, där förmiddagen användes till

en genomgång av forskning relaterad till Pisa-undersökningen tillsammans med den medföljande forskaren. De pratade om vad Pisa-undersökningen är och hur dess resultat kan användas. Mycket fokus var på att medvetandegöra för rektorerna hur viktigt det är att urval och genomförande blir rätt. Mittuniversitetet argumenterade att Pisa-undersökningen i slutändan gagnar rektorerna och deras skolverksamhet eftersom forskning som baseras på korrekta Pisa-resultat bör fånga upp de problem som finns i skolan och därigenom bör kunna leda till lämpliga förbättringsåtgärder. Eftermiddagen ägnades åt mer praktiska detaljer kring arbetet för att göra korrekta exkluderingar och minska bortfall. Därutöver tog de upp vikten av att rektorerna valde ut en lämplig skolsamordnare och det betonades att det bör vara en person som kan entusiasmera och motivera elever och lärare i arbetet samt inge förtroende. Även Skolverket deltog på dessa träffar.

Senare åkte Mittuniversitetet ut på ytterligare en turné för att träffa de utvalda skolsamordnarna. Då hade de inte med någon forskare, men presenterade hur Pisa-undersökningen kan användas inom forskningen. Samtalen om exkluderingar upplevdes som tuffa eftersom det kan vara känsliga frågor att prata om när det gäller elever med olika funktionsnedsättningar. Mittuniversitetet

106 3 kap. 4 § lagen (2018:218) med kompletterande bestämmelser till EU:s dataskyddsförordning.

107 Intervju med Mittuniversitetet 2020-11-06 och 2021-01-21.

44 R I K S R E V I S I O N E N

58

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

pratade med skolsamordnarna om vikten av att uppmuntra elever att delta och pratade om olika sätt att motivera dem.

Enligt Mittuniversitetet var det en medveten strategi att sälja in Pisa-undersökningen hos rektorerna, för att medvetandegöra ”allvar och mening” i samband med undersökningen. Träffarna ansågs av Mittuniversitetet vara bidragande till att Sverige inte bara haft ett högt deltagande utan även att skolor och elever genomfört undersökningen med aningen mer allvar.108

Mittuniversitetet hade som regel att uppföljningstillfällen skulle hållas om fem eller fler elever var borta vid provtillfället, men uppmanade skolorna att ha uppföljningar även när tre eller fler elever varit borta och även överväga det för enstaka elever.109

Eftersom exkluderingarna hade ökat lite från år till år bad Mittuniversitetet skolsamordnarna att skicka in elevprotokollen inför huvudstudien 2015, efter att de markerat vilka av eleverna som valts ut att skriva proven som skulle exkluderas av olika skäl. Enligt Mittuniversitetet resulterade det i en hel del telefonsamtal med skolsamordnarna innan listorna skulle skickas in, men inte att de behövde ifrågasätta de exkluderingar som sedan gjordes. Insamlingen av listorna gjorde att de fick

en bättre överblick över antalet elever som skolorna tänkte exkludera och att de i förväg hade kunnat upptäcka skolor som eventuellt exkluderade för många elever.

5.4 Skolsamordnarnas tillämpning av kriterierna

Den samlade bilden från våra intervjuer med skolsamordnarna är att de upplevt Skolverkets informationsmöten som bra, tydliga och informativa. Trots detta visar intervjuerna att skolsamordnarna uppfattat informationen som gavs på mötet på olika sätt.

Ungefär hälften av dem vi intervjuat har uppfattat informationen korrekt, det vill säga i enlighet med OECD:s kriterier. De skolsamordnare som varit så strikta som reglerna säger att de ska vara verkar inte ha upplevt det som speciellt prövande att exempelvis inkludera elever som trots mer än ett års skolgång i Sverige inte kan så bra svenska. Generellt säger de skolsamordnare vi intervjuat att de elever som skrivit proven upplevt det som positivt. Eleverna har varit stolta över att få bidra till något större som kan påverka bilden av svensk skola, och i förlängningen eventuella satsningar på skolan. Vid vissa av våra samtal har vi fått höra om elever med ganska stora särskilda behov, såväl av språkskäl som olika diagnoser, som faktiskt tyckt det varit kul att få vara med.

108 Fredriksson, Karlsson och Pettersson, PISA under 15 år – resultat och trender, 2018, s. 39.

109 Mejlkorrespondens med Mittuniversitetet, 2021-01-22.

R I K S R E V I S I O N E N

45

59

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

En del skolsamordnare har uppfattat att exkluderingarna av eleverna generellt är en bedömningsfråga för skolsamordnaren att göra, eventuellt tillsammans med andra lärare. Bland de skolsamordnare som missförstått kriterierna kring bristande språkkunskap är det två varianter som dominerar:

• De som har uppfattat att nyanlända elever kan exkluderas, men refererar till Skolverkets definition av nyanlända för statistiska ändamål, det vill säga elever som varit upp till fyra år i Sverige.

• De som har uppfattat att de själva ska bedöma elevens språkkunskaper oavsett tiden som eleven fått undervisning i svenska och utifrån det avgöra om eleven ska skriva provet.

Vad gäller elever som exkluderats på grund av olika funktionsnedsättningar har de skolsamordnare vi pratat med i allmänhet haft svårare att minnas hur de gjort.

I ett antal fall har det varit elever som får sin utbildning i grundskolan men läser enligt grundsärskolans kursplan och därför ska exkluderas enligt OECD:s regler. Ofta har en speciallärare eller specialpedagog varit involverad i besluten, men ibland är det skolsamordnaren som själv avgjort vilka som ska delta och inte. På några skolor vars skolsamordnare vi intervjuat har ett stort antal elever med känslomässiga/emotionella funktionsnedsättningar exkluderats. När det gäller elever med dyslexi så har vissa skolsamordnare exkluderat sådana elever medan andra låtit dem vara med i undersökningen.

Några skolsamordnare har uppenbart exkluderat elever felaktigt. Till exempel har några skolsamordnare exkluderat hemmasittare och några har exkluderat elever som kan tänkas uppleva det jobbigt att skriva provet. Någon har även exkluderat elever vars vårdnadshavare inte låtit eleven skriva provet trots att dessa elever ska registreras som bortfall.

Med något enstaka undantag har de skolsamordnare vi intervjuat bara haft kontakt med Skolverket under själva träffen när det gällt exkluderingar. Några har haft kontakt med Skolverket utöver träffen, men då har det oftast handlat om praktiska och tekniska frågor till exempel kopplat till lån av datorer. Vi kan alltså inte uttala oss om de ytterligare stödinsatser som Skolverket erbjudit vid behov. Några skolsamordnare har vidarebefordrat uppgiften om exkluderingar till lärare och arbetslag och inte själva varit delaktiga i processen.

Många skolsamordnare har arrangerat aktiviteter och samlingar på skolorna för att entusiasmera och motivera de utvalda eleverna att skriva provet. Alla har dock inte gjort det och vissa skolor har arrangerat proven på ett sätt som snarare motverkat ett högt deltagande. Till exempel var det en skola, med högt bortfall, som genomförde proven i en annan skollokal än den egna, en lokal som innebar 20 minuters promenad för de utvalda eleverna. De intervjuade skolsamordnarna upplever att Skolverket vid informationsmötet gick igenom hur de kan entusiasmera eleverna till att skriva proven. Många skolsamordnare poängterar också vikten av

46 R I K S R E V I S I O N E N

60

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

incitament i form av exempelvis pizza eller fika till de elever som kommer och skriver proven.

Endast en av de intervjuade skolsamordnarna har upplevt att det ibland kan vara svårt att veta hur länge eleven gått i svensk skola.

Av de skolsamordnare vi frågat är det knappt hälften som upplever att det är

ett problem att Pisa-undersökningen genomförs under samma period som det är en hel del nationella prov. När det upplevs som ett problem anses det vara

en bidragande orsak till hög frånvaro vid proven. Det är ofta mer högpresterande elever som faller bort av den anledningen.

5.5 Riksrevisionens bedömning

Vår sammantagna bedömning efter de intervjuer vi gjort med 32 skolsamordnare är att trots att informationsmötena upplevts som bra, tydliga och informativa så är det uppenbart att reglerna för exkludering av elever har uppfattats på många olika sätt. En rektor uttryckte det väl när hon sa att vid mötet upplevdes det som tydligt och enkelt, men när de satt med listorna uppstod ändå massa frågor och tolkningssvårigheter. I vissa fall har uppenbart felaktiga beslut tagits, till exempel när skolsamordnare exkluderat elever för att de ändå aldrig skulle närvara vid proven. Eller när de utgått från fyraårsgränsen för nyanlända. Ibland är det mer tveksamma fall, till exempel när det gäller de elever som exkluderats för att skolsamordnare ansett att eleven inte kan sitta still så länge eller inte kan koncentrera sig den tid som behövs. Eftersom vi inte intervjuat samtliga skolsamordnare gör vi dock inga anspråk på att ha en komplett bild av hur alla skolsamordnare uppfattat informationen de fått från Skolverket.

Om Skolverket gjort som diskuterades i konversationen med kontraktorn i samband med förstudien, det vill säga infört ett maximalt tak för antal exkluderade elever per skola, hade kanske de höga siffrorna kunnat undvikas. Vi vet inte varför denna idé inte förverkligades. Det är också svårt att förstå varför Skolverket, på basis av exkluderingarna i förstudien, antog att det skulle bli lika höga exkluderingar 2018. Den stora gruppen nyanlända kom i slutet på 2015 och sedan dess har antalet nyanlända sjunkit stadigt.

Vi ser två huvudsakliga skillnader i arbetet med genomförandet mellan Skolverket och Mittuniversitetet som vi tror är av betydelse. För det första arbetade Mittuniversitetet aktivt med rektorerna oavsett om de hade rollen som skolsamordnare eller inte, för att betona vikten av att det blev rätt med urvalet och att deltagandet blev så högt som möjligt. De betonade hur viktigt det var att rätt person valdes till skolsamordnare. Även om informationen som givits av både Skolverket och Mittuniversitet utgått från samma manualer bedömer vi det särskilt främjande för genomförandet att aktivt arbeta med samtliga rektorer för att de ska förstå vikten av att få elever att delta i undersökningen. Vår bedömning

R I K S R E V I S I O N E N

47

61

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

är att Mittuniversitetet betonade valet av skolsamordnare mer än Skolverket. Mittuniversitetet tydliggjorde vikten av att välja en person med sådana egenskaper som behövs för att uppnå ett högt deltagande. För det andra krävde Mittuniversitetet i samband med huvudstudien i Pisa-undersökningen 2015 in elevprotokollen innan proven skrevs. Hade det då varit så höga exkluderingar som det blev 2018 hade det funnits tid att ifrågasätta det innan proven genomfördes. Skolverket vidtog ingen av dessa åtgärder i samband med huvudstudien 2018.

Vi noterar även en viss skillnad när det gäller uppföljningstillfällen på skolorna. Mittuniversitetet uppmanade skolorna att ha sådana vid bortfall om tre elever, Skolverket vid bortfall om 20 procent. Det senare skiljer sig utifrån hur många elever som skulle skriva men vid fullt antal innebar det sju elever.

Vi ser ingen grund för att ifrågasätta att Skolverket gjort och genomfört alla de moment som OECD kräver. Vi kan dock inte se att de vidtagit några egeninitierade åtgärder för att få ett så högt deltagande som möjligt och inte heller analyserat det låga deltagandet för att fastställa vad som låg bakom det.

48 R I K S R E V I S I O N E N

62

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

6 Regeringen och Skolverket har inte säkerställt att tveksamheterna

kring deltagandet i Pisa-undersökningen utretts ordentligt

I detta kapitel besvarar vi frågan om huruvida regeringen, Regeringskansliet och Skolverket utrett tveksamheterna kring deltagandet i Pisa-undersökningen 2018 ordentligt. Vi finner bland annat att:

• Regeringskansliet hänvisar alla frågor kring OECD:s uppdrag till Skolverket

• den rapport som OECD tog fram bygger på ett flertal felaktiga antaganden

• varken regeringen eller Skolverket har uppmärksammat att OECD missförstått hur utbildningen för nyanlända fungerar i Sverige.

6.1 OECD gavs i uppdrag att granska Sveriges data ännu en gång

I samband med att resultaten för Pisa-undersökningen 2018 publicerades

i december 2019 ifrågasattes de höga exkluderingstalen i Sverige, av både media och forskare. Skolverket försäkrade att de gjort allt rätt och att de höga exkluderingstalen var en konsekvens av de stora flyktingströmmarna åren innan. Regeringen hänvisade till att såväl Skolverket som OECD godkänt och förklarat siffrorna. Utbildningsdepartementets statssekreterare skrev en debattartikel

i Dagens Arena den 10 december där han kallar ifrågasättandet av de svenska siffrorna för konspirationsteorier.110

När siffrorna återigen ifrågasattes, i samband med artiklar i Expressen i juni 2020, tog företrädare för regeringen, efter samråd med Skolverket, kontakt med OECD för att be om en förnyad och fördjupad granskning av den svenska statistiken.111 Eftersom Sveriges exkluderingar var över den godkända gränsen på 5 procent hade Sveriges siffror redan behandlats och godkänts av OECD:s adjudiceringsnämnd.112 Det var Skolverket som lämnade uppdraget till OECD och diskuterade form, innehåll och ersättning. Några instruktioner gavs inte från Utbildningsdepartementet.

110 Nilsson, ”Konspirationsteorier stjäl fokus från PISA-framgång”, 2019-12-10.

111 Hellberg, ”Anna Ekström begär ny granskning av resultaten”, 2020-06-03; OECD, A review of

the PISA 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020, s. 4; promemoria 2020-06-09, Underlag inför möte med utbildningsutskottet.

112 OECD, PISA 2018 Main Study Data Adjudication Report, 2019.

R I K S R E V I S I O N E N

49

63

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Enligt Utbildningsdepartementet fördes dock en dialog mellan OECD, Skolverket och representanter från departementet om Pisa-undersökningen 2018.113

Representanter från såväl regeringen som Skolverket står under juni 2020 fast vid att den svenska Pisa-undersökningen 2018 genomförts i enlighet med gällande regler och att OECD granskat och godkänt tillvägagångssätt och resultat. Den ökade exkluderingsgraden förklaras med de migrationsströmmar som flyktingkrisen gav upphov till.114 I ett skriftligt svar i riksdagen skriver utbildningsministern att det är Skolverket som ansvarar för Pisa-undersökningen och att OECD tidigare granskat och godkänt resultaten. I svaret framgår även att regeringen utgår från att svenska myndigheters och OECD:s officiella statistik är korrekt och att de inte har fått några uppgifter som tyder på felaktiga exkluderingar. Det ska gå att lita på en så stor studie som Pisa-undersökningen och regeringen ser inga skäl att ifrågasätta den officiella statistiken från myndigheter och OECD. För att det inte ska finnas några tvivel välkomnas att OECD ska granska statistiken ännu en gång.115

Utbildningsdepartementets tjänstemän har vid åtminstone två tillfällen sedan Pisa-resultaten presenterades i december 2019 tagit fram promemorior där de för fram att de höga exkluderingstalen är problematiska och inte fullt ut kan förklaras med ett ökat inflöde av nyanlända elever under den relevanta tidsperioden. Tjänstemännen för också fram att OECD inte förefaller ha förstått hur utbildning för nyanlända elever fungerar i Sverige. Den första promemorian är daterad endast några dagar efter att Pisa-undersökningen för 2018 publicerades och den andra i samband med att OECD:s granskning av resultaten publicerades

i september 2020.116 Vad vi känner till har inte dessa promemorior, eller deras innehåll, diskuterats med Skolverket.

6.2 Bristande transparens från OECD gällande Pisa-undersökningen

Följande anledningar har förts fram till att ge just OECD uppdraget att göra ytterligare en granskning av Sveriges siffror för exkluderingar från Pisa 2018:117

• OECD ansågs ha kompetensen att göra en ordentlig granskning och det ligger i organisationens intresse att göra det bra.

• OECD ansågs ha kompetensen kring ländernas insamlingsarbete, vilket kan vara användbart om liknande dilemman funnits i andra länder.

113 Mejl från Utbildningsdepartementet, 2020-11-17 och 2021-01-22.

114 Promemoria Utbildningsdepartementet, 2020-05-29; promemoria Utbildningsdepartementet 2020-06-09, Underlag inför möte med Utbildningsutskottet.

115 Svar på skriftlig fråga 2019/20:1675 besvarad av utbildningsminister Anna Ekström U2020/03951/S.

116 Promemoria Utbildningsdepartementet, 2019-12-04; promemoria Utbildningsdepartementet, 2020-10-01.

117 Promemoria Utbildningsdepartementet, 2020-06-09, Underlag inför möte med Utbildningsutskottet.

50 R I K S R E V I S I O N E N

64

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

• OECD ansågs lämpade för att avgöra hur Sveriges arbete med insamling och kvalitetskontroll står sig i jämförelse med andra deltagande länder.

• En av regeringen tillsatt nationell kommission skulle innebära att resurser tas från andra aktiviteter som behöver utföras inom skolväsendet.

Både regeringen och Skolverket återkommer flertalet gånger i sin kommunikation till OECD:s kompetens i dessa frågor och att det ligger i OECD:s intresse att liknande frågor reds ut ordentligt. Det finns dock en mängd forskningsartiklar som ifrågasätter framför allt OECD:s transparens när det gäller Pisa-undersökningen, se bilaga 3. I samband med våra dokumentstudier har även vi funnit det svårt att

i vissa fall förstå skälen bakom OECD:s ställningstaganden. Ett exempel är hur OECD går till väga när de godkänner olika deltagande länders data.118 I samband med Pisa 2018 var det 16 länder som hade exkluderingstal över den godkända gränsen om 5 procent (se avsnitt 2.2.3). Från OECD:s dokumentation är det inte helt enkelt att förstå varför de höga talen accepterats. Vi har två gånger bett OECD om förklaringar till länders exkluderingar, men inte fått tillräcklig information för att faktiskt förstå. Bland annat är det oklart varför Israels höga exkluderingstal accepteras. Tydligen beror de på att ett antal pojkskolor vägrar delta, men det är oklart varför det blir exkluderingar och inte bortfall. För Norge anges det felaktigt att de höga talen beror på fler elever med bristande språkkunskap när det är elever med funktionsnedsättningar som ökat. För Luxemburg pendlar exkluderingarna mellan 4 och 8 procent över en längre tid utan att någon förklaring anges.

När det gäller Sveriges höga exkluderingar i samband med undersökningen 2018 har vi försökt få klarhet i vad adjudiceringsnämnden grundade sin bedömning på, det vill säga att de höga svenska exkluderingarna berodde på flyktingströmmarna till Sverige åren innan Pisa 2018. Skolverket har inte haft någon direkt korrespondens kring detta mer än en e-postväxling med kontraktorn, i samband med förstudien, där myndigheten skriver att flyktingströmmarna med stor sannolikhet är förklaringen.119 OECD i sin tur hänvisar till kommunikation med kontraktorn, samt till att det fanns starkt stöd för hypotesen i tillgänglig migrationsstatistik.120 Som vi visat i kapitel 3 visar migrationsstatistiken på

ett större inflöde av asylsökande inför Pisa-undersökningen 2015 och ett ungefär liknande inflöde vad gäller övriga beviljade uppehållstillstånd.

När ett lands data inte bedöms trovärdiga av något skäl får landet en asterisk

i tabellerna som signalerar att det finns tveksamheter kring hur korrekt resultatet är. Vid åtminstone några kända tillfällen har det uppdagats att vissa delar av datainsamlingen inte gått rätt till, utan att OECD markerat berört lands resultat med en asterisk. Till exempel har Kanada återkommande haft problem med att

118 OECD har tidigare kritiserats för bristande transparens när det gäller Pisa-undersökningen.

Se exempelvis Tienken och Mullen, Education Policy Perils. Tackling the Tough Issues, 2016, s. 121.

119 Mejl från Skolverket, 2021-02-01.

120 Mejl från OECD, 2021-02-05.

R I K S R E V I S I O N E N

51

65

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

många skolor väljer att inte delta, vilket försämrar representativiteten för de skolor och elever som deltar.121 Ett annat exempel är Storbritannien som i Pisa-undersökningen 2015 hade nästan tre procentenheter högre exkluderingar än omgången innan (från 5,4 till 8,2 procent). Förklaringen anges som en oavsiktlig konsekvens av förändringar i tidpunkten då information om särskilda behov samlades in, vilket verkar ha lett till att skolsamordnare markerade fler elever för uteslutning. Eftersom orsaken uppdagats och skulle åtgärdas till nästa gång valde OECD att godkänna resultaten, det vill säga utan asterisk i tabellerna.122 Storbritanniens exkluderingar återgick till den nivå de brukar ligga på i samband med Pisa-undersökningen 2018.123

6.3 OECD:s uppdrag var otydligt och resultatet blev inte trovärdigt

Enligt den kommunikation vi fått tillgång till mellan Skolverket och Utbildningsdepartementet, samt mellan Skolverket och OECD, beskriver Skolverket och OECD uppdraget på olika sätt. Det finns ingen uppdragsbeskrivning kopplad till ersättningen för uppdraget (20 000 euro). Skolverket har signerat ett så kallat offer letter där ersättningen anges som ett frivilligt bidrag till analys av Pisa-data. Det står inget i vare sig brev eller fakturaunderlag att analysen gäller exkluderingar eller Sveriges genomförande av Pisa-undersökningen.124

Enligt textmeddelande från Skolverkets generaldirektör till Utbildningsdepartementets statssekreterare ska OECD i rapporten beskriva:125

• hur kontakterna med skolorna såg ut

• vad som sågs i genomgången av deltagande skolor

• om uppföljning av en eller flera enskilda skolor varit aktuellt

• hur processen gick till på skolorna i Sverige och hur exkluderingarna kvalitetssäkrades.

OECD skriver i rapporten att den ska innehålla:126

• en överblick av målpopulation och urvalsdesign i Pisa-undersökningen

• exkluderingskriterierna

121 För mer information se Anders m.fl., ”Is Canada really an education superpower? The impact of non-participation on results from PISA 2015”, 2021.

122 OECD, PISA 2015 Technical Report, 2017, s. 273.

123 Före och efter 2015 sköttes genomförandet av National Foundation for Educational Research (NFER), men för 2015 var det en annan organisation som ansvarade för genomförandet. Enligt e-postkorrespondens med John Jerrim 2021-01-12.

124 Offer letter 2020-09-10; invoice 2020-10-12.

125 Textmeddelanden 12 och 15 juni 2020.

126 OECD, A review of the PISA 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020.

52 R I K S R E V I S I O N E N

66

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

• hur det tas fram en ram för skolurvalet och hur den nationella målpopulationen bestäms

• svarsfrekvensstandarder

• kvalitetssäkringsprocessen hos kontraktorn och OECD samt resultaten från adjudiceringsnämnden.

Av rapportens 55 paragrafer handlar 7 om Sverige. Det finns även en faktaruta där beräkningar presenteras. Resterande text är tagen ur OECD:s manualer och rapporter och är på en övergripande nivå. Det som nämns om den svenska kvalitetssäkringen är att Sveriges nationella projektledare (det vill säga Skolverket) har förstått reglerna för exkluderingar och att de så vitt de vet har applicerats korrekt.127

OECD levererade sin rapport som avtalat den 30 september 2020.128 De kommer fram till att de höga exkluderingarna troligen beror på det höga antalet nyanlända elever under åren dessförinnan. Vi konstaterar dock att slutsatserna i rapporten baseras på felaktiga antaganden, nämligen att:

• alla nyanlända elever går i förberedelseklass

• elever i förberedelseklass går där i två och ett halvt år.

Därutöver räknas inte potentiell tid i förberedelseklass som undervisning

i svenska. Med dessa antaganden som bas gör OECD beräkningar för hela riket, baserade på registerdata från elevregistret. I dessa beräkningar tas ingen hänsyn till invandringsår, utan elever födda 2002 som fanns i skolsystemet den 15 oktober respektive år delas upp i tre kategorier: svenska, svenskfödda med utrikes bakgrund och utlandsfödda med utrikes bakgrund. De som tillkommer i den sista kategorin varje år antas representera antalet utlandsfödda elever med utländsk bakgrund som börjat skolan under året. OECD antar att samtliga elever födda utomlands med utländsk bakgrund, som tillkom i elevregistret efter oktober 2014, potentiellt kan exkluderas med anledning av reglerna för exkludering baserat på bristande språkkunskaper. Några av dessa elever kan ha gått i svensk skola i upp till 3,5 år när Pisa-undersökningen genomfördes i mars 2018. OECD:s statistik är levererad och beräknad av Skolverket. Tabell 3 nedan är framtagen av Skolverket och återges i OECD-rapporten.

OECD har inte bett att få tillgång till ursprungsdata själva, men Skolverket kan inte heller lämna ut mikrodata till OECD utifrån existerande statistikreglering. Uppgifter kan endast lämnas ut för forsknings- eller statistikändamål om de skyddas av sekretess. Detta bedömer Skolverket inte vara fallet för OECD.129 OECD bedöms inte heller ha tillräcklig kännedom och kunskap om svenska

127 OECD, A review of the PISA 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020.

128 Ibid.

129 Skriftligt svar från Skolverket, 2021-03-15.

R I K S R E V I S I O N E N

53

67

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

förhållanden och dataregister för att kunna tillgodogöra sig data ifall de skulle fått den.130

Riksrevisionen menar att ovan nämnda antaganden är felaktiga (se kapitel 3 för en beskrivning av utbildning för nyanlända). Förberedelseklass är

en organisationsform och inte en skolform. Många nyanlända elever går inte i förberedelseklass. Det är dessutom reglerat i lag att en elev inte får gå

i förberedelseklass i mer än två år.131 Som vi har konstaterat ovan går de flesta elever betydligt kortare tid än två år i förberedelseklass och undervisningen

i förberedelseklasser sker på svenska.

Tabell 3 OECD:s beräkningar av antalet elever som potentiellt kan exkluderas på grund av språkkriteriet – elever födda 2002

Oktober	2014	2015	2016	2017
Svenska elever med	82 668	82 758	82 701	82 483
minst en förälder född
i Sverige (1)
Födda i Sverige med	10 284	10 349	10 331	10 529
utrikes bakgrund (2)
Utlandsfödda med	10 137	11 911	14 482	15 975
utrikes bakgrund (3)
Total	103 089	105 018	107 874	108 987
(3) som började svensk		1 774
skola mellan okt. 2014		(11 911–10 137)
och okt 2015
(3) som började svensk			2 931
skola mellan okt. 2015			(14 482–11 911)
och okt. 2016
(3) som började svensk				1 133
skola mellan okt. 2016				(15 975–14 482)
och okt. 2017
Totalt antal elever				5 838

Källa: OECD, A review of the PISA 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020.

Anm.: Siffrorna i parentes tillagda av Riksrevisionen.

OECD summerar alltså samtliga utlandsfödda elever med utländsk bakgrund som enligt elevregistret börjat i svensk skola från och med oktober 2014. Till detta adderas 189 elever som beräknas ha börjat efter oktober 2017 och alltså inte finns med i elevregistret. Tillsammans ger detta drygt 6 000 elever (1 774 + 2 931 +

1 133 + 189 = 6 027). Det viktade antalet exkluderade elever med anledning av bristande språkkunskaper i Pisa 2018 är cirka 7 500.132 Trots antaganden som

130 Mejl från Skolverket, 2021-02-12.

131 3 kap. 12 f § skollagen.

132 Siffran är baserad på antagandet att exkluderingarna på grund av funktionsnedsättningar inte förändrats sedan 2015. Siffran är viktad för att representera hela målpopulationen av elever.

54 R I K S R E V I S I O N E N

68

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

enligt vår mening är alltför inkluderande så kommer OECD i sina beräkningar inte upp till siffran på 7 500 elever. OECD:s bedömning är dock att det är tillräckligt nära för att kunna betrakta Sveriges data som tillförlitliga.

6.3.1 Resultatdiskussion

Riksrevisionens bedömning är att med den statistik som OECD använder som underlag så bör endast de elever som börjat svensk skola efter oktober 2016 kunna exkluderas. Dessa elever kan ha haft upp till ett år och fyra månaders skolgång innan Pisa-undersökningen (vi har räknat på potentiellt två månader under 2016, två terminer under 2017 och två månader under 2018). Dessa elever summerar till 1 133 + 189 = 1 322, vilket endast är 1,2 procent av målpopulationen.

Vi kan se två förklaringar till den låga siffran i jämförelse med vår beräkning

i kapitel 4. Dels kan det vara så att en större andel av de elever som folkbokfördes under 2017 faktiskt började skolan långt tidigare än vi antagit (det vill säga före oktober 2016). Dels kan det vara så att många av de 4 705 elever som tillkommer mellan oktober 2014 och oktober 2016 hade lämnat Sverige vid tidpunkten för insamlingen i oktober 2017 (många fick inte sina ansökningar om uppehållstillstånd beviljade) vilket innebär att en större andel än beräknat i tabellen faktiskt tillkommit under 2017.

6.3.2 Underlagen i OECD:s rapport

Referenslistan till OECD:s rapport består av Expressens artikel, en del egenutgivna manualer och rapporter, data från Sverige levererade av Skolverket och

en promemoria på svenska om hur utbildning för nyanlända ser ut i Sverige, skriven av enhetschefen för enheten för riktade insatser för nyanländas lärande på Skolverket.133 Promemorian beskriver enligt vår bedömning utbildning för nyanlända elever på ett korrekt sätt och att döma av de frågor vi sett i e-postväxlingen har Skolverket korrekt besvarat alla frågor som OECD skickat. Däremot kan vi se att Skolverket i ett annat mejl skriver att en elev kan gå tre år i svensk skola innan hen fått undervisning på svenska i ett år.134 Detta är förvånande och felaktigt. Det är viktigt att Skolverket säkerställer att informationen de ger är korrekt. I rapporten från OECD är tid i förberedelseklass inte inkluderad i tiden som en nyanländ elev fått undervisning på svenska. Vi har frågat OECD varför de gör så men inte fått ett klargörande svar. De svarar att en elev måste ha fått undervisning i svenska

i ett år. OECD skriver att detta medför att elever som gått i svensk skola och tagit förberedande klasser, såsom svenska som andraspråk, i upp till två år innan de får undervisning på svenska, kan exkluderas.135 Detta tyder på ett missförstånd eftersom svenska som andraspråk inte är en förberedande klass, utan ett ämne

133 Skolverket, Nyanlända elever i det svenska skolsystemet, 2020.

134 Mejl från Skolverket till OECD, 2020-06-23.

135 Mejl från OECD, 2021-02-05.

R I K S R E V I S I O N E N

55

69

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

som en elev kan läsa under hela sin grundskole- och gymnasietid, även om hen är född i Sverige.136 Dessutom, som vi nämnt tidigare: undervisning i svensk skola sker på svenska.

6.3.3 OECD:s synpunkter på Riksrevisionens bedömning

OECD har givits möjlighet att faktagranska de delar av denna granskning som berör OECD. Efter detta har de gjort om sina beräkningar utifrån att en elev endast får gå i förberedelseklass i två år och inte två och ett halvt år som de tidigare räknat med. Detta har alltså inte kommit till deras kännedom förrän Riksrevisionen påpekar det nästan ett halvår efter att slutsatserna från deras rapport publicerades på Skolverkets och regeringens webbplats. De reviderade beräkningarna visar att 5 300 elever potentiellt kunde exkluderas på grund av språkkriteriet i undersökningen 2018, det vill säga 2 200 färre elever än som exkluderades.137 Trots detta förändras inte deras sammantagna bedömning att de höga exkluderingstalen kan förklaras med ett ökat antal nyanlända.

OECD skriver i sitt svar till Riksrevisionen att de har räknat på hur många elever som potentiellt kunde exkluderas. Eftersom det inte finns något exakt mått på hur lång tid en elev behöver innan hen kan delta i ordinarie svenskundervisning (vi tror att OECD med ordinarie svenskundervisning avser ämnet svenska i stället för ämnet svenska som andraspråk) använder de den maximala tiden

i förberedelseklass som en approximation för det. De skriver också att även om elever i förberedelseklass undervisas på svenska så bedöms de inte ha tillräckliga svenskkunskaper för att kunna delta i ordinarie svenskundervisning.

6.4 Riksrevisionens bedömning

Riksrevisionen bedömer att varken regeringen, Skolverket eller OECD har vidtagit tillräckliga åtgärder för att ta reda på om något faktiskt blivit fel vad gäller deltagandet i Pisa-undersökningen 2018. De data från elevregistret vi använt oss av i granskningen fanns tillgängliga redan första gången tveksamheterna kring exkluderingarna kom upp. I december 2019 drog tjänstemän på Utbildningsdepartementet slutsatsen att det inte kan vara språkkriteriet som förklarar de höga exkluderingarna. Vi vet inte hur denna promemoria hanterades, men tveksamheterna verkar inte ha följts upp eftersom regeringen fortsatte hänvisa till Skolverkets och OECD:s försäkringar om att den svenska statistiken var godkänd. Regeringskansliet hänvisar till Skolverket både gällande om allt gått rätt till och hur och varför uppdraget givits till OECD. Eftersom resultaten från Pisa-undersökningen används återkommande i bland annat budgetpropositionen borde regeringen ha följt upp ordentligt vad som faktiskt hänt. Vi noterar att

136 5 kap. 14 § skolförordningen (2011:185).

137 Siffran är viktad för att representera hela målpopulationen av elever.

56 R I K S R E V I S I O N E N

70

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Utbildningsdepartementet inledningsvis har ställt frågor om uppdraget och verkar ha försökt förvissa sig om att rapporten skulle besvara de frågor som fanns.

OECD borde förvisso ha kompetensen att göra en korrekt bedömning av statistiken, men de har inte haft kännedom om det svenska skolsystemet och hur utbildningen för nyanlända fungerar. De har inte heller själva haft tillgång till ursprungsdata, utan hela tiden bett Skolverket göra beräkningar åt dem. Detta har gjort det svårt att ta fram en trovärdig och korrekt rapport. Vår bedömning är att det första godkännandet av Sveriges data, som gjordes av adjudiceringsnämnden inför publiceringen av undersökningen, baserades på svag empiri. Enligt den information vi fått från OECD baserades beslutet på en mejlväxling mellan Skolverket och kontraktorn i samband med förstudien där Skolverket skriver att flyktingströmmarna är en sannolik förklaring.138 Vi bedömer det också som tveksamt ifall OECD hade tillräckligt starka incitament att faktiskt upptäcka felaktigheter i data och därmed överpröva sitt tidigare ställningstagande eftersom de redan en gång godkänt Sveriges statistik.

Riksrevisionens bedömning är att OECD:s rapport i hög utsträckning är baserad på Skolverkets information och beräkningar. Tabell 3 som är basen för OECD:s slutsatser är levererad av Skolverket. Bedömningen att elever kan ha gått i svensk skola i tre år och ändå korrekt exkluderas verkar även den vara levererad av Skolverket. Sedan har OECD själva lagt på ett halvår när det gäller hur länge elever kan gå i förberedelseklass, och själva gjort antaganden att alla elever går

i förberedelseklass, och gör det i två och ett halvt år. Vår bedömning är att rapporten baseras på felaktiga antaganden och inte kan användas för att bedöma rimligheten i de höga exkluderingarna för Sverige i Pisa-undersökningen 2018.

Såväl regeringen som Skolverket borde ha uppmärksammat att OECD:s rapport innehåller ett flertal felaktiga antaganden, vilket gör det svårt att övertygas av rapporten. Särskilt eftersom Regeringskansliet påtalat brister i rapporten.

Vi ser flera problem med hur uppdraget till OECD givits och följts upp. För det första kan det ifrågasättas om OECD var den mest lämpliga aktören att utföra uppdraget. Bland annat eftersom OECD redan en gång godkänt Sveriges siffror men också för att de saknar kännedom om svensk skola för nyanlända. För det andra tog OECD fram en rapport som inte kan bedömas vara trovärdig. För det tredje har både Skolverket och regeringen efter rapportens publicering återgivit OECD:s slutsats att resultaten går att lita på, trots att de borde sett bristerna.

Efter att OECD reviderat sin rapport är diskrepansen mellan antalet potentiellt möjliga exkluderade och de som exkluderades större, men inte tillräckligt stor för att OECD ska backa från sitt godkännande av den svenska statistiken. Vår tolkning av deras svar är att OECD i praktiken har reviderat sitt kriterium för när elever kan exkluderas till att eleven har fått mindre än 3 års undervisning i svenska.

138 Mejl OECD, 2021-02-05.

R I K S R E V I S I O N E N

57

71

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Vi konstaterar dock att detta inte är hur Skolverket har informerat skolsamordnarna och inte någon skolsamordnare som vi intervjuat har uppfattat kriterierna så. Norge har ett liknande system som Sverige och gör bedömningen att eventuell tid i förberedelseklass räknas in i tiden som undervisning på provspråket enligt OECD:s kriterier.139 Finland har ett något annorlunda system och verkar inte alltid räkna in tiden i förberedande undervisning i språkkriteriet.140 Vår bedömning utifrån de intervjuer vi gjort är dessutom att många felaktiga exkluderingar gjorts av elever av andra skäl än bristande språkkunskaper.

139 Mejl från Norges NPM, 2021-03-23.

140 Mejl från Finlands NPM, 2021-03-25.

58 R I K S R E V I S I O N E N

72

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

7 Slutsatser och rekommendationer

Riksrevisionen konstaterar att varken regeringen eller Skolverket har säkerställt att Pisa-undersökningen 2018 genomfördes på ett tillförlitligt sätt vad gäller exkluderingar och bortfall av elever.

De höga exkluderingarna i den svenska Pisa-undersökningen 2018 kan inte förklaras av antalet nyanlända elever med mindre än ett års undervisning i svensk skola. Skolverket har haft informativa och uppskattade informations- och stödinsatser, men skolsamordnarna har uppfattat och tillämpat kriterierna olika. Konsekvensen blev att många elever exkluderades på felaktiga grunder. Därefter har Skolverket inte följt upp att genomförandet säkerställt ett korrekt urval av elever. Slutligen har regeringen och Skolverket inte på ett trovärdigt sätt utrett tveksamheterna kring exkluderingarna i Pisa-undersökningen 2018.

7.1 Brister i Skolverkets arbete med att informera om och följa upp exkluderingar

Riksrevisionens bedömning är att en del av förklaringen till de höga exkluderingarna är att det var första gången Skolverket ansvarade för genomförandet av Pisa-undersökningen. Tidigare år var det först dåvarande Högskolan i Kalmar och sedan Mittuniversitetet som ansvarade för genomförandet. Pisa-undersökningen var den sista internationella studien som Skolverket tog över genomförandeansvaret för. De hade redan erfarenhet av att genomföra andra internationella kunskapsundersökningar såsom Timss och Pirls.141

En skillnad mellan Pisa-undersökningen och andra internationella studier är att Pisa-undersökningen är baserad på elevurval medan övriga studier genomförs med klassurval. Detta spelar roll utifrån flera aspekter. Om en hel klass blir utvald att skriva exempelvis Timss-undersökningen blir det tydligt för såväl eleven själv som för klasskamrater och vårdnadshavare om hen blir exkluderad från att skriva provet. Det kan vara stigmatiserande att bli bedömd som att inte klara av att delta i något som klasskamraterna deltar i, vilket sannolikt påverkar skolsamordnarnas benägenhet att exkludera elever samt risken för bortfall.142 Om en elev blir exkluderad från att skriva Pisa-undersökningen är det ingen mer än skolsamordnaren och eventuellt några övriga lärare som känner till att eleven exkluderats. En annan aspekt är att vid klassurval blir det något som hela klassen gör, som en (o)vanlig lektion under en vanlig skoldag. Vid elevurval plockas enskilda elever ut för att gå ifrån och göra något annat än sina klasskamrater.

141 Timss – Trends in International Mathematics and Science Study. Pirls – Progress in International Reading Literacy Study.

142 Vad gäller Timss och Pirls kan dock elever som exkluderats få sitta med under skrivningen så att det inte märks att de exkluderats.

R I K S R E V I S I O N E N

59

73

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Vår bedömning är att Skolverket inte har anpassat sitt arbete med Pisa-undersökningen utifrån att risken för exkluderingar och bortfall är högre än i de andra internationella undersökningarna.

Enligt Skolverket genomfördes Pisa-undersökningen 2018 på precis samma sätt som tidigare omgångar.143 Vad vi kan se finns dock skillnader i Mittuniversitetets och Skolverkets tillvägagångssätt som troligen kan förklara det annorlunda utfallet när det gäller exkluderingar och bortfall till viss del.

Skolsamordnarna har vittnat om bra och tydliga informationsmöten. Många har även tagit upp hur tillmötesgående och förstående Skolverket var för deras situation. Vår bedömning är att detta, som såklart i sig är ett positivt omdöme, kan ha fått ej avsedda konsekvenser. Vissa skolsamordnare har uppenbart uppfattat att regelverket för exkluderingar gett dem utrymme att själva bedöma vilka elever som eventuellt ska exkluderas. Det gäller även det avgörande kriteriet för bristande språkkunskap, det vill säga högst ett års undervisning i svenska, men för det kriteriet finns inget utrymme för bedömning – om eleven uppfyller kriterierna ska hen exkluderas, annars inte.

Med tanke på hur många skolor som exkluderat mer än 20 procent av eleverna borde Skolverket ha anat oråd. Exkluderingarna borde dessutom ha minskat mellan förstudien och huvudstudien eftersom det kom färre och färre flyktingar till Sverige från och med 2015. I stället ökade exkluderingarna med ungefär

2 procentenheter.

Uppföljningen av exkluderingar har dock försvårats efter att Skolverkets jurister gjorde en ny tolkning av personuppgiftslagen år 2016. Tolkningen innebär att exkluderingar för funktionsnedsättningar och språkbegränsningar numera samredovisas. Detta är en fråga som Skolverket hade kunnat lyfta till regeringen för att eventuellt åstadkomma en författningsändring, vilket hade kunnat innebära en mer användbar redovisning av exkluderingarna.

Sammanfattningsvis är Riksrevisionens bedömning att Skolverket gjort vad de trott varit tillräckligt för att göra rätt. De har gjort vad OECD tydligt stipulerar ska göras, men inte tillräckligt för att försäkra sig om att OECD:s regler för exkluderingar tillämpats korrekt ute i skolorna. Vår bedömning är att Mittuniversitetet gjorde en del ytterligare insatser för att säkerställa deltagandet och att det sannolikt bidrog till lägre exkluderingar och bortfall. Vår bedömning är även att Skolverket inte analyserat vad som kan förklara de höga exkluderingarna och bortfallet tillräckligt och därför dragit fel slutsatser.

143 Hellberg, ”Skolverkets GD: Inga skäl ifrågasätta vår studie”, 2020-06-03; intervju med Skolverket, 2020-12-15.

60 R I K S R E V I S I O N E N

74

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

7.2 Regeringen har inte följt upp indikationer på felaktigheter

Företrädare för regeringen tog, i samråd med Skolverket, kontakt med OECD för att be dem granska Sveriges data en gång till när ifrågasättandet av det låga deltagandet i Pisa-undersökningen 2018 tilltog. Även om det går att se vissa fördelar med att be OECD göra detta, går det även att se flera nackdelar. OECD hade redan en gång godkänt Sveriges data. Dessutom har inte OECD någon kännedom om hur utbildning för nyanlända elever fungerar i Sverige och har inte kunnat göra beräkningarna själva. Uppdraget som gavs till OECD preciserades inte i samband med det offer letter som OECD skrev och som Skolverket signerade. Brevet utgjorde sedan fakturaunderlag. Vi konstaterar även att den rapport som levererades i månadsskiftet september/oktober 2020 inte överensstämmer med vad Skolverkets ledning sa till regeringen att rapporten skulle innehålla.

Riksrevisionens bedömning är att det borde gått att finna en lämpligare aktör för uppdraget i Sverige. En lämplig aktör hade varit en som både kan hantera svenska mikrodata och kan upprätthålla statistiksekretessen, samt har kunskap om det svenska utbildningssystemet. Riksrevisionen bedömer även att möjligheten att intervjua ett antal skolsamordnare har varit mycket värdefull för att förstå hur genomförandet gick till ute på skolorna.

Riksrevisionens bedömning är att både Skolverket och regeringen borde ha uppmärksammat de felaktigheter som OECD:s rapport baseras på och i något sammanhang påtalat detta. I stället har de framhållit att OECD godkänner Sveriges exkluderingar. En rimlig åtgärd från regeringen när Regeringskansliet presenterade underlag som gick emot de förklaringar som Skolverket levererade hade varit att ta kontakt med myndigheten och be om en förklaring till de motstridiga uppgifterna. Även när Regeringskansliet internt upprepade sitt ifrågasättande i samband med publiceringen av OECD:s rapport borde en kontakt mellan departement och myndighet ha tagits. Enligt Regeringskansliet har de haft en dialog med Skolverket på både tjänstemannanivå och politisk nivå kring Pisa-undersökningen och exkluderingar. I denna dialog har Skolverket försäkrat departementet om att den höga exkluderingsgraden är rimlig. Riksrevisionen har inte fått någon dokumentation som tyder på att de ifrågasättanden som rests internt på departementet har dryftats med Skolverket. De argument som Skolverket fört fram för att rättfärdiga den höga exkluderingsgraden har varit av en annan sort och mer handlat om den tillräckligt höga täckningsgraden och i vilken utsträckning utrikes födda, alltså inte nyligen anlända, elever finns med i undersökningen.

Skolverket ansvarar för genomförandet av Pisa-undersökningen enligt den av regeringen beslutade instruktionen. Det yttersta ansvaret vilar därför på regeringen. Den svenska förvaltningsmodellen bygger på ömsesidig kompetens mellan regeringen och dess expertmyndigheter. En expertmyndighet måste ha

R I K S R E V I S I O N E N

61

75

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

förmågan att leverera det regeringen efterfrågar. Men regeringen måste också ha förmågan att efterfråga rätt information. Därutöver har regeringen ett ansvar att följa upp det som levereras och ingripa om det inte håller god kvalitet. I detta fall har det funnits indikationer på felaktigheter kring genomförandet av Pisa-undersökningen, bland annat i Regeringskansliets egna underlag. Riksrevisionens bedömning är att arbetet brustit i båda riktningar gällande Pisa-undersökningen 2018. Skolverket har inte levererat tillförlitliga data för Pisa-undersökningen. Regeringen har brustit i sitt uppföljningsansvar gentemot Skolverket rörande denna fråga. Eftersom resultaten från Pisa-undersökningen är en återkommande målindikator i bland annat budgetpropositioner är detta

en viktig fråga. Om svagare elever inom olika grupper inte deltar

i Pisa-undersökningen i samma omfattning som andra kan detta i förlängningen leda till att relevanta åtgärder för dem inte vidtas.

Pisa-undersökningen kritiseras ibland för att ha blivit en internationell skoltävling där det gäller att hamna så högt som möjligt i rankningen. Undersökningens huvudsakliga syfte är dock att ge deltagande länder en bild av hur deras utbildningssystem fungerar och en möjlighet att göra jämförelser över tid. För att möjliggöra detta är det viktigt att deltagandet i undersökningen är så brett och korrekt som möjligt. Om Sveriges ambition med deltagandet

i Pisa-undersökningen är att kunna upptäcka styrkor och svagheter i det egna utbildningssystemet är det viktigt att så långt möjligt minimera felaktiga exkluderingar och bortfall.

Riksrevisionen konstaterar att regeringen inte har vidtagit tillräckliga åtgärder för att utreda de tveksamheter som framkom i samband med Pisa-undersökningen 2018. Detta beror inte nödvändigtvis på att regler eller processer är felaktigt utformade, men regeringen har i den här frågan inte fullföljt sitt ansvar att tillse att underlydande myndigheter bedriver sin verksamhet enligt de krav som grundlagen ställer. Riksrevisionen avstår från att lämna en rekommendation angående detta men bedömer att det är allvarligt att regeringen inte fullföljt uppföljningsansvaret.

62 R I K S R E V I S I O N E N

76

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

7.3 Rekommendationer

Riksrevisionen lämnar följande rekommendation till regeringen:

• Ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisa-undersökningen.

Riksrevisionen lämnar följande rekommendation till Skolverket:

• Förbättra arbetet med att säkerställa ett korrekt deltagande i kommande Pisa-undersökningar. Ett sådant arbete bör innefatta att större vikt läggs vid följande detaljer i genomförandet:

−Förstärk den inledande kommunikationen med utvalda skolor.

−Säkerställ att instruktionerna uppfattas och tillämpas korrekt av skolsamordnarna.

−Följ upp exkluderingarna mer detaljerat genom att begära in elevprotokollen innan undersökningen genomförs.

−Höj ambitionsnivån i arbetet med att minska bortfallet genom fler uppföljningstillfällen och betona vikten av att elever deltar

i informationen som skickas till vårdnadshavarna.

R I K S R E V I S I O N E N

63

77

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

64 R I K S R E V I S I O N E N

78

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Referenslista

Litteratur

Fredriksson, U., Karlsson, K.G. och Pettersson, A. (red.), PISA under 15 år

– resultat och trender, Natur och Kultur, 2018.

Mörtlund, T., Arbetet med nyanlända elever i grundskolan – En enkätundersökning om arbetet med nyanlända elever hos kommunala huvudmän för grundskolan, rapport 2020:2, Institutet för arbetsmarknads- och utbildningspolitisk utvärdering, 2020.

Nilsson, E., ”Konspirationsteorier stjäl fokus från PISA-framgång”, Dagens Arena, 2019-12-10.

OECD, PISA 2003 Technical Report, 2005.

OECD, PISA 2018 Technical Standards, 2015.

OECD, PISA 2015 Technical Report, 2017.

OECD, PISA National Project Manager Manual, 2017.

OECD, PISA 2018 Technical Report, 2018.

OECD, PISA 2018 Main Study Data Adjudication Report, 2019.

OECD, PISA 2018 Results, 2019.

OECD, A review of the PISA 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020.

Skolverket, Anbudsförfrågan Nationell projektledare för OECD-projekt ”A strategy for Students Achievement Outcomes”, dnr 97:1597, 1997.

Skolverket, Förslag angående kommande PISA-cykler, dnr 1.1.2-2015-0180, 2014.

Skolverket, Hantering av exkluderingskoderna i de internationella studierna, 2016.

Skolverket, Utbildning för nyanlända elever, 2016.

Skolverket, Brev till utvalda skolenheter, 2017.

Skolverket, Så här går PISA till – en sammanfattande beskrivning, 2017.

Skolverket, PISA 2018 Huvudstudie - manual till skolsamordnare, 2018.

Skolverket, Info om hur urvalet görs Pisa, 2019.

Skolverket, PISA 2018 15-åringars kunskaper i läsförståelse, matematik och naturvetenskap, 2019.

Skolverket, Nyanlända elever i den svenska skolsystemet, internt arbetsmaterial, 2020.

Skolverket, Så här går urvalet till – en sammanfattande beskrivning, 2020.

R I K S R E V I S I O N E N

65

79

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Tienken, C. och Mullen, C. (red.), Education Policy Perils. Tackling the Tough Issues, Routledge, 2016.

Tidningsartiklar

Hellberg, L., “Sveriges PISA-framgång bygger på falska siffor”, Expressen, 2020-06-02.

Hellberg, L., ”Anna Ekström begär ny granskning av resultaten”, Expressen, 2020-06-03.

Hellberg, L., ”Skolverkets GD: Inga skäl ifrågasätta vår studie”, Expressen, 2020-06-03

Henrekson, M. och Wennström, J., ”Därför kan vi inte längre lita på Pisa”, Kvartal, 2019-12-17.

Jällhage, L. och Olsson, E., ”Kritiken mot Pisa-firandet: ’Skrämmande’", Lärarnas tidning, 2019-12-03.

Letmark, P., ”Rekordmånga nyanlända fanns inte med i årets Pisa”, Dagens

Nyheter, 2019-12-04.

Vetenskapliga artiklar

Anders, J., Has, S., Jerrim, J., Shure, N. och Zieger, L., “Is Canada really an education superpower? The impact of non-participation on results from PISA 2015”, Educational Assessment, Evaluation and Accountability, vol. 33, nr 1, 2021.

Aursand, L. och Rutkowski, D., ”Exemption or Exclusion? A study of student exclusion in PISA in Norway”, Nordic Journal of Studies in Educational Policy, vol. 7, nr 1, 2021.

Brzyska, B., “Trends in exclusion rates for students with special educational needs within PISA”, Oxford Review of Education, vol. 44, nr 5, 2018.

Durrant, G. och Schnepf S., ”Which schools and pupils respond to educational achievement surveys?: a focus on the English Programme for International Student Assessment sample”, Journal of the Royal Statistical Society Series A, vol. 181, nr 4, 2018.

Gambaro, L., Kemptner, D., Pagel, L., Schmitz, L. och Spieß K., ”Integration of Refugee Children and Adolescents In and Out of School”, DIW Weekly Report, nr 34, 2020.

Gottfried, M. “Excused versus unexcused: how student absences in elementary school affect academic achievement”, Educational Evaluation and Policy Analysis, vol. 31, nr 4, 2009.

Hopfenbeck, T., Lenkeit, J., El Masri, Y., Cantrell, K., Ryan, J. och Baird, J.-A., “Lessons Learned from PISA: A Systematic Review of Peer-Reviewed Articles on the Programme for International Student Assessment”, Scandinavian Journal of Educational Research, vol. 62, nr 3, 2018.

66 R I K S R E V I S I O N E N

80

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Knighton, T., Brochu, P. och Gluszynski, T., “Measuring up. Canadian results of the OECD PISA”, The Council of Ministers of Education, Canada (CMEC), 2020.

LeRoy, B., Samuel, P., Deluca, M. och Evans. P., “Students with special educational needs within PISA”, Assessment in Education: Principles, Policy & Practice, vol. 26, nr 4, 2019.

Rutkowski, L. och Rutkowski, D., ”A Call for a More Measured Approach to Reporting and Interpreting PISA Results”, Educational Researcher, vol. 45, nr 4, 2016.

Schuelka, M., “Excluding students with disabilities from the culture of achievement: the case of the TIMSS, PIRLS, and PISA”, Journal of Education Policy, vol. 28, nr 2, 2013.

Tajic, D. och Bunar, N., “Do both ‘get it right’? Inclusion of newly arrived migrant students in Swedish primary schools”, 2020, https://doi.org/10.1080/13603116.2020.1841838.

Lagar, förordningar och myndighetsföreskrifter

Budgetlagen (2011:203).

Ekonomistyrningsverket, Allmänna råd till Förordningen (2007:603) om intern styrning och kontroll.

Ekonomistyrningsverket. Föreskrifter till Förordningen (2007:603) om intern styrning och kontroll.

Förordning (2007:603) om intern styrning och kontroll.

Förordning (2015:1047) om instruktion för Statens skolverk.

Lagen om den officiella statistiken (2001:99).

Myndighetsförordningen (2007:515).

Regeringsformen (1974:152).

Skollagen (2010:800).

Riksdagstryck

Bet. 2020/21:UbU4, En oberoende utredning av Sveriges del i PISA 2018.

Bet. 2011/12:KU20, Granskningsbetänkande.

Prop. 1991/92:118, Om förenklad statistikreglering; bet. 1991/92: FIU23; rskr. 1991/92:316.

Prop. 2009/10:175, Offentlig förvaltning för demokrati, delaktighet och tillväxt, bet. 2009/10:FiU38, rskr. 2009/10:315.

Prop. 2013/14:7, Ändringar i statistiklagstiftningen; bet. 2013/14: FiU7; rskr. 2013/14:58.

R I K S R E V I S I O N E N

67

81

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Prop. 2017/18:218, Behandling av personuppgifter på utbildningsområdet, bet. 2017/18:UbU28, rskr. 2017/18:431

Prop. 2019/20:1, Budgetpropositionen för 2020, UO16; bet 2019/20: FiU1; rskr 2019/20:59.

Webbsidor

Migrationsverket, ”Asylregler”, https://www.migrationsverket.se/Privatpersoner/Skydd-och-asyl-i-Sverige/Att- ansoka-om-asyl/Asylregler, hämtad 2021-02-15.

Migrationsverket, ”Fem år sedan flyktingsituationen 2015”, https://www.migrationsverket.se/Om-Migrationsverket/Aktuella-fragor/Fem-ar- sedan-flyktingsituationen-2015, hämtad 2020-12-17.

OECD, ”PISA FAQ – Governance”, https://www.oecd.org/pisa/pisafaq/, hämtad 2020-11-05.

Riksdagen, ”Webb-tv – betänkande om oberoende utredning av Sveriges del i Pisa 2018”, https://www.riksdagen.se/sv/webb-tv/video/betankande/en-oberoende- utredning-av-sveriges-del-i-pisa-2018_H801UbU4, hämtad 2020-20-01.

Riksdagen, ”Exkluderingar ur PISA-undersökningen. Skriftlig fråga 2019/20:1675 av Lars Püss (M)”, https://www.riksdagen.se/sv/dokument- lagar/dokument/skriftlig-fraga/exkluderingar-ur-pisa-undersokningen_H7111675.

Skolverket, ”Skolutveckling- Pisa resultaten är tillförlitliga visar OECD:s rapport”, https://www.skolverket.se/skolutveckling/forskning-och- utvarderingar/internationella-jamforande-studier-pa-utbildningsomradet/pisa- internationell-studie-om-15-aringars-kunskaper-i-matematik-naturvetenskap-och- lasforstaelse/pisa-resultaten-ar-tillforlitliga-visar-oecds-rapport, hämtad 2020-10-23.

Skolverket, ”Skolutveckling – Pisa internationell studie om 15-åringars kunskaper i matematik, naturvetenskap och läsförståelse”, https://www.skolverket.se/skolutveckling/forskning-och- utvarderingar/internationella-jamforande-studier-pa-utbildningsomradet/pisa- internationell-studie-om-15-aringars-kunskaper-i-matematik-naturvetenskap-och- lasforstaelse, hämtad 2020-10-23.

Skolverket ”Skolutveckling – PISA 2018: Undersökningens syfte, genomförande och representativitet, https://www.skolverket.se/skolutveckling/forskning-och- utvarderingar/internationella-jamforande-studier-pa-utbildningsomradet/pisa- internationell-studie-om-15-aringars-kunskaper-i-matematik-naturvetenskap-och- lasforstaelse/pisa-2018-undersokningens-syfte-genomforande-och- representativitet, hämtad 2020-11-06.

Skolverket, ”Skolutveckling – Internationella jämförande studier på utbildningsområdet”, https://www.skolverket.se/skolutveckling/forskning-och- utvarderingar/internationella-jamforande-studier-pa-utbildningsomradet, hämtad 2020-11-06.

68 R I K S R E V I S I O N E N

82

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Bilaga 1. Pisa-undersökningens bakgrund och hur den är organiserad

Pisa-undersökningen utvecklades av OECD i slutet av 1990-talet. OECD som organisation bildades med syftet att främja det ekonomiska samarbetet mellan länder men har med tiden fått stor betydelse inom utbildningsområdet. Bland annat lanserar de varje år publikationen Education at a Glance som först och främst är en kvantitativ beskrivning av länders utbildningssystem.

Beslutet om att genomföra egna internationella jämförande undersökningar inom utbildningsområdet kom delvis från OECD:s kritik mot dåvarande internationella undersökningar som genomfördes av organisationen IEA.144 Kritiken handlade dels om att alla OECD-länder inte deltog i samarbetet, dels om att IEA-undersökningarnas resultatmått utgick från elevernas kunskaper utifrån kursplaner, vilket inte passade lika bra med OECD:s fokus på det livslånga lärandet. Utgångspunkten för OECD:s egna undersökningar blev i stället vad elever måste kunna för att klara sig i ett modernt samhällsliv.145

Inbjudan om att delta i den första Pisa-undersökningen skickades till alla medlemsländer 2000. I Sverige var det Skolverket som samma år fattade beslut om att Sverige skulle delta.146

I takt med att fler Pisa-undersökningar genomförts och fler medlems- och ickemedlemsländer anslutit sig har även resultaten fått ökad uppmärksamhet. Detta har i Sverige bidragit till en debatt om svensk skola och diskussioner om behovet av framtida reformer. Den svenska resultatutvecklingen bedömdes efter 2012 års undersökning vara så alarmerande att den dåvarande regeringen tillsatte

en skolkommission och begärde hjälp från OECD för att få synpunkter på vilka åtgärder som skulle vidtas för att vända den negativa trenden.147

Ända sedan resultaten från den första Pisa-undersökningen publicerades har de redovisats i budgetpropositioner för att belysa utvecklingen av svensk skola. Sedermera återges Sveriges Pisa-resultat som en av flera uttalade indikatorer för att bedöma måluppfyllelse och resultat inom grundskolan. Eftersom Sverige inte har några nationella undersökningar som visar trender inom skolan blir Pisa-resultaten viktiga underlag för beslut om åtgärder och inriktning av politiken inom skolområdet.

144 International Association for the Evaluation of Educational Achievement.

145 Fredriksson, Karlsson och Pettersson, PISA under 15 år – resultat och trender, 2018, s. 15–16.

146 Ibid., s. 17.

147 Ibid., s. 175; OECD, Improving schools in Sweden: an OECD perspective, 2015.

R I K S R E V I S I O N E N

69

83

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Vad mäter Pisa-undersökningen?

Syftet med undersökningen är att återkommande undersöka i vilken grad länders utbildningssystem bidrar till att 15-åriga elever är rustade att möta framtiden utifrån de tre ämnesområdena läsförståelse, matematik och naturvetenskap. Till skillnad från de nationella proven är de internationella studierna konstruerade för att möjliggöra jämförelser över tid och mellan länder och på så vis ge värdefull information om det svenska skolsystemet.148

Pisa-undersökningen syftar även till att öka förståelsen för, orsakerna till och konsekvenserna av observerade skillnader i kunskaper. Genom att undersöka dessa samband i internationella jämförande studier kan länder upptäcka styrkor och svagheter i sina utbildningssystem.149

Hur är Pisa-undersökningen organiserad?

OECD har det övergripande ansvaret för att utveckla och styra Pisa-undersökningen så att undersökningen genomförs på samma sätt i alla länder. Det praktiska genomförandet av undersökningen involverar dock flera aktörer både internationellt och inom respektive land. I detta avsnitt beskriver vi kortfattat de olika aktörerna och deras respektive roller och ansvar.

OECD

OECD har både en styrelse och ett kansli som ansvarar för genomförandet av Pisa-undersökningen. Styrelsen (PISA Governing Board) ansvarar för övergripande policyprioriteringar och bevakar att dessa efterlevs under genomförandet. Det omfattar bland annat att prioritera och besluta om standarder för data, analys och sammanställning, samt att besluta om innehållet för det ramverk som ska styra genomförandet. Styrelsen består av representanter från OECD:s medlemsländer (även icke-medlemsländer får delta som observatörer). Representanterna utgörs av både tjänstemän från ländernas ansvariga departement eller utbildningsmyndigheter och anställda och forskare vid forsknings- och utbildningsinstitutioner.150 Sverige representeras i detta sammanhang av Skolverket.

Inom OECD finns även ett Pisa-kansli i Paris (PISA Secretariat) som ansvarar för den dagliga ledningen av Pisa. Kansliet arbetar för styrelsen och är mellanhand mellan styrelsen och det internationella konsortiet av kontraktorer som sköter det operativa genomförandet av undersökningen. Kansliet bevakar genomförandet av Pisa-undersökningen och arbetar med att skapa konsensus mellan de deltagande länderna i olika policyfrågor.151 Kansliet tar även fram indikatorer och analyser och

148 Skolverket, PISA 2018 – 15-åringars kunskaper i läsförståelse, matematik och naturvetenskap, 2019.

149 Ibid., s. 9.

150 OECD, ”PISA FAQ – Governance”, hämtat 2020-11-05.

151 Ibid.

70 R I K S R E V I S I O N E N

84

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

sammanställer de internationella resultatrapporterna i samarbete med deltagande länder.152

För att genomföra själva undersökningen upphandlas internationella kontraktorer (International contractors även kallat PISA Consortium) som under ledning av kansliet ska utforma och genomföra Pisa-undersökningen. I praktiken är det kontraktorerna som har dialogen med respektive land och förser dem med instruktioner för genomförandet. De ansvarar bland annat för att ta fram manualen för nationella projektledare som är den mest centrala operativa manualen för Pisa-undersökningen. Ett konsortium av kontraktorer upphandlas för varje Pisa-omgång och består vanligtvis av olika test- och undersökningsinstitutioner. Leverantörerna väljs ut genom en öppen anbudsprocess.153

Regeringen

Sveriges deltagande i internationella studier regleras i instruktionen för Skolverket. Där står det att myndigheten får, efter samråd med Regeringskansliet, företräda staten i internationella överenskommelser om att delta i internationella kunskapsmätningar samt att myndigheten ansvarar för Sveriges deltagande

i dessa.154 När ett land ansluter sig till Pisa-undersökningen förbinder sig landet att följa de krav som OECD beslutat för genomförandet.

I Sverige har regeringen alltså delegerat ansvaret för Sveriges deltagande i Pisa-undersökningen till Skolverket. Myndigheten ska redogöra

i årsredovisningen för arbetet med Pisa-studien och publicera en rapport efter varje genomförd studie. Vid både den årliga myndighetsdialogen och vid löpande dialog med myndigheten ska Utbildningsdepartementet följa upp de resultat som Skolverket har uppnått utifrån dess instruktion och regleringsbrev.155

Skolverket

Varje land som deltar i Pisa-undersökningen ska utse en så kallad nationell projektledare som ansvarar för att genomföra undersökningen i landet enligt de regler och tidsramar som OECD beslutat.156 Skolverket är sedan 2015 nationell projektledare för Pisa-undersökningen i Sverige. Den nationella projektledaren ska bidra med nationella perspektiv på frågor som rör policy, genomförande och den analys och sammanställning av resultat som har särskild relevans nationellt.157

152 OECD, PISA National Project Manager Manual, 2017, s. 10.

153 Ibid.

154 4 § förordning om instruktion för Statens skolverk (2015:1047).

155 Skriftligt svar från Utbildningsdepartementet, 2020-11-18.

156 OECD, PISA National Project Manager Manual, 2017, s. 115.

157 Ibid., s. 10.

R I K S R E V I S I O N E N

71

85

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

För att säkerställa att de regler som OECD beslutat i sin tur efterlevs ute på skolorna väljs så kallade skolsamordnare på de deltagande skolorna. Skolsamordnarna fungerar som kontaktperson mellan skolan och den nationella projektledaren.158 Det är rektorn på respektive skola som bestämmer vem som ska vara skolsamordnare; vanligt är att det är en biträdande rektor eller en lärare som utses. Eftersom eleverna (sedan 2015) gör provet och enkäterna på datorer ska skolorna även utse en IT-ansvarig. IT-ansvarig har en viktig roll för att eleverna ska kunna genomföra provet och är tänkt att stödja skolsamordnarna vid provtillfället.159

Skolsamordnarna har en viktig roll då de ska förse Skolverket med listor över vilka elever som finns på skolan och som ingår i målgruppen för att göra provet. Det är även skolsamordnarna som ska bedöma vilka elever som möter OECD:s regler för exkludering och därmed ska undantas från att göra proven.160

Även om Skolverket måste förhålla sig till de regler som OECD satt upp så har de en viktig roll när det gäller att säkra kvaliteten i deltagandet. I Skolverkets roll ingår bland annat att utbilda och ge stöd till skolsamordnarna i vilka regler som gäller för urval, exkludering och bortfall. Skolverket ska också förse skolsamordnarna med relevanta manualer för hur proven ska genomföras. I detta ingår även att översätta och anpassa de manualer som OECD tagit fram så att de blir användbara i den svenska kontexten samt informera vårdnadshavare om Pisa-undersökningen. Översättningen ska ske genom en av OECD bestämd översättningsprocess för att undvika eventuella avvikelser från standarderna.161 I den manual som OECD beslutat för nationella projektledare framgår även att Skolverket ska säkerställa att de elevlistor som samlas in från varje deltagande skola håller hög kvalitet.162

Hur går genomförandet till?

Pisa-undersökningen är tänkt att genomföras återkommande vart tredje år. Genomförandet av undersökningen sker i olika faser som består av flera på förhand specificerade moment och tidsramar. Själva dagen då proven skrivs utgör alltså bara en del i hela genomförandet av undersökningen. Övergripande kan man beskriva genomförandet i fyra faser. Den första fasen består av förberedelsearbete, där det bland annat ingår att ta fram provuppgifter, översättning, rekrytera personal samt påbörja urval av skolor och elevunderlag inför förstudien. Den andra fasen består av en förstudie. Förstudien är en viktig del för att testa provfrågor, översättning, metoderna för att samla in och analysera data samt utbildningen för involverad personal. Fasen möjliggör för länderna att upptäcka problem i genomförandet som kan rättas till inför huvudstudien.

158 Skolverket, PISA 2018 Huvudstudie – manual till skolsamordnare, 2018.

159 Skolverket, Så här går PISA till – en sammanfattande beskrivning, 2017.

160 Skolverket, PISA 2018 Huvudstudie – manual till skolsamordnare, 2018.

161 Skolverket, Info om hur urvalet görs Pisa, 2019, s. 3.

162 OECD, PISA National Project Manager Manual, 2017, s. 120..

72 R I K S R E V I S I O N E N

86

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Eventuella avvikelser från regelverket ska godkännas av OECD innan det är dags för huvudstudien. Huvudstudien inkluderar liknande moment som förberedelsefasen men med ett större urval av skolor och elever. I den sista fasen analyseras data och OECD tar fram en internationell rapport.

Vid varje provtillfälle är det tänkt att ett ämnesområde ska vara i fokus, så kallat huvudområde, men alla tre områden undersöks varje gång, vilket möjliggör jämförelser över tid. Att ett område är huvudområde innebär att ramverket för detta område uppdateras och att det skapas nya provuppgifter. Det finns också många fler provuppgifter inom huvudområdet än inom de andra områdena och därmed kan resultaten presenteras i mer detalj för just detta område. Dessutom undersöks elevers inställning och attityder till huvudområdet.

Varje elev ska göra två delprov och besvara en enkät. Delproven tar en timme var och enkäten 45 minuter. Proven består av flervalsfrågor och öppna frågor och det finns totalt cirka 66 delprov. Enkäten består av frågor om elevens bakgrund, elevens lärande samt engagemang och motivation att lära sig ämnena – och mycket mer. Även rektorerna på de utvalda skolorna besvarar en enkät om hur undervisningen organiseras.

R I K S R E V I S I O N E N

73

87

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

74 R I K S R E V I S I O N E N

88

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Bilaga 2. Potentiell påverkan av exkluderingar och bortfall på de svenska Pisa-resultaten 2018

I denna bilaga visar vi hur de svenska Pisa-resultaten 2018 potentiellt skulle förändrats om Sverige inte hade haft så höga exkluderingar och högt bortfall. Analysen visar att resultaten eventuellt skulle varit lägre om fler elever hade skrivit provet. Sveriges resultat förändras också mer än resultaten för våra grannländer när motsvarande analys görs för dessa länder. Viktigt att notera är att analysen endast är ett illustrerande exempel eftersom den bland annat utgår från

ett antagande om att alla utvalda elever skulle skriva proven. Detta är givetvis inte sannolikt men underlättar en jämförelse mellan länder.

För att undersöka hur känsliga de svenska Pisa-resultaten för 2018 är för vilka och hur många elever som skrev provet har vi replikerat den metod som de brittiska forskarna Anders m.fl.163 använder för att studera Kanadas Pisa-resultat 2015.164 Ansatsen antar att elever som inte går i skolan, elever som exkluderats från studien och elever som registrerats som bortfall sannolikt har en annorlunda fördelning av resultat i Pisa-undersökningen än de elever som verkligen skrev provet.165 Eftersom vi inte känner till de individuella egenskaperna (vi har inga mikrodata för dessa individer) för eleverna som inte deltog så gör vi i stället olika antaganden om Pisa-resultaten för dessa individer. Beroende på vilka antaganden som görs påverkas resultaten olika mycket.

Utgångspunkten är att Pisa-resultaten för icke-deltagare (exkluderade elever, elever som registrerades som bortfall samt 15-åringar som inte går i skolan) skulle vara lägre än för de elever som verkligen skrev provet. Forskning har exempelvis visat att elever med hög frånvaro presterar sämre i skolan.166 Även för Pisa-undersökningen har detta visats för Kanada i tidigare undersökningar.167

Det är givetvis inte möjligt att veta hur mycket sämre icke-deltagande elever skulle ha presterat i Pisa-undersökningen. Analysen undersöker därför hur Sveriges Pisa-resultat 2018 potentiellt skulle ha förändrats under olika antaganden om hur elever som exkluderades eller blev bortfall i Pisa-undersökningen hade presterat

163 Anders m.fl., ”Is Canada really an education superpower? The impact of non-participation on results from PISA 2015”, 2021.

164 För mer information kring resultaten i den studien se bilaga 3.

165 Andelen 15-åringar som inte gå i skolan i Sverige är mycket låg och detsamma gäller våra grannländer.

166 Se exempelvis Gottfried, ”Excused versus unexcused: how student absences in elementary school affect academic achievement”, 2009.

167 Knighton m.fl., “Measuring up. Canadian results of the OECD PISA study”, 2010.

R I K S R E V I S I O N E N

75

89

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

om de faktiskt hade skrivit provet.168 Vi gör också jämförelser med några av våra grannländer (Norge, Danmark, Finland och Tyskland) genom att utföra motsvarande analys för dessa länder under samma antaganden som för Sverige. Detta är intressant eftersom vissa av våra grannländer haft betydligt lägre exkluderingar och bortfall än Sverige. Exempelvis hade Tyskland

en exkluderingsgrad på cirka 2,7 procent i Pisa 2018 och motsvarande siffra för Finland var 3,4 procent. I slutet av bilagan görs dessutom ett antal alternativa beräkningar för Sveriges resultat i läsförståelse för att undersöka hur känsliga beräkningarna är om vi lättar på några av antagandena. I dessa alternativa beräkningar för Sverige tillåter vi exempelvis en viss nivå av exkluderingar på grund av språkkriteriet och kognitiva funktionsnedsättningar.

För att genomföra analysen gör vi följande. Först tar vi det totala antalet 15-åringar i Sverige från den tekniska rapporten för Pisa 2018 (108 622 elever) och delar dessa i två grupper: antalet deltagande elever viktat med de slutliga elevvikterna (79 604 elever) och det viktade antalet icke-deltagare (29 018 elever).169 För deltagargruppen används alltså Pisa-resultaten så som de redovisas i den internationella Pisa-databasen, men viktade så att totalen blir 79 604 elever. För eleverna som inte deltog i undersökningen så drar vi slumpmässigt 29 018 resultat från en normalfördelning. Detta görs med olika antaganden om dess medelvärde, men med samma standardavvikelse som för deltagargruppen. Värdet som används som medelvärde för denna normalfördelning korresponderar till olika percentiler (45:e, 40:e, 35:e, 30:e, 25:e, 20:e, 15:e samt 10:e percentilen används) av de observerade Pisa-resultaten för Sverige (och på motsvarande sätt för de grannländer som vi också utför analysen för).

Motsvarande analys görs även för de två andra ämnesområdena naturvetenskap och matematik. För var och ett av dessa olika scenarier dras ett slumpmässigt urval av resultat för 29 018 observerade icke-deltagande elever (alla dessa elever får vikten ett) och dessa resultat tillfogas databasen med observerade data för 79 604 deltagande elever (som när vikterna appliceras summerar till att representera 108 622 svenska 15-åringar).

168 Resultaten på individnivå i Pisa-undersökningen består av 10 så kallade plausibla värden. För att förenkla beräkningarna används det första plausibla värdet på samma sätt som Anders m.fl., ”Is Canada really an education superpower? The impact of non-participation on results from PISA 2015”, 2021.

169 Vi kallar genomgående de två grupperna deltagare och icke-deltagare. I verkligheten är deltagarna de elever som faktiskt skrev provet men här avses med termen deltagare det totala viktade antalet som faktiskt skrev Pisa-provet. Antalet viktade elever är hämtade från Pisa Technical Report, kapitel 11, tabell 11.7 och variabeln Number of Students Assessed (Weighted). Detta är det viktade antalet elever efter justeringar för bortfall. Eftersom Riksrevisionen inte haft tillgång till studentvikterna innan justeringar för bortfall för andra länder än Sverige så används informationen från tabell 11.7 för samtliga länder. När studentvikterna innan justering för bortfall används för Sverige påverkas resultaten endast marginellt.

76 R I K S R E V I S I O N E N

90

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Analysen gör det möjligt att beakta hur Sveriges prestationer i Pisa 2018 potentiellt skulle förändras i förhållande till våra närmaste grannländer under olika antaganden. Vi argumenterar alltså inte på något sätt för att dessa alternativa scenarier skulle vara det objektivt korrekta resultatet, men det är intressant att se hur resultaten för olika länder förändras när olika antaganden om resultaten görs för de elever som av olika anledningar inte skrev Pisa-provet 2018. Resultaten ger alltså en bild av hur mycket som exkluderingar och bortfall potentiellt kan tänkas påverka de svenska Pisa-resultaten 2018. Det är också intressant att göra motsvarande beräkning för våra grannländer som i vissa fall har haft betydligt lägre exkluderingar och bortfall.170

I analysen kommenterar vi om de officiella resultaten från Pisa-undersökningen 2018 är statistiskt signifikant skilda mellan Sverige och de övriga undersökta länderna. Vi gör dock inga beräkningar av om de simulerade resultaten är statistiskt skilda från varandra för de olika länderna. Detta eftersom de simulerade resultaten endast är tänkta att fungera som ett illustrativt exempel där huvudintresset är på de beräknade punktestimaten och inte huruvida skillnaden mellan länder är statistiskt signifikant.

I tabell 4 presenteras de simulerade resultaten för delprovet läsförståelse i Pisa 2018. Läsförståelse presenteras först eftersom detta var huvudämne

i Pisa-undersökningen 2018. Kolumn 1 refererar till den percentil i fördelningen av läsförståelseresultaten i Pisa 2018 som de icke-deltagande eleverna antas ha befunnit sig på i genomsnitt om de skulle ha skrivit provet.

170 För mer information kring de olika ländernas exkluderingar och bortfall se avsnitt 2.3.1.

R I K S R E V I S I O N E N

77

91

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Tabell 4 Simulerade resultat i läsförståelse i Pisa-undersökningen 2018 under olika antaganden om resultaten för icke-deltagande elever. Resultat för olika länder

Icke-deltagares resultat	Simulerade
som en percentil av de	Pisa-resultat,
observerade svenska	medel
resultaten
	Sverige	Norge	Danmark	Finland	Tyskland
Ursprungligt resultat	506	499	501	520	498
45	503	497	499	519	498
40	499	495	495	517	496
35	495	492	491	516	494
30	491	489	487	514	492
25	486	486	483	512	490
20	481	482	478	510	487
15	474	478	473	508	485
10	466	472	466	505	481

Källa: Riksrevisionens bearbetning av OECD:s mikrodata för Pisa-undersökningen 2018.

Sveriges genomsnittliga Pisa-resultat i delprovet för läsförståelse var 506 poäng för 2018. Detta var något högre än Tyskland (498 poäng), Norge (499 poäng) och Danmark (501 poäng), men lägre än för Finland (520 poäng). Det ska här noteras att det inte finns några statistiskt säkerställda skillnader mellan Sveriges resultat och resultaten för Norge, Danmark och Tyskland. De svenska resultaten är dock signifikant lägre än de finska.

När vi sedan räknar om de svenska Pisa-resultaten i läsförståelse för 2018 under olika antaganden om hur väl de elever som inte skrev provet kan tänkas ha presterat i undersökningen så ser vi att de svenska resultaten förändras. När vi antar att de som inte skrev provet endast hade haft marginellt sämre resultat i genomsnitt (prestationer i genomsnitt som den 40:e resultatpercentilen) än de som skrev provet skulle det svenska resultatet i läsförståelse sjunka till 499. En förändring

i Pisa-resultatet för läsförståelse som är större än för jämförelseländerna.

Om antagandet om de potentiella resultaten för de elever som inte skrev provet förändras så förändras också det simulerade genomsnittliga resultatet

i läsförståelse. Om vi antar att de elever som inte skrev provet i genomsnitt skulle prestera mycket dåligt på provet i läsförståelse (i genomsnitt som den

10:e resultatpercentilen) skulle vi få en mycket större påverkan på det genomsnittliga resultatet för Sverige i läsförståelse. I stället för 506 skulle Sverige, enligt vår hypotetiska beräkning, få ett genomsnittligt resultat på 466 poäng. Det svenska resultatet under detta kraftiga antagande om prestationerna för dem som inte skrev provet förändrar alltså det genomsnittliga resultatet i läsförståelse med

78 R I K S R E V I S I O N E N

92

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

40 poäng. Detta kan till exempel jämföras med de finska resultaten som endast skulle förändras med 15 poäng. Förklaringen till att de finska resultaten inte påverkas lika mycket är den låga andelen som inte skrev provet i den finska Pisa-undersökningen 2018. Samma sak gäller de tyska resultaten som vid

ett antagande om att de som inte skrev provet skulle ha presterat mycket sämre än de elever som verkligen skrev provet får ett försämrat resultat i läsförståelse på 17 poäng.

För Norge och Danmark är inte skillnaderna i de simulerade Pisa-resultaten

i jämförelse med Sverige lika stora, men om vi skulle anta att de elever som inte skrev provet hade presterat i genomsnitt som den 25:e resultatpercentilen skulle Sverige inte längre ha ett bättre resultat än Norge. Båda länderna skulle enligt denna beräkning få ett genomsnittligt resultat på 486 poäng och bara något bättre än Danmark som då skulle fått resultatet 483 poäng.171 Förändringarna

i Pisa-resultaten i läsförståelse vid olika antaganden om prestationer för de elever som inte deltog i provet illustreras grafiskt i figur 9.

Som vi påpekat ovan är skillnaderna mellan ländernas genomsnittliga Pisa-resultat inte statistiskt signifikant skilda från varandra i de officiella resultaten. Undantaget är Finland som hade statistiskt signifikant bättre resultat än Sverige i läsförståelse i Pisa 2018.

Figur 9 Förändrade Pisa-resultat i läsförståelse 2018 vid olika antaganden om prestationerna för eleverna som inte skrev provet

530

520

510

500

490

480

470

460

PISA 2018		45	40	35	30	25		20	15	10
	Sverige		Norge		Danmark		Finland		Tyskland

Källa: Riksrevisionens bearbetning av OECD:s mikrodata för Pisa-undersökningen 2018.

171 Notera att konfidensintervallen runt de olika ländernas resultat är stora och att dessa skillnader inte är statistiskt skilda från varandra.

R I K S R E V I S I O N E N

79

93

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

Från figur 9 är det tydligt att resultaten för Sverige påverkas allra mest av länderna som jämförs vid en simulering av Pisa-resultaten där de som inte skrev provet inkluderas. Särskilt tydligt är detta vid en jämförelse med Finland och Tyskland.

I tabell 5 och 6 presenteras resultaten av motsvarande analys men för ämnesområdena naturvetenskap och matematik i Pisa 2018. Resultaten för dessa ämnesområden kommenteras inte i detalj.

Tabell 5 Simulerade resultat för naturvetenskap i Pisa-undersökningen 2018 under olika antaganden om resultaten för icke-deltagande elever. Resultat för olika länder

Icke-deltagares resultat	Simulerade
som en percentil av de	Pisa-resultat,
observerade svenska	medel
resultaten
	Sverige	Norge	Danmark	Finland	Tyskland
Ursprungligt resultat	499	490	493	522	503
45	496	488	489	518	502
40	492	486	486	517	500
35	489	483	483	515	498
30	484	480	479	514	496
25	480	477	475	512	494
20	475	474	470	510	492
15	469	470	463	508	489
10	462	465	456	505	486

Källa: Riksrevisionens bearbetning av OECD:s mikrodata för Pisa-undersökningen 2018.

För naturvetenskap visar resultaten en liknande bild som för läsförståelse. Sveriges resultat i naturvetenskap i Pisa 2018 var 499 poäng. Resultatet var högre än Norge (490 poäng) och Danmark (493 poäng), men något lägre än Tyskland (503 poäng) och betydligt lägre än Finland (522 poäng). Skillnaden i resultatnivå för Sverige är endast statistiskt signifikant lägre än den för Finland när det gäller naturvetenskap.

80 R I K S R E V I S I O N E N

94

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Tabell 6 Simulerade resultat för matematik i Pisa-undersökningen 2018 under olika antaganden om resultaten för icke-deltagande elever. Resultat för olika länder

Icke-deltagares resultat	Simulerade
som en percentil av de	Pisa-resultat,
observerade svenska	medel
resultaten
	Sverige	Norge	Danmark	Finland	Tyskland
Ursprungligt resultat	502	501	509	507	500
45	500	500	507	507	499
40	496	498	504	506	497
35	493	496	501	504	495
30	489	494	498	503	494
25	485	491	494	501	492
20	481	488	489	500	490
15	476	484	484	498	488
10	469	480	478	496	485

Källa: Riksrevisionens bearbetning av OECD:s mikrodata för Pisa-undersökningen 2018.

Skillnaderna i de officiella resultaten mellan de jämförda länderna är betydligt mindre i matematik för Pisa 2018. Bäst presterade eleverna i Danmark med 509 poäng, följt av Finland med 507 poäng. Övriga länder som jämförs fick strax över 500 poäng

i undersökningen. Skillnaderna mellan länderna är inte statistiskt signifikanta.

Analysen som presenteras ovan för de olika ämnesområdena utgår från antaganden som sannolikt inte är uppfyllda men genom att göra samma antaganden för samtliga länder underlättas en jämförelse av hur resultaten i olika länder potentiellt skulle kunna påverkas om alla utvalda 15-åringar i landet hade deltagit i Pisa-undersökningen. För att undersöka resultatens känslighet för dessa antagande presenteras nedan analyser för Sverige där vi tillåter att ett visst antal elever inte deltar i Pisa-undersökningen av olika anledningar.172 Denna analys av resultatens känslighet görs endast för resultaten i läsförståelse som var huvudämnet i Pisa-undersökningen 2018.

I den första av dessa analyser (alternativ 1) tillåter vi 2,5 procents exkluderade elever på grund av den höga flyktinginvandringen till Sverige åren innan Pisa-undersökningen 2018.173 Det ska dock noteras att även vissa av Sveriges grannländer tog emot relativt många flyktingar under denna period. Det skiljer sig dock mycket om dessa länder har exkluderat många elever eller inte på grund av

172 I dessa analyser modelleras de olika tillåtna exkluderingarna genom att inte räkna upp de svenska Pisa-resultaten för alla 15-åringar i Sverige för Pisa-undersökningen 2018.

173 Se avsnitt 4.3 för en argumentation kring varför vi anser att en exkluderingsgrad på 2,5 procent på grund av OECD:s språkkriterium för Pisa-undersökningen är rimlig att anta.

R I K S R E V I S I O N E N

81

95

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

språkkriteriet. Exempelvis tog Tyskland, precis som Sverige, emot många flyktingar åren innan Pisa-undersökningen 2018 men har trots detta väldigt få exkluderingar på grund av språkkriteriet (0,4 procent).

I en andra analys (alternativ 2) tillåter vi även för övertäckning på 3,1 procent (motsvarande 3 344 elever) för Sverige. Den huvudsakliga övertäckningen

i Pisa-undersökningen 2018 beror enligt Skolverket på tre nedlagda grundskolor och de utvalda gymnasieskolor som inte hade några elever födda 2002.174

I en tredje analys (alternativ 3) tillåts, förutom de exkluderingar som redogörs för ovan, dessutom för att resultaten för 0,7 procent av eleverna inte simuleras fram

(798 individer) på grund av en diskrepans mellan det totala antalet individer födda 2002 och det totala antalet individer födda 2002 i svensk skolas årskurs 7 eller högre.175

I den avslutande analysen (alternativ 4) tillåts samtliga exkluderingar ovan och dessutom tillåts exkluderingar om 1,7 procent på grund av kognitiva funktionsnedsättningar.176 Resultaten för de olika känslighetsanalyserna för ämnesområdet läsförståelse presenteras i figur 10.

Figur 10 Förändrade Pisa-resultat i läsförståelse 2018 för Sverige vid olika antagande om tillåten exkludering samt olika antaganden om prestationerna för eleverna som inte skrev provet

510

500

490

480

470

460

PISA 2018		45	40	35	30	25	20	15	10
	Sverige		Alternativ 1		Alternativ 2		Alternativ 3		Alternativ 4

Källa: Riksrevisionens bearbetning av OECD:s mikrodata för Pisa-undersökningen 2018.

Från figur 10 kan vi se att förändringen av Sveriges potentiella resultat

i läsförståelse, under olika antaganden om vilka exkluderingar som tillåts i simuleringen, är relativt liten så länge vi inte antar att de icke-deltagande eleverna skulle prestera på en mycket låg nivå. Exempelvis är skillnaden mellan

174 Skriftligt svar från Skolverket, 2021-03-15.

175 Ibid.

176 1,7 procent motsvarar medianvärdet för exkluderingar på grund av kognitiv funktionsnedsättning för deltagande OECD-länder.

82 R I K S R E V I S I O N E N

96

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

den ursprungliga simuleringen (där inga exkluderingar och bortfall tillåts) och alternativ 4 (där vi tillåter exkluderingar på grund av språkkriteriet, på grund av övertäckning samt exkluderingar på grund av kognitiva funktionsnedsättningar) cirka 3 Pisa-poäng vid ett antagande om att icke-deltagande elever skulle prestera på den 30:e resultatpercentilen. Vid ett antagande om att icke-deltagande elever i stället skulle prestera på i genomsnitt den 10:e resultatpercentilen så blir skillnaden i de simulerade resultaten mellan den ursprungliga simuleringen och alternativ 4 cirka 10 Pisa-poäng.

R I K S R E V I S I O N E N

83

97

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

84 R I K S R E V I S I O N E N

98

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Bilaga 3. Forskning kring exkluderingar och bortfall i Pisa-undersökningen

Det finns en omfattande, och över tid ökande, forskningslitteratur som berör Pisa-undersökningen. Den största delen av forskningen handlar om hur elevers resultat påverkas av variabler relaterade till socioekonomi, skola, klass samt elevers självuppfattning och tilltro till sin egen förmåga. Den näst största kategorin av forskning berör olika typer av kritik av undersökningen och handlar oftast om provets konstruktion och hur frågorna konstrueras, men även om analys och tolkning av resultaten. En ytterligare kategori som är vanlig i forskningen kring Pisa-undersökningen är artiklar som är policyinriktade och undersöker vilken effekt undersökningen haft på länders utbildningspolitik.177 I detta kapitel ligger dock fokus på den forskning som undersökt hur urvalet av elever samt exkluderingar och bortfall av elever kan tänkas påverka olika länders resultat och därmed jämförbarheten mellan länder och över tid.

Anders m.fl.178 analyserar Kanadas resultat i Pisa 2015. Kanada är ett land som presterat väldigt bra i Pisa-undersökningarna. Samtidigt konstaterar författarna att Kanada jämförelsevis har en hög andel exkluderade elever, lågt skoldeltagande och högt bortfall av elever. Denna kombination gör att forskarna drar slutsatsen att det finna allvarliga problem att jämföra Kanadas resultat i Pisa 2015 med andra länders resultat. I en rad känslighetsanalyser visar forskarna att Kanadas Pisa-resultat blir lägre än andra högpresterande länder såsom Estland, Finland, Japan och Sydkorea om landet inte haft så hög andel exkluderade elever och högt bortfall. För att förbättra Pisa-resultatens jämförbarhet mellan länder föreslår författarna att ett lands lägsta tillåtna svarsfrekvens borde höjas från 80 procent till 90 procent och att OECD:s krav på maximalt 5 procent exkluderingar borde tillämpas hårdare. En ytterligare rekommendation är att bortfallsanalysen borde göras grundligare och mer transparent av OECD. Exempelvis skulle OECD kunna tillhandahålla en ”säkerhetsgradering” från 1 till 5 för hur tillförlitlig ett lands statistik är.

Aursand och Rutkowski179 studerar möjliga förklaringar till de ökande och relativt höga exkluderingstalen i Norge i Pisa-undersökningen mellan 2000 och 2018. Genom intervjuer med skolledare söker forskarna svar på frågan varför Norge har bland den största ökningen i exkluderingsgrad bland OECD-länderna. Genom att intervjua 6 skolledare kring exkluderingar och vilka elever på respektive skola som dessa skolledare skulle ha exkluderat från Pisa-undersökningen visar författarna

177 För en översikt av olika forskningsstudier som studerat PISA se Hopfenbeck m.fl. ”Lessons Learned from PISA: A Systematic Review of Peer-Reviewed Articles on the Programme for International Student Assessment”, 2018.

178 Anders m.fl., ”Is Canada really an education superpower? The impact of non-participation on results from PISA 2015”, 2021.

179 Aursand och Rutkowski, “Exemption or Exclusion? A study of student exclusion in PISA in Norway”, 2021.

R I K S R E V I S I O N E N

85

99

Skr. 2021/22:39

Bilaga 1

PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE

på en hög grad av subjektivitet bland skolledarna när det gäller exkluderingar. Resultaten visar bland annat att skolledarna i vissa fall vill minimera elevernas eventuella känslor av misslyckande genom att exkludera dessa från provet. Vidare visar resultaten att några skolledare blandade ihop OECD:s exkluderingskriterium gällande tid i norsk skola med tiden en elev kan gå i förberedelseklass. Två skolledare uttryckte att alla elever i förberedelseklass borde exkluderas från undersökningen. Forskarna pekar också på att små nyansskillnader i språkbruket kan få

en påverkan på vilka elever skolledarna väljer att exkludera. En slutsats av forskningen är att det kan vara viktigt att ge extra vägledning till skolledningen på skolor som har förberedelseklass.

Durrant och Schnept180 analyserar Pisa-data för England och mer specifikt om huruvida bortfallet från undersökningarna 2000 och 2003 riskerar att snedvrida resultaten. Genom att använda detaljerade administrativa data för samtliga elever som valdes ut till undersökningen kan författarna studera vilka elevegenskaper som är korrelerade med bortfall på både skol- och elevnivå. Av särskilt intresse är om elevernas förmåga är relaterad till bortfallet. Resultaten visar att skolor med i genomsnitt lågpresterande elever har högre bortfall än andra skolor. När analysen genomförs på elevnivå visar resultatet tydligt sambandet att lågpresterande elever har en betydligt högre sannolikhet att tillhöra bortfallsgruppen. Forskarna rekommenderar att liknande bortfallsanalyser bör genomföras återkommande för PISA-undersökningen och att ytterligare statistik samlas in för att förbättra framtida bortfallsanalyser. Slutligen poängteras att skolorna har en påverkan på bortfallet och författarna rekommenderar ett nära samarbete med skolorna för att uppmuntra elevernas deltagande.

Schuelka181 diskuterar att alla stora internationella kunskapsundersökningar, såsom Pisa, exkluderar elever med funktionsnedsättningar och menar att detta riskerar att undersökningarna inte blir representativa. Vidare menar författaren att uteslutandet av dessa elever riskerar att marginalisera denna grupp av elever och gör att studieprestationerna för elever med funktionsnedsättningar inte uppmärksammas i skoldebatten och av politiker.

Brzyska182 analyserar trenderna i andelen exkluderade elever med särskilda behov183 i Pisa-undersökningarna. Författaren menar att förändringar i definitioner och lagstiftning i deltagande länder när det gäller elever med särskilda behov skulle kunna påverka provets svarsfrekvens och resultat. Givet den vikt resultaten

i Pisa-undersökningen får i många länder ser författaren en risk för att länder använder exkluderingskriterierna som ett sätt att förbättra sin position jämfört med andra länder. Ett sätt att hantera problematiken skulle kunna vara att OECD

180 Durrant och Schnepf, “Which schools and pupils respond to educational achievement surveys?: a focus on the English Programme for International Student Assessment sample”, 2018.

181 Schuelka, ”Excluding students with disabilities from the culture of achievement: the case of the TIMSS, PIRLS, and PISA”, 2013.

182 Brzyska, ”Trends in exclusion rates for students with special educational needs within PISA”, 2018.

183 Elever med special educational needs (SEN).

86 R I K S R E V I S I O N E N

100

Skr. 2021/22:39

Bilaga 1

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

i de nationella Pisa-rapporterna publicerar andelen elever med särskilda behov som exkluderats från det nationella urvalet av elever samt andelen elever med särskilda behov i hela landet.

Rutkowski och Rutkowski184 menar att det är viktigt att förstå begränsningarna i användning och tolkning av Pisa-data eftersom undersökningen är så inflytelserik. Författarna diskuterar därför ett antal metodologiska områden (urval av deltagare, modell för estimering av resultat och mätningar av trend) inom Pisa och pekar på behovet av försiktighet vid användning och tolkning av Pisa-resultat. Särskilt viktig är effekten av mätfel i Pisa-undersökningen eftersom målet med undersökningen är att uttala sig om hur väl förberedd målpopulationen av

15-åringar är för att möta utmaningarna i dagens kunskapssamhälle. I studien poängterar forskarna att den fastställda gränsen på maximalt 5 procents exkluderingar, enligt OECD, är tänkt att säkerställa att det nationella Pisa-resultatet inte bör fluktuera mer än 5 poäng på Pisa-skalan på grund av exkluderingar.

En högre andel exkluderade elever kan dock leda till snedvridningar som är större än förväntat och därmed möjligtvis felaktiga slutsatser.

Eftersom problemen med mätfel och därmed osäkerhet i statistiken ofta får en undanskymd plats i olika Pisa-rapporter rekommenderar forskarna att ett särskilt kapitel eller avsnitt för begränsningar inkluderas i varje Pisa-rapport.

Ett sådant tillägg kan innehålla länkar till mer fördjupad information tillsammans med standardutlåtanden som skulle vara lämpliga för reportrar, politiska beslutsfattare och andra intressenter att använda. Ett sådant avsnitt skulle göra det möjligt för läsare att mer effektivt förstå de viktigaste begränsningarna

i Pisa-undersökningen och dess resultat. Vidare menar författarna att det tydligt bör markeras i alla tabeller och resultat vilka länder som inte uppfyllt urvalskriterierna.

LeRoy185 analyserar data från Pisa-undersökningarna mellan 2003 och 2012 när det gäller elever med särskilda behov. Författarna pekar på tre huvudsakliga problem inom detta område för Pisa-undersökningen. För det första att det inte återkommande publiceras en rapport kring elever med särskilda behov

i anslutning till varje Pisa-undersökning. För det andra att OECD kontrollerar tillgången till statistiken kring elever med särskilda behov, vilket gör det svårt för forskare att analysera frågan. För det tredje finns inget standardformat för rapporter kring elever med särskilda behov inom OECD/Pisa-undersökningen. Författarna pekar slutligen på att det finns stora skillnader i hur funktionsnedsättningar klassificeras i olika länder. Definitionerna för

en funktionsnedsättning är ofta mycket breda och subjektiva, särskilt när det gäller kognitiva och känslomässiga nedsättningar.

184 Rutkowski och Rutkowski, ”A Call for a More Measured Approach to Reporting and Interpreting PISA Results”, 2016.

185 LeRoy m.fl., ”Students with special educational needs within PISA”, 2018.

R I K S R E V I S I O N E N

87

101

Skr. 2021/22:39

Bilaga 1

pisa undersökningen 2018 – arbetet med att säkerställa ett tillförlitligt elevdeltagande

Resultaten från Pisa-undersökningen används som målindikator i många sammanhang, bland annat i budgetpropositionen. Därför är det viktigt att resultaten går att lita på. Om Pisa-undersökningen inte genomförs på ett tillförlitligt sätt kan det få konsekvenser för både utbildningspolitiken och förtroendet för statsförvaltningen.

Riksrevisionen har granskat Sveriges deltagande i Pisa-undersökningen 2018, med fokus på exkluderingar och bortfall av elever. Granskningen visar på brister i Skolverkets uppföljningsarbete gällande exkluderingar och hur regeringen och Skolverket har hanterat de tveksamheter som uppkommit. Det är allvarligt att varken regeringen eller Skolverket på ett övertygande sätt har följt upp de misstankar om felaktigheter i genomförandet som både media och riksdagens utbildningsutskott fört fram. Skolverket, OECD och regeringen har hävdat att Sveriges låga deltagande i Pisa-undersökningen beror på infödet av migranter åren innan proven genomfördes. Granskningen visar att detta inte är en giltig förklaring. Skolverkets beslut att inte längre särredovisa exkluderingsorsaker har gjort det svårare att följa upp eventuellt felaktiga exkluderingar.

ISSN 1652-6597

ISBN 978-91-7086-594-7

riksrevisionen

box 6181

s:t eriksgatan 117, 102 33 stockholm 08-5171 4000 | www.riksrevisionen.se

102

Skr. 2021/22:39

Utbildningsdepartementet

Utdrag ur protokoll vid regeringssammanträde den 20 oktober 2021

Närvarande: statsminister Löfven, ordförande, och statsråden Bolund, Johansson, Baylan, Hallengren, Hultqvist, Andersson, Shekarabi, Ygeman, Ekström, Eneroth, Dahlgren, Ernkrans, Lindhagen, Lind, Nordmark, Micko, Stenevi, Olsson Fridh

Föredragande: statsrådet Anna Ekström

Regeringen beslutar skrivelse Riksrevisionens rapport om

Pisaundersökningen 2018

103