E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

T I L L R I K S D A G E NB E S L U T A D : 2 0 2 0 - 1 2 - 0 8 D N R : 3 . 1 . 1 - 2 0 1 9 - 0 2 8 9 R I R 2 0 2 0 : 3 0

Härmed överlämnas enligt 9 § lagen (2002:1022) om revision av statlig verksamhet m.m. följande granskningsrapport:

Effektutvärderingar av näringspolitiken

– bristande tillförlitlighet

Riksrevisionen har granskat hur statliga myndigheter utvärderar effekter av näringspolitiken. Resultatet av granskningen redovisas i denna granskningsrapport. Den innehåller slutsatser och rekommendationer som avser regeringen, Almi Företagspartner AB, Statistiska centralbyrån, Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys), Tillväxtverket och Verket för innovationssystem (Vinnova).

Riksrevisor Helena Lindberg har beslutat i detta ärende. Revisionsledare Niklas Kaunitz har varit föredragande. Revisionsdirektör Christer Gerdes, revisionsdirektör Gunilla Lundquist och enhetschef Jörgen Lindström har medverkat i den slutliga handläggningen.

Helena Lindberg

Niklas Kaunitz

För kännedom:

Regeringskansliet; Näringsdepartementet

Almi Företagspartner AB, Statistiska centralbyrån, Myndigheten för tillväxtpolitiska utvärderingar och analyser, Tillväxtverket, Verket för innovationssystem

R I K S R E V I S I O N E N

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Innehåll

Sammanfattning och rekommendationer		4
1	Inledning	9
1.1	Motiv till granskning	9
1.2	Övergripande revisionsfråga och avgränsningar	11
1.3	Bedömningsgrunder	12
1.4	Metod och genomförande	14
2	Almi och de granskade myndigheterna	19
2.1	Almi Företagspartner AB	19
2.2	Statistiska centralbyrån (SCB)	20
2.3	Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys)	20
2.4	Tillväxtverket	21
2.5	Verket för innovationssystem (Vinnova)	22
3	Uppfyller myndigheternas effektutvärderingar nödvändiga
kvalitetskrav?		23

3.1 Många effektutvärderingar inom näringspolitiken uppnår inte det lägsta

kvalitetskravet	23
3.2 Hög konsultanvändning har inte lett till hög kvalitet	26

4	Används myndigheternas effektutvärderingar?	29
4.1	Använder Almi och myndigheterna sina egna effektutvärderingar?	29
4.2	Använder Regeringskansliet effektutvärderingar?	31
4.3	Använder regering och riksdag effektutvärderingar i offentliga dokument?	32

5	Slutsatser och rekommendationer		38
5.1	Effektutvärderingarna från de granskade myndigheterna och Almi		38
5.2	Regeringens användning av effektutvärderingar		41
5.3	Sammanfattande slutsatser		41
5.4	Rekommendationer		42
Referenslista			43
Bilaga 1.		Kontrafaktiska metoder för effektutvärdering	47
Bilaga 2.		Textanalysen i detalj	51
Bilaga 3.		Förteckning över effektutvärderingar som ingår i granskningen	55

R I K S R E V I S I O N E N

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

Sammanfattning och rekommendationer

Att näringspolitiken i högre grad bör effektutvärderas har betonats av riksdagen, i statliga utredningar och av Riksrevisionen. Effektutvärdering är viktigt för att säkerställa att statens resurser används effektivt och att de näringspolitiska målen uppnås. Det är emellertid inte tillräckligt att utvärderingar genomförs – de måste också hålla tillräckligt hög kvalitet för att vara tillförlitliga. Det är dessutom viktigt att goda effektutvärderingar faktiskt används av regeringen för att dra lärdomar om hur näringspolitiken bäst bör utformas.

Riksrevisionen har granskat utvärderingar av näringspolitiken som uttalar sig om effekter och som har publicerats under perioden 2015–2018. De granskade myndigheterna är Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys), Tillväxtverket och Verket för innovationssystem (Vinnova). Även Statistiska centralbyrån (SCB) ingår i granskningen eftersom SCB utfört årliga så kallade effektmätningar åt Almi Företagspartner AB (Almi). Slutligen ingår Almi i granskningen i egenskap av beställare av effektmätningarna.

För att bedöma tillförlitligheten hos de utvärderingar som ingår i granskningen har de klassificerats efter tre kriterier: huruvida utvärderingen använder en kontrafaktisk ansats, huruvida statistiska antaganden motiveras och huruvida metodval och nödvändiga antaganden dessutom är tillfredsställande motiverade.

Granskningens resultat

Riksrevisionens övergripande slutsats är att det finns betydande brister i den effektutvärdering av näringspolitiken som genomförts av myndigheterna under den granskade perioden: endast 2 av 37 granskade utvärderingar uppfyller alla tre grundläggande krav som Riksrevisionen ställt upp på en trovärdig effektutvärdering. I flera fall utgörs utvärderingen av att företag som fått stöd tillfrågas om huruvida de anser att stödet gjort nytta. Skillnaderna är dock stora mellan myndigheterna, där utvärderingarna från Tillväxtanalys uppvisar en högre kvalitet. Sammantaget bedömer Riksrevisionen att utvärderingar som gör uttalanden om effekter och är utförda eller beställda av Almi/SCB, Tillväxtverket och Vinnova endast i liten utsträckning uppnår de mest grundläggande kraven som kan ställas på en effektutvärdering. Effektutvärderingar från Tillväxtanalys uppfyller i regel de två lägre av de tre krav som Riksrevisionen undersökt men har i flera fall brister i analysen.

Vidare bedömer Riksrevisionen att regeringen i låg utsträckning använder effektutvärderingar i sin återrapportering till riksdagen. När regeringen refererar till utvärderingar är man ibland oklar med vilken källan är och regeringen drar ibland mer anspråksfulla slutsatser än vad det finns täckning för i utvärderingarna.

4	R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Almi och SCB: ”Effektmätningarna” är inte tillförlitliga som effektutvärderingar

De så kallade effektmätningar som SCB utför på beställning av Almi presenteras av Almi, och uppfattas av regering och riksdag, som effektutvärderingar. De gör dock inte uttalat anspråk på att visa effekter och är inte tillförlitliga som effektutvärderingar. Effektmätningarna återges i Almis årsredovisning och

i regeringens budgetpropositioner där de används som belägg för så kallade tillväxteffekter. Riksdagen hänvisar också till effektmätningarna som att de redovisar effekter av anslaget till Almis verksamhet. Riksrevisionens bedömning är att dessa ”effektmätningar” inte är tillförlitliga som effektutvärderingar eftersom de kontrollgrupper som används inte visats vara representativa för Almis kundföretag.

Tillväxtanalys: Bäst av de granskade myndigheterna men kan bli bättre

Tillväxtanalys effektutvärderingar uppfyller i regel två av de tre krav Riksrevisionen satt upp för effektutvärderingar – och 2 av de 13 granskade utvärderingarna uppfyller samtliga tre krav. Flertalet av dessa utvärderingar brister dock i att motivera de statistiska antaganden som görs, och är därför inte tillförlitliga som effektutvärderingar. Det förekommer också att Tillväxtanalys är otydliga när det gäller vilka slutsatser som kan dras från rapporter avseende effekter. Detta skapar otydlighet och riskerar att vilseleda mottagarna av rapporten. Riksrevisionen bedömer därför att det finns utrymme för Tillväxtanalys att höja den analytiska nivån på sina effektutvärderingar ytterligare.

Tillväxtverket och Vinnova: Ej tillförlitliga effektutvärderingar

Nästan samtliga granskade utvärderingar från Tillväxtverket och Vinnova som uttalar sig om effekter har gjorts av eller i samarbete med konsulter. Riksrevisionen bedömer att ingen av dessa utvärderingar uppnår alla de tre nödvändiga krav som Riksrevisionen ställer på en trovärdig effektutvärdering.

Endast ett mindre antal uppfyller det lägsta kravet, att utvärderingarna ska ha en kontrafaktisk ansats. En metod för detta behöver inte vara vare sig kvantitativt eller kvalitativt avancerad – Riksrevisionen har för detta lägsta krav accepterat varje slags jämförelse med en annan grupp, eller över tid, som tillräcklig. Majoriteten av de granskade utvärderingarna från Tillväxtverket och Vinnova saknar dock

en sådan jämförelse överhuvudtaget.

Utvärderingar utan kontrafaktisk ansats är i regel utformade som intervjuer med de inblandade aktörerna, där företagare som fått stöd själva får uttala sig om huruvida de anser att stödet gav positiva effekter. Riksrevisionen bedömer att detta är otillräckligt som grund för att dra slutsatser om effekter.

R I K S R E V I S I O N E N

5

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

Regeringen: Sparsam användning av effektutvärderingar

Riksdagen har upprepade gånger betonat att näringspolitiken i högre grad bör effektutvärderas. Mot bakgrund av detta bedömer Riksrevisionen att regeringen har använt effektutvärderingar på ett otillräckligt sätt för att återrapportera effekter till riksdagen.

De enskilda produkter som regeringen oftast nämner är de ”effektmätningar” som SCB utför på uppdrag av Almi, vilka i budgetpropositionerna refereras till som ”uppföljningen av tillväxteffekter i Almis kundföretag”. Som nämnts gör inte dessa rapporter själva anspråk på att visa effekter och de är inte tillförlitliga som effektutvärderingar. Effektutvärderingar från Tillväxtanalys refereras i dokument från både regeringen och riksdagen, men ytterst sporadiskt givet Tillväxtanalys stora produktion.

Riksrevisionen konstaterar slutligen att påståenden om effekter i flera fall görs

i regeringens budgetpropositioner utan att texten anger någon källa. Det innebär att det kan vara svårt, eller ibland omöjligt, för läsaren att hitta den ursprungliga utvärderingen. Särskilt viktigt blir detta eftersom det finns fall där Riksrevisionen bedömer att regeringen dragit mer långtgående slutsatser än vad som finns grund för i det ursprungliga materialet.

Rekommendationer

Riksrevisionen lämnar följande rekommendationer till Almi Företagspartner, myndigheterna och regeringen.

Rekommendation till Almi Företagspartner AB

• Säkerställ att syfte och begränsningar tydligt framgår för olika typer av återrapporteringar, till exempel i bolagets årsredovisning. Om syftet avser effekter av verksamheten bör återrapporteringen grundas på effektutvärderingar av en utförare som har beprövad kompetens i detta.

Rekommendation till Tillväxtanalys

• Säkerställ att kvaliteten i myndighetens effektutvärderingar höjs ytterligare.

Rekommendationer till Tillväxtverket och Vinnova

• Anlita och/eller samarbeta med Tillväxtanalys för utvärderingar av effekter.

• Säkerställ att andra typer av utvärderingar och uppföljningar inte gör anspråk på att uttala sig om effekter, och att deras syften och begränsningar kommuniceras tydligt.

6	R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Rekommendationer till regeringen

• Säkerställ att Tillväxtanalys i större utsträckning används för att utvärdera effekter av näringspolitiska insatser. Detta skulle öka förutsättningarna att samla en kritisk massa av kompetens för att effektutvärderingarna ska hålla tillräcklig kvalitet.

• Återrapportera i högre grad och med ökad tydlighet, inklusive källhänvisning, resultaten av väl utförda effektutvärderingar till riksdagen.

• Förtydliga syftet med uppföljningar av näringspolitiska insatser. I den mån regeringen vill ha uppföljningar av annan karaktär än effektutvärderingar bör detta tydligt framgå.

• Tydliggör i Almis ägaranvisning vad syftet är med att använda jämförelsegrupper. Om syftet är att undersöka effekten av Almis verksamhet bör kontrollgrupper inte specificeras i ägaranvisningen utan bestämmas i det enskilda fallet av korrekt utförda effektutvärderingar.

R I K S R E V I S I O N E N

7

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

8	R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

1 Inledning

Riksdagen, statliga utredningar samt tidigare granskningar från Riksrevisionen har betonat vikten av att näringspolitiska insatser utvärderas.1 Det är viktigt dels för att kunna tillse att statens resurser används effektivt, dels för att näringspolitikens mål ska kunna uppnås. Riksdagens näringsutskott har vid upprepade tillfällen pekat på att regeringens resultatredovisning inom utgiftsområde 24, Näringsliv, inte återkopplar till de mål som riksdagen beslutat och att redovisningen fokuserar på prestationer snarare än effekter.2 Riksdagen har också riktat ett tillkännagivande till regeringen om att regeringen bör tydliggöra att oberoende effektutvärderingar av statliga stöd till innovation och företagande bör vara normen för stödgivande myndigheter.3

Utvärderingar genomförs vid flera olika analysmyndigheter, men viss utvärdering sker eller upphandlas också av de myndigheter som har i uppdrag att genomföra regeringens politik. När det gäller näringspolitiken är Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) den främsta utvärderande instansen.4 Utvärderingar genomförs eller upphandlas också av Verket för innovationssystem (Vinnova) och Tillväxtverket, inom deras respektive områden. Även Statistiska centralbyrån (SCB) utför vissa analyser, såsom de årliga så kallade effektmätningarna för Almis räkning.

Det är emellertid inte tillräckligt att utvärderingar genomförs. För att kunna utgöra ett tillförlitligt underlag måste utvärderingarna vara av tillfredsställande kvalitet. Vidare är det inte heller tillräckligt att myndigheter gör utvärderingar av tillfredsställande kvalitet – om de ska leda till något måste de också faktiskt användas för att utforma nya näringspolitiska insatser eller för att förbättra, eller avveckla, befintliga insatser.

1.1 Motiv till granskning

Under 2016 utredde Statskontoret på uppdrag av regeringen hur uppföljningar av regionala tillväxtåtgärder bör genomföras.5 Statskontoret landade i förslaget att effektutvärderingar bör tas fram regelbundet för att användas av regeringen i sina

1 Bet. 2015/16:NU1, 2017/18:NU1, 2017/18:NU12, SOU 2018:79, Riksrevisionen (2014, 2016).

2 Se till exempel bet. 2015/16:NU1.

3 Bet. 2017/18:NU12, rskr. 2017/18:238.

4 Tillväxtanalys är en av Sveriges sju analys- och utvärderingsmyndigheter. De övriga är Brottsförebyggande rådet (Brå), Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU), Inspektionen för socialförsäkringen (ISF), Myndigheten för kulturanalys (Kulturanalys), Myndigheten för vård- och omsorgsanalys (Vårdanalys) samt Trafikanalys.

5 Statskontoret, Uppföljning av regionala tillväxtåtgärder, 2016.

R I K S R E V I S I O N E N

9

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

dialoger med de berörda regionala aktörerna, men också för att öka regeringens möjligheter att styra hur anslaget används för att det ska ge största möjliga nytta.

Effektutvärderingar skulle även kunna bidra till ökat lärande bland berörda aktörer. Själva effektutvärderingarna skulle enligt utredningen utföras av Tillväxtanalys. Det förslaget utgick från myndighetens nya fördjupade uppdrag från januari 2017. Statskontoret ansåg att Tillväxtverket och Tillväxtanalys på så sätt skulle kunna stärka sina kompetenser i kvalitativa uppföljningar (Tillväxtverket) respektive kvantitativa effektutvärderingar (Tillväxtanalys).

Det genomfördes även en översyn av Tillväxtanalys 2016 som redovisades i en departementspromemoria.6 Utredaren konstaterade bland annat att Tillväxtanalys inte hade något tydligt ramverk för hur myndighetens utvärderingar ska genomföras eller kvalitetssäkras och myndighetens publikationer bedömdes hålla varierande kvalitet. Utredaren konstaterade att rapporterna ansågs ha låg användbarhet hos mottagarna och menade att en möjlig anledning kunde vara just kvalitetsbrister. Som ett resultat av översynen förändrades myndighetens uppgifter i januari 2017, bland annat med syftet att i högre grad fokusera på kvalificerade kunskapsunderlag inom långsiktiga teman av hög relevans för tillväxtpolitiken.

I samband med detta fick myndigheten också ett större utrymme att bedriva egeninitierad verksamhet.

År 2018 presenterades resultatet av en offentlig utredning som haft uppdraget att se över regeringens analys- och utvärderingsresurser. Utredningen föreslog att Tillväxtanalys skulle slås ihop med andra analysmyndigheter i syfte att ”utnyttja stordriftsfördelar, både vad gäller administrativa och metodologiska resurser”.7 Utredningen kommenterade inte kvaliteten på Tillväxtanalys utvärderingar men skriver att företrädare för Tillväxtanalys och Näringsdepartementet ansåg att den förändrade styrningen av myndigheten inneburit att relevansen i myndighetens rapporter hade ökat.

Riksrevisionen har tidigare granskat delar av de områden som ingår i denna granskning. De årliga så kallade effektmätningar som SCB utför på uppdrag av Almi har i två tidigare granskningar kritiserats av Riksrevisionen för bristande kvalitet.8 I en granskning 2016 granskades statliga företagsstöd och Riksrevisionen bedömde att det saknades tydlig evidens för effekten av dessa.9

Det är angeläget att de resurser som staten lägger på olika former av näringspolitiska insatser kommer till god användning och ger de resultat som de syftar till. Det är därför viktigt att effekterna av insatserna utvärderas, något som

6 Näringsdepartementet, Översyn av Tillväxtanalys: Myndigheten för Tillväxtpolitiska Utvärderingar och Analyser, 2015.

7 SOU 2018:79.

8 Riksrevisionen, Almi Företagspartner AB och samhällsuppdraget, 2007; Riksrevisionen, Jämställdhet i Almis låneverksamhet – otydlig styrning och återrapportering, 2019.

9 Riksrevisionen, Statliga stöd till innovation och företagande, 2016.

10 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

riksdagen också understrukit. Både den ovan nämnda departementspromemorian och den offentliga utredningen betonar vikten av att effektutvärderingar inom näringspolitiken håller tillräcklig kvalitet, men ingen av dem undersöker huruvida så faktiskt är fallet. Riksrevisionen har inte heller studerat kvalitetsaspekten av effektutvärderingar i tidigare granskningar, med undantag från granskningarna av Almi. Riksrevisionen finner det därför motiverat att nu ta ett helhetsgrepp på kvaliteten i de utvärderingar som uttalar sig om effekter av näringspolitiken.

1.2 Övergripande revisionsfråga och avgränsningar

Den övergripande revisionsfrågan lyder: Håller utvärderingar som uttalar sig om effekter av näringspolitiken en tillräcklig kvalitet för att uttala sig om effekter och används utvärderingarnas resultat på ett ändamålsenligt sätt?

I granskningen delas den övergripande frågeställningen upp i två delfrågor:

1. Uppfyller utvärderingar från de granskade myndigheterna som uttalar sig om effekter av näringspolitiken grundläggande krav för att vara trovärdiga som effektutvärderingar?

2. Används effektutvärderingar av de granskade myndigheterna respektive regeringen för att kommunicera resultat av näringspolitiska insatser, för att motivera nya insatser eller för att förbättra befintliga insatser?

För de som upphandlar eller genomför utvärderingarna (Almi/ SCB, Tillväxtverket, Tillväxtanalys och Vinnova) syftar den första delfrågan på huruvida de håller en lägsta nödvändig nivå med avseende på identifiering av effekter – andra viktiga aspekter hos en effektutvärdering behandlas alltså inte

i granskningen. Utvärderingarnas kvalitet i detta avseende bedöms efter tre krav: Finns en kontrafaktisk ansats? Om så är fallet, är nödvändiga antaganden för analysen beskrivna i texten och på något sätt motiverade? Om så är fallet, är de antaganden som görs tillräckligt väl motiverade för att påståenden om effekter kan anses tillförlitliga? Hur denna bedömning går till beskrivs i avsnitt 1.4.

Den andra delfrågan berör både regeringen och myndigheterna. För regeringen åsyftas om effektutvärderingar tillvaratas exempelvis i underlag till propositioner. För Almi, Tillväxtverket och Vinnova, som ansvarar för insatserna, kan

en utvärdering användas för att förbättra en pågående insats eller ligga till grund för mer effektiva insatser i framtiden. Därutöver kan effektutvärderingar användas i information riktad till allmänheten, till exempel inom ramen för en rapportserie. För bedömningen av denna delfråga har hänsyn tagits till kvaliteten på de utvärderingar som används – det är önskvärt att goda utvärderingar används, men inte dåliga.

R I K S R E V I S I O N E N

11

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

Granskningen avser utvärderingar som uttalar sig om effekter av näringspolitiken och är publicerade av Tillväxtanalys, Tillväxtverket och Vinnova under tidsperioden 2015–2018. Dessutom ingår de så kallade effektmätningar som SCB utfört på uppdrag av Almi under samma period. I granskningen görs ett antal avgränsningar:

• Granskningen behandlar endast utvärderingar som gör påståenden om orsakssamband – förekomst eller avsaknad av effekter av en insats eller ett program (vilket preciseras närmare i avsnitt 1.4). Detta är, för samtliga här granskade myndigheter, en mindre del av respektive myndighets samlade utvärderingar.10

• Utvärderingarna granskas endast med avseende på huruvida de belägger de effektanspråk de gör. För att en effektutvärdering ska vara användbar kan emellertid även andra aspekter, såsom exempelvis en väl utförd nyttokostnadsanalys för att sätta effekterna i ett meningsfullt sammanhang, vara avgörande. Mot bakgrund av detta bör de krav som ställs i denna granskning därför ses som nödvändiga, men inte tillräckliga, villkor för en god effektutvärdering.

• Omvänt tar granskningen inte hänsyn till andra eventuella kvaliteter hos de utvärderingar som ingår i granskningen. Det innebär att en utvärdering som inte uppfyller de här uppställda kraven kan vara välgjord i övrigt – men den har inte tillräcklig grund för att uttala sig om effekter.

Vissa utvärderingar initieras av myndigheterna själva medan andra initieras efter särskilda regeringsuppdrag.

1.3 Bedömningsgrunder

För att besvara den första delfrågan utgår vi från riksdagens uttalanden om vikten av att utvärdera effekter av statliga insatser. År 2015 kritiserar riksdagens näringsutskott regeringen för att resultatredovisningen inom utgiftsområde 24, Näringsliv, inte återkopplar till de mål som riksdagen beslutat och att redovisningen fokuserar på prestationer snarare än effekter.11 Riksdagen riktade år 2017 ett tillkännagivande till regeringen om att regeringen bör tydliggöra att oberoende effektutvärderingar av statliga stöd till innovation och företagande bör vara normen för stödgivande myndigheter.12

10 Tillväxtanalys har publicerat 87 PM under perioden 2015–2018. Av dessa bedömer Riksrevisionen att 13 stycken uttalar sig om effekter. Motsvarande siffror för Tillväxtverket och Vinnova är 15 av 89 respektive 5 av 56 rapporter, där vi utgått från antal publicerade rapporter på respektive myndighets webbplats.

11 Bet. 2015/16:NU1.

12 Bet. 2017/18:NU 12, rskr. 2017/18:238.

12 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Ytterligare ett tillkännagivande från riksdagen kom i december 2019: ”I likhet med förra året anser utskottet även att det är önskvärt att det i resultatredovisningen än tydligare klargörs dels effekterna av utförda insatser, dels från vilka anslag som de olika insatserna finansieras. […] Utskottet vill även här påpeka att det i avsnitten om analys och slutsatser genomgående bör föras resonemang om i vilken utsträckning graden av måluppfyllelse har ett samband med statliga insatser eller är ett utfall av andra faktorer.”13

Detta tillkännagivande är samstämmigt med Ekonomistyrningsverkets (ESV) definition av begreppet ”effekt”. Enligt ESV är en effekt ”en förändring som inträffat som en följd av en vidtagen åtgärd och som annars inte skulle ha inträffat”.14 Även Tillväxtanalys hänvisar till ESV:s definition i samband med redovisning av ett regeringsuppdrag där Tillväxtanalys, i samarbete med de tillväxtpolitiska myndigheterna, skulle se över och lämna förslag på metoder för analyser och utvärderingar av offentliga insatser.15 I våra dialoger med företrädare för de granskade myndigheterna ställde vi även frågan om hur man definierar begreppet ”effekter”. Svaren vi fick överensstämmer väsentligen med definitionen som ges av ESV.16

Mot bakgrund av detta anser Riksrevisionen att ett grundläggande krav på en effektutvärdering är att den måste beakta det utfall ”som annars inte skulle ha inträffat”. Vi benämner detta som att utvärderingen har ett kontrafaktiskt angreppssätt. Ett sådant angreppssätt kräver i sin tur att vissa antaganden görs och motiveras. Detta resonemang preciseras ytterligare i metodavsnittet.

Bedömningsgrund för den andra delfrågan är, för regeringen, budgetlagens krav på resultatuppföljning: ”Regeringen ska i budgetpropositionen lämna en redovisning av de resultat som uppnåtts i verksamheten i förhållande till de av riksdagen beslutade målen.”17 Detta krav förstärks av tillkännagivanden från riksdagen, exempelvis det ovan citerade från 2019: ”I likhet med förra året anser utskottet även att det är önskvärt att det i resultatredovisningen än tydligare klargörs dels effekterna av utförda insatser, dels från vilka anslag som de olika insatserna finansieras.”18 När det gäller myndigheterna framgår av 3 § myndighetsförordningen (2007:515) att myndighetens ledning bland annat ska se till att verksamheten redovisas på ett tillförlitligt och rättvisande sätt. Enligt ESV är effektutvärderingar ”en del i statsmakternas mål- och resultatstyrning och

13 Bet. 2019/20:NU1, rskr. 2019/20:123 och rskr. 2019/20:124.

14 Ekonomistyrningsverket, Effektutvärdering – Att välja upplägg, 2006.

15 Tillväxtanalys PM 2018:13. Uppdraget gick ut på ”att lämna förslag på hur tillämpningen av metoder och modeller för analyser och utvärderingar av offentliga insatser för hållbar tillväxt, strukturomvandling och ekonomisk förnyelse på såväl nationell som regional och lokal nivå, kan utvecklas.”

16 Intervjuer med företrädare för Almi (2020-03-02), Tillväxtanalys (2020-03-04), Tillväxtverket (2020-03-16) och Vinnova (2020-03-05).

17 10 kap. 3 § budgetlagen (2011:203).

18 Bet. 2019/20:NU1. Se även rskr. 2019/20:123 och rskr. 2019/20:124.

R I K S R E V I S I O N E N

13

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

en viktig faktor för att öka effektiviteten inom statsförvaltningen”.19 Riksrevisionen anser därför att det är rimligt att effektutvärderingar används för att visa på effekter av statliga insatser, liksom för att motivera kommande insatser.

1.4 Metod och genomförande

1.4.1 Hur görs urvalet av rapporter som granskas?

I Riksrevisionens granskning ingår samtliga rapporter från de granskade myndigheterna som utifrån en egen empirisk undersökning eller teoretisk modell drar slutsatser om effekten av en insats eller ett program. Detta innebär alltså att rapporter som sammanställer och värderar tidigare forskning eller studier inte ingår. Detta innebär att en effektutvärdering som inte gör anspråk på att ha hittat effekter – kanske för att man finner att metodantaganden inte kan motiveras – inte klassificeras som en effektutvärdering i föreliggande granskning.

En del rapporter från de granskade myndigheterna uttalar sig om möjliga effektkedjor inom ramen för en så kallad programteori. Detta i sig räcker inte för att sådana studier ska ingå i granskningen. Men om de dessutom utifrån programteori uttalar sig om faktiska positiva eller negativa effekter av en insats ingår de. Det som avgör huruvida Riksrevisionen klassificerar en given studie som en effektutvärdering är alltså vilka anspråk som studien gör, inte vilken metod den använder.

Det hade varit möjligt att även inkludera rapporter som inte explicit uttalar sig om effekter av studerade insatser, men som använder sig av en kontrollgruppsansats. Eftersom en kontrollgrupp gör anspråk på att vara jämförbar med behandlingsgruppen kan användande av en kontrollgrupp implicit anses utgöra ett påstående om effekten av en insats; effekten blir då skillnaden i utfall mellan behandlingsgruppen och kontrollgruppen. Exempelvis låter Statskontoret just en sådan studie, Tillväxtverkets Finansiering för regional tillväxt, stå som exempel för en effektutvärdering i sitt förslag om att låta alla effektutvärderingar inom regionala tillväxtåtgärder (anslag 1:1) utföras av Tillväxtanalys.20 Riksrevisionen har dock valt att i regel ställa ett starkare krav för att en utvärdering ska ingå i denna granskning: att studien dessutom uttryckligen måste göra något påstående om effekt eller orsakssamband. (Se nedan för specialfallet Almi och SCB.)

De granskade utvärderingarna berör till största delen insatser inom utgiftsområde 24, Näringsliv. Tillväxtverket har emellertid i en del fall genomfört regionala insatser som utvärderats både av Tillväxtverket själva och av Tillväxtanalys.

Av detta skäl berörs även utgiftsområde 19, Regional tillväxt (benämnt Regional utveckling i budgetpropositionen för 2021).

19 ESV, Effektutvärdering – Att välja upplägg, 2006, s.6.

20 Statskontoret 2016:28. Angående anslag se Tillväxtverket, Finansiering för regional tillväxt.

14 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

I granskningen ingår de så kallade effektmätningar som under den granskade perioden utfördes av SCB på uppdrag av Almi. Effektmätningarna använder typiska metoder från effektutvärderingslitteraturen men gör inte uttalade anspråk på att visa effekter. SCB anser inte, trots deras titel, att de ska uppfattas som effektutvärderingar.21 Almi offentliggör inte dessa effektmätningar men presenterar dem på sin webbplats och för sin ägare i årsredovisningarna som att de ger belägg för effekter av Almis verksamhet.22 Riksrevisionen har därför valt att inkludera dem i granskningen. Vi bedömer att den metod som används till stor del är specificerad av Almi, men att SCB varit delaktiga i avgörande steg, såsom utformning av matchning av kontrollgrupper – en metod som typiskt används för att skatta effekter.23 Riksrevisionens sammantagna bedömning är därför att både Almi och SCB är delaktiga i effektmätningarnas framställning och presentation, och de kommer därför i granskningen att stå under både Almis och SCB:s namn.

1.4.2 Hur avgörs om en studie uppnår nödvändiga kvalitetskrav?

De utvärderingar som ingår i granskningen behandlas endast ur ett perspektiv: uppnår de nödvändiga krav för att kunna uttala sig tillförlitligt om effekter? Om så är fallet kommer detta benämnas att studien uppnår ”nödvändiga kvalitetskrav” – detta för att understryka att granskningen inte undersöker andra viktiga aspekter hos en effektutvärdering.

Riksrevisionen har bedömt om de granskade utvärderingarna uppnår nödvändiga kvalitetskrav enligt tre kriterier i stigande ordning. Kriterierna har valts så att skillnaderna mellan de granskade utvärderingarna ska framträda så tydligt

som möjligt:

1. Har utvärderingen ett kontrafaktiskt angreppssätt?

2. Givet positivt svar på punkt 1: Motiveras så kallade identifierande antaganden (obeaktat huruvida detta görs tillfredsställande)?

3. Givet positivt svar på punkt 1 och 2: Är metodval och identifierande antaganden tillfredsställande motiverade?

Med ”kontrafaktiskt angreppssätt” avses att resultatet av den åtgärd som undersöks ställs i relation till det utfall som skulle observerats om åtgärden inte ägt rum – detta utfall kallas det kontrafaktiska utfallet. Eftersom det kontrafaktiska utfallet inte är observerbart (per definition) krävs att utföraren använder en metod av något slag för att härleda detta från något annat utfall som är observerbart.

En sådan metod kan vara kvantitativ eller kvalitativ. Bilaga 1 ger exempel på några vanligt förekommande metoder som används för att dra slutsatser om

21 Intervju med företrädare för SCB, 2020-09-01.

22 Almis årsredovisningar 2015–2019; Almi, ”Effektmätning”, hämtad 2020-11-24.

23 I Almis ägaranvisning och i offerten för uppdraget specificeras till stor del kontrollgrupper och utfallsmått. SCB har varit delaktiga i metodval rörande hur företagsbortfall ska hanteras, liksom matchningen av kontrollgrupper (intervju med företrädare för SCB, 2020-09-01).

R I K S R E V I S I O N E N

15

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

orsakssamband. Punkt 1 kommer att tillämpas generöst: det kan här räcka med en regression, eller för kvalitativa utvärderingar någon slags referensram att jämföra med. Att endast spekulera om det kontrafaktiska utfallet, exempelvis genom att mottagaren av ett stöd får göra en uppskattning, är emellertid inte tillräckligt. Detta krav har satts avsiktligt lågt. På så sätt kan vi här sortera ut utvärderingar som inte ens i teorin kan uttala sig om effekter (men likväl gör det).

Varje metod som uttalar sig om det kontrafaktiska utfallet beror med nödvändighet på antaganden för att kunna ta klivet från det observerbara till det icke observerbara. Inom forskningen kallas sådana antaganden för identifierande antaganden. I det enklaste fallet när en kontrollgrupp används, exempelvis vid en randomiserad medicinsk studie, är det identifierande antagandet att kontrollgruppens utfall motsvarar det som behandlingsgruppen skulle haft om den inte fått medicinen (se bilaga 1 för mer avancerade exempel). Punkt 2 frågar om dessa antaganden görs transparenta för läsaren och motiveras. Även detta krav har satts avsiktligt lågt: ännu krävs inte att antagandena är väl motiverade, endast att de motiveras överhuvudtaget, på något sätt. I detta steg frågar vi oss alltså om utvärderingen alls erkänner att det faktiskt krävs identifierande antaganden för att kunna uttala sig om effekter.

Punkt 3, slutligen, frågar om de identifierande antagandena motiverats så väl att metoden kan anses vara trovärdig och, därmed, de påståenden som görs om orsakssamband är välunderbyggda. Punkt 2 och 3 är viktiga steg

i utvärderingsprocessen: genom att antaganden görs transparenta och granskas blir det tydligt för utvärderaren när den metod som används inte är trovärdig.

I bästa fall leder detta till att effektutvärderingar inte gör större anspråk än vad som finns fog för. Vad detta steg innebär för enskilda statistiska metoder beskrivs i bilaga 1. För en randomiserad studie innebär kravet att utvärderaren måste göra troligt att randomiseringsprocessen fungerat väl, att deltagare inte i efterhand kunnat byta grupp, och så vidare. För en kvalitativ studie krävs att åtminstone ett resonemang förs om metodens giltighet. (Detta kan exempelvis vara en motivering av varför den kontrollgrupp som intervjuas är representativ för behandlingsgruppen.) Detta kriterium är det mest abstrakta av de tre: här frågas om de kausala anspråk som görs sammantaget är väl underbyggda. Detta avgör i sin tur om effektutvärderingen har förutsättningar för att kunna ligga till grund för väl avvägda politiska beslut.

I vissa fall kan en åtgärd ha implementerats på ett sätt som gör det mycket svårt att finna en lämplig kontrafaktisk metod, och utvärderaren kan ha betraktat

en otillräcklig metod som den minst dåliga lösningen. Av denna anledning låter vi i punkt 3 ”tillfredsställande motiverade” anses vara uppfyllt även av rapporter som använt en ej fullständigt tillförlitlig metod, under förutsättning att svagheter tydligt redovisas och eventuella påståenden om effekter görs med försiktighet.

En effektutvärdering bör dock alltid vara tydlig i vilka slutsatser som kan dras från

16 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

materialet. Om ett påstående om effekter åtföljs av ett mycket starkt förbehåll kan det vara rimligare att inte göra påståendet om effekter alls.

1.4.3 Hur granskas effektutvärderingarnas användning?

För att utröna hur myndigheterna och Almi själva använder effektutvärderingar – för kommunikation och för att förbättra kommande insatser – har Riksrevisionen genomfört intervjuer med Almi och respektive myndighet. Utöver detta har Riksrevisionen granskat dagordningar och minnesanteckningar från de myndighetsdialoger som ägt rum under perioden mellan Regeringskansliet och myndigheterna, liksom styrande dokument såsom instruktioner och regleringsbrev. För Almi har bolagets årsredovisningar granskats.

Hur de granskade utvärderingarna används av regeringen har undersökts i två steg. I ett första steg har Riksrevisionen genomfört intervjuer med Regeringskansliets myndighetshandläggare för respektive myndighet. Utifrån detta ges en bild av hur Regeringskansliet själva bedömer att de använder effektutvärderingar.

I ett andra steg har Riksrevisionen genomfört en automatiserad textanalys av regeringens propositioner från 2015 och framåt. Detta ger en mer systematisk överblick över i vilken utsträckning regeringen använder sig av effektutvärderingar från de granskade myndigheterna. Riksrevisionen undersöker även om, och i så fall i vilken utsträckning, regeringen använder enskilda studier som källa för att uttala sig om effekter trots att studien inte gör sådana anspråk. I denna textanalys har vi också inkluderat dokument från riksdagen, för att få en mer fullständig bild av hur de granskade utvärderingarna används.

Analysen använder sig av Riksdagens öppna data och täcker samtliga dokument av de valda dokumenttyperna för riksdagsåren 2014/15 fram till 2019/20.24 De dokumenttyper som granskas är betänkanden, Departementsserien, motioner, propositioner och skrivelser från regeringen, skriftliga frågor samt Statens offentliga utredningar (SOU). Totalt omfattar analysen 38 552 textfiler.

Textanalysen genomförs med hjälp av en typ av sökuttryck som inom datavetenskapen kallas för reguljära uttryck. Denna metod möjliggör betydligt mer flexibla sökningar än vad som vore möjligt genom att endast söka efter nyckelord. För att exempelvis söka efter Almis och SCB:s effektmätningar kan vi söka efter sammansättningar av ordet ”effekt”, men inte i formen ”effektiv” och endast när det förekommer tillräckligt nära ordet ”Almi”.25 Riksrevisionen har utöver detta

24 Riksdagen, ”Riksdagens öppna data”, hämtat 2020-08-30.

25 Detta kan exempelvis operationaliseras som att textsträngen ”effekt” är inom 50 tecken eller radbrytningar från textsträngen ”Almi”. En sådan sökning lyckas exempelvis hitta följande stycke från budgetpropositionen för 2016 (prop. 2015/16:1): ”Den årliga uppföljningen av tillväxteffekter i Almis kundföretag, som Statistiska centralbyrån gör på uppdrag av Almi, visar att för de företag som blev kunder under 2010 har omsättningen ökat med 24 procent under perioden 2009–2013.”

I granskningen används en ännu mer finmaskig sökning, exempelvis för att undvika felträffar som ”lokalmiljö” men tillåta genitiv som ”Almis”. Se bilaga 2 för detaljer.

R I K S R E V I S I O N E N

17

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

använt tekniker som tillåter att sökord och rapporttitlar har avstavats

i dokumenten, korrigerar för att riksdagen emellanåt gjort feltranskriberingar när de översatt dokumenten till textfiler, och så vidare. För en mer utförlig beskrivning av hur textanalysen går till hänvisas till bilaga 2.

Sökningen efter utvalda effektutvärderingar från Tillväxtanalys, Tillväxtverket och Vinnova utnyttjar både rapporternas titlar och deras index i respektive myndighets rapportserie. Det förekommer dock att en rapport refereras till utan vare sig titel eller rapportindex. I dessa fall är det risk för att metoden inte fångar upp de rapporterna och vi riskerar därmed att underskatta användningen av de granskade utvärderingarna. Vi har garderat oss mot denna risk på flera sätt: sökningen efter de utvalda effektutvärderingarna har kompletterats med en allmän sökning efter avsnitt i dokumenten där någon av de granskade myndigheterna nämns

i samband med skrivningar om effekter. Eftersom den allmänna sökningen inte bygger på titlar eller index kan vi här fånga upp utvärderingar som vi missat med den mer specifika metoden. På detta sätt hittade vi ytterligare två referenser till effektutvärderingar som inte refererades till med titel. Vi har dessutom validerat resultatet från textsökningen på två sätt. För det första har vi manuellt granskat budgetpropositionerna för granskningsperioden. För det andra har vi fått återkoppling från myndighetshandläggaren för Tillväxtanalys som specificerat vilka rapporter från Tillväxtanalys som använts i budgetpropositionerna. I båda fall bekräftades de sammantagna resultaten från den automatiska textanalysen. Mot bakgrund av detta bedömer Riksrevisionen att den metod som använts ger

en rättvisande bild av hur de granskade utvärderingarna har använts.

Granskningen har genomförts av en projektgrupp bestående av Niklas Kaunitz (projektledare), Christer Gerdes och Gunilla Lundquist. En referensperson har lämnat synpunkter på granskningsupplägg och på ett utkast till den slutliga rapporten: Peter Skogman Thoursie, professor i nationalekonomi vid Stockholms universitet. Företrädare för Regeringskansliet (Näringsdepartementet), Almi Företagspartner AB, Statistiska centralbyrån, Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys), Tillväxtverket och Verket för innovationssystem (Vinnova) har fått tillfälle att faktagranska och i övrigt lämna synpunkter på ett utkast till granskningsrapporten.

18 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

2 Almi och de granskade myndigheterna

2.1 Almi Företagspartner AB

Almi Företagspartner AB (Almi) ägs av staten och är moderbolag i en koncern med 16 regionala dotterbolag och underkoncernen Almi Invest. De regionala dotterbolagen ägs till 51 procent av moderbolaget och till 49 procent av regionala ägare och erbjuder lån och affärsutveckling.

Syftet med Almis verksamhet är att stärka det svenska näringslivets utveckling och verka för en hållbar tillväxt genom att bland annat äga och administrera samt samordna verksamheten i sådana regionala utvecklingsbolag som avses

i tillämplig lag om beslutanderätt för regionala utvecklingsbolag, att förvalta kapital samt äga och förvalta aktier i portföljförvaltande bolag.26 År 2018 uppgick utlåningen till drygt 5 miljarder kronor till cirka 3 500 kunder.

Ägaranvisningens krav om återrapportering har varierat under granskningsperioden. I ägaranvisningen för år 2014 och 2015 förekommer inga begrepp som effekter eller kontrollgrupp.27 I ägaranvisningen för år 2016 anges däremot att de företag som fått del av insatser ska ställas i relation till ett par specificerade grupper av företag, vilka man benämner kontrollgrupper.28 I ägaranvisningarna till Almi åren 2017 och 2018 står att ”mätningen utgörs av en effektmätning hos samtliga unika Almikunder (antal) avseende omsättning, förädlingsvärde och överlevnadsgrad. Effekten mäts ett antal år efter insatsen från Almi och jämförs med en kontrollgrupp”.29 I senare fastställda ägaranvisningar under 2020 används inte längre begreppet effektmätning men Almis insatser ska mätas mot en jämförelsegrupp. Jämförelsegruppen utgörs av svenska mikroföretag samt små och medelstora företag enligt Europeiska kommissionens definition.30 Ägaranvisningarna preciserar inte vilken aktör som ska utföra återrapporteringen utan överlåter detta åt Almi.

Under samtliga dessa år har Almi låtit SCB årligen utföra så kallade effektmätningar, där olika utfall jämförs mellan kundföretagen och en ”kontrollgrupp”. Även om ägaranvisningarna varierat över dessa år har effektmätningen varit i stort sett oförändrad. Effektmätningarna har formen av rapporter där SCB står som avsändare. Rapporterna offentliggörs inte utan levereras till direkt till Almi, som hänvisar till dem i sin årsredovisning och på sin hemsida.

26 Bolagsordning antagen på bolagsstämma den 23 april 2015.

27 Ägaranvisning för Almi Företagspartner AB (Almi), 2014; Ägaranvisning för Almi Företagspartner AB, 2015.

28 Ägaranvisning för Almi Företagspartner AB, 2016.

29 Ägaranvisning för Almi Företagspartner AB, 2017; Ägaranvisning för Almi Företagspartner AB, 2018.

30 Ägaranvisning för Almi Företagspartner AB, april 2020; Ägaranvisning för Almi Företagspartner AB, augusti 2020.

R I K S R E V I S I O N E N

19

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

2.2 Statistiska centralbyrån (SCB)

Statistiska centralbyrån har omkring 1 300 anställda och ansvarar för att utveckla, framställa och sprida officiell statistik och annan statlig statistik samt för att samordna systemet för den officiella statistiken. Enligt SCB:s regleringsbrev är målet för den anslagsfinansierade verksamheten att producera officiell statistik av god kvalitet som är lättillgänglig för användarna. SCB ska även, genom att utföra uppdrag utifrån olika användares behov, öka möjligheterna att utnyttja det statistiska material och den statistiska kompetens som finns inom myndigheten.31

Varken i instruktion eller regleringsbrev för SCB sägs något om effektutvärderingar. Däremot får myndigheten inom ramen för sin statistikverksamhet åta sig uppdrag från både myndigheter och andra uppdragsgivare.32

2.3 Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys)

Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) har drygt 40 anställda på två orter: Östersund och Stockholm. Tillväxtanalys är en av regeringens sju analys- och utvärderingsmyndigheter, vilket innebär att man har utökade befogenheter i jämförelse med de andra granskade myndigheterna vad gäller datatillgång.33 Enligt Tillväxtanalys instruktion är myndighetens uppgifter att utveckla och tillhandahålla kvalificerade kunskapsunderlag för tillväxtpolitiken, genom att genomföra, främja och stödja framtagandet av utvärderingar och analyser. Myndigheten ska utifrån olika perspektiv utvärdera, analysera och redovisa effekter av statens insatser för hållbar nationell och regional tillväxt och näringslivsutveckling. Myndigheten ska också ta fram beslutsunderlag och rekommendationer för utveckling, omprövning och effektivisering av de statliga åtgärderna samt, om det är relevant, peka på viktigare målkonflikter. Tillväxtanalys ska särskilt fokusera på samlade effekter av tillväxt- och näringspolitiska insatser.34

I regleringsbrevet för 2015 fick Tillväxtanalys två särskilda uppdrag med anvisning om att använda kontrafaktiska metoder för att utvärdera effekter.35 Detta beskrevs med formuleringar som ”[u]tvärderingen ska undersöka effekter på företagens

31 Regleringsbrev för budgetåret 2015 avseende Statistiska centralbyrån, Fi2014/4528 (delvis); Regleringsbrev för budgetåret 2016 avseende Statistiska centralbyrån, Fi2015/05652/RS (delvis); Regleringsbrev för budgetåret 2017 avseende Statistiska centralbyrån, Fi2016/04581/RS (delvis); Regleringsbrev för budgetåret 2018 avseende Statistiska centralbyrån, Fi2017/04757/RS; Regleringsbrev för budgetåret 2019 avseende Statistiska centralbyrån, Fi2018/03884/RS.

32 1 § och 4 § andra stycket förordningen (2016:822) med instruktion för Statistiska centralbyrån.

33 Bland annat innebär detta att man får använda individbaserade registeruppgifter om enskilda personer eller företag i sina analyser.

34 1 § förordningen (2016:1048) med instruktion för Myndigheten för tillväxtpolitiska utvärderingar och analyser.

35 Regleringsbrev för budgetåret 2015 avseende Myndigheten för tillväxtpolitiska utvärderingar och analyser inom utgiftsområde 24 Näringsliv, N2014/1066/AS, N2014/5260/AS och N2014/5296/KLS (delvis).

20 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

utveckling och i den mån det är möjligt inkludera kontrafaktiska effektutvärderingar.”36 Från och med 2016 års regleringsbrev har skrivningarna om kontrafaktiska utvärderingar tagits bort och myndigheten ska nu genomföra ”analyser och utvärderingar”.37

2.4 Tillväxtverket

Tillväxtverket är en myndighet med cirka 450 anställda som ska verka för att regeringens mål för näringspolitiken respektive den regionala tillväxtpolitiken uppnås. Tillväxtverkets huvuduppgifter är att i alla delar av landet främja hållbar näringslivsutveckling och hållbar regional tillväxt samt genomföra strukturfondsprogram. Tillväxtverket ska enligt myndighetens instruktion bland annat utveckla och genomföra insatser som främjar entreprenörskap, hållbar tillväxt och utveckling i företag, stärkt konkurrenskraft samt förenkling för företag. Myndigheten ska även främja regionalt tillväxtarbete i länen samt utveckla och förbättra förutsättningarna för dialog, samarbete och lärande mellan olika aktörer på nationell, regional och lokal nivå. Vidare ska Tillväxtverket ansvara för nationell samordning och utveckling av genomförandet av regionalfonden i Sverige inom ramen för den europeiska sammanhållningspolitiken.

Tillväxtverket ska föra en dialog med Tillväxtanalys när det gäller utveckling och användning av databaser, analysverktyg och statistik samt när den myndigheten ska utvärdera uppdrag som Tillväxtverket genomför. Tillväxtverket ska även tillgängliggöra data och erbjuda stöd när det gäller statistiska bearbetningar till Tillväxtanalys.38

Enligt regleringsbreven för den aktuella granskningsperioden ska Tillväxtverket bland annat återrapportera ”vilka insatser myndigheten har genomfört för att främja entreprenörskap inom utbildningsområdet” och ”hur myndigheten har arbetat för att stärka och utveckla insatser för att främja entreprenörers tillväxtvilja, genomförda insatser och de resultat som uppnåtts om möjligt uppdelat på bransch/marknad”.39

36 Det gällde regeringsuppdragen ”Uppstart av utvärdering av finansieringsinstrument inom ramen för EU:s strukturfondsprogram 2014–2020” och ”Utvärdering av forskning och innovation

på energiområdet”.

37 Regleringsbrev för budgetåret 2016 avseende Myndigheten för tillväxtpolitiska utvärderingar och analyser inom utgiftsområde 24 Näringsliv, N2015/08864/AS N2015/08707/KLS (delvis) N2015/07193/AS.

38 1 § första stycket 1–3 samt 7 § andra och tredje stycket förordningen (2009:145) med instruktion för Tillväxtverket.

39 Regleringsbrev för budgetåret 2015 avseende Tillväxtverket inom utgiftsområde 24 Näringsliv, N2014/5259/ENT m.fl.

R I K S R E V I S I O N E N

21

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

2.5 Verket för innovationssystem (Vinnova)

Vinnova är nationell kontaktmyndighet för EU:s ramprogram för forskning och innovation. Myndigheten är också regeringens expertmyndighet inom det innovationspolitiska området med drygt 200 medarbetare. Vinnova har till uppgift att främja hållbar tillväxt genom finansiering av behovsmotiverad forskning och utveckling av effektiva så kallade innovationssystem. Med innovationssystem avses nätverk av offentliga och privata aktörer där innovationer och ny kunskap tas fram, sprids och används. Vinnova ska bidra till att stärka och utveckla universitet och högskolor, industriforskningsinstitut, företag och andra samhällsaktörer samt utveckla samarbetet mellan dessa i viktiga sektorer inom de svenska innovationssystemen, stimulera internationellt samarbete som stärker svensk forskning och innovation och sprida information till utförare, användare och allmänhet.40

I 2015 års regleringsbrev var Vinnovas uppdrag att i nära dialog med Tillväxtanalys genomföra minst två effektutvärderingar avseende olika insatser.41 Inför år 2016 omformulerades uppdraget och lyder därefter: ”Vinnova ska i dialog med Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) genomföra minst två utvärderingar av genomförda insatser. De insatser som utvärderas ska vara av budget- och verksamhetsmässig betydelse. Utvärderingarna ska omfatta resultat och, där så är möjligt, effekter av stödet från myndigheten.”42 Även i regleringsbreven för 2017 och 2018 står att utvärderingarna ska omfatta resultat och, där så är möjligt, effekter av stödet från myndigheten.43

40 2 § 1, 2 och 6 förordningen (2009:1101) med instruktion för Verket för innovationssystem.

41 Regleringsbrev för budgetåret 2015 avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv, N2014/5256/FIN m.fl.

42 Regleringsbrev för budgetåret 2016 avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv, N2015/08872/IF m.fl.

43 Regleringsbrev för budgetåret 2017 avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv, N2016/07981/IFK m.fl.; Regleringsbrev för budgetåret 2018 avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv, N2017/07677/IFK, N2017/07556/KLS (delvis) och N2017/01381/IFK.

22 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

3 Uppfyller myndigheternas effektutvärderingar nödvändiga kvalitetskrav?

Sammanfattning:

• Endast 2 av 37 granskade utvärderingar uppnår alla de tre kvalitetskrav Riksrevisionen ställt upp som nödvändiga för att de ska kunna uttala sig om effekter.

• Effektutvärderingar från Tillväxtverket och Vinnova, liksom Almis effektmätningar utförda av SCB, brister i regel på så allvarliga punkter att de inte bör användas för vägledning om orsakssamband.

• Tillväxtanalys effektutvärderingar uppnår, i regel, de två lägre kvalitetskraven, men uppnår sällan samtliga nödvändiga kvalitetskrav.

• Upphandling av konsulter hos Tillväxtverket och Vinnova har inte lett till märkbart högre kvalitet på effektutvärderingarna. I inget fall uppnår konsultutförda effektutvärderingar nödvändiga krav för att nå tillförlitliga slutsatser om effekter.

• Samarbete med universitet leder ibland, men ofta inte, till högre kvalitet på effektutvärderingar.

Inför detta kapitel har samtliga effektutvärderingar från Tillväxtanalys, Tillväxtverket och Vinnova under perioden 2015–2018 granskats. Med ”effektutvärdering” avses i denna granskning en utvärdering som självständigt drar slutsatser om effekter av en insats eller program (se avsnitt 1.4). För Almi/SCB har samtliga utförda effektmätningar begärts in. SCB har enligt egen utsago inte haft några andra uppdrag som rör effektutvärdering under perioden.44 För Tillväxtanalys har samtliga PM från perioden hämtats från deras webbplats. Av totalt 87 PM har vi bedömt 13 vara effektutvärderingar. För Tillväxtverket och Vinnova har Riksrevisionen begärt in samtliga rapporter författade eller beställda under perioden som uttalar sig om effekter. Av de 34 mottagna rapporterna från Tillväxtverket har vi bedömt att 14 av dem uttalar sig om effekter. Riksrevisionen har därefter funnit referenser till ytterligare en effektutvärdering som begärts in. Samtliga 5 rapporter vi mottagit av Vinnova har vi bedömt vara effektutvärderingar.

3.1 Många effektutvärderingar inom näringspolitiken uppnår inte det lägsta kvalitetskravet

Tabell 1 sammanfattar resultatet av kvalitetsgranskningen av effektutvärderingarna. Kriterierna i tabellen beskrivs närmare i avsnitt 1.4.2 och i bilaga 1. Det tredje kriteriet – att effektutvärderingen ska motivera nödvändiga antaganden tillräckligt väl och eventuella svagheter ska framgå – sammanfattas

44 Se avsnitt 1.4.1 för de överväganden som gjort att Riksrevisionen väljer att inkludera Almis effektmätningar i granskningen.

R I K S R E V I S I O N E N

23

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

i tabellen med ordet välunderbyggd. Kraven blir striktare när vi går från den vänstra kolumnen till den högra. En utvärdering kan exempelvis alltså endast uppfylla kriteriet att vara välunderbyggd om den både har en kontrafaktisk ansats och motiverar identifierande antaganden (se avsnitt 1.4.2 och bilaga 1).

Tabell 1 Kvalitetsgranskning av myndigheternas effektutvärderingar under 2015–2018.

	Antal granskade	Kontrafaktisk	Antaganden	Välunderbyggd
	effektutvärderingar	ansats	motiveras
Almi/SCB	4	100 % (4 st.)	0 %	0 %
Tillväxtanalys	13	100 % (13 st.)	85 % (11 st.)	15 % (2 st.)
Tillväxtverket	15	7 % (1 st.)	0 %	0 %
Vinnova	5	20 % (1 st.)	20 % (1 st.)	0 %

Källa: Myndigheternas effektutvärderingar under 2015–2018. Riksrevisionens bearbetning.

Från tabell 1 framgår att det är stora skillnader mellan myndigheterna. Endast ett mindre antal effektutvärderingar från Tillväxtverket och Vinnova har

en kontrafaktisk ansats – det lägsta kravet vi ställt upp. Det bör här understrykas att Riksrevisionen valt att tillämpa detta lägsta kvalitetskrav på möjligast generösa sätt: så länge någon typ av jämförelse görs med en annan grupp, eller över tid, har kravet bedömts vara uppfyllt. Detta innebär att de studier som inte uppfyller kravet har en mer beskrivande karaktär.

Utvärderingar som inte har kontrafaktisk ansats är i regel utformade som intervjuer med de inblandade aktörerna, där företagare som erhållit stöd får uttala sig om huruvida de anser att stödet gav positiva effekter. Som vi konstaterat

i avsnitt 1.4 räcker detta inte för att dra tillförlitliga slutsatser om effekter. Det förekommer även glidningar från ”effekter” till ”förutsättningar att orsaka”. Riksrevisionen bedömer att ingen av de studerade effektutvärderingarna från Tillväxtverket och Vinnova är välunderbyggd, som framgår av kolumnen längst till höger i tabell 1.

Almis effektmätningar utförda av SCB har visserligen en kontrafaktisk ansats, i så måtto att en kontrollgrupp används. Det motiveras emellertid aldrig varför kontrollgruppen skulle kunna användas för att härleda det kontrafaktiska utfallet för de företag som fått stöd av Almi. Det är till och med så att de siffror som redovisas i effektmätningarna visar att kontrollgruppen troligtvis inte speglar stödföretagen.45 I rapporterna används inte heller grundläggande hypotestest för att utröna huruvida observerade skillnader mellan grupperna är att betrakta som betydelsefulla (statistiskt signifikanta).

45 Den metod som används i effektmätningarna är av typen skillnad-i-skillnader (difference in differences). Från tabeller som ingår i rapporten framgår att de historiska trenderna inte rör sig parallellt, vilket är en indikation på att kontrollgruppen ej är lämplig.

24 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Tillväxtanalys skiljer ut sig från de övriga i det att den analytiska nivån ligger markant högre: Samtliga effektutvärderingar har en kontrafaktisk ansats, och identifierande antaganden är oftast (85 procent) motiverade på något sätt. Här bör också noteras något som inte framgår av tabellen: I flera av Tillväxtanalys rapporter gör författarna en statistisk analys, men konstaterar samtidigt att resultaten inte bör tolkas som effekter på grund av svårigheter i analysen. Eftersom sådana studier alltså inte gör anspråk på att belägga effekter ingår de inte i granskningen. Att Tillväxtanalys ofta, korrekt, avhåller sig från effektanspråk kan möjligen förklaras av resultaten i tabell 1 – att krav 2 i regel är uppfyllt för myndighetens effektutvärderingar. Om utvärderare har för vana att vara transparenta med de metodantaganden som görs blir det också lättare att upptäcka när antagandena inte håller, och metoden alltså inte bör användas.

Det finns dock genomgående kvalitetsbrister även i rapporterna från Tillväxtanalys. Eftersom de ofta utvärderar icke-experimentella situationer finns det sällan naturliga kontrollgrupper. Av denna anledning använder myndigheten övervägande matchningstekniker för att skapa en syntetisk kontrollgrupp.

I flertalet effektutvärderingar finns det dock brister i att motivera de statistiska antaganden som är nödvändiga för att denna metod ska vara tillförlitlig. Som framgår av kolumnen längst till höger i tabell 1 saknar de flesta effektutvärderingar från Tillväxtanalys på motsvarande sätt tillräckliga motiveringar. I regel handlar det om att statistiska antaganden som krävs för att den metod man använder ska vara giltig, så kallade identifierande antaganden, inte motiveras tillräckligt. Endast två effektutvärderingar bedöms av Riksrevisionen uppnå det högsta kriteriet, att statistiska antaganden är välunderbyggda; det är alltså endast här som slutsatser om orsakssamband kan anses belagda. En av dessa studier är på förhållandevis hög teknisk nivå, med en kombination av matchning och skillnad-i-skillnader (se bilaga 1). Den andra är en randomiserad kontrollstudie där fingerade ansökningar skickas ut för att utröna om kvinnor och män bedöms olika vid tilldelning av företagsstöd. Denna andra utvärdering visar att en kvantitativ ansats inte behöver vara statistiskt avancerad för att vara fullt tillräcklig.

Sammantaget konstaterar Riksrevisionen att effektutvärderingar som är utförda eller beställda av Almi/SCB, Tillväxtverket och Vinnova under 2015–2018 endast i liten utsträckning uppnår de mest grundläggande kraven som bör ställas på en effektutvärdering. Effektutvärderingar från Tillväxtanalys uppfyller i regel de lägsta två kraven, men har i de flesta fall avgörande brister i analysen.

R I K S R E V I S I O N E N

25

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

3.2 Hög konsultanvändning har inte lett till hög kvalitet

Riksrevisionen har undersökt huruvida myndigheterna skiljer sig åt vad gäller i vilken mån externa konsulter eller forskare anlitas.46 Syftet har varit att utröna om det finns ett samband mellan kvalitet och typ av utförare. Tabell 2 sammanställer resultatet av denna genomgång.

Tabell 2 Fördelning av utförare av de granskade effektutvärderingarna.

	Antal granskade	Uteslutande	Inkl. externa	Inkl. externa
	effektutvärderingar	internt	forskare	konsulter
Almi/SCB	4	100 % (4 st.)	0 %	0 %
Tillväxtanalys	13	31 % (4 st.)	69 % (9 st.)	0 %
Tillväxtverket	15	7 % (1 st.)	13 % (2 st.)	93 % (14 st.)
Vinnova	5	0 %	40 % (2 st.)	100 % (5 st.)

Källa: Myndigheternas effektutvärderingar under 2015–2018. Riksrevisionens bearbetning.

Tabellen visar att det finns stora skillnader mellan myndigheterna vad gäller utförare. De effektmätningar som SCB utför på uppdrag av Almi görs alltid internt hos SCB. Hos Tillväxtverket och Vinnova är tvärtom externa konsultbolag nästan alltid inblandade (utom i en effektutvärdering hos Tillväxtverket), ibland

i samarbete med myndighetens egen personal eller externa forskare.

Tillväxtanalys samarbetar, som framgår av tabellen, ofta med universitet och högskolor (9 fall av 13) och har inte använt sig av externa konsulter under den granskade perioden. De externa forskare som används kommer sällan från de största universiteten. Ofta handlar det om storleksordningen Örebro universitet eller Linnéuniversitetet, men även Lunds universitet förekommer. Enligt Tillväxtanalys beror detta på att det finns kluster av forskargrupper på mindre universitet som är specialiserade på näringslivsfrågor: Örebro har enligt Tillväxtanalys kompetens på multinationella företag, medan Umeå har en grupp forskare specialiserade på regionalpolitik.47

Tabellerna 1 och 2 visar att utvärderingar från Tillväxtverket och Vinnova både kännetecknas av lägre kvalitet (med avseende på hur effektanspråk beläggs) och en hög användning av konsulter. Vi vet dock inte från detta om forskarsamverkan eller internt utförda effektutvärderingar hos dessa myndigheter leder till högre eller lägre kvalitet. Tabell 3 presenterar hur kvalitet varierar med typ av utförare för varje myndighet separat.

46 Med ”forskare” avses här alla utförare knutna till en akademisk institution. Oftast är detta forskare, men i ett par fall har det handlat om studenter.

47 Intervju med företrädare för Tillväxtanalys, 2020-03-04.

26 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Tabell 3 Samvariation mellan kvalitet och utförare av de granskade effektutvärderingarna.

	Antal	Kontrafaktisk ansats	Antaganden motiveras	Välunderbyggd
Almi/SCB	4	100 % (4 st.)	0 %	0 %
Tillväxtanalys	Totalt 13
Utesl. interna	4	100 % (4 st.)	100 % (4 st.)	0 %
Inkl. forskare	9	100 % (9 st.)	78 % (7 st.)	22 % (2 st.)
Tillväxtverket	Totalt 15
Utesl. interna	1	0 %	0 %	0 %
Inkl. forskare	2	0 %	0 %	0 %
Inkl. konsulter	14	7 % (1 st.)	0 %	0 %
Vinnova	Totalt 5
Inkl. forskare	2	0 %	0 %	0 %
Inkl. konsulter	5	20 % (1 st.)	20 % (1 st.)	0 %

Källa: Myndigheternas effektutvärderingar under 2015–2018. Riksrevisionens bearbetning.

Tabell 3 visar att sambandet mellan kvalitet och utförare är mer komplicerat än vad som framgår av den tidigare diskussionen. Användning av externa konsulter sammanfaller visserligen med låg kvalitet: endast i 2 fall av totalt 19 finns någon slags kontrafaktiskt ansats – det lägsta kvalitetskravet i tabell 1 – och endast

i ett fall görs ett försök till att motivera varför den metod som används skulle vara giltig. Men för både Tillväxtverket och Vinnova är resultaten än sämre när utvärderingen utförs internt eller av forskare. Skillnaderna är emellertid små: endast i två fall av konsultutförda effektutvärderingar finns ett kontrafaktiskt angreppssätt (ett villkor som dessutom tillämpats generöst) och endast i ett av dessa finns en motivering av de antaganden som görs (en motivering som inte heller bedömdes som tillräcklig, enligt det tredje kriteriet). Eftersom det för båda dessa myndigheter är få utvärderingar som utförts av forskare eller internt är det inte möjligt att dra slutsatser från så små skillnader. (Annorlunda uttryckt: skillnaderna är inte statistiskt signifikanta.)

Tillväxtverket uppger till Riksrevisionen att de kvalitetssäkrar alla konsulter de anlitar. Detta innebär bland annat ett krav på akademisk examen (master eller ibland kandidat), där vanliga inriktningar anges vara statsvetenskap, nationalekonomi, lantbruksvetenskap och kulturgeografi. Men framför allt understryker Riksrevisionens kontaktpersoner på Tillväxtverket vikten av vad de kallar ”utvärderingskompetens”. De menar att detta är något som i regel inte lärs ut på universiteten; ”akademiker har i regel inte det kunnandet”. I stället hänvisar man till konsultbyråernas lärlingsutbildningar – ”det är erfarenhet som gäller”.48 Även Vinnova betonar vikten av tidigare erfarenhet av utvärderingsarbete när konsulter ska upphandlas. Myndigheten har inga krav på forskarmedverkan, men har en ”förväntning” på konsulter att de ska involvera forskare. Vinnova uppger

48 Intervju med företrädare för Tillväxtverket, 2020-03-10 och 2020-03-16.

R I K S R E V I S I O N E N

27

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

till Riksrevisionen att man anser sig ha mycket god kompetens att upphandla konsulter.49

Av tabellen framgår att de enda två effektutvärderingar som uppfyller samtliga nödvändiga villkor båda är utförda i samarbete med universitet: i ett fall

ett samarbete mellan myndighetsanställda och en student, och i det andra fallet helt utförd av forskare på Lunds universitet. Men tabellen visar även att samarbete med universitet inte är en garanti för god kvalitet. Inte alla av Tillväxtanalys studier med forskarmedverkan når upp till det andra kriteriet, medan samtliga internutförda effektutvärderingar gör det. Tillväxtanalys har i intervju med Riksrevisionen beskrivit att det ibland kan vara svårt att få de bästa forskarna att engagera sig.50 När det gäller Tillväxtverket och Vinnova når ingen av de effektutvärderingar som utförts i samarbete med forskare upp till Riksrevisionens lägsta kvalitetskrav, i likhet med internt utförda effektutvärderingar hos samma myndigheter.

Slutligen visar tabell 3 att internt utförda effektutvärderingar är av markant högre kvalitet på Tillväxtanalys än på Tillväxtverket. (Vinnova har inga uteslutande internt utförda effektutvärderingar under den granskade perioden.) Inte i någon av de internt utförda utvärderingarna når emellertid Tillväxtanalys upp till samtliga av Riksrevisionens uppställda nödvändiga krav för att kunna dra slutsatser om effekter.

Almis effektmätningar utförda av SCB utgör ett specialfall i det att de är interna från SCB:s perspektiv och externa från Almis perspektiv. Eftersom Almi presenterar dessa rapporter med större anspråk än vad rapporterna själva ger uttryck för kan vi konstatera att effektmätningarna håller högre kvalitet som interna utvärderingar hos SCB än som externa hos Almi.

Riksrevisionen konstaterar sammantaget att ingen av Tillväxtverkets eller Vinnovas effektutvärderingar under den granskade perioden är kompetent utförd vad avser att belägga effekter. Detta gäller oavsett om de är utförda internt,

i samarbete med forskare eller upphandlade av konsulter. Tillväxtanalys internt utförda effektutvärderingar är delvis kompetent utförda, men inte tillräckligt. För den granskade tidsperioden har de nödvändiga kvalitetskraven uppnåtts endast i samarbete med forskare, men även då endast i undantagsfall.

49 Intervju med företrädare för Vinnova, 2020-03-05.

50 Intervju med företrädare för Tillväxtanalys, 2020-03-04.

28 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

4 Används myndigheternas effektutvärderingar?

Sammanfattning

• Almis effektmätningar utförda av SCB uppfattas av regering och riksdag som effektutvärderingar, trots att de enligt SCB inte bör uppfattas som sådana, och används regelbundet i regeringens budgetpropositioner för att motivera anslag 1:20.

• Effektutvärderingar från Tillväxtanalys och Vinnova används i regeringens budgetpropositioner för att återrapportera effekter av näringspolitiken, men i låg utsträckning.

• Regeringen använder ibland rapporter från Tillväxtverket som inte är avsedda som effektutvärderingar för att uttala sig om effekter.

• Det förekommer att utvärderingar från myndigheterna är otydliga i skrivningar om effekter. Detta gör det otydligt för mottagarna vilka slutsatser som kan dras ifrån dem.

• Återrapporteringen av näringspolitiska effekter i budgetpropositionerna är ibland otydlig med avseende på vilka källor som finns för de påståenden som görs.

4.1 Använder Almi och myndigheterna sina egna effektutvärderingar?

För att få svar på frågan hur myndigheterna använder sig av rapporterna har Riksrevisionen intervjuat representanter för Almi och de granskade myndigheterna.

Almis effektmätningar görs ytterst eftersom bolagets ägaranvisning ställer krav på att verksamhetens utfall inom flera områden ska följas upp. Almi redogör årligen för effektmätningen i sin årsredovisning, och refererar till resultatet som ”uppföljning av Almis effekt på företagens tillväxt”.51 Det kan noteras att återrapporteringen av SCB:s effektmätning i årsredovisningen har gjorts på samma sätt från 2015 och framåt, oberoende av hur ägaranvisningen förändrats under denna period. Företrädare för Almi uppger att effektmätningarna är viktiga även för bolaget självt för att optimera hur Almis insatser utformas.52

Almi uppger till Riksrevisionen att SCB ursprungligen fick uppdraget eftersom det var de som hade tillgång till data. Jämförbarheten över tid anges som ett skäl för varför man har behållit SCB som utförare. Almi beskriver att de litar på SCB:s erfarenhet, att SCB använder den metod som är bäst lämpad för uppgiften och att man uppfattar att SCB står för en metodik som är allmängiltig. SCB uppger till Riksrevisionen att de använder den metod som beställaren önskar, men även att de givit råd vad gäller metodfrågor. SCB betonar emellertid att det inte är deras

51 Almi Företagspartner AB, Års- och hållbarhetsredovisning (2016, 2017, 2018, 2019, 2020).

52 Intervju med företrädare för Almi, 2019-04-09 och 2020-03-02.

R I K S R E V I S I O N E N

29

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

roll att göra utvärderingar eller effektskattningar.53 Ytterst menar man att det är Almis ansvar om effektmätningarna har använts för att dra slutsatser om effekter.54

Eftersom Tillväxtanalys inte är utförare av statliga insatser och program används inte utvärderingarna på samma sätt som på utförande myndigheter som Tillväxtverket och Vinnova. Myndigheten uppger att utvärderingarna till större delen (ca 75–80 procent) är egeninitierade, men att man återkommande har kommunikation med Regeringskansliet för att bekräfta den övergripande inriktningen. Projektidéer granskas av ett vetenskapligt råd innan de godkänns.55 Tillväxtanalys får även direkta regeringsuppdrag som återrapporteras direkt till Regeringskansliet, även om Regeringskansliet uppger att dessa på senare år har minskat i omfattning.56 Rapportutkast granskas även av en referensgrupp. Tillväxtanalys kommunicerar utvärderingarna i flera olika rapportserier och anordnar även seminarier, varav vissa är öppna för allmänheten.57

Tillväxtverkets utvärderingar rör alltid insatser som myndigheten ansvarar för. Tillväxtverket uppger att effektutvärderingar och rapporter används löpande, inte sällan redan innan de är klara, till exempel i syfte att kommunicera till involverade parter såsom regioner och andra stödmottagare. Materialet kan ibland användas som ingångsmaterial i analyser som genomförs av Tillväxtanalys. Vidare anordnar Tillväxtverket så kallade lärkonferenser från det att ett första rapportutkast tagits fram, med deltagare från Tillväxtverket, Regeringskansliet, regioner och andra myndigheter. Tillväxtverket presenterar också enskilda rapporter på Regeringskansliet. När det gäller uppföljningen av de nationella projekten står det ibland i direktiven att de ska återrapporteras, ibland ses det som underförstått. Uppföljningar används enligt Tillväxtverket även i viss mån på Regeringskansliet som ledning för hur nya uppdrag ska formuleras. Men i regel är det tjänstemän hos Tillväxtverket som är de primära användarna av rapporterna.58

Användningen av de egna rapporter hos Tillväxtverket försvåras enligt de intervjuer vi gjort av att myndigheten saknar ett centraliserat bibliotek. Det finns en publikationsdatabas, men på grund av tekniska begränsningar i systemet är det svårt att hitta en specifik rapport om man inte vet vad man letar efter. Detta är något som våra intervjupersoner uttryckte stor frustration över.59

Hos Vinnova används effektutvärderingar, enligt de företrädare vi intervjuat, av dem som är närmast ansvariga för genomförandet av insatser. Detta gäller både

53 Intervju med företrädare för SCB, 2020-09-01.

54 Mejl från företrädare för SCB 2020-11-18.

55 Intervju med företrädare för Tillväxtanalys, 2020-03-04.

56 Intervju med företrädare för Näringsdepartementet, 2020-08-20.

57 Intervju med företrädare för Tillväxtanalys, 2020-03-04.

58 Intervju med företrädare för Tillväxtverket, 2020-03-10 och 2020-03-16.

59 Intervju med företrädare för Tillväxtverket, 2020-03-10.

30 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

vidare- och nyutveckling av programinsatser liksom för underlag i analyser för policyförslag. Myndigheten uppger att den ofta har workshopseminarier med många personer involverade, ibland även med tjänstemän från Regeringskansliet. Ansvariga tjänstemän från Vinnova för respektive program finns med, så att de kan samverka och förbättra det framtida arbetet. Även interna seminarier genomförs. Utöver detta genomför myndigheten så kallade tolkningsseminarier där externa gäster bjuds in. Dessa innebär en ytterligare kvalitetssäkringsfunktion för rapporterna, men blir också ytterligare en kanal för att sprida rapporterna.60 Vinnova kommunicerar även sina resultat i olika rapportserier.

4.2 Använder Regeringskansliet effektutvärderingar?

För att få svar på frågan hur Regeringskansliet använder sig av rapporterna har Riksrevisionen granskat ägar- och myndighetsdialoger med Almi och de granskade myndigheterna. Riksrevisionen har även intervjuat ansvarig myndighetshandläggare för respektive myndighet.

Almis effektmätningar som utförs av SCB verkar främst användas för återrapporteringen i budgetpropositionen. Regeringen beskriver dem som en uppföljning av ”tillväxteffekter i Almis kundföretag”.61

Myndighetshandläggare för Tillväxtanalys betonar att myndigheten är

en expertmyndighet och att Regeringskansliet sällan har någon invändning mot hur utvärderingarna genomförs. Man uppger att det är positivt att Tillväxtanalys har en oberoende ställning gentemot andra myndigheter men betonar att det är viktigt att deras utvärderingar är policyrelevanta.62 Enligt Tillväxtanalys presenteras de flesta av deras rapporter på Regeringskansliet, oftast på Tillväxtanalys initiativ.63 Regeringskansliet uppger att Tillväxtanalys utvärderingar används främst

i budgetpropositioner. Detta beskrivs även av Tillväxtanalys, som dock uppfattar att deras rapporter tenderar att användas selektivt.64

Beträffande Tillväxtverket är det sakhandläggare för särskilda frågor som är mottagare av utvärderingarna och det är upp till dem att bestämma hur utvärderingarna ska användas.65 I budgetpropositionerna används en lägesrapport, vilket är en uppföljning som myndigheten tar fram.66

Regeringskansliet uppger att man använder sig av Vinnovas effektutvärderingar på flera sätt: i nästan varje budgetproposition hänvisas till Vinnova.

60 Intervju med företrädare för Vinnova, 2020-03-05.

61 Se exempelvis budgetproposition för 2017, prop. 2016/17:1, utgiftsområde 24.

62 Intervju med företrädare för Näringsdepartementet, 2020-08-20.

63 Intervju med företrädare för Tillväxtanalys, 2020-03-04.

64 Ibid.

65 Intervju med företrädare för Näringsdepartementet, 2020-08-28.

66 Se exempelvis prop. 2016/17:1, utgiftsområde 24.

R I K S R E V I S I O N E N

31

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

Utvärderingarna bygger i regel på långa tidsserier, men Vinnovas rapporter är användbara i brist på analyser som ligger närmare i tid. De forskningspolitiska propositionerna använder sig ibland av Vinnovas rapporter. Effektutvärderingar som kommer till myndighetshandläggarna ”skickas till alla som är berörda”.67 För sakhandläggare i särskilda frågor utgör utvärderingarna viktiga underlag. Rapporterna används också mer generellt för uppföljningen av myndighetens arbete.

4.3 Använder regering och riksdag effektutvärderingar i offentliga dokument?

För att få en systematisk överblick över i vilken utsträckning regeringen använder sig av de effektutvärderingar som ingår i granskningen har Riksrevisionen utfört en automatiserad textanalys med hjälp av Riksdagens öppna data.68 Analysen undersöker hur ofta regering, men även riksdag, refererar till någon av de effektutvärderingar som ingår i granskningen. Vi undersöker även om, och

i så fall i vilken utsträckning, studier som inte själva gör anspråk på att vara effektutvärderingar används av regering och riksdag, som om de

vore effektutvärderingar.

Analysen täcker betänkanden, Departementsserien, motioner, propositioner och skrivelser från regeringen, skriftliga frågor samt Statens offentliga utredningar (SOU). Perioden som genomsöks sträcker sig från riksdagsåret 2014/15, då effektutvärderingar som ingår i granskningen tidigast kan förekomma, till och med hela riksdagsåret 2019/20. Se bilaga 2 för en närmare beskrivning av hur textanalysen har gått till.

4.3.1 Regeringen använder effektutvärderingar endast i låg utsträckning

Sökningen efter utvalda effektutvärderingar görs med hjälp av rapporternas titlar och indexnummer i respektive myndighets rapportserie. Tabell 4 visar, för Almi och de tre myndigheterna, hur ofta regering och riksdag refererar till någon av effektutvärderingarna som ingår i granskningen.

67 Intervju med företrädare för Näringsdepartementet, 2020-08-24.

68 Riksdagen, ”Riksdagens öppna data”, hämtat 2020-08-30.

32 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Tabell 4 Referenser till de granskade utvärderingarna från riksdagens dokument under perioden 2015–2020. För varje cell anges antal både totalt antal referenser (före snedstrecket) och antal dokument som innehåller minst en referens (efter snedstrecket).

	Antal dok.	Almi/SCB	Tillväxtanalys	Tillväxtverket	Vinnova
Betänkanden	1 967	1/1	3/3	0/0	0/0
Departementsserien (DS)	266	0	1/1	0/0	0/0
Motioner	18 127	0	0/0	0/0	0/0
Propositioner	1 171	5/5	6/3	0/0	3/3
Skriftliga frågor	16 441	0/0	0/0	0/0	0/0
Statens offentliga	580	0/0	2/2	1/1	1/1
utredningar (SOU)

Källa: Riksdagens öppna data. Riksrevisionens bearbetning.

Tabellen visar att det är stora variationer i vilka effektutvärderingar som används av regeringen. Almis effektmätningar utförda av SCB förekommer i 5 olika propositioner – samtliga budgetpropositioner under perioden. Effektmätningarna refereras i regel till som ”uppföljningen av tillväxteffekter” i Almis kundföretag.69 Även riksdagen refererar i ett betänkande till SCB:s effektmätningar, och då som ”redovisning av vilka effekter [anslaget 1:20 Bidrag till företagsutveckling och innovation] fått”.70 Detta kan ställas i kontrast mot att SCB uppger att effektmätningarna inte ska tolkas som att de mäter effekter.71

Tillväxtanalys refereras i dokument både från riksdag och regering, men ytterst sporadiskt givet deras stora produktion. Även här är det främst

i budgetpropositionerna, där effektutvärderingar från Tillväxtanalys används för att återrapportera resultat från regional- och näringspolitiken. Det finns även referenser till effektutvärderingarna i riksdagens betänkanden och i enstaka utredningar (Departementsserien och Statens offentliga utredningar). De två effektutvärderingar från Tillväxtanalys som uppnådde samtliga av Riksrevisionens kvalitetskrav används båda, både av riksdagen i tre betänkanden och av regeringen i två av sex referenser till effektutvärderingar från Tillväxtanalys. Resterande fyra referenser i propositioner till effektutvärderingar från Tillväxtanalys är till studier som uppnår två av tre nödvändiga kvalitetskrav.72

69 Prop. 2015/16:1, prop. 2016/17:1, prop. 2017/18:1, prop. 2018/19:1, prop. 2019/20:1. Även

i budgetpropositionen för 2021 (prop. 2020/21:1), som alltså inte ingår i tabell 1, förekommer samma formulering.

70 Riksdagens bet. 2017/18:nu1.

71 Intervju med företrädare för SCB, 2020-09-01.

72 Den referens som förekommer i en utredning från Departementsserien uppnår två av tre krav, och de två referenserna från SOU syftar båda till samma effektutvärdering, som uppnår ett av tre krav.

R I K S R E V I S I O N E N

33

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

Tillväxtverkets effektutvärderingar förekommer mycket sällan i regeringens och riksdagens dokument. Detta kan delvis förklaras med att deras mottagare inte främst är riksdag eller regering, utan de används i stället internt eller för uppföljning gentemot EU (för regionalfonden). Tillväxtverket anordnar emellertid seminarier där tjänstemän från Regeringskansliet bjuds in, vilket gör att Regeringskansliet torde vara medvetna om effektutvärderingarna.

Vinnova, slutligen, förekommer endast i tre propositioner och en statlig utredning, men eftersom urvalet för Vinnova endast består av fem effektutvärderingar är detta betydligt högre andel än för Tillväxtanalys och Tillväxtverket. Två av dessa referenser gäller samma studie, som inte uppnår något av Riksrevisionens uppställda kvalitetskrav. Den tredje är den studie av Vinnova som i tabell 1 bedöms uppnå två av tre nödvändiga krav. Som nämnts tidigare gäller det även för Vinnova att det egna lärandet också är ett viktigt användningsområde för rapporterna.

Sammanfattningsvis refererar regeringen sällan till effektutvärderingar från de granskade myndigheterna från åren 2015–2018. Detta innebär att effektutvärderingar används i låg utsträckning i officiella dokument både för återrapportering och för att motivera nya insatser.73

4.3.2 Regeringen drar ibland slutsatser om effekter från rapporter som inte är avsedda som effektutvärderingar

Föregående avsnitt fastställer att regeringen i låg utsträckning använder de effektutvärderingar som ingår i granskningen. Detta utesluter dock inte att regeringen använder andra rapporter. I detta avsnitt redovisas i vilken utsträckning regeringen använder andra underlag från de granskade myndigheterna för att uttala sig om effekter. Denna analys söker i texterna efter ord och formuleringar som brukar användas i detta sammanhang, såsom variationer av ”effekt”, ”orsaka”, ”leda till” etc. Resultatet har därefter granskats manuellt för att hitta de träffar som faktiskt är uttalanden om effekter. Se bilaga 2 för en mer detaljerad beskrivning. Resultatet av denna analys visas i tabell 5.

73 En möjlig invändning skulle kunna vara att propositioner ofta är kortfattade och indirekt kan bygga på effektutvärderingar även om sådana inte anges i propositionstexten. Det som talar emot denna invändning är att även offentliga utredningar, som ofta ligger till grund för lagförslag, har få referenser till de effektutvärderingar som ingår i granskningen.

34 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Tabell 5 Referenser från propositioner till rapporter från de granskade myndigheterna publicerade under granskningsperioden som inte klassificerats som effektutvärdering

i denna granskning, men som används som sådana av den refererande texten. För varje cell anges antal både totalt antal träffar (före snedstrecket) och antal unika propositioner (efter snedstrecket).

	Antal dok.	Tillväxtanalys	Tillväxtverket	Vinnova
Propositioner	1 171	0/0	4/2	0/0

Källa: Riksdagens öppna data. Riksrevisionens bearbetning.

Tabell 5 visar att regeringen använder Tillväxtanalys och Vinnovas utvärderingar som dessa var avsedda. Samtliga skrivningar om effekter som bygger på rapporter från Tillväxtanalys eller Vinnova använder sig av en utvärdering som ingår i denna granskning. I ett par fall där glidande formuleringar om effekter förekommer kan detta spåras till oklarheter i källrapporten.74 När det gäller Tillväxtverket har inget av de fyra fall där regeringen använder Tillväxtverket som källa för effekter täckning för detta: källorna gör inga sådana anspråk.

Almis effektmätningar är något av ett specialfall i detta avseende. Om effektmätningarna inte är att betrakta som effektutvärderingar, vilket deras upphovsman SCB anser, ska samtliga av regeringens referenser till dem tolkas som missvisande – de används då felaktigt som källor för effekter. Regeringen använder dem dock i enlighet med hur de presenteras av Almi.

4.3.3 Otydlighet i rapporterna riskerar att leda till felaktig användning

Vi har beskrivit hur Almis effektmätningar tolkas på olika sätt av de inblandade aktörerna: SCB menar att de inte ska tolkas som effektutvärderingar, men dess beställare Almi, liksom Almis intressent, regeringen, använder dem som evidens för effekter. I samtliga referenser till dessa effektmätningar som vi funnit

i textanalysen, både från regeringen och riksdagen, tolkas SCB:s effektmätningar som att de mäter effekten av Almis verksamhet på kundföretagen.75 Vi har även beskrivit hur Almis årsredovisning hänvisar till SCB:s effektmätningar som att de följer upp ”Almis effekt på företagens tillväxt”.76

Denna brist på samsyn kan ställas i relation till otydlighet hos effektmätningarna själva. Som beskrivits i avsnitt 1.4.1 har de titeln Effektmätning och använder typiska metoder från effektutvärdering såsom matchning. Man definierar också

74 Exempel är hur Tillväxtanalys rapporter 2016:03 och 2016:04 refereras till i budgetpropositionen för 2017 (prop. 2016/17:1 UO19), vilket beskrivs i följande avsnitt.

75 Regeringen hänvisar till ”SCB:s mätning av tillväxteffekter” i budgetpropositionerna för 2015–2020. Exempel: ”På uppdrag av Almi genomför Statistiska centralbyrån årligen en uppföljning av tillväxteffekter i Almis kundföretag. I undersökningen 2013 mättes effekter i företag som blev kunder 2009” (prop. 2014/15:1). För riksdagen, se exempelvis ur bet. 2017/18:nu1: ”Detta kompletteras till viss del med redovisning av vilka effekter det fått (t.ex. Statistiska Centralbyråns effektmätning).”

76 Årsredovisning Almi Företagspartner AB (2016, 2017, 2018, 2019, 2020).

R I K S R E V I S I O N E N

35

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

”kontrollgrupper”, vilket definitionsmässigt innebär just att en sådan grupp ska kunna användas för att ”kontrollera” för det utfall de behandlade företagen skulle haft om de inte fått stöd (från vilket effekter kan beräknas). Samtidigt uttrycker rapporterna visst förbehåll vad gäller huruvida ”kontrollgrupperna” är representativa för Almis kundföretag och man skriver aldrig explicit att man härlett effekter. I intervju med Riksrevisionen uppger SCB att det är olyckligt om Almi tror att ”effektmätningen” mäter effekter. SCB uppger även att man har anledning att vara självkritiska och att man inte borde använt ”effektmätning” som titel på rapporten.77

Studier från Tillväxtanalys är i regel tydliga om vilka slutsatser som kan dras från den statistiska analysen. Det förekommer emellertid att rapporter är otydliga med om vad som faktiskt följer av rapporten med avseende på effekter, vilket riskerar att föras vidare av regeringen i sin återrapportering till riksdagen. Ett exempel är Effekter & erfarenheter – slututvärdering av satsningen med regionala riskkapitalfonder 2009–15 (rapport 2016:03) från Tillväxtanalys, som används i budgetpropositionen för 2017. Här understryks visserligen att ”datamaterialet egentligen inte tillåter några slutsatser i detta tidiga skede” och att resultaten ”bör därför tolkas med mycket stor försiktighet”. Men rapporten har likväl titeln ”Effekter och erfarenheter”, använder uttryck som ”tentativa effekter” och ”effekter” inom citattecken. För en läsare blir det mycket svårt att veta hur det senare ska tolkas – är det en effekt, ett samband eller något annat? När Tillväxtanalys använder denna typ av skrivsätt kan det handla om att statistiska antaganden inte är uppfyllda. Om så är fallet har emellertid skattningar från matchningsmetoder i regel ingen meningsfull tolkning alls – de kan alltså inte ens tolkas som samband – och ordet ”effekter” blir då missvisande.

Vi har ovan beskrivit hur regeringen ibland refererar till studier av Tillväxtverket på ett sätt som inte är rättvisande. Det kan delvis bottna i otydlighet i hur dessa rapporter skriver om effekter. I rapporter från eller beställda av Tillväxtverket finns det generellt ofta en otydlighet i huruvida rapporten ger evidens för effekter. Som beskrivs i avsnitt

3.1 förekommer i de granskade utvärderingarna ofta språkliga glidningar mellan utfall, förutsättningar till effekter och faktiska effekter. En av de studier som regeringen felaktigt använder som källa för påståenden om effekter, Tillväxtverkets Finansiering för regional tillväxt 2016, har delvis liknande otydlighet. Studien använder kontrollgruppansats, vilket är en typisk metod för effektutvärdering. Dock är studien mycket tydlig med att dess resultat inte bör tolkas som effekter. I regeringens budgetproposition för 2018 (prop. 2017/18:1) används denna rapport för att uttala sig om effekter: ”Skillnader i utveckling mellan företag som fått stöd och kontrollgrupperna […] mäter stödens effekter på sysselsättning”.78 Regeringen drar här alltså slutsatser om effekter som studien uttryckligen avråder från. Men studien använder likväl ordet ”kontrollgrupp”, vilket definitionsmässigt innebär att effekten bör kunna härledas på det sätt som regeringen gör.

77 Intervju med företrädare för SCB, 2020-09-01.

78 Prop. 2017/18:1, s. 38.

36 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Sammantaget bör därför regeringens ibland missvisande användning av källor förstås i ljuset av denna otydlighet i några av rapporterna.

4.3.4 Svårigheter att identifiera källor till anspråk om effekter

I den andra delen av textanalysen, där Riksrevisionen söker efter samtliga källhänvisningar som rör effekter, framkom att propositionerna ibland saknar tydliga källhänvisningar. Detta inkluderar budgetpropositionernas återrapporteringar om näringspolitiska insatser. Följande formulering från budgetpropositionen för 2017 (prop. 2016/17:1) är representativ för dessa fall: ”I en slutrapport som redovisades till Regeringskansliet (Näringsdepartementet) i december 2015 har Tillväxtanalys studerat …”. Här finns alltså ingen explicit källhänvisning.

I många fall kan källan likväl identifieras, men det är inte alltid möjligt. Detta bör ställas i relation till riksdagens tidigare nämnda önskemål att regeringen ska återrapportera effekterna av näringspolitiken.

R I K S R E V I S I O N E N

37

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

5 Slutsatser och rekommendationer

Riksrevisionens övergripande slutsats är att det under den granskade perioden finns stora brister i de effektutvärderingar av näringspolitiken som genomförs av de myndigheter som ingår i granskningen. Endast 2 av 37 granskade utvärderingar uppnår de grundläggande krav som Riksrevisionen ställt upp för att en effektutvärdering ska kunna anses vara tillförlitlig. Riksrevisionen gör därför bedömningen att statliga myndigheters utvärderingar av näringspolitiken i regel inte uppnår grundläggande krav för att kunna anses vara tillförlitliga som effektutvärderingar. Skillnaderna är dock stora mellan myndigheterna, där utvärderingarna från Tillväxtanalys uppvisar en högre kvalitet. Sammantaget bedömer Riksrevisionen att effektutvärderingar som är utförda eller beställda av Almi/SCB, Tillväxtverket och Vinnova under perioden 2015–2018 endast i liten utsträckning uppnår de mest grundläggande kraven som kan ställas på

en effektutvärdering. Effektutvärderingar från Tillväxtanalys uppfyller i regel de två lägre av de tre krav som vi ställt i granskningen, men har i flera fall brister i analysen.

Vidare bedömer Riksrevisionen att regeringen i låg utsträckning använder effektutvärderingar i sin återrapportering till riksdagen. När regeringen refererar till effektutvärderingar är man ibland oklar med vilken källan är och regeringen drar ibland mer anspråksfulla slutsatser än vad det finns täckning för

i utvärderingarna.

5.1 Effektutvärderingarna från de granskade myndigheterna och Almi

5.1.1 SCB:s effektmätningar åt Almi Företagspartner används som effektutvärderingar men är inte tillförlitliga som sådana

Almi uppdrar årligen åt Statistiska centralbyrån att utföra en så kallad effektmätning som sedan återges i bolagets årsredovisning. Dessa effektmätningar återrapporteras också regelbundet i regeringens budgetpropositioner. Bolaget uppger att SCB utför detta uppdrag sedan 1990-talet. Vår bedömning är att dessa effektmätningar inte är tillförlitliga som effektutvärderingar eftersom de kontrollgrupper som används troligen inte är representativa för Almis kundföretag. Detta framgår av material som redovisas i rapporterna själva.

Effektmätningarna gör, utöver sin titel, inga uttalade påståenden om effekter, men de presenteras av Almi som om de vore belägg för effekter av Almis verksamhet. De använder sig också av typiska metoder och termer från effektutvärderingslitteraturen, såsom kontrollgrupper och matchning, vilket riskerar att vilseleda mottagarna av

38 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

rapporterna.79 SCB har uppgett till Riksrevisionen att det är olyckligt om Almi tror att ”effektmätningen” faktiskt mäter effekter, men säger också att man borde använt ett annat namn på rapporterna.

Almis effektmätningar används i regeringens budgetpropositioner som belägg för ”tillväxteffekter” av Almis verksamhet, och riksdagen hänvisar till effektmätningarna som att de redovisar ”effekter” av anslaget till Almis verksamhet. Almi återrapporterar resultatet av effektmätningarna i sin årsredovisning som ”uppföljning av Almis effekt på företagens tillväxt”. Riksrevisionen konstaterar därför att om Almis effektmätningar inte ska betraktas som effektutvärderingar är kommunikationen kring dem missvisande för så viktiga mottagare som regering och riksdag.

5.1.2 Relativt hög kvalitet hos Tillväxtanalys men utrymme för förbättring

Tillväxtanalys är den enda myndighet där någon av de granskade utvärderingarna uppfyller samtliga av Riksrevisionens uppställda nödvändiga krav. Det är dock endast i 2 av 13 granskade utvärderingar som samtliga krav uppnås. I övrigt uppfyller de flesta effektutvärderingar från Tillväxtanalys som vi har granskat två av de tre nödvändiga krav vi satt upp för effektutvärderingar. I regel har alltså effektutvärderingarna från Tillväxtanalys en kontrafaktisk ansats med

en kontrollgrupp, och statistiska antaganden motiveras i de flesta fall. Eftersom de ofta utvärderar icke-experimentella situationer finns det sällan naturliga kontrollgrupper. Av denna anledning använder myndigheten övervägande matchningstekniker för att skapa en syntetisk kontrollgrupp. I flertalet effektutvärderingar finns det dock brister i att motivera de statistiska antaganden som är nödvändiga för att denna metod ska vara trovärdig. Riksrevisionen bedömer därför att det finns utrymme för Tillväxtanalys att höja den analytiska nivån på sina effektutvärderingar ytterligare.

Det förekommer också att Tillväxtanalys är otydliga när det gäller vilka slutsatser som kan dras om effekter från en given rapport. Detta resulterar i otydlighet och riskerar att vilseleda mottagarna av rapporten. I synnerhet skrifter som delvis riktar sig till lekmän och politiska beslutsfattare, såsom Tillväxtanalys rapportserie, bör undvika sådana källor till förvirring.

79 Användning av kontrollgrupper signalerar, per definition, att kontrollgruppen är jämförbar med kundföretagen och ger därmed en falsk uppfattning om att man mäter effekten av Almis verksamhet.

R I K S R E V I S I O N E N

39

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

5.1.3 Hög konsultanvändning och låg kvalitet på effektutvärderingar från Tillväxtverket och Vinnova

Nästan samtliga granskade effektutvärderingar från Tillväxtverket och Vinnova har gjorts av eller i samarbete med konsulter. Riksrevisionen bedömer att ingen av dessa utvärderingar uppnår alla de tre krav vi ställt upp. Vi bedömer dessutom att endast ett mindre antal av dem, oavsett utförare, uppfyller det allra lägsta kravet. Detta krav handlar om att utvärderingarna ska ha en kontrafaktisk ansats, det vill säga att resultatet av den åtgärd som undersöks ställs i relation till det utfall som skulle observerats om åtgärden inte ägt rum. En metod för detta behöver inte vara vare sig kvantitativt eller kvalitativt avancerad – det har i vår bedömning räckt med att någon slags jämförelse görs med en annan grupp, eller över tid. Majoriteten av utvärderingarna saknar dock varje sådan jämförelse och är därför inte tillförlitliga i detta avseende.

Utvärderingar som inte har kontrafaktisk ansats är i regel utformade som intervjuer med de inblandade aktörerna, där företagare som erhållit stöd får uttala sig om huruvida de anser att stödet gav positiva effekter. Riksrevisionen bedömer emellertid att detta är otillräckligt som grund för att dra slutsatser om effekter. Det förekommer även språkliga otydligheter om huruvida slutsatser om effekter kan dras eller ej.

Tillväxtverket har, enligt egen utsago, efter 2016 gjort förändringar avseende hur insatser planeras så att de lättare ska kunna följas upp. Myndigheten menar också att man höjt kompetensen vad gäller att beställa effektutvärderingar, liksom generellt inom utvärderingsområdet. Detta ska enligt myndigheten ha lett till

en betydande kvalitetshöjning på utvärderingar som genomförts efter 2018, och som därmed inte ingår i den period som Riksrevisionen har granskat.80 Riksrevisionen kan konstatera att för den period som granskats, år 2015–2018, uppvisar Tillväxtverkets effektutvärderingar ingen förändring i kvalitet över tid. Tillväxtverket uppgav även i mars 2020 till Riksrevisionen att de konsulter som vunnit upphandlingarna i deras nya inköpssystem för konsulter (Dynamiskt inköpssystem, DIS) är i princip samma som vann i det gamla systemet, och att dessa är de konsulter som man uppfattar stå för högst kvalitet.81 Riksrevisionen kan bekräfta att dessa konsulter är bland de utförare som Tillväxtverket anlitat oftast även 2015–2018.

80 Telefonmöte med företrädare för Tillväxtverket, 2020-11-23.

81 Intervju med företrädare för Tillväxtverket, 2020-03-10.

40 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

5.2 Regeringens användning av effektutvärderingar

Riksdagen har uttryckt önskemål om att näringspolitiken i högre grad bör effektutvärderas. Mot bakgrund av detta bedömer Riksrevisionen att regeringen har använt effektutvärderingarna på ett otillräckligt sätt för att återrapportera effekter till riksdagen.

De enskilda produkter som regeringen oftast nämner när den återrapporterar effekter av näringspolitiken är de effektmätningar som SCB årligen utför åt Almi. Dessa används återkommande i framför allt budgetpropositionerna där de ofta refereras till som ”uppföljningen av tillväxteffekter i Almis kundföretag”. Riksrevisionen bedömer dock att dessa inte är tillförlitliga som effektutvärderingar, och de bör därför inte användas för att redovisa effekter av näringspolitiska insatser.

Effektutvärderingar från Tillväxtanalys refereras i dokument från regeringen, men ytterst sporadiskt givet deras stora produktion. Även här är det främst fråga om budgetpropositionerna, där effektutvärderingar från Tillväxtanalys används för att återrapportera resultat från regional- och näringspolitiken. Effektutvärderingar från Tillväxtverket används ännu mer sällan, vilket dock kan vara relaterat till att regeringen inte är den huvudsakliga mottagaren för dessa rapporter.

Vi konstaterar slutligen att påståenden om effekter i propositioner i flera fall görs utan att texten anger vilken källa som finns för påståendet. Det innebär att det kan vara svårt eller ibland omöjligt för läsaren att hitta den ursprungliga utvärderingen.

5.3 Sammanfattande slutsatser

Riksrevisionen bedömer att det finns stora skillnader mellan myndigheter vad gäller kvaliteten på utförda effektutvärderingar. Tillväxtanalys är regeringens expertmyndighet vad gäller utvärdering av näringspolitiken och har till skillnad från Almi och de övriga granskade myndigheterna uppdrag om effektutvärdering inskrivet i sin instruktion. De utvärderingar som publiceras av Tillväxtanalys håller också en högre kvalitet än de utvärderingar som kommer från de andra granskade myndigheterna. Regeringen bör därför överväga att låta Tillväxtanalys ta ett samlat ansvar över effektutvärdering av näringspolitiken. Detta vore i linje med det förslag som Statskontoret förde fram år 2016. Därmed skulle Tillväxtverket

och Vinnova kunna fokusera på andra typer av uppföljningar.

Det är möjligt att de frågor som ligger inom Almis, Tillväxtverkets och Vinnovas områden kräver särskild kompetens. Till exempel studerar Vinnova ofta entreprenörer och små nystartade företag. Här kan det vara särskilt svårt att hitta kontrollgrupper med hjälp av matchning, och många små innovativa företag har kort överlevnad vilket leder till statistiska skattningsproblem. En liknande problematik finns även för Tillväxtverkets och Almis verksamhet. Även om arbetet med effektutvärdering skulle koncentreras till Tillväxtanalys finns det därför goda

R I K S R E V I S I O N E N

41

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

skäl till att de myndigheter vars verksamhet effektutvärderas också är inblandade i utvärderingsprocessen, även om de själva inte leder den. Ett tätare samarbete skulle också underlätta för myndigheterna att tillvarata lärdomar från effektutvärderingar för att förbättra befintliga och kommande åtgärder.

5.4 Rekommendationer

Riksrevisionen lämnar följande rekommendationer till Almi Företagspartner, myndigheterna och regeringen.

Rekommendation till Almi Företagspartner AB

• Säkerställ att syfte och begränsningar tydligt framgår för olika typer av återrapporteringar, till exempel i bolagets årsredovisning. Om syftet avser effekter av verksamheten bör återrapporteringen grundas på effektutvärderingar av en utförare som har beprövad kompetens i detta.

Rekommendation till Tillväxtanalys

• Säkerställ att kvaliteten i myndighetens effektutvärderingar höjs ytterligare.

Rekommendationer till Tillväxtverket och Vinnova

• Anlita och/eller samarbeta med Tillväxtanalys för utvärderingar av effekter.

• Säkerställ att andra typer av utvärderingar och uppföljningar inte gör anspråk på att uttala sig om effekter, och att deras syften och begränsningar kommuniceras tydligt.

Rekommendationer till regeringen

• Säkerställ att Tillväxtanalys i större utsträckning används för att utvärdera effekter av näringspolitiska insatser. Detta skulle öka förutsättningarna att samla en kritisk massa av kompetens för att effektutvärderingarna ska hålla tillräcklig kvalitet.

• Återrapportera i högre grad och med ökad tydlighet, inklusive källhänvisning, resultaten av väl utförda effektutvärderingar till riksdagen.

• Förtydliga syftet med uppföljningar av näringspolitiska insatser. I den mån regeringen vill ha uppföljningar av annan karaktär än effektutvärderingar bör detta tydligt framgå.

• Tydliggör i Almis ägaranvisning vad syftet är med att använda jämförelsegrupper. Om syftet är att undersöka effekten av Almis verksamhet bör kontrollgrupper inte specificeras i ägaranvisningen utan bestämmas i det enskilda fallet av korrekt utförda effektutvärderingar.

42 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Referenslista

Utredningar och rapporter (se även bilaga 3)

Ekonomistyrningsverket, Effektutvärdering – Att välja upplägg, ESV 2006:8, Ekonomistyrningsverket, 2006.

Riksrevisionen, Almi Företagspartner AB och samhällsuppdraget, RiR 2007:15, Riksrevisionen, 2007.

Riksrevisionen, Näringspolitikens effekter – Brister i informationen om statliga satsningar, RiR 2014:26, Riksrevisionen, 2014.

Riksrevisionen, Statliga stöd till innovation och företagande, RiR 2016:22, Riksrevisionen, 2016.

Riksrevisionen, Jämställdhet i Almis låneverksamhet – otydlig styrning och återrapportering, RiR 2019:7, Riksrevisionen, 2019.

SOU 2018:79, Analyser och utvärderingar för effektiv styrning.

Statskontoret, Uppföljning av regionala tillväxtåtgärder – Med fokus på resultaten, 2016:28, Statskontoret, 2016.

Tillväxtanalys, Effekter & erfarenheter – slututvärdering av satsningen med regionala riskkapitalfonder 2009–15, 2016:03, Tillväxtanalys, 2016.

Tillväxtanalys, Resultatutvärdering av regionala strukturfondsprogram 2007–13, 2016:04, Tillväxtanalys, 2016.

Tillväxtanalys, Förslag till förbättrad utvärdering av näringspolitiska insatser, PM 2018:13, Tillväxtanalys, 2018.

Riksdagstryck

Bet. 2017/18:NU12, Oberoende utvärderingar bör göras av innovations- och företagsstöd, rskr. 2017/18:238.

Budgetlagen (2011:203).

Prop. 2015/16:1, Budgetpropositionen för 2016, bet. 2015/16:NU1.

Prop. 2016/17:1, Budgetpropositionen för 2017.

Prop. 2017/18:1, Budgetpropositionen för 2018, bet. 2017/18:NU1.

Prop. 2018/19:1, Budgetpropositionen för 2019.

Prop. 2019/20:1, Budgetpropositionen för 2020, bet. 2019/20:NU1. rskr. 2019/20:123, rskr. 2019/20:124.

Prop. 2020/21:1, Budgetpropositionen för 2021.

R I K S R E V I S I O N E N

43

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

Regleringsbrev och ägaranvisningar

Bolagsordning för Almi Företagspartner AB, antagen på bolagsstämma den 23 april 2015.

Regeringsbeslut N2014/1066/AS, N2014/5260/AS och N2014/5296/KLS (delvis), Regleringsbrev för budgetåret 2015 avseende Myndigheten för tillväxtpolitiska utvärderingar och analyser inom utgiftsområde 24 Näringsliv.

Regeringsbeslut N2015/08864/AS, N2015/08707/KLS (delvis) och N2015/07193/AS, Regleringsbrev för budgetåret 2016 avseende Myndigheten för tillväxtpolitiska utvärderingar och analyser inom utgiftsområde 24 Näringsliv.

Regeringsbeslut Fi2014/4528 (delvis), Regleringsbrev för budgetåret 2015 avseende Statistiska centralbyrån.

Regeringsbeslut Fi2015/05652/RS (delvis), Regleringsbrev för budgetåret 2016 avseende Statistiska centralbyrån.

Regeringsbeslut Fi2016/04581/RS (delvis), Regleringsbrev för budgetåret 2017 avseende Statistiska centralbyrån.

Regeringsbeslut Fi2017/04757/RS, Regleringsbrev för budgetåret 2018 avseende Statistiska centralbyrån.

Regeringsbeslut Fi2018/03884/RS, Regleringsbrev för budgetåret 2019 avseende Statistiska centralbyrån.

Regeringsbeslut N2014/5259/ENT, N2014/5296/KLS (delvis), N2014/5297/KLS (delvis), N2014/1123/ENT, N2014/1706/ENT, N2014/1022/ENT och N2014/2329/ENT, Regleringsbrev för budgetåret 2015 avseende Tillväxtverket inom utgiftsområde 24 Näringsliv.

Regeringsbeslut N2014/5256/FIN, N2014/5296/KLS (delvis), N2014/4460/FIN, N2014/1114/FIN och N2014/898/FIN, Regleringsbrev för budgetåret 2015 avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv.

Regeringsbeslut N2015/08872/IF, N2015/08707/KLS (delvis), N2015/01735/IF och N2014/01913/IF, Regleringsbrev för budgetåret 2016 avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv.

Regeringsbeslut N2016/07981/IFK, N2016/07822/KLS (delvis), N2016/01356/IFK och N2016/00588/IFK, Regleringsbrev för budgetåret 2017 avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv.

Regeringsbeslut N2017/07677/IFK, N2017/07556/KLS (delvis) och N2017/01381/IFK, Regleringsbrev för budgetåret 2018 avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv.

44 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Regeringskansliet, Ägaranvisning för Almi Företagspartner AB (Almi), bilaga B. Antagen vid bolagsstämma den 24 april 2014, 2014.

Regeringskansliet, Ägaranvisning för Almi Företagspartner AB. Antagen vid bolagsstämma den 23 april 2015.

Regeringskansliet, Ägaranvisning för Almi Företagspartner AB. Antagen vid bolagsstämma den 20 april 2016.

Regeringskansliet, Ägaranvisning för Almi Företagspartner AB. Bilaga till Protokoll den 10 mars 2017, § 5, 2016/03278/BSÄ (delvis). Antagen vid bolagsstämma den 20 april 2017.

Regeringskansliet, Ägaranvisning för Almi Företagspartner AB. Antagen vid bolagsstämma den 27 april 2018.

Regeringskansliet, Ägaranvisning för Almi Företagspartner AB. Bilaga till protokoll 2020-04-07 i ärende N2019/01840/ BSÄ (delvis). Antagen vid bolagsstämma den 27 april 2020.

Regeringskansliet, Ägaranvisning för Almi Företagspartner AB. Bilaga till protokoll 2020-06-09 i ärende N2020/01267/BSÄ (delvis). Antagen vid bolagsstämma den 17 augusti 2020.

Årsredovisningar

Almi Företagspartner AB, Års- och hållbarhetsredovisning 2015, 2016. Almi Företagspartner AB, Års- och hållbarhetsredovisning 2016, 2017. Almi Företagspartner AB, Års- och hållbarhetsredovisning 2017, 2018. Almi Företagspartner AB, Års- och hållbarhetsredovisning 2018, 2019. Almi Företagspartner AB, Års- och hållbarhetsredovisning 2019, 2020.

Webbplatser

Almi Företagspartner AB, ”Effektmätning”, https://www.almi.se/nyheter/nationella/effektmatning-2019/, hämtad 2020-11-24.

Riksdagen, ”Riksdagens öppna data”, https://data.riksdagen.se/, hämtad 2020-08-30.

Övrigt

Näringsdepartementet, Översyn av Tillväxtanalys: Myndigheten för Tillväxtpolitiska Utvärderingar och Analyser, dnr 2015/08118/SA, promemoria, 2015.

R I K S R E V I S I O N E N

45

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

46 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Bilaga 1. Kontrafaktiska metoder för effektutvärdering

I denna bilaga beskrivs kortfattat några vanliga metoder för att uppskatta effekter. Tonvikten ligger på kvantitativa metoder, men något sägs också om kvalitativa metoder.

En effekt av en insats är något som inträffat som en följd av insatsen som annars inte skulle ägt rum. Annorlunda uttryckt har ordet ”effekt” alltid en kausal innebörd – det är ett påstående om ett orsaksförhållande.

Ett tillstånd som inte inträffat, men skulle ha inträffat om en insats inte ägt rum, kallas för det kontrafaktiska tillståndet. Detta tillstånd är alltså något som, per definition, inte är observerbart. Skillnaden mellan det observerade utfallet och det kontrafaktiska utfallet är effekten av insatsen. Att uttala sig om effekter är därmed ekvivalent med att gissa, skatta eller härleda det kontrafaktiska utfallet, och varje sådan härledning vilar därmed på antaganden. Att uttala sig om effekter enbart utifrån förändring av ett utfall över tid är alltså detsamma som att implicit anta att det tidigare utfallet skulle förblivit oförändrat om insatsen inte ägt rum. I de flesta fall är detta inte ett realistiskt antagande. Flera av de kvalitativa utvärderingar vi granskat drar slutsatser genom att enbart utnyttja behandlingsgruppens resultat före och efter insatsen, vilket alltså inte är en tillförlitlig metod för att dra slutsatser om effekter.

Statistiska metoder för att beräkna effekter

När statistiska metoder används beräknas det kontrafaktiska utfallet matematiskt, utifrån givna antaganden. Skattningens osäkerhet kan också kvantifieras. Som beskrivits ovan vilar ett påstående om effekter alltid på antaganden. En fördel med statistiska metoder är emellertid att sådana antaganden måste göras explicita, eftersom en statistisk estimator härleds matematiskt. Detta gör att antaganden enklare kan granskas med avseende på deras rimlighet. En annan fördel med statistiska metoder är att osäkerheten i effektskattningen kan undersökas på ett systematiskt sätt och vi kan få ett konfidensintervall som säger inom vilka gränser effekten troligen ligger – givet de antaganden som görs. De statistiska antaganden som krävs för att härleda det kontrafaktiska tillståndet kallas för identifierande antaganden, och en väl utförd studie bör tydliggöra dessa för läsaren. Identifierande antaganden kan i regel inte formellt testas, men det är alltid möjligt att föra informella resonemang, och ofta att göra statistiska tester, som kan göra det mer eller mindre troligt att antagandena håller.

R I K S R E V I S I O N E N

47

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

I exemplen som ges nedan föreställer vi oss att vi vill utvärdera en insats som riktar sig till företag – den så kallade behandlingsgruppen, eller behandlade företag. Det vanligaste sättet att beräkna ett kontrafaktiskt utfall är att titta på utfallet

i en kontrollgrupp – en grupp företag som inte omfattats av insatsen.

Regression med kontrollvariabler

Det enklaste sättet att statistiskt skatta en effekt är att använda en enkel regression där både behandlade och ej behandlade företag ingår, och jämföra skillnaden mellan grupperna i medelvärdet på det utfall som undersöks. Detta kan utvidgas med att använda så kallade kontrollvariabler för att absorbera eventuellt inflytande på utfallet från andra faktorer. Denna metod vilar emellertid i regel på mycket starka antaganden.

Det stora problemet med denna metod är att den kräver att kontrollvariablerna fullständigt absorberar alla skillnader i det undersökta utfallet mellan grupperna som inte beror på insatsen. I praktiken är det i regel omöjligt att veta vilka alla dessa kontrollvariabler är, att veta på vilken funktionell form de ska specificeras och att verifiera om denna kontrollmekanism i slutändan verkligen fungerat.

Givet dessa problem är det svårt att föreställa sig tillfällen då denna metod är giltig. Undantaget är om man av ett yttre skäl vet att kontrollgruppen är representativ för behandlingsgruppen. Det tydligaste exemplet på detta är när behandlings- och kontrollgrupper har randomiserats fram i ett experiment. Till denna kategori hör endast någon enstaka studie från Tillväxtverket och Tillväxtanalys.

Matchning

En vanlig metod för att hitta en kontrollgrupp är att för varje behandlat företag hitta ett så kallat tvillingföretag som inte tagit del av insatsen men är tillräckligt likt det behandlade företaget för att kunna användas som representant för hur det behandlade företaget skulle utvecklats om det inte fått behandling. Matchningsmetoder använder observerade utfall (variabler) för behandlade företag och ej behandlade företag, och väljer som kontrollgrupp de ej behandlade företag som ligger så nära de behandlade företagen som möjligt. För att implementera ”tillräckligt lik” måste vi alltså jämföra flera utfall samtidigt och därmed göra någon slags aggregering, vilket olika matchningsmetoder gör på olika sätt.

Problemet är dock att det faktum att två företag varit lika historiskt inte garanterar att de skulle varit lika även i framtiden. Det identifierande antagandet är inte att grupperna är lika, utan hur väl kontrollgruppen kan användas för att prediktera behandlingsgruppens utfall. Det är därför viktigt att matchningsmetoder inte endast undersöker hur lika tvillingföretagen är med avseende på de utfall som använts för matchningen – dessa kommer ju att trivialt vara lika genom den

48 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

metod som används82 – utan även på utfall som inte använts för matchningen. Detta innebär att vi måste utelämna variabler från matchningsproceduren för att sedan använda dem för validering.83

Utöver detta tillkommer andra antaganden. För att kontrollgruppen ska vara giltig får det inte ha inträffat någon annan händelse samtidigt som insatsen som påverkat behandlings- och kontrollgrupperna olika. I så fall riskerar vi att räkna in detta som effekter av insatsen. Slutligen är det viktigt att visa eller argumentera för att kontrollgruppen förblev oförändrad av insatsen och inte påverkades indirekt.

I praktiken är detta sista antagande ofta inte uppfyllt, eftersom företagen i kontrollgruppen nästan alltid är verksamma på samma marknad som behandlingsgruppen. Exempelvis kan företag som inte får del av en insats missgynnas om deras konkurrenter får det.

Riksrevisionen ställer inte upp kravet att effektutvärderingar ska ta hänsyn till alla dessa aspekter. Däremot bör en effektutvärdering, för att vara trovärdig, beakta dessa problem i någon utsträckning. I synnerhet är det inte tillräckligt att visa att kontrollgruppen och behandlingsgruppen är lika varandra med avseende på variabler som använts i matchningsprocessen eftersom det identifierande antagandet handlar om huruvida kontrollgruppen kan användas för att prediktera behandlingsgruppens utfall.

Matchning kombineras ofta med en annan vanlig metod: skillnad i skillnader (eng. difference in differences). Med denna metod behöver kontrollgruppen inte efterlikna nivån på behandlingsgruppens utfall, utan den förändring i utfall som behandlingsgruppen skulle haft om insatsen inte ägt rum. Därmed kan det identifierande antagandet göras något svagare: kontrollgruppens utfall måste inte vara så lik behandlingsgruppens så att de har samma nivå, men de måste påverkas på exakt samma sätt av externa faktorer (till exempel konjunkturläge). För att få en indikation på om detta antagande är rimligt undersöks om gruppernas utfall historiskt rört sig parallellt (vilket förutsätter att man inte använt detta utfall

i matchningsprocessen).84

De flesta effektutvärderingar från Tillväxtanalys använder matchningsmetoder, ofta i kombination med skillnad i skillnader. Även SCB:s effektmätningar använder ofta en slags informell matchning, dock utan att göra någon statistisk inferens eller hypotestest.

82 Om gruppen av ej behandlade företag är tillräckligt stor kommer de flesta kombinationer av utfall kunna hittas, och därmed kommer vi kunna hitta en tvilling till de flesta behandlade företag.

83 Lämpligen utelämnas alltså den variabel som vi är intresserade av att finna effekten på, eftersom det är just denna variabel vi vill prediktera för behandlingsgruppen.

84 Metodens namn kommer från hur den beräknar insatsens effekt: Gruppernas förändring över tid fås genom skillnaderna i utfall före och efter insatsen för respektive grupp. Eftersom övriga faktorer antas påverka grupperna symmetriskt kan därmed skillnaden av gruppernas förändringar tolkas som insatsens effekt.

R I K S R E V I S I O N E N

49

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

Kvalitativa ansatser

Även en kvalitativ studie kan, i princip, använda ett kontrafaktiskt angreppssätt för att uppskatta effekter. Exempelvis kan en intervjustudie för att undersöka effekter av företagsstöd intervjua både företag som tog del av insatsen och liknande företag som ej tog del av den. Likaså kan enkäter eller intervjuer genomföras vid flera tillfällen för att mäta utvecklingen över tid, förutsatt att det görs även för andra, liknande företag för att kunna identifiera, och hantera, allmänna trender.

Ett problem med kvalitativa ansatser är dock att det ofta är svårt att precisera de antaganden som görs. Exempelvis när en intervjustudie undersöker ”liknande” företag kan detta inte exakt preciseras eller verifieras, till skillnad från en kvantitativ studie där ”likhet” kan testas formellt med hjälp av statistiska metoder. En kvalitativ ansats uppnår i regel inte heller samma exakthet som kvantitativa studier. Anledningen är att de ofta undersöker ”mjukare” utfall såsom ökat samarbete, kvalitet etc. Vidare har kvalitativa ansatser i regel inte en systematisk metod för att uppskatta osäkerheten i de bedömningar som görs, medan statistiska metoder har ett vedertaget ramverk för att kvantifiera osäkerhet i form av konfidensintervall och hypotestest. De flesta effektutvärderingar från Tillväxtverket faller under denna kategori.

50 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Bilaga 2. Textanalysen i detalj

Datamaterial

Textanalysen använder sig av Riksdagens öppna data (2020) – en fritt tillgänglig datamängd som riksdagen tillhandahåller. Datamängden är avsedd att bestå av samtliga dokument av olika dokumenttyper, såsom propositioner, motioner, riksdagens betänkanden, offentliga utredningar och fler. Den data som används i granskningen är textfiler som enheten för Riksdagens öppna data har översatt från de offentliga PDF-filerna. Textfiler, till skillnad från PDF, innehåller inte någon möjlighet till formatering vilket innebär att varje sådan översättning måste hantera flera olika utmaningar, som hur kolumner text, tabeller, faktarutor och annat ska representeras i ett enda textflöde. Det är därför inte förvånande att textfilerna genomgående har översättningsproblem.

Problemen handlar oftast om meningar som bryts itu av tomma rader, avstavningar som översatts som två ord (”häm-ta” blir ”hämta”), ligaturer (ff, fi) som försvunnit etc. Exempelvis kan ordet ”effekt” förekomma i den översatta texten som ”eekt”. Detta ställer stora krav på den metod som används.

Men ibland är problemen större: vissa textfiler består endast av ett felmeddelande från det översättningsprogram som använts och det ursprungliga dokumentinnehållet saknas helt. Det finns heller ingen dokumentation om vilka dokumentfiler som har förlorats. Riksrevisionen har identifierat dessa filer och med hjälp av loggfilerna från Riksdagens öppna data identifierat de ursprungliga PDF-filerna, varpå de översatts till textfiler av oss.

Textanalysen täcker, från riksdagsåret 2014/15 till riksdagsåret 2019/20, samtliga betänkanden, Departementsserien, motioner, propositioner och skrivelser från regeringen, skriftliga frågor samt Statens offentliga utredningar (SOU). Totalt har därmed 38 552 riksdagsdokument granskats.

Sökning efter granskningens urval av effektgranskningar

Textanalysen har implementerats i programspråket Python och genomförs med hjälp av en typ av sökuttryck som inom datavetenskapen kallas för reguljära uttryck. Reguljära uttryck tillåter att en textsträng kan beskrivas på ett mycket generellt sätt och möjliggör därmed betydligt mer flexibla sökningar än vad som vore möjligt genom att bara söka efter nyckelord. Som ett exempel beskriver det reguljära uttrycket ”\w*effekt(?!iv)\w*” alla ord som innehåller ”effekt” men inte ”effektiv”. Detta ger alltså träff på ”effekt”, ”effektgranskning” och ”tillväxteffekter”, men inte ”resurseffektivitet”. För att kunna hantera mer komplexa översättningsproblem,

R I K S R E V I S I O N E N

51

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

som avstavningsproblemet, används en metod där ett komplext sökuttryck automatiskt genereras från ett enklare.85

SCB:s effektmätningar utförda åt Almi refereras ofta, i exempelvis regeringens budgetpropositioner, utan att titeln anges utan man hänvisar i stället till ”mätningen av tillväxteffekter” eller dylikt. Att söka efter ordet ”Effektmätning” skulle alltså inte fungera. Vi har i stället utgått ifrån förekomster av ordet ”Almi” inom 50 tecken eller radbrytningar från sammansättningar av ordet ”effekt” (men ej om detta följs av ”iv”, det vill säga ”effektiv”).86 Utifrån detta genereras ett komplext sökuttryck som är robust mot avstavningar.

När vi sökt efter utvalda effektutvärderingar från Tillväxtanalys, Tillväxtverket och Vinnova har vi sökt efter både rapportens titel och index i myndighetens rapportserie. Det är viktigt att söka på båda eftersom det händer att riksdagsdokument refererar till rapporter med endast titel eller rapportindex. Titelmatchningen har gjorts så generell som möjligt genom att matcha på en så liten del av titeln som möjligt eftersom referenser ibland inte anger den fullständiga titeln. Vi tillåter även alternativa teckenkodningar, med mera.

Sökning efter samtliga effektreferenser

I denna andra del av textanalysen vill vi hitta samtliga skrivningar

i ett riksdagsdokument där man använder en källa från Tillväxtanalys, Tillväxtverket eller Vinnova för att uttala sig om effekter. Eftersom vi här söker efter en intention i texten måste denna del i högre utsträckning bygga på en semantisk analys: vilka språkliga formuleringar tenderar att användas när man uttalar sig om effekter?

Idén har varit att söka efter avsnitt där myndighetens namn förekommer tillräckligt nära ett ”effektord” – ett ord eller en fras som används för att kommunicera effekter, såsom ”orsaka”, ”leda till” eller liknande. Tabell 6 är en förteckning över de ord och fraser som använts. I den högra kolumnen i tabellen anges hur flexibel sökningen tillåts vara med avseende på det ordet. Exempelvis tillåts alla möjliga sammansättningar av ordet ”effekt”, såsom ”effektstudie” och ”tillväxteffekter”. För ”konsekvens” däremot tillåts sammansättningar endast före ordet och böjningar efter. Här vill vi alltså fånga upp ord som ”konsekvenser” men inte exempelvis ”konsekvensneutralitet”. Även här har sökningen tagit hänsyn till fel som kunnat uppstå då de ursprungliga PDF-filerna transkriberats till textfiler.

85 För att exempelvis hitta alla möjliga avstavningar av ”effekt” krävs ett sökuttryck av typen

”e (-\s*)?f(-\s*)?f(-\s*)?e(-\s*)?k(-\s*)?t”. För längre sökord som rapporttitlar blir det alltså snabbt svårhanterligt.

86 En sådan sökning lyckas exempelvis hitta följande stycke från budgetpropositionen för 2016 (prop. 2015/16:1): ”Den årliga uppföljningen av tillväxteffekter i Almis kundföretag, som Statistiska centralbyrån gör på uppdrag av Almi, visar att för de företag som blev kunder under 2010 har omsättningen ökat med 24 procent under perioden 2009–2013.”

52 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Tabell 6 Sökord som används för att finna effektreferenser.

Alstra	Inklusive sammansättningar före, böjningar efter
Effekt	Inklusive sammansättningar före och efter
Ge upphov till	Inklusive böjningar av ”ge” (”gav upphov till” etc.)
Generera	Inklusive sammansättningar före, böjningar efter
Konsekvens	Inklusive sammansättningar före, böjningar efter
Kontrafaktisk	Inklusive sammansättningar före, böjningar efter
Korrelation	Inklusive sammansättningar före, böjningar efter
Leda till	Inklusive böjningar av ”leda” (”ledde till” etc.)
Medföra	Inklusive sammansättningar före, böjningar efter
Orsak	Inklusive sammansättningar före och efter (inkl. ”orsaka” med avledningar)
Resultera	Inklusive sammansättningar före, böjningar efter
Samband	Inklusive sammansättningar före, men undanta när det förekommer som del
	i frasen ”i samband med”
Skapa	Inklusive sammansättningar före, böjningar efter, men undanta när det
	förekommer som del i fraserna ”skapa (bra/goda/bättre) förutsättningar”,
	”skapa grogrund”, ”skapa problem”
Utvärdera	Inklusive sammansättningar före, böjningar efter
Utvärdering	Inklusive sammansättningar före och efter, men undanta när det förekommer
	som del i frasen ”Myndigheten för tillväxtpolitiska utvärderingar” (del
	i Tillväxtanalys fullständiga namn)

Att myndighetsnamnet är ”tillräckligt nära” effektordet implementeras genom att avståndet mellan dem får vara maximalt ett givet antal tecken. Hur denna parameter – maximalt antal tecken – väljs spelar en stor roll för resultatet. Ett för stort tillåtet avstånd resulterar i en trubbig sökning med många träffar, där de flesta inte kommer vara relevanta. Ett för litet avstånd å andra sidan riskerar att missa viktiga referenser. Parametervalet blir alltså en avvägning mellan falska negativa (missade referenser) och falska positiva (irrelevanta träffar).

Riksrevisionen har valt att göra en bred sökning för att minimera risken att vi missar viktiga referenser. Avståndet mellan myndighetsnamn och ett ”effektord” tillåts därför vara upp till 200 tecken. Priset för denna generella ansats blir därmed ett stort mått av brus, vilket har resulterat i ett större manuellt arbete för att gå igenom sökresultatet och rensa ut irrelevanta träffar.87

87 För Tillväxtanalys, Tillväxtverket och Vinnova var andelen felträffar 192 av 198, 504 av 508 respektive 194 av 197. Det ska dock noteras att ett antal av dessa felträffar (ca 3–5 per myndighet) utgjordes av referenser till effektutvärderingar som faller utanför vår granskningsperiod 2015–2018.

R I K S R E V I S I O N E N

53

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

Är den metod som används tillförlitlig?

Sökningen efter utvalda effektutvärderingar från Tillväxtanalys, Tillväxtverket och Vinnova utnyttjar både rapporternas titlar och deras index i respektive myndighets rapportserie. Det förekommer dock att rapporter refereras till utan vare sig titel eller rapportindex, utan i stället genom formuleringar som ”en utvärdering som kom förra året av X”. I sådana fall finns det risk för att metoden inte fångar upp de rapporterna, och att Riksrevisionen därmed underskattar användningen

av effektutvärderingar.

Vi har garderat oss mot denna risk på flera sätt: sökningen efter utvalda effektutvärderingar har kompletterats med en allmän sökning av samtliga referenser som rör effekter. Eftersom den allmänna sökningen inte bygger på titel- eller indexsökningen kunde vi här fånga upp ytterligare två referenser till urvalet som vi missat med den mer specifika metoden. Vi har dessutom validerat resultatet från textsökningen på två sätt. Budgetpropositionerna för granskningsperioden granskas manuellt. Vi har även fått återkoppling från myndighetshandläggaren för Tillväxtanalys som specificerat vilka rapporter från Tillväxtanalys som använts i budgetpropositionerna. I båda fallen bekräftades de sammantagna resultaten från den automatiska textanalysen. Mot bakgrund av detta bedömer Riksrevisionen att den metod som använts ger en rättvisande bild av hur de utvalda effektutvärderingarna har använts.

Den generella sökningen efter effektreferenser är svårare att verifiera. Några ledtrådar finns emellertid. Eftersom den generella sökningen ska vara mer allmän bör den finna även de referenser som titelsökningen finner. Så sker också.

Vi kan också få en indikation på hur stort problemet med missade referenser är genom att undersöka hur andelen falska negativa och falska positiva förändras när

viändrar på det maximalt tillåtna avståndet. Det bör noteras att detta inte testar känsligheten med avseende på de ord och fraser som används, men det ger en indikation på huruvida vi borde tillåtit ett ännu större avstånd mellan myndighetsnamn och effektord. Det visar sig att när vi går från 50 till 200 för det maximalt tillåtna avståndet upptäcks inga nya referenser för någon myndighet men antalet felträffar ökar mångfaldigt. För till exempel Tillväxtverket ökar antalet totala träffar från 156 till 508 träffar. Genom att välja högsta avstånd 200 har vi alltså, visar det sig i efterhand, valt en hög grad av säkerhet i analysen.

54 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Bilaga 3. Förteckning över effektutvärderingar som ingår i granskningen

Almi och Statistiska centralbyrån

Effektmätning 2015

Effektmätning 2016

Effektmätning 2017

Effektmätning 2018

Tillväxtanalys

Sambanden mellan entreprenörskap och insolvensregler, PM 2015:02 Var gör innovationsstöden mest nytta, PM 2015:17

Med varm eller kall hand?, PM 2015:18

Effects of foreign acquisitions on R & D and high-skill activities, PM 2015:19 Impact of the VAT reform on Swedish restaurants, PM 2015:25 Kunskapsöverföring för tillväxt, PM 2016:12

Främja kvinnors företagande – utvärdering av affärsutveckling för aktiva företag, PM 2016:15

Främja kvinnors företagande – utvärdering av insatser inom Entreprenörskap vid universitet och högskola, PM 2016:16

Firms' responses to privateand government-sponsored Venture Capital, PM 2017:02

Utländska uppköp i svenskt näringsliv – hot eller möjlighet?, PM 2017:12

Ekonomisk utveckling efter inkubation – analys av företag i det nationella inkubatorprogrammet, PM 2018:02

Does incubation lead to innovation, PM 2018:20

Främja kvinnors företagande – resultat av affärsutvecklings- och innovationsinsatser, PM 2018:21

Dessa används i följande rapporter från Tillväxtanalys: Sverige i en sammanlänkad värld, Rapport 2016:05 Inkubatorer – ett sätt att skapa tillväxt?, Rapport 2018:04

R I K S R E V I S I O N E N

55

E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T

Främja kvinnors företagande – gjorde programmet någon nytta, Rapport 2018:05 Effekter av direktinvesteringar på svenskt näringsliv, Rapport 2020:03

Tillväxtverket

Utvärdering av sju pilotprojekt, Lärdomar från jämställdhetsintegrering av företagsfrämjande verksamhet

Regionala riskkapitalfonder – Slututvärdering 2015 Utvärdering av Företagsjouren

Utvärdering av affärsutvecklingscheckar Livsmedelacceleratorn 2014–2016 Utvärdering av mikrobidrag

Samverkanseffekter inom Regionalfonden: en utvärdering

Utvärdering av hållbar stadsutveckling i regionalfonden – utvärderingsrapporten Lärande utvärdering av Gröna Fonden (Halvtidsutvärderingen)

Utvärdering – Digitaliseringsprojekt inom regionalfondens tematiska mål 2 och 3

Metodrapport – Utvärdering av nio program, Regionala utvecklingsfonden tematiskt mål 1

Glasrikesmiljonen 1 – uppföljning och sammanfattning av projektet Projektutvärdering Kickstart Digitalisering, pub.nr. 0273 Slututvärdering av SREss, pub.nr. 0271

Utvärdering av Tillväxtverkets insatser för kulturella och kreativa näringar samt för regional kulturdriven tillväxt 2011–2017

Vinnova

Långsiktig utveckling av svenska lärosätens samverkan, VA 2015:03 Effektanalys av Vinnväxt-programmet, VA 2016:03

Hårdare, lättare och snabbare, VA 2017:02

Nationella flygtekniska forskningsprogrammet (NFFP): Effektutvärdering av etapp 5 och 6

Staden som arena för innovation, VR 2018:05

56 R I K S R E V I S I O N E N