E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N
T I L L R I K S D A G E N	B E S L U T A D : 2 0 2 1 - 0 5 - 0 5
	D N R : 3 . 1 . 1 - 2 0 2 0 - 0 0 8 1
	R I R 2 0 2 1 : 1 7

Härmed överlämnas enligt 9 § lagen (2002:1022) om revision av statlig verksamhet m.m. följande granskningsrapport:

Öppna jämförelser i socialtjänsten

– begränsat bidrag till god kvalitet

Riksrevisionen har granskat öppna jämförelser i socialtjänsten. Resultatet av granskningen redovisas i denna granskningsrapport. Den innehåller slutsatser och rekommendationer som avser regeringen och Socialstyrelsen.

Riksrevisor Helena Lindberg har beslutat i detta ärende. Revisionsdirektör Olof Widmark har varit föredragande. Enhetschef Magdalena Brasch, revisor Maria- Medée Almroth och revisionsdirektör Heléne Berg har medverkat i den slutliga handläggningen.

Helena Lindberg

Olof Widmark

För kännedom:

Regeringskansliet; Socialdepartementet

Socialstyrelsen

R I K S R E V I S I O N E N

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Innehåll

Sammanfattning och rekommendationer		4
1	Inledning	7
1.1	Motiv till granskning	7
1.2	Övergripande revisionsfråga och avgränsningar	8
1.3	Bedömningsgrunder	9
1.4	Metod och genomförande	11
1.5	Disposition av rapporten	13
2	Om öppna jämförelser i socialtjänsten	14
2.1	Öppna jämförelser i socialtjänsten växer fram	14
2.2	Målsättningar med öppna jämförelser	15
2.3	Ansvarsfördelning och finansiering	15
2.4	Innehållet i öppna jämförelser – undersökningar och indikatorer	17
3	Vissa förutsättningar för god kvalitet saknas	22
3.1	I huvudsak nationell samsyn om öppna jämförelser	22
3.2	De flesta indikatorer mäter förutsättningar för kvalitet	25

3.3 Minskad uppgiftslämnarbörda, men obalans mellan insamling och användning

	samt frågetecken om datakvaliteten	33
4	Begränsat bidrag till en mer jämlik socialtjänst av god kvalitet	37
4.1	Stor variation i kommunernas användning av öppna jämförelser	38
4.2	Relativt få indikatorer är användbara i kommunernas kvalitetsutvecklingsarbete	43
4.3	Det nationella stödet är inte anpassat till kommunernas behov	51
5	Begränsad nytta för statlig uppföljning och styrning	58
5.1	Socialstyrelsen analyserar resultaten i öppna jämförelser i begränsad utsträckning	58
5.2	Oklar nytta för regeringens uppföljning och styrning	59
6	Slutsatser	62
Referenslista		67
Elektroniska bilagor
Till rapporten finns bilagor att ladda ned från Riksrevisionens webbplats.
Bilagorna kan begäras ut från ärendets akt genom registraturen.

Bilaga 1. Statistik analys: Metod och resultat

R I K S R E V I S I O N E N

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Sammanfattning och rekommendationer

Öppna jämförelser i socialtjänsten är en sammanställning av indikatorer som Socialstyrelsen tar fram i samverkan med Sveriges Kommuner och Regioner (SKR) för att bidra till kvalitetsutveckling av socialtjänsten. Granskningen visar att öppna jämförelser ger ett visst, men begränsat, bidrag till en mer jämlik socialtjänst av god kvalitet. Socialstyrelsen bör utveckla öppna jämförelser till

ett mer ändamålsenligt medel för ökad kvalitet i socialtjänsten, och regeringen bör ge Socialstyrelsen bättre förutsättningar för denna utveckling.

Granskningens resultat

Öppna jämförelser ska användas av kommunerna till uppföljning, jämförelser och utveckling av socialtjänsten och bör svara mot deras behov. De ska samtidigt vara ett medel för statens styrning med kunskap och användas för nationell uppföljning och styrning. Granskningen visar att öppna jämförelser fyller

ett behov för såväl kommunerna som staten. Eftersom det finns få alternativ till de årliga nationella mätningar som öppna jämförelser utgör bedömer vi att de bör finnas kvar, men dess bidrag till kvalitetsutveckling kan bli större.

För en enskild kommun är nyttan av öppna jämförelser begränsad i förhållande till antalet indikatorer som används, och den tid som läggs på inrapportering av resultat. Kommunerna uppfattar vad staten anser är viktigt för högre kvalitet

i socialtjänsten och jämför sig med andra kommuner. Men våra analyser visar att kommunerna inte tydligt förbättrar sina resultat i öppna jämförelser över tid eller i förhållande till jämförbara kommuner. Det visar att statens kunskapsstyrning och kommunjämförelserna inte har så stort genomslag. Öppna jämförelser har även minskat i betydelse för kommunerna, och de används i begränsad omfattning för statlig uppföljning och styrning.

Brist på individbaserad statistik och evidensbaserade metoder begränsar Socialstyrelsens möjligheter att utveckla indikatorer, försvårar kontroll av datakvaliteten och gör datainsamlingen tidskrävande för kommunerna.

Socialstyrelsen hade dock kunnat göra mer och det finns en potential till förbättring. För att öppna jämförelser ska bli ett mer ändamålsenligt medel för kvalitetsutveckling bör Socialstyrelsen kritiskt se över indikatorerna i öppna jämförelser och endast behålla de indikatorer som är till tydlig nytta för kvalitetsutveckling. Socialstyrelsen bör:

• undersöka vilka indikatorer som inte används av och inte är till nytta för kommunerna

• undersöka om och hur de indikatorer som används av kommunerna bidrar till kvalitetsutveckling

4	R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

• undersöka vilka indikatorer som inte används eller uppfylls idag men som kan vara till nytta om de förstås bättre av kommunerna, genom att tydliggöra kopplingen till statens kunskapsstyrning

• ta bort de indikatorer som varken är till nytta för kommunerna, den statliga kunskapsstyrningen eller statlig uppföljning.

Socialstyrelsen har redan påbörjat ett sådant arbete. Kommunerna behöver involveras i det arbetet, och resultatet bör användas för att ge ett mer precist stöd till kommunerna att använda öppna jämförelser för kvalitetsutveckling.

Socialstyrelsen har begränsade rättsliga möjligheter att hämta in och hantera individbaserad statistik från kommunerna. Det påverkar möjligheterna till utveckling av öppna jämförelser och uppföljningen av socialtjänsten i stort negativt. Regeringen bör därför ta initiativ till de lagändringar som krävs för att utöka Socialstyrelsens statistikmandat. Det skulle på sikt troligtvis även underlätta datainsamlingen från kommunerna.

Regeringen bör också vidta åtgärder för att samordna de olika nationella sammanställningar av indikatorer inom socialtjänstområdet som växt fram parallellt med öppna jämförelser. Det skulle minska risken för att det finns olika indikatorsammanställningar med ungefär samma innehåll och därmed brister. Det skulle även göra att kommunerna inte behöver rapportera in liknande information till flera olika undersökningar.

Rekommendationer

För att stärka kvalitetsutveckling i socialtjänsten via öppna jämförelser lämnar Riksrevisionen följande rekommendationer till Socialstyrelsen:

• Gör en kritisk översyn av indikatorerna i öppna jämförelser. Syftet med översynen bör vara att endast indikatorer med tydlig nytta för kommunerna, statens kunskapsstyrning eller nationell uppföljning ska ingå i öppna jämförelser.

• Förbättra och anpassa stödet till kommunerna att använda öppna jämförelser för kvalitetsutveckling med utgångspunkt i översynen av indikatorer.

Riksrevisionen lämnar följande rekommendationer till regeringen:

• Ta initiativ till att ge Socialstyrelsen bättre möjligheter att inhämta och hantera individbaserad statistik.

• Vidta åtgärder för att skapa ett mer sammanhållet system för den indikatorbaserade uppföljningen av socialtjänsten.

R I K S R E V I S I O N E N

5

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

6	R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

1 Inledning

Öppna jämförelser i socialtjänsten är en uppsättning indikatorer som Socialstyrelsen tar fram åt kommuner i samverkan med Sveriges Kommuner och Regioner (SKR).1 De ska bidra till kvalitetsutveckling och en jämlik socialtjänst av god kvalitet. Det ska uppnås genom att beslutsfattare och verksamhetsutvecklare i kommunerna använder resultaten i öppna jämförelser till uppföljning, jämförelser och utveckling av den egna verksamheten. Det är frivilligt att rapportera till öppna jämförelser, som samlas in och redovisas årligen.2

1.1 Motiv till granskning

De sammantagna kostnaderna för socialtjänsten uppgick 2019 till 260 miljarder.3 Insatser inom socialtjänsten ska vara av god kvalitet och kvaliteten i verksamheten ska systematiskt och fortlöpande utvecklas och säkras.4 Det finns därför ett behov av att följa upp och utveckla socialtjänsten.

Öppna jämförelser är ett av få exempel på regelbundna nationella mätningar av socialtjänsten och ska användas av kommunerna för kvalitetsutveckling. De ska samtidigt vara ett medel för statens styrning med kunskap och för nationell uppföljning och styrning. Den potentiella nyttan med öppna jämförelser är därmed stor, men de har kritiserats för att inte uppfylla sitt syfte.

I tidigare utvärderingar riktas återkommande kritik mot öppna jämförelser, bland annat att indikatorerna inte har mätt kvalitet på ett bra sätt, att brister i datakvalitet har försvårat jämförelser och att Socialstyrelsens och SKR:s stöd till kommunerna i att använda öppna jämförelser inte har motsvarat de behov som funnits.5

En vanlig rekommendation i utvärderingarna har varit att på olika sätt förbättra de

1 Det råder viss begreppsförvirring. SKR kallar indikatorsammanställningar inom många politikområden för öppna jämförelser där myndigheter inte gör det. Ett exempel är sammanställningar inom utbildningssektorn.

2

3

Ett undantag är öppna jämförelser för att motverka hemlöshet som genomförs vartannat år. Avser posten ”Vård och omsorg” i kommunernas räkenskapssammandrag för det senaste år som säkerställda uppgifter publicerats. Förutom socialtjänstens områden inkluderar posten även viss hälso- och sjukvård. Statistiska centralbyrån, ”Kostnader och intäkter för kommuner efter region och verksamhetsområde. År 2011–2019.”, hämtad 2021-02-02.

4

5

Se 3 kap. 3 § socialtjänstlagen (2001:453). Dessa krav regleras närmare i (SOSFS 2011:9) Socialstyrelsens föreskrifter och allmänna råd om ledningssystem för systematiskt kvalitetsarbete. Öppna jämförelser nämns som ett lämpligt verktyg i detta arbete.

Se bland annat Vårdanalys, Grönt ljus för Öppna jämförelser? 2012; Vårdanalys, Öppnar jämförelser för ökad kvalitet i vård och omsorg om äldre? 2013; Lindgren, L, Ottosson, M och Salas, O. Öppna jämförelser Ett styrmedel i tiden eller Hur kunde det bli så här? FoU Väst, 2012; Health Navigator, Öppna jämförelser av socialtjänsten – på mottagarens villkor, på uppdrag av Socialstyrelsen, 2014; Lindgren, Lena, Kvalitetsmätningars användning och effekter inom svensk äldreomsorg, Nordiske Organisasjonsstudier, 18 (1): 31–55, 2016.

R I K S R E V I S I O N E N

7

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

ingående delarna i systemet för att på så sätt kunna öka måluppfyllelsen.6 Samtidigt pågår det också en diskussion i forskning och statlig styrning om att mätningar av den typ som öppna jämförelser är ett exempel på till och med kan vara begränsande för kvalitetsutveckling.7 Riksrevisionen har mot denna bakgrund granskat om öppna jämförelser bidrar till en mer jämlik socialtjänst av god kvalitet.

1.2 Övergripande revisionsfråga och avgränsningar

Vår övergripande revisionsfråga är om öppna jämförelser är ett ändamålsenligt medel för utveckling av socialtjänstens kvalitet.

Den besvaras genom tre delfrågor:

1. Har regeringen och Socialstyrelsen skapat goda förutsättningar för att öppna jämförelser ska kunna bidra till en mer jämlik socialtjänst av god kvalitet?

2. Bidrar öppna jämförelser till en mer jämlik socialtjänst av god kvalitet?

3. Bidrar öppna jämförelser till statens uppföljning och styrning av socialtjänsten?

Vi har granskat det som vi betraktar som öppna jämförelsers huvudmål – att bidra8 till högre kvalitet i socialtjänsten. Granskningen omfattar inte öppna jämförelsers övriga mål, att skapa öppenhet och ge förbättrad insyn i offentlig verksamhet, stödja medborgares fria val, stödja forskning och ligga till grund för jämförelser mellan kvinnor och män.9

Inom ramen för delfråga ett har vi granskat hur regeringen och Socialstyrelsen utformat öppna jämförelser i syfte att ge kommunerna förutsättningar att använda dem till kvalitetsutveckling. För att kunna värdera de statliga insatserna har vi inom ramen för delfråga två undersökt hur öppna jämförelser används och bidrar till kvalitetsutveckling i kommunerna. Inom ramen för delfråga tre har vi granskat hur resultaten i öppna jämförelser används av Socialstyrelsen och regeringen.

Granskningen omfattar de delområden i socialtjänsten där det finns öppna jämförelser förutom delområdet kommunal hälso- och sjukvård och de delar av äldreomsorgen som rör den kommunala hälso- och sjukvården.10 Skälen till

6

7

Vårdanalys, Grönt ljus för Öppna jämförelser? 2012; Vårdanalys, Öppnar jämförelser för ökad kvalitet i vård och omsorg om äldre? 2013; Health Navigator, Öppna jämförelser av socialtjänsten – på mottagarens villkor, på uppdrag av Socialstyrelsen, 2014.

Se till exempel SOU 2019:43 och Lindgren, Lena, ”Kvalitetsmätningars användning och effekter inom svensk äldreomsorg”, Nordiske Organisasjonsstudier, 2016.

8 I styrdokumenten för öppna jämförelser anges att de ska stimulera till kvalitetsutveckling. Stimulera till är emellertid ett vagt formulerat mål som det är lätt att uppfylla, och därmed blir mindre relevant att granska mot. Vi utgår i granskningen från att regeringen, Socialstyrelsen och SKR menar att öppna jämförelser ska leda till kvalitetsutveckling. För att betona detta synsätt granskar vi om öppna jämförelser bidrar till god kvalitet i socialtjänsten.

9 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

10 Granskningen omfattar därmed nio delområden. I rapporten avser vi med benämningen öppna jämförelser i socialtjänsten dessa nio delområden.

8	R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

avgränsningen är dels att den kommunala hälso- och sjukvården mer liknar annan hälso- och sjukvård än övrig verksamhet som täcks av öppna jämförelser

i socialtjänsten, dels att vi inte velat belasta kommunernas äldreomsorg för mycket under coronapandemin. Vi har dock beaktat dessa delar av äldreomsorgen

i granskningen när de kommit upp under empiriinsamlingen.11 Vi bedömer att avgränsningen inte påverkar våra generella slutsatser.

Socialstyrelsen reviderade öppna jämförelser i socialtjänsten 2016 och granskningen omfattar därför i huvudsak tiden från och med detta år, men vi beaktar också den historiska utvecklingen innan dess. Eftersom öppna jämförelser är en del av den statliga styrningen med kunskap har vi även granskat hur arbetet med öppna jämförelser samordnas med den övriga statliga kunskapsstyrningen på Socialstyrelsen.

1.3 Bedömningsgrunder

Öppna jämförelser är ett medel som ska kunna tillgodose kraven på att kvaliteten i socialtjänsten systematiskt och fortlöpande utvecklas och säkras, vilket beskrivs i socialtjänstlagen (2001:453).12 Öppna jämförelser har dock inte särskilt reglerats av riksdagen i lag eller av regeringen i förordning. Målsättningarna med öppna jämförelser har istället utvecklats och formulerats inom ramen för en strategi och i handlingsplaner av regeringen, Socialstyrelsen och SKR.13 Vi har utifrån dessa och andra styrdokument14, tidigare utvärderingar av öppna jämförelser, forskning om indikatorbaserad uppföljning samt hur regeringen, Socialstyrelsen och SKR menar att öppna jämförelser ska fungera operationaliserat preciserade bedömningsgrunder.15

11 Det har under granskningens gång visat sig svårt att göra en definitiv avgränsning.

12 Se 3 kap. 3 § socialtjänstlagen (2001:453). Dessa krav regleras närmare i (SOSFS 2011:9) Socialstyrelsens föreskrifter och allmänna råd om ledningssystem för systematiskt kvalitetsarbete. Öppna jämförelser nämns som ett lämpligt verktyg i detta arbete.

13 Arbetsgivarorganisationerna Famna och Vårdföretagarna har också deltagit i detta arbete. Det utvecklas i kapitel 2 i rapporten.

14 Styrdokumenten omfattar strategin för öppna jämförelser, dess handlingsplaner, de mål för öppna jämförelser som Socialstyrelsen anger på sin webbplats samt Socialstyrelsens interna styrdokument.

15 Bedömningsgrunderna har utvecklats utifrån en programteori, eller verksamhetslogik. En verksamhetslogik är uppbyggd kring grundkomponenterna förutsättningar, aktiviteter, prestationer och effekter och uttrycker en tanke om hur dessa delar hänger ihop (logiken). Det är ovanligt att de antaganden om orsak och verkan som ligger bakom en verksamhet finns tydligt beskrivna i styrdokument eller liknande. En verksamhetslogik måste därför beskrivas, eller rekonstrueras. Det innebär att tolka hur verksamheten ifråga är tänkt att fungera. Genom att rekonstruera verksamhetslogiken skapas förståelse för hur det är tänkt att en verksamhet ska nå sina mål. Utifrån denna förståelse är det sedan möjligt att analysera möjligheter och problem med verksamheten (Lindgren, L, Ottosson, M och Salas, O, 2012).

R I K S R E V I S I O N E N

9

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

1.3.1 Preciserade bedömningsgrunder per delfråga

För att öppna jämförelser ska vara ett ändamålsenligt medel för högre kvalitet bör regeringen och Socialstyrelsen i samverkan med SKR skapa goda förutsättningar för att de ska kunna användas av kommunerna. Målen med öppna jämförelser bör vara tydliga. Ansvarsfördelningen mellan Socialstyrelsen och SKR bör vara tydlig och accepteras av parterna och deras samarbete bör fungera väl. Socialstyrelsen bör i samverkan med SKR och kommunerna utveckla indikatorer som mäter relevanta kvalitetsaspekter, se till att datakvaliteten möjliggör jämförelser över tid och mellan kommuner och se till att kommunernas insatser för inrapportering av resultat till öppna jämförelser är rimliga.

Bedömningsgrunder för delfråga 1. Har regeringen och Socialstyrelsen skapat goda förutsättningar för att öppna jämförelser ska kunna bidra till en mer jämlik socialtjänst av god kvalitet?

• Mål och ansvarsfördelning för arbetet med öppna jämförelser är tydliga och accepterade.

• Indikatorerna mäter kvalitet eller förutsättningar för kvalitet.

• Datakvaliteten möjliggör jämförelser över tid och mellan kommuner.

• Kommunernas uppgiftslämnarbörda är rimlig i förhållande till nyttan.

För att öppna jämförelser ska kunna bidra till en mer jämlik socialtjänst av god kvalitet måste kommunerna använda dem för uppföljning och kvalitetsutveckling. Utvecklingen bör även gå att se genom resultatförbättringar över tid för de indikatorer som ingår i öppna jämförelser. Socialstyrelsen och SKR bör också ge kommunerna ett stöd som är anpassat för att kunna använda öppna jämförelser till kvalitetsutveckling.

Bedömningsgrunder för delfråga 2. Bidrar öppna jämförelser till en mer jämlik socialtjänst av god kvalitet

• Kommunerna använder indikatorerna i öppna jämförelser till kvalitetsutveckling.

• Kommunerna förbättrar sina resultat i öppna jämförelser över tid.

• Kommunerna får stöd till att använda öppna jämförelser för kvalitetsutveckling.

På statlig nivå bör regeringen och Socialstyrelsen använda öppna jämförelser för att följa utvecklingen inom socialtjänsten och för styrningsåtgärder.

Bedömningsgrund för delfråga 3. Bidrar öppna jämförelser till statens uppföljning och styrning av socialtjänsten?

• Regeringen och Socialstyrelsen använder öppna jämförelser för uppföljning av socialtjänsten och som underlag för styrning.

10 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

1.4 Metod och genomförande

Öppna jämförelser finns för nio delområden i socialtjänsten och så långt det är möjligt har analyser i granskningen genomförts för alla delområden. För att avgränsa granskningens omfång och öka möjligheterna att dra slutsatser utifrån skillnader mellan olika delområden har vi studerat tre delområden närmare: äldreomsorg, ekonomiskt bistånd och social barn- och ungdomsvård.16 Granskningen har genomförts genom dokumentstudier17, intervjuer och statistiska analyser samt en enkätundersökning. Alla intervjuer i granskningen har genomförts digitalt.

En viktig del i granskningen har varit att få en bild av hur öppna jämförelser används i kommunerna, både generellt och mer specifikt inom de valda delområdena äldreomsorg, ekonomiskt bistånd och social barn- och ungdomsvård. Vi har därför gjort intervjuer i två mindre och en stor kommun18 och tagit del av resultat från en enkätundersökning SKR genomförde med sina medlemmar 2019.19 Utgångspunkt för valet av kommuner var att de använder öppna jämförelser för uppföljning och kvalitetsutveckling. Baserat på övergripande information om användning som vi tagit del av från SKR20 har vi kontaktat kommuner av olika storlek som fått ta ställning till om de velat delta i intervjuer eller inte.

Totalt har 18 kommunföreträdare intervjuats vid 14 intervjutillfällen i form av semistrukturerade intervjuer. Ambitionen har varit att täcka in samtliga nivåer och funktioner som berörs av arbetet med öppna jämförelser. De intervjuade har varit ordförande i socialnämnd, socialchefer, utvecklingschefer, verksamhets- och enhetschefer för olika delområden och särskilt boende för äldre,

16 Grund för valet är att öppna jämförelser används i dessa tre delområden av relativt många kommuner och det finns en variation i typer av indikatorer (resultat, process och struktur) som ingår i öppna jämförelser. (SKR 2019).

17 Dokumentstudierna har bestått av en genomgång och analys av regeringsuppdrag, budgetpropositioner, strategier, handlingsplaner, uppföljningar, utvärderingar samt forskningslitteratur om öppna jämförelser och andra former av indikatorbaserad uppföljning. Vi har även analyserat Socialstyrelsens årsrapporter, interna styrdokument, projektplaner samt de olika produkter myndigheten producerar baserat på resultat från öppna jämförelser. Vi har också gått igenom det stödmaterial Socialstyrelsen och SKR tagit fram till användarna av öppna jämförelser.

18 Urvalet har gjorts med hänsyn till kommunstorlek då storlek förväntas ha betydelse för kommunens förutsättningar att arbeta med öppna jämförelser och dess behov av analysstöd från nationellt och regional håll.

19 SKR:s enkät riktades till samtliga landets kommuner (stadsdelar i Stockholm och Göteborg). Undersökningen syftade till att ta reda på hur kommunerna använder sig av öppna jämförelser. Svarsfrekvens är 67–58 procent för samtliga delområden, bortsett från krisberedskap (43 procent). Undersökningen är den senast genomförda totalundersökningen med samtliga landets kommuner. (SKR 2019).

20 SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019. Vi har tagit del av övergripande information från undersökningen om kommuner som använder öppna jämförelser.

R I K S R E V I S I O N E N

11

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

kvalitetsutvecklare, controller, boendesamordnare samt socialsekreterare för ekonomiskt bistånd respektive social barn- och ungdomsvård.

Som komplement till intervjuerna har vi genomfört en statistisk analys av kommunernas resultat i öppna jämförelser. Med analysen har vi framför allt kunnat underbygga vissa iakttagelser som gjorts i granskningen i övrigt. Vi har också kunnat göra vissa kompletterande iakttagelser. Analysen täcker perioden 2016–2020. Den statistiska analysen har gjorts inom de tre valda delområdena äldreomsorg, ekonomiskt bistånd och social barn- och ungdomsvård, och vi har inom dessa områden valt ut och analyserat ett antal indikatorer. Vi har granskat:

• hur indikatorerna utvecklats över tid

• om resultaten i öppna jämförelser skiljer sig mellan kommuner som uppger att de använder jämförelserna till kvalitetsutveckling och kommuner som uppger att de inte alls använder jämförelserna21

• hur resultaten varierar inom och mellan län och kommungrupper.22

Se bilaga 1 för en mer detaljerad metodbeskrivning av den statistiska analysen.23

I syfte att förstå hur öppna jämförelser utvecklats och används på nationell och regional nivå har vi genomfört intervjuer med företrädare för Socialdepartementet, Socialstyrelsen, SKR, Rådet för främjande av kommunala analyser (RKA) och fyra regionala samverkans- och stödstrukturer (RSS:er). RSS:ernas uppfattning har även fångats via en enkätundersökning.24 Totalt har 20 semistrukturerade intervjuer genomförts med 31 personer. De intervjuade har varit chefer, handläggare eller motsvarande med ansvar för eller annan koppling till öppna jämförelser. Famna och Vårdföretagarna har svarat på frågor via mejl.

Intervjuerna i granskningen har spelats in och därefter nedtecknats. De intervjuade personerna har getts möjlighet att korrigera intervjuanteckningarna, och det är de korrigerade anteckningarna som har legat till grund för vår analys.

Företrädare för Socialdepartementet, Socialstyrelsen och SKR har faktagranskat och i övrigt lämnat synpunkter på ett utkast till granskningsrapport.25 Lena Lindgren, professor i offentlig förvaltning vid Förvaltningshögskolan, Göteborgs universitet, har varit referensperson i granskningen och lämnat synpunkter på ett utkast till granskningsrapport.

21 Enligt SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019.

22 Vi har undersökt två olika kommungruppsindelningar, där den ena följer SKR:s gruppindelning och den andra Socialstyrelsens uppdelning enligt socioekonomisk risk.

23 I bilagan redogör vi också för vilka indikatorer som ingår i urvalet och hur urvalet gjorts.

24 Enkäten genomfördes via ett webbverktyg. Den skickades till 24 kontaktpersoner för RSS:er som arbetar med frågor som rör socialtjänsten och täckte in samtliga 21 regioner. Stockholms och Västra Götalands län har flera regionala samverkans- och stödstrukturer på både regional och delregional nivå. Totalt inkom 13 svar, vilket ger en svarsfrekvens på 54 procent. Svaren täcker in 12 regioner.

25 SKR har enbart tagit del av ett utkast till kapitel 1–5.

12 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

1.5 Disposition av rapporten

I kapitel 2 beskriver vi framväxt, ansvarsfördelning, finansiering, och innehåll i öppna jämförelser. I kapitel 3 redovisar vi iakttagelser för delfråga ett, om regeringen och Socialstyrelsen har skapat goda förutsättningar för att öppna jämförelser ska kunna bidra till en mer jämlik socialtjänst av god kvalitet. I kapitel 4 redovisar vi iakttagelser för delfråga två, om öppna jämförelser bidrar till en mer jämlik socialtjänst av god kvalitet. I kapitel 5 redovisar vi iakttagelser för delfråga tre, om öppna jämförelser bidrar till statens uppföljning och styrning av socialtjänsten. I ett avslutande kapitel redovisar vi våra slutsatser och rekommendationer till regeringen och Socialstyrelsen.

R I K S R E V I S I O N E N

13

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

2 Om öppna jämförelser i socialtjänsten

I detta kapitel beskriver vi framväxt, mål, ansvarsfördelning, finansiering och innehåll i öppna jämförelser som en bakgrund till kommande kapitel.

2.1 Öppna jämförelser i socialtjänsten växer fram

Öppna jämförelser är ett exempel på ett system för indikatorbaserade jämförelser som under 2000-talet blivit ett sätt att följa upp och jämföra olika verksamheters resultat. Begreppet lanserades 2006 när Socialstyrelsen och SKR gemensamt publicerade öppna jämförelser för hälso- och sjukvården. Året efter publicerades öppna jämförelser för vården och omsorgen om äldre.26 År 2009 fick Socialstyrelsen ett femårigt uppdrag att i samarbete med SKR intensifiera utvecklingen av öppna jämförelser inom socialtjänstens olika delområden.27 Uppdraget var en del av regeringens satsning på mer evidensbaserad praktik

i socialtjänsten.28

Under regeringsuppdraget 2009–2014 utvecklade Socialdepartementet, Socialstyrelsen och SKR tillsammans med Famna och Vårdföretagarna en nationell strategi och handlingsplaner med mål, ansvarsfördelning och utvecklingsbehov för öppna jämförelser. När regeringsuppdraget upphörde fortsatte utvecklingen inom ramen för en ny handlingsplan för åren 2015–2018.29 I den förtydligades ansvarsfördelningen och utvecklingsområden och planerade aktiviteter fastställdes. Under dessa år fick Socialstyrelsen tre regeringsuppdrag att utöka och utveckla öppna jämförelser.30 När handlingsplanen upphörde att gälla 2019 övergick öppna jämförelser till att vara en del av Socialstyrelsens generella uppdrag för uppföljning och statistik inom sitt verksamhetsområde. Målsättningar, ansvarsfördelning och inriktning för arbetet har sedan dess

i huvudsak fortsatt att gälla.31

26 Öppna jämförelser för vården och omsorgen om äldre utvecklades av Socialstyrelsen i samarbete med SKR i ett regeringsuppdrag. Från början publicerade Socialstyrelsen och SKR öppna jämförelser i äldreomsorgen i separata rapporter. 2010 samordnades publiceringarna. Socialstyrelsen och SKL, 10 år med öppna jämförelser - vård och omsorg om äldre, 2017.

27 Regeringsbeslut S2009/5079/ST, Uppdrag att intensifiera utvecklingen av öppna jämförelser och ta fram en handlingsplan för ökad tillgång till data av god kvalitet inom socialtjänst m.m, 2009.

28 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

29 Ibid.

30 Uppdragen var att utöka öppna jämförelser till området krisberedskap inom socialtjänsten (Regeringsbeslut S2014/7686/FST, S2014/8929/SAM (delvis)); att redovisa hur man arbetar med jämställdhetsperspektivet i öppna jämförelser (Regeringsbeslut S2014/00197/FS, S2014/01928/FS, S2015/08135/RS (delvis)); att utveckla öppna jämförelser inom missbruks- och beroendevården till att omfatta spelmissbruk (Regeringsbeslut S2015/04635/FST, S2016/07779/RS (delvis)).

31 Intervju med företrädare för Socialstyrelsen 2020-02-21. Intervju företrädare för SKR 2020-02-26.

14 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Som en del av decemberöverenskommelsen32 fick Socialstyrelsen

i regleringsbrevet för 2020 i uppdrag att utreda förutsättningarna för att utveckla öppna jämförelser inom fler områden i socialtjänstlagen med början för HVB- och stödboenden samt för jour- och familjehem.33 Samma år startade Socialstyrelsen ett utvecklingsprojekt för öppna jämförelser i socialtjänsten. Utvecklingsprojektet och regeringsuppdraget har samordnats.

2.2 Målsättningar med öppna jämförelser

Det övergripande målet med öppna jämförelser är att de ska stimulera34 till

en jämlik socialtjänst av god kvalitet. Målet ska uppnås genom att kommunerna använder öppna jämförelser för uppföljning och kvalitetsutveckling. De huvudsakliga målgrupperna för öppna jämförelser är därför främst verksamhetsutvecklare och chefer samt politiker i kommunerna.35

Genom öppna jämförelser ska kommunerna få underlag till uppföljning, utveckling och förbättring av sina verksamheter, kunna följa den egna verksamheten över tid, få specifika indikatorer och mått som belyser verksamhetens kvalitet, få kunskapsunderlag och lära av andra, kunna jämföra sina resultat med andra kommuner eller verksamheter med liknande förutsättningar.36 Öppna jämförelser är också en del av statens styrning med kunskap och ska på nationell nivå kunna användas för att följa trender.37

2.3 Ansvarsfördelning och finansiering

Olika aktörer är involverade i arbetet med öppna jämförelser.

Regeringen fattar beslut och tilldelar de medel som krävs för att arbetet med öppna jämförelser ska kunna genomföras. Regeringen följer upp Socialstyrelsens arbete med öppna jämförelser inom ramen för ordinarie myndighetsdialoger och

i möten där Socialstyrelsen presenterar resultat från öppna jämförelser för Socialdepartementet.

32 Intervju med företrädare för Socialdepartementet, 2020-12-08.

33 Regeringsbeslut S2019/05315/RS, Regleringsbrev för budgetåret 2020 avseende Socialstyrelsen, 2019.

34 Vi granskar om öppna jämförelser bidrar till kvalitetsutveckling. Se not 8.

35 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

36 Ibid.

37 Socialstyrelsen, ”Om öppna jämförelser av socialtjänst och kommunal hälso- och sjukvård”, hämtad 2021-01-18.

R I K S R E V I S I O N E N

15

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Socialstyrelsen tar inom ramen för sitt myndighetsuppdrag fram indikatorer till öppna jämförelser, samlar in uppgifter från kommunerna, presenterar resultat samt ger stöd till kommunerna att använda öppna jämförelser.38

Utvecklingsarbetet och förvaltningen av öppna jämförelser finansieras via Socialstyrelsens förvaltningsanslag. Tidigare finansierades arbetet även till viss del via särskilda medel för regeringsuppdrag.39 Under 2020 uppgick myndighetens kostnader för öppna jämförelser socialtjänst samt hälso- och sjukvård till

8,2 miljoner kronor.

Tabell 1 Socialstyrelsens kostnader för öppna jämförelser 2008–2020 (mnkr)

2008	2009	2010	2011	2012	2013	2014	2015	2016	2017	2018	2019	2020
16,7	15,8	22,7	26,7	27,4	28,8	32,4	20,3	10,8	22,3	16,1	12,3	8,2

Källa: Socialstyrelsen.40

Kommentar: Tabellen visar kostnader för öppna jämförelser socialtjänst samt hälso- och sjukvård exklusive brukar- och enhetsundersökningar. Socialstyrelsen har inte kunnat särredovisa socialtjänsten. Skillnaderna mellan år beror främst på variationer i antal publikationer inom hälso- och sjukvård.

Fram till 2019 organiserades arbetet med öppna jämförelser i socialtjänsten på avdelningen för statistik. När Socialstyrelsen omorganiserades 2019 förlades arbetet med öppna jämförelser till avdelningen för analys. Arbetet är fördelat på tre enheter där en ansvarar för äldreomsorg och funktionshinderområdet, en för kommunal hälso- och sjukvård och en för övriga delområden inom socialtjänsten.41

SKR ansvarar särskilt för att stödja kommuner i att använda öppna jämförelser för analys och förbättringsarbete, både på ledningsnivå och i den brukarnära verksamheten.42 Socialstyrelsen utvecklar öppna jämförelser i samverkan

med SKR.

Vårdföretagarnas roll är att förankra arbetet med öppna jämförelser bland de privata vård- och omsorgsgivarna. Famna har motsvarande roll bland idéburna vård- och omsorgsgivare.43 Dessa organisationer företräder också sina medlemmar vid kontakt med myndigheter och regeringen.

38 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

39 Regeringsbeslut S2009/5079/ST.

40 Socialstyrelsen, årsredovisningar 2008–2018. Svar via mejl från Socialstyrelsen 2021-03-30.

41 Intervjuer med företrädare för Socialstyrelsen, 2020-05-15, 2020-06-02, 2020-06-17. Arbetet med öppna jämförelser för delområdet kommunal hälso- och sjukvård som inte omfattas av granskningen bedrivs på en egen enhet.

42 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

43 Ibid.

16 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Rådet för främjande av kommunala analyser (RKA) driver databasen Kolada där resultat från öppna jämförelser publiceras.

Regionala samverkans- och stödstrukturer (RSS:er) har också en central roll i arbetet med öppna jämförelser. De är regionala samarbetsorgan som byggdes upp inom ramen för samverkansavtal mellan staten och SKR i satsningen på evidensbaserad praktik i socialtjänsten 2010–2016. Uppbyggnaden finansierades delvis av staten, men den statliga finansieringen har upphört.44 RSS:erna stödjer kommunerna på olika sätt, till exempel i att tolka och fylla i de enkäter som ligger till grund för uppgifterna i öppna jämförelser. Arbetet bedrivs i huvudsak på uppdrag av kommunerna inom ett län eller kommunförbund och verksamheten finansieras vanligtvis av kommunerna.45

Arbetet med öppna jämförelser leddes till och med 2018 av en strategisk grupp som bestod av generaldirektören för Socialstyrelsen och motsvarande chefer från SKR, Famna och Vårdföretagarna.46 Socialdepartementet kallades till gruppens möten vid behov. Arbetet med öppna jämförelser koordineras numera i en samverkansgrupp där ansvariga enhetschefer och andra tjänstemän ingår. Socialstyrelsen är sammankallande till möten och Socialdepartementet kallas till gruppen vid behov. RKA ingår i gruppen.

2.4 Innehållet i öppna jämförelser – undersökningar och indikatorer

2.4.1 Fyra årliga enkätundersökningar

Öppna jämförelser sammanställs från olika datakällor. De tas i huvudsak fram genom fyra årliga enkätundersökningar till kommuner, andra verksamheter samt brukare inom socialtjänsten. Samtliga enkätundersökningar är frivilliga att besvara. Inom ekonomiskt bistånd, missbruks- och beroendevård, social barn- och ungdomsvård samt äldreomsorg finns också indikatorer som baseras på befintliga registerdata.47

44 Satsningen genomfördes inom ramen för årliga överenskommelser mellan regeringen och SKR.

45 Många av RSS:erna är organiserade inom tidigare länsuppdelningar, som de gamla kommunalförbunden. De kan också rymmas inom en regions FoU-verksamhet. (Riksrevisionen, Enkätundersökning till regionala samverkans- och stödstrukturer, 2020 och intervjuer med företrädare för RSS:er).

46 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

47 Ekonomiskt bistånd: Socialstyrelsens register över ekonomiskt bistånd och Registret över

totalbefolkningen (SCB); Missbruks-/beroendevård: Patientregistret och Dödsorsaksregistret,

(Socialstyrelsen); Social barn- och ungdomsvård - placerade barn: Läkemedelsregistret och Registret över insatser för barn och unga, (Socialstyrelsen) samt Utbildningsregistret (SCB); Äldreomsorg: Patientregistret, Läkemedelsregistret och Registret över socialtjänstinsatser till äldre och personer med funktionsnedsättning, (Socialstyrelsen); kvalitetsregistren Svenska Palliativregistret, Senior alert, Riksstroke, samt Kommunens egna undersökningar inrapporterade i Kolada (RKA).

R I K S R E V I S I O N E N

17

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Den gemensamma kommunundersökningen om myndighetsutövning skickas till kommunerna (stadsdelar i Stockholm och Göteborg). Enkäten täcker

nio delområden inom socialtjänsten samt den kommunala hälso- och sjukvården: ekonomiskt bistånd, motverka hemlöshet och utestängning från bostadsmarknaden, missbruks- och beroendevården, sociala barn- och ungdomsvården, krisberedskap inom socialtjänsten, stöd till personer med funktionsnedsättning – LSS, stöd till personer med psykisk funktionsnedsättning

– socialpsykiatri, våld i nära relationer, och äldreomsorgen. Kommunundersökningen riktas till socialchef eller motsvarande.

Enhetsundersökningen LSS skickas till verksamheter, dagliga verksamheter och bostäder med särskild service enligt lagen (1993:387) om stöd och service till vissa funktionshindrade (LSS). Enhetsundersökningen om äldreomsorg och kommunal hälso- och sjukvård skickas till hemtjänstverksamheter och särskilda boenden för äldre. Enhetsundersökningarna riktas till verksamhetscheferna på respektive enhet. Brukarundersökningen Vad tycker de äldre om äldreomsorgen? riktas till enskilda brukare inom äldreomsorgen, det vill säga personer som är 65 år och äldre och som har hemtjänst eller bor i särskilt boende för äldre. Även brukarens anhöriga kan svara på enkäten vid behov.

Till största delen omfattar öppna jämförelser i socialtjänsten offentligt driven verksamhet, men enhetsundersökningarna omfattar även privata utförare.

2.4.2 Process-, struktur- och resultatindikatorer

Öppna jämförelser i socialtjänsten som baseras på kommunundersökningen innehåller över 300 indikatorer. Många av indikatorerna används för flera av socialtjänstens delområden och antalet unika indikatorer uppgår till omkring 90.48 Till dessa tillkommer cirka 50 brukarrapporterade indikatorer inom äldreomsorgen, samt omkring 40 indikatorer inom fyra delområden vilka baseras på befintliga register och som publiceras vid separata tillfällen från övriga indikatorer. Indikatorerna kategoriseras av Socialstyrelsen i tre grupper beroende på om de mäter strukturer, processer eller resultat.49 Utöver indikatorer ingår även bakgrundsmått.

Strukturindikatorer ska omfatta de påverkbara förutsättningar och resurser

en verksamhet har, till exempel utrustning, personal, kompetens, riktlinjer och överenskommelser. Många av strukturindikatorerna i öppna jämförelser för socialtjänsten visar om en kommun har rutiner eller överenskommelser för vissa aspekter av arbetet.

48 Socialstyrelsen, Indikatorer – öppna jämförelser 2019, Socialtjänst och kommunal hälso- och sjukvård, 2019.

49 Socialstyrelsen, Handbok för utveckling av indikatorer – För god vård och omsorg, 2017.

18 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Processindikatorer ska avse de aktiviteter som utförs inom ramen för verksamheten, till exempel insatser, åtgärder och behandlingar. De ska därmed gå längre än strukturindikatorerna och även spegla hur aktiviteterna genomförs, det vill säga kvaliteten i utförandet. Socialstyrelsen benämner detta som processkvalitet vilket innebär en avgränsad dimension av kvalitet då indikatorn mäter kvaliteten i själva utförandet snarare än resultatet av aktiviteten. Många av processindikatorerna visar om kommuner använder sig av en viss handläggningsmetod för arbetet.

Resultatindikatorerna ska vara kopplade till någon form av mål eller önskvärd riktning och mäta i vilken mån verksamheterna uppnår ett önskvärt utfall.

Brukarundersökningen inom äldreomsorgen bygger på brukarbedömningar där brukaren rapporterat sin tillfredställelse och upplevelse av de mottagna insatserna och omvården. Socialstyrelsen kategoriserar alla sådana så kallade brukarrapporterade indikatorer i socialtjänsten som resultatindikatorer.50

Bakgrundsmått är enligt Socialstyrelsen inte lika skarpa som indikatorer och har begränsningar i vilka jämförelser som kan göras. De kan ändå vara viktiga att följa över tid och vara ett komplement till indikatorerna.51

Exempel på indikatorer och mått i öppna jämförelser

Strukturindikator: Om kommunen har en aktuell, skriftlig och på ledningsnivå beslutad rutin för intern samordning i enskilda ärenden mellan olika verksamhetsområden inom socialtjänsten.

Processindikator: Om kommunen använder den standardiserade bedömningsmetoden AUDIT för att identifiera riskfylld eller skadlig alkoholkonsumtion hos vuxna.

Resultatindikator: Andel vuxna med långvarigt ekonomiskt bistånd av samtliga vuxna biståndsmottagare i kommunen/stadsdelen.

Brukarrapporterad indikator: Brukar personalen ta hänsyn till dina åsikter och önskemål om hur hjälpen ska utföras?

Bakgrundsmått: Antal sjuksköterskor respektive omsorgspersonal per bostad i särskilda boenden, vardagar respektive helgdagar.

Vi utgår och diskuterar i granskningen också indikatorerna utifrån hur nära de är verksamheternas utfall gentemot brukarna. Generellt är resultatindikatorer verksamhetsnära. Processindikatorer och strukturindikatorer mäter inte utfall, men vi betraktar dem som verksamhetsnära om de mäts i en enhetsundersökning eftersom de då följer verksamheten nära brukarna. Processindikatorer är också generellt mer verksamhetsnära än strukturindikatorer eftersom de mäter aktiviteter som vanligtvis utförs närmare brukaren.

50 Socialstyrelsen, Handbok för utveckling av indikatorer – För god vård och omsorg, 2017.

51 Socialstyrelsen, Metodbeskrivning 2020, Öppna jämförelser - socialtjänst och kommunal hälso- och sjukvård, 2020.

R I K S R E V I S I O N E N

19

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

I sitt arbete med att ta fram indikatorer till öppna jämförelser utgår Socialstyrelsen från riktlinjer för indikatorernas innehåll. En indikator ska ange en önskvärd riktning för högre kvalitet. En indikator ska vara relevant för verksamheten att förbättra för att uppnå högre kvalitet. Den ska vara valid, vilket innebär att den mäter det den avser att belysa och att den mäts på ett tillförlitligt sätt och kan jämföras år efter år. Den ska vara vedertagen och bygga på kunskap, till exempel nationella riktlinjer, vetenskap, laglig grund, beprövad erfarenhet, konsensus eller kunskap inhämtad från den det berör (patienten eller brukaren). Den ska vara påverkbar av huvudmännen eller utförarna. Och den ska vara mätbar med nationellt tillgänglig och kontinuerligt insamlad data.52 Riktlinjerna för indikatorer omfattar inte hur det är tänkt att indikatormåtten ska kunna används för analys

i en kommun, men Socialstyrelsen anger att analyserna i nästa steg beaktas vid indikatorutveckling.53

2.4.3 Resultatredovisning

Öppna jämförelser presenteras årligen på Socialstyrelsens webbplats i Excelfiler, separat för de olika delområdena.54 Tidigare skrevs resultatrapporter för respektive område.55 Dessa ersattes 2018 av kortare faktablad. För äldreomsorgen publiceras resultat också i den så kallade Äldreguiden, uppdelad på kommuner och

i Stockholm och Göteborg även på stadsdel. Den publicerades dock inte 2020 på grund av att Socialstyrelsen ska byta programvara för tjänsten.56 Uppgifter finns även på enhetsnivå för äldreboenden57 och hemtjänst samt bostäder med särskild service och dagliga verksamheter enligt lagen (1993:387) om stöd och service till vissa funktionshindrade (LSS).58

Från och med 2016 publiceras resultaten för öppna jämförelser även i databasen Kolada av RKA. SKR har vid sidan av den brukarundersökning Socialstyrelsen genomför inom äldreomsorgen utvecklat egna nationella brukarenkäter efter önskemål från kommunerna.59 De redovisas också i Kolada, men inte som en del av de öppna jämförelser som Socialstyrelsen ansvarar för.

52 Socialstyrelsen, Handbok för utveckling av indikatorer – För god vård och omsorg, 2017.

53 Socialstyrelsen, Metodbeskrivning 2020 öppna jämförelser – socialtjänst och kommunal hälso- och sjukvård, 2020.

54 Öppna jämförelser redovisas i regel på kommunnivå, men för Stockholm och Göteborg redovisas resultaten på stadsdelsnivå. När vi i rapporten hädanefter benämner öppna jämförelsers användare kommer vi referera till dem som kommuner; där inkluderas stadsdelar i Stockholm och Göteborg.

55 Under 2016 publicerade Socialstyrelsen också powerpointpresentationer inom varje delområde och resultat för indikatorer som var jämförbara inom flera delområden. Socialstyrelsen, svar från faktagranskning 2021-04-14.

56 Intervjuer med företrädare för Socialstyrelsen 2020-06-02, 2020-06-15.

57 Särskilda boenden och servicehus.

58 Lagen (1993:387) om stöd och service till vissa funktionshindrade.

59 SKR gör brukarundersökningar inom delområdena: ekonomiskt bistånd, LSS, socialpsykiatri, social barn- och ungdomsvård samt missbruks- och beroendevård. SKR, ”Socialtjänst, brukarundersökningar”, hämtad 2021-05-04.

20 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Resultaten redovisas av Socialstyrelsen och i Kolada i färgkoder. Redovisningen skiljer sig åt beroende på typ av indikator. De flesta struktur- och processindikatorer kan antingen uppnås, inte uppnås eller delvis uppnås, till exempel om kommunen erbjuder minst en kommunal arbetsmarknadsinsats inom en månad till alla personer 18–24 år. De redovisas som ”ja” i grönt, ”nej” i rött och ”delvis” i gult. De flesta resultatindikatorer redovisas i färgerna grönt, rött eller gult beroende på om kommunen ligger bland de 25 procent bästa kommunerna, de 25 procent sämsta kommunerna eller däremellan.

R I K S R E V I S I O N E N

21

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

3 Vissa förutsättningar för god kvalitet saknas

I kapitlet redovisar vi våra iakttagelser för delfråga 1: Har regeringen och Socialstyrelsen skapat goda förutsättningar för att öppna jämförelser ska kunna bidra till en mer jämlik socialtjänst av god kvalitet? Kapitlet inleds med

en sammanfattning av iakttagelserna.

Vår sammantagna bedömning är att det saknas vissa förutsättningar för att öppna jämförelser ska kunna bidra till kvalitetsutveckling i socialtjänsten.

Det finns en samsyn mellan regeringen, Socialstyrelsen och SKR om de övergripande målen med öppna jämförelser. Samarbetet mellan Socialstyrelsen och SKR fungerar också i huvudsak bra, vilket är en förutsättning för att öppna jämförelser ska bidra till kvalitetsutveckling. Samtidigt uttrycker SKR ett missnöje med att indikatorerna inte uppfyller kommunernas behov, och har minskat sitt engagemang i öppna jämförelser.

Majoriteten av indikatorerna i öppna jämförelser är struktur- eller processindikatorer som mäter förutsättningar för kvalitet snarare än resultatet av den verksamhet som bedrivs. Denna sammansättning speglar svårigheterna att veta vad som är kvalitet i socialtjänsten, en brist på individbaserad statistik och kommunernas uppgiftslämnarbörda. Indikatorsammansättningen speglar också en sänkt ambitionsnivå för vilka indikatorer som ska ingå i öppna jämförelser, och en förskjutning i synen på öppna jämförelser från ett medel för jämförelser till ett medel för statlig kunskapsstyrning.

Socialstyrelsens arbete med att underlätta datainsamlingen och kommunernas större vana vid öppna jämförelser har minskat kommunernas upplevda uppgiftslämnarbörda. Men det finns en obalans mellan den tid som läggs på inrapportering i förhållande till användningen för kvalitetsutveckling som begränsar nyttan av öppna jämförelser.

Datakvaliteten har förbättrats men vissa frågetecken kvarstår vad gäller jämförbarheten i kommunernas resultat i öppna jämförelser över tid och därmed också mellan kommuner. Socialstyrelsen kan därför förbättra sina kontroller

av datakvaliteten.

3.1 I huvudsak nationell samsyn om öppna jämförelser

Det finns en samsyn mellan regeringen, Socialstyrelsen och SKR om de övergripande målen med öppna jämförelser. Det finns i huvudsak också en samsyn mellan Socialstyrelsen och SKR om hur öppna jämförelser ska utvecklas. Regeringen har inte styrt innehållet i öppna jämförelser. Det är därför

22 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Socialstyrelsen som i sitt arbete med att utveckla öppna jämförelser har preciserat hur målen med öppna jämförelser ska nås och vilka indikatorer som ska ingå

i öppna jämförelser.

3.1.1 Övergripande samsyn mellan de nationella aktörerna

Socialdepartementet, Socialstyrelsen och SKR har i samråd med Famna och Vårdföretagarna gemensamt tagit fram mål, kommit överens om ansvarsfördelning och vad som ska göras i arbetet med att utveckla öppna jämförelser. De olika aktörerna uttrycker i granskningen också en samsyn om vilka möjligheter och begränsningar som öppna jämförelser har och vad som är möjligt att åstadkomma med dem.60 Samarbetet mellan Socialstyrelsen och SKR upplevs också i huvudsak fungera bra. Men SKR riktar viss kritik mot hur Socialstyrelsen utvecklat indikatorerna i öppna jämförelser. Det finns även viss kritik från Socialstyrelsen mot hur SKR gett stöd till kommunerna att använda öppna jämförelser.61 Kritiken utvecklas i avsnitt 3.2.7 respektive 4.3.3.

Regeringen har som nämnts (avsnitt 2.1) kontinuerligt gett Socialstyrelsen i uppdrag att utveckla öppna jämförelser till nya områden, senast 2019. Regeringen har dock utöver att fastslå de övergripande målen, och ange inriktning på arbetet i handlingsplanerna, inte deltagit aktivt i att precisera innehållet i öppna jämförelser närmare. Socialdepartementet menar att ansvaret för att utveckla öppna jämförelser ligger på Socialstyrelsen.62

Det är därmed i huvudsak Socialstyrelsen som i sitt arbete med öppna jämförelser preciserat hur målen med öppna jämförelser ska nås. Socialstyrelsen har genom sitt arbete också bestämt vad indikatorerna ska omfatta och vilken typ av indikatorer som ska ingå i öppna jämförelser. Det utvecklas i följande avsnitt samt i avsnitt 3.2.

3.1.2 Öppna jämförelser ska bidra till kvalitetsutveckling på flera sätt

Genom öppna jämförelser ska kommunerna få underlag till uppföljning, utveckling och förbättring av sina verksamheter, kunna följa den egna verksamheten över tid, få specifika indikatorer och mått som belyser verksamhetens kvalitet, få kunskapsunderlag och lära av andra samt kunna jämföra sina resultat med andra kommuner eller verksamheter med liknande förutsättningar.63

60 Intervju med företrädare för SKR, 2020-02-26. Intervjuer med företrädare för Socialstyrelsen 2020-02-21, 2020-05-15, 2020-06-02. Intervju med företrädare Socialdepartementet, 2020-12-08.

61 Intervju med företrädare för SKR, 2020-02-26. Intervjuer med företrädare för Socialstyrelsen 2020-02-21, 2020-11-13, 2021-02-19.

62 Intervju med företrädare för Socialdepartementet, 2020-12-08.

63 Socialstyrelsen, ”Om öppna jämförelser av socialtjänst och kommunal hälso- och sjukvård”, hämtad 2021-01-18.

R I K S R E V I S I O N E N

23

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Inom ramen för dessa olika sätt att använda öppna jämförelser ryms olika idéer eller styrningsmekanismer för hur målet om en jämlik socialtjänst med god kvalitet ska nås. Dessa mekanismer har funnits inbyggda i öppna jämförelser från början. Men det är Socialstyrelsen som i sitt arbete med att utveckla öppna jämförelser preciserat och balanserat dess olika styrningsidéer.

Via indikatorerna i öppna jämförelser ska kommunerna kunna följa sin egen utveckling över tid och kunna jämföra sig med andra kommuner. Det anknyter till den styrningsidé om benchmarking som öppna jämförelser grundades i. Genom jämförelser ska kommunerna inspireras att utveckla den egna verksamheten. Idén baseras på att de jämförda enheterna dels uppmärksammas för det som är bra, dels för det som är mindre bra.64 I öppna jämförelser i socialtjänsten har Socialstyrelsen och SKR från början arbetat för att öppna jämförelser främst ska leda till ett lärande mellan kommuner. De har därmed tonat ner konkurrensaspekterna, eftersom de inte ansetts tillämpbara inom socialtjänsten.65

Öppna jämförelser är en del av statens styrning med kunskap, och de ska stärka utvecklingen av en evidensbaserad praktik.66 I praktiken tänker sig Socialstyrelsen att indikatorerna ska signalera till kommunerna inom vilka områden det är viktigt att utveckla kvalitet och visa på sätt att göra det. Genom att

i kommunundersökningen fråga om till exempel en bedömningsmetod eller en rutin vill Socialstyrelsen styra kommunerna i en viss riktning. Syftet med indikatorerna beskrivs även vid publicering av resultaten. Öppna jämförelser ska också stimulera kommunerna att leta sig vidare, till exempel genom att gå in på Kunskapsguiden.se67 som är en portal för samlad kunskap för socialtjänsten och hälso- och sjukvården. Där ska de hitta relevanta kunskapsunderlag eller metoder. Därför har Socialstyrelsen i vissa fall lagt in länkar till Kunskapsguiden

i kommunundersökningen. Motsvarande redovisning finns i de Excelfiler där resultaten från öppna jämförelser publiceras. I bästa fall uppfattar kommunerna dessa signaler och utvecklar kvaliteten inom den verksamhet en indikator mäter.68

Ur ett nationellt perspektiv ska öppna jämförelser ge Socialstyrelsen och regeringen en bild av den verksamhet som bedrivs i socialtjänsten och de är ett sätt att följa utvecklingen av den statliga kunskapsstyrningen.

64 Statskontoret, Tänk efter före – Om viss styrning av kommuner och landsting, 2011.

65 Intervju med företrädare för Socialstyrelsen 2020-06-17.

66 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

67 Kunskapsguiden drivs av Socialstyrelsen och samlar kunskapsstödjande produkter från Socialstyrelsen, andra myndigheter och aktörer. Socialstyrelsen, ”Om Kunskapsguiden”, hämtad 2021-04-21.

68 Intervju med företrädare för Socialstyrelsen, 2020-02-21. Där samlas kunskapsstödjande produkter från Socialstyrelsen, andra myndigheter och aktörer. Den drivs av Socialstyrelsen i samverkan med andra myndigheter och aktörer.

24 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

3.2 De flesta indikatorer mäter förutsättningar för kvalitet

Socialstyrelsen beslutar vilka indikatorer som ska ingå i öppna jämförelser, men indikatorutvecklingen sker i samverkan med SKR. Majoriteten av indikatorerna i öppna jämförelser är struktur- eller processindikatorer. Den kvalitet som kan följas i öppna jämförelser i socialtjänsten är därför framför allt förutsättningar för kvalitet, snarare än resultatet av den verksamhet som bedrivs.

Att det är få resultatindikatorer speglar en sänkt ambitionsnivå för vilka indikatorer som ska ingå i öppna jämförelser och en förskjutning i synen på öppna jämförelser över tid. Det kunskapsstyrande syftet med öppna jämförelser har fått större betydelse i Socialstyrelsens arbete med att utveckla indikatorer, medan öppna jämförelser som ett medel för benchmark har fått minskad betydelse. Socialstyrelsen har emellertid inte tydligt definierat hur öppna jämförelser ska vara en del av myndighetens övriga arbete med kunskapsstyrning.

Sammansättningen av indikatorer speglar också de begränsningar som Socialstyrelsen har i sitt arbete att utveckla indikatorer. Svårigheter att definiera vad som är kvalitet i socialtjänsten, brist på individbaserad statistik och kommunernas uppgiftslämnarbörda har försvårat indikatorutvecklingen.

SKR riktar kritik mot att Socialstyrelsen inte utvecklat fler resultat- och verksamhetsnära indikatorer som är till nytta för kommunerna och har tonat ned sitt engagemang i öppna jämförelser.

3.2.1 Få resultatindikatorer i förhållande till struktur- och processindikatorer

Tabell 2 nedan visar att majoriteten av indikatorerna i öppna jämförelser mäter strukturer följt av processer. De flesta av resultatindikatorerna finns

i äldreomsorgens brukarundersökningar. Många resultatindikatorer finns även i de registerbaserade sammanställningar som publiceras vid andra datum än de enkätbaserade undersökningarna. Dessa indikatorer baseras oftast på individbaserad statistik. Sådana indikatorer finns emellertid bara inom fyra av socialtjänstens delområden. Den sammantagna bilden är att den kvalitet som går att följa i öppna jämförelser i socialtjänsten främst är förutsättningar för kvalitet.

Som vi beskrev i kapitel 2 utgår vi i granskningen även från hur nära indikatorerna är det utfall av verksamheten som brukarna möter. Andelen verksamhetsnära indikatorer är få relativt andelen indikatorer som mäts på mer övergripande nivå.

R I K S R E V I S I O N E N

25

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Tabell 2 Typ av indikatorer i socialtjänstens olika delområden (antal)

	Struktur	Process	Resultat	Bakgrund
Kommunundersökningen
Ekonomiskt bistånd	19	18	0	1
Funktionsnedsättning, LSS	24	10	0	3
Krisberedskap	44	0	0	0
Missbruks- och beroendevård	18	10	0	2
Motverka hemlöshet	13	6	0	6
Social barn- och ungdomsvård	29	11	1	2
Socialpsykiatri	22	16	0	3
Våld i nära relationer	20	23	0	0
Äldreomsorg	12	13	0	7
Totalt kommunundersökningen	201	107	1	24
Registerbaserade indikatorer69
Ekonomiskt bistånd	0	0	8	7
Missbruks-och beroendevård	0	0	6	0
Social barn- och ungdomsvård	0	0	5	11
Totalt registerbaserade indikatorer	0	0	19	18
Enhetsundersökningar
LSS, bostäder	10	4	0	0
LSS, daglig verksamhet	8	4	0	0
Äldreomsorg, hemtjänst	10	2	0	1
Äldreomsorg, särskilt boende	13	4	1	7
Äldreomsorg, servicehus	4	0	0	0
Totalt enhetsundersökningar	45	14	1	8
Brukarundersökningar
Äldreomsorg, hemtjänst	0	0	23	5
Äldreomsorg, särskilt boende	0	0	25	4
Totalt brukarundersökningar	0	0	48	9
Totalt samtliga undersökningar	246	121	69	59

Kommentar: Avser senaste året som undersökningen redovisats: 2020 för samtliga kommunenkäter och registerbaserade indikatorer, 2019 för samtliga enhetsundersökningar och 2020 för båda brukarundersökningarna.

Källa: Socialstyrelsen.

69 Förutom de indikatorer som redovisas i tabellen finns det inom äldreomsorg 19 registerbaserade indikatorer som mäter aspekter av hälso- och sjukvård samt 10 bakgrundsmått. Dessa har exkluderats i enlighet med avgränsningen i granskningen. Se avsnitt 1.2.

26 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Som illustreras i figur 1 och 2 nedan har fördelningen mellan struktur-, process- och resultatindikatorer varit i stort sett oförändrad sedan 2017

i kommunundersökningen och enhetsundersökningarna. Alla registerbaserade indikatorer har varit resultatindikatorer under åren 2016 till 2020.

Figur 1 Fördelning typ av indikatorer över tid, kommunundersökningen, alla delområden

Andel 0,8

0,6

0,4

0,2

0

2016	2017	2018	2019	2020
Process	Struktur	Resultat		År

Källa: Socialstyrelsen.

Figur 2 Fördelning typ av indikatorer över tid, enhetsundersökningar, alla delområden

Andel 0,8

0,6

0,4

0,2

0

2017		2018	2019
Process	Struktur	Resultat	År

Kommentar: Avser 2017–2019 då samtliga enhetsundersökningar genomfördes.

Källa: Socialstyrelsen

R I K S R E V I S I O N E N

27

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

3.2.2 Lägre ambitionsnivå för indikatorutveckling över tid

Att utveckla fler resultat- och verksamhetsnära indikatorer har varit en prioriterad uppgift för Socialstyrelsen. Men över tid har Socialstyrelsen sänkt sin ambitionsnivå för vilken typ av indikatorer som öppna jämförelser ska innehålla. Att ta fram fler resultatindikatorer, den indikatortyp som efterfrågas mest av kommunerna, är inte prioriterat. Det finns inte heller något mål för vilka indikatorer som öppna jämförelser ska innehålla.

Målet i regeringsuppdraget 2009–2014 var att det 2015 skulle finnas indikatorer i öppna jämförelser som ger information om kvalitet, resultat och effektivitet.70 Eftersom det vid uppdragets början i stor utsträckning saknades relevanta mått inom socialtjänsten sågs det som en hög ambitionsnivå. Det gjorde att Socialstyrelsens indikatorarbete inriktades på att identifiera och försöka utveckla vad som är kvalitet i socialtjänsten och utifrån detta arbete ta fram nya indikatorer. Arbetet utgick från myndighetsutövningen enligt socialtjänstlagen och genomfördes i nära samarbete med SKR och kommunerna. Ambitionen var att varje delområde i öppna jämförelser skulle ha indikatorer för socialtjänstlagens olika kvalitetsområden. Inom funktionshindersområdet var LSS utgångspunkt. Inriktningen har senare anpassats efter Socialstyrelsens strategi för god hälsa, vård och omsorg. Den säger att omsorgen ska vara kunskapsbaserad, säker, individanpassad, effektiv, jämlik och tillgänglig.71

Vid utgången av 2014 hade en mängd indikatorer tagits fram, men det fanns ett fortsatt utvecklingsbehov. Antalet resultatindikatorer ansågs vara för få och indikatorerna var inte koordinerade mellan socialtjänstens olika delområden. I vissa fall fanns samma indikator inom flera områden, men med skilda frågeformuleringar. I handlingsplanen för 2015–2018 pekade Socialstyrelsen på att struktur- och processindikatorer är relevanta för att spegla kvalitet, men att fler indikatorer som belyser resultat samt effektivitet av insatser för brukarna skulle utvecklas. Samtidigt betonade Socialstyrelsen svårigheterna med att ta fram resultatindikatorer och angav att sådana skulle publiceras när det var möjligt, vilket var när det fanns tillgängliga och tillförlitliga data att hämta ur kommunernas verksamhetssystem.72 Till 2016 års datainsamling hade Socialstyrelsen reviderat indikatorerna. Antalet indikatorer var färre och frågeformuleringarna hade ensats. Därefter har ingen större revidering av indikatorerna gjorts.

Enligt Socialstyrelsen är indikatorutvecklingen fortfarande prioriterad. Det finns dock ingen tydlig målsättning för vilka indikatorer som öppna jämförelser ska

70 Regeringsbeslut S2009/5079/ST, Uppdrag att intensifiera utvecklingen av öppna jämförelser och ta fram en handlingsplan för ökad tillgång till data av god kvalitet inom socialtjänst m.m.

71 Intervjuer med företrädare för Socialstyrelsen 2020-05-15, 2020-06-17.

72 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

28 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

innehålla. De ska inte belysa alla kvalitetsaspekter inom socialtjänsten och resultaten behöver kompletteras med andra underlag som är relevanta för verksamheten. Indikatorerna i öppna jämförelser ska inte heller ses som en sammanhållen helhet. Öppna jämförelser ses också som en produkt som ständigt måste förändras beroende på ändrade krav och behov inom socialtjänsten. I det nu pågående utvecklingsprojektet på Socialstyrelsen ska befintliga indikatorer ses över och nya indikatorer ska utvecklas, men det finns inte något mål att utveckla fler indikatorer av en viss typ.73

3.2.3 Ökade krav på kunskapsbaserade indikatorer

Att definiera vad som är kvalitet i socialtjänsten är enligt de personer vi intervjuat i granskningen svårt. Det går ofta inte att avgöra vilket ett utfall ska vara för att hålla god kvalitet. Det finns också färre evidensbaserade mått och metoder inom socialtjänsten än inom exempelvis hälso- och sjukvården, bland annat på grund av att forskningen om evidensbaserade metoder är mindre utvecklad. Det är

en begränsade faktor indikatorutveckling.74 Socialstyrelsen har samtidigt ökat kraven på att indikatorerna ska baseras på kunskapsunderlag. Det är en anledning till att det finns färre resultat- och processindikatorer än strukturindikatorer.

Som vi beskrev i kapitel 2 har Socialstyrelsen målet att indikatorerna ska visa på riktning, vara relevanta, valida, vedertagna, påverkbara och mätbara.75 Dessa krav på indikatorer har gjort att indikatorutvecklingen på Socialstyrelsen styrs av högre krav på evidens och kunskapsunderlag än tidigare. I regeringsuppdraget 2009–2014 utgick Socialstyrelsen i större utsträckning från mått som kommunerna utvecklat och deras beprövade erfarenhet. Socialstyrelsen har dock inom ramen för det pågående utvecklingsprojektet en ambition att förändra sitt arbete med indikatorutveckling. I uppdraget kommer experter, forskare, brukarorganisationer och kommunföreträdare gemensamt enas om indikatorerna. Det innebär i viss mån en återgång till hur arbetet bedrevs inom regeringsuppdraget 2009–2014.76

3.2.4 Uppgiftslämnarbörda och brist på statistik begränsar indikatorutvecklingen

Det saknas i stor utsträckning individbaserad statistik i socialtjänsten. Att majoriteten av indikatorerna i öppna jämförelser därför måste samlas in via enkäter gör att datainsamlingen tar tid och resurser för kommunerna. Socialstyrelsen behöver därför balansera indikatorutvecklingen mot kommunernas uppgiftslämnarbörda.

73 Intervjuer med företrädare för Socialstyrelsen 2020-11-13, 2021-02-19.

74 Intervjuer med företrädare för Socialstyrelsen, 2020-02-21, 2020-05-15, 2020-06-02, 2020-06-17.

75 Socialstyrelsen, Handbok för utveckling av indikatorer – För god vård och omsorg, 2017.

76 Intervjuer med företrädare för Socialstyrelsen, 2020-02-21, 2020-11-13, 2021-02-19.

R I K S R E V I S I O N E N

29

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Ett hinder för indikatorutveckling och datainsamling, som framför allt förklarar bristen på resultatindikatorer, är att det i stor utsträckning saknas individbaserad statistik inom socialtjänsten. Det finns få nationella register för socialtjänstens verksamheter och det finns inte heller kvalitetsregister för socialtjänsten som det gör inom hälso- och sjukvården. Socialstyrelsen har också begränsade rättsliga möjligheter att kräva in och hantera sådana uppgifter av kommunerna.77 De flesta indikatorer till öppna jämförelser baseras därför på uppgifter som kommunerna lämnar in via enkäter, vilket är tidskrävande för dem.

Socialstyrelsen har vid flertal tillfällen hemställt till regeringen om att få utökade möjligheter att samla in och behandla individbaserad statistik.78 I våra intervjuer uppger Socialdepartementet att Socialstyrelsens underlag inte varit tillräckliga för att gå vidare med frågan eftersom de rättsliga förutsättningarna inte varit tillräckligt utredda. Socialdepartementet pekar också på att dagens socialtjänstlag inte tillåter denna typ av statistikinsamling.79

Regeringen har inte vidtagit särskilda åtgärder för att få fram bättre underlag än det som Socialstyrelsen tagit fram.80 Under 2017 tillsatte regeringen dock

en utredning som skulle se över socialtjänstlagen. Bland annat skulle utredningen lämna förslag i syfte att säkerställa en evidens- och kunskapsbaserad socialtjänst som kunde följas upp.81 I slutbetänkandet från 2020 föreslår utredningen en ny lag om socialtjänstdataregister. Den nya lagen skulle innebära utökade möjligheter för Socialstyrelsen att behandla personuppgifter för nationell statistik.82 Utredningen bereds för närvarande på Socialdepartementet.

Ett alternativ till att samla in individbaserad statistik är att samla in antalsuppgifter från kommunerna. Socialstyrelsen kom 2019 i en rättsutredning fram till att de kan inhämta och publicera antalsuppgifter inom ramen för öppna jämförelser. Det kräver dock att Socialstyrelsen använder ett säkrare sätt att inhämta uppgifter än vad de för närvarande gör i kommun- och enhetsundersökningarna. Något verktyg som uppfyller dessa krav är ännu inte på plats.83

Socialstyrelsen har även ambitionen att kunna hämta uppgifter ur kommunernas verksamhetssystem men denna insamlingsmetod har begränsningar. Ett problem är att kommunerna har skilda verksamhetssystem som ofta utvecklats av privata

77 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015. Undantag är kvalitetsregister som byggts upp inom hälso- och sjukvården men som används i öppna jämförelser för äldreomsorgen.

78 SOU 2020:47, s. 563 ff.

79 Intervju med företrädare för Socialdepartementet, 2020-12-08.

80 Ibid.

81 Dir. 2017:39, Översyn av socialtjänstlagen.

82 SOU 2020:47, s 608 ff.

83 Socialstyrelsen, Rättsutredning av kommunundersökningar och enhetsundersökningar inom socialtjänstens område för öppna jämförelser, 2019. Intervju med företrädare för Socialstyrelsen 2020-02-21.

30 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

leverantörer.84 De ser olika ut i olika kommuner och systemen är inte primärt utformade för individbaserad uppföljning och statistik i socialtjänsten utan för handläggning och dokumentation. Särskilt mindre kommuner har också svårt att ställa krav på leverantörerna i hur de ska utformas. SKR har haft ett projekt om att ta fram jämförbara verksamhetsindikatorer för socialtjänsten. Tanken är bland annat att det ska hjälpa kommunerna att utveckla verksamhetssystem som stödjer individbaserad uppföljning och ge kommunerna stöd i att kravställa vilken information de vill hämta ur systemen.85 Det är dock få kommuner som kan lämna uppgifter till öppna jämförelser från sina verksamhetssystem. Och det är troligt att många av de indikatorer som samlas in till öppna jämförelser idag inte kommer att lagras i verksamhetssystemen.86

3.2.5 Förskjutning från benchmark till statlig kunskapsstyrning…

Över tid har det kunskapsstyrande syftet med öppna jämförelser fått större betydelse, och öppna jämförelser som ett medel för jämförelser och benchmark har minskat i betydelse.

Under regeringsuppdraget 2009–2014 fanns en ambition att kunna ta fram grundindikatorer att följa år efter år, som ett statistiskt mått. Över tid har indikatorarbetet på Socialstyrelsen mer inriktats mot att indikatorerna ska ange en riktning och visa kommunerna vilka områden som det just nu anses viktigt att utveckla kvaliteten inom. Ett tecken på det är att Socialstyrelsen har en ambition att ta bort indikatorer när omkring 90 procent av kommunerna uppfyllt

en indikator. Den anses då som ”mättad” och av mindre värde för jämförelser mellan kommunerna.87 Sedan 2016 är det dock bara sju indikatorer tagits bort på grund av att de varit mättade.88

Tanken om grundindikatorer anknyter mer till synen på öppna jämförelser som ett medel för benchmark. Tanken om att plocka bort mättade indikatorer anknyter mer till en syn på öppna jämförelser som ett medel för kunskapsuppbyggnad och kunskapsstyrning. Det är en utveckling som inte preciserats i öppna jämförelsers styrdokument, och SKR uppger att denna utveckling inte varit tydlig för dem.89

84 SKR, Verksamhetssystem som stöd för systematisk uppföljning. Förslag till generella variabler och brukarfrågor för uppföljning av socialtjänstens stöd, 2019. Projektet är inte direkt kopplat till öppna jämförelser.

85 SKR, svar från faktagranskning 2021-04-14. SKR, Verksamhetssystem som stöd för systematisk uppföljning, 2019. Förslag till generella variabler och brukarfrågor för uppföljning av socialtjänstens stöd.

86 Intervju med företrädare för Socialstyrelsen, 2020-11-26.

87 Intervjuer med företrädare för Socialstyrelsen 2020-05-15, 2021-02-21.

88 Underlag från Socialstyrelsen, 2021-03-04. Tre indikatorer togs bort från området Våld i nära relationer inför 2017 och tre inför 2019. En indikator togs bort från Social barn- och ungdomsvård inför 2020.

89 SKR, svar från faktagranskning, 2021-04-14.

R I K S R E V I S I O N E N

31

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

3.2.6 …men inte tydligt hur öppna jämförelser ska vara en del av kunskapsstyrningen

Socialstyrelsen har över tid systematiserat det interna arbetet med att utveckla indikatorer, men har inte tydligt definierat hur öppna jämförelser ska vara en del av statens styrning med kunskap.

Arbetet med att utveckla indikatorer är uppbyggt kring enskilda ansvariga utredare för varje delområde i öppna jämförelser. De bevakar forskning och utvärderingsrapporter och har kontakt med SKR för att fånga kommunernas perspektiv. De bevakar även kunskapsutvecklingen internt och undersöker om till exempel vägledningar och kunskapsstöd, som framför allt tas fram på avdelningen för kunskapsstyrning av socialtjänsten, kan ligga till grund för nya indikatorer.

De får även önskemål internt om att ta fram indikatorer för aktuella frågor, till exempel vad gäller systematisk uppföljning. Arbetet koordineras mellan de ansvariga utredarna men beslut om att ändra, ta bort eller lägga till en indikator tas på enhetschefsnivå. Indikatorarbetet beskrivs som tidskrävande och den avsatta tiden för indikatorutveckling upplevs vara knapp i förhållande till övrigt arbete som måste göras för att administrera öppna jämförelser.90

En förklaring till att antalet indikatorer växte fram till 2016, och att många liknande indikatorer för olika delområden formulerades på olika sätt, var att indikatorarbetet i viss mån saknade systematik. Socialstyrelsen har sedan dess på olika sätt arbetat med att systematisera arbetet. Indikatorarbetet utgår från

en handbok för indikatorutveckling och sedan 2019 arbetar Socialstyrelsen enligt en ny process för indikatorutveckling. I den förtydligas bland annat kopplingen mellan indikatorerna och kunskapsunderlag som tas fram av andra enheter på myndigheten. I processbeskrivningen ingår även kriterier för vilka underlag som krävs för olika typer av indikatorer. De enheter som ansvarar för öppna jämförelser har också samordnat utvecklingen av indikatorer med andra enheter på myndigheten, särskilt enheter på avdelningen för kunskapsstyrning av socialtjänsten. Socialstyrelsen har dock inte tydligt definierat hur öppna jämförelser ska ingå i myndighetens övriga arbete med kunskapsstyrning.91

3.2.7 Missnöje med indikatorerna

Tecken finns på att indikatorerna inte uppfyller kommunernas upplevda behov. Socialstyrelsen och SKR har som vi beskrivit (avsnitt 3.1) utvecklat

en övergripande samsyn kring vad som är möjligt att åstadkomma med öppna jämförelser. Men SKR riktar kritik mot att Socialstyrelsen inte utvecklat fler resultat- och verksamhetsnära indikatorer som är till nytta för kommunerna och

90 Intervjuer med företrädare för Socialstyrelsen, 2020-05-15, 2020-06-02.

91 Intervjuer med företrädare för Socialstyrelsen 2020-02-21, 2020-06-15, 2020-11-13, 2020-11-26, 2021-02-19.

32 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

har i viss mån tonat ner sitt engagemang i öppna jämförelser. Det utvecklas också andra indikatorsammanställningar vid sidan av öppna jämförelser.

SKR:s fokus är det verksamhetsnära, att indikatorerna ska vara till nytta för kommunerna och mäta resultat som kan användas nära brukarna. Socialstyrelsen betonar i större utsträckning krav på att indikatorerna ska ha en kunskapsbas och kvalitet i datainsamlingen. Både SKR och Socialstyrelsen har förståelse för att de har olika roller och därför delvis skilda perspektiv, men SKR uttrycker också

ett minskat intresse för öppna jämförelser.92

Ett tecken på att indikatorerna inte täcker kommunernas behov är att det växt fram andra indikatorsammanställningar vid sidan av öppna jämförelser. Ett exempel är Kommunernas kvalitet i korthet (KKiK) som tagits fram av SKR. Det innehåller 40 nyckeltal som ska beskriva kommuners kvalitet och effektivitet i olika verksamheter.93 Ett annat exempel är att SKR har utvecklat egna nationella brukarundersökningar utöver den brukarundersökning för äldreomsorgen som ingår i öppna jämförelser för socialtjänsten.94 Det har gjorts efter önskemål från kommunerna.

Även regeringen har sett ett behov av andra indikatormått för att följa kommunernas verksamhet. Den gav 2019 RKA, som styrs och finansieras av staten och SKR gemensamt, i uppdrag att ta fram mått på kommunernas effektivitet bland annat inom socialtjänsten. Dessa publicerades för första gången 2020.95

3.3 Minskad uppgiftslämnarbörda, men obalans mellan insamling och användning samt frågetecken om datakvaliteten

Indikatorutveckling och datainsamling är nära sammankopplade och påverkar såväl jämförbarheten i resultaten som kommunernas uppgiftslämnarbörda. Socialstyrelsens arbete med att underlätta datainsamlingen och kommunernas större vana vid öppna jämförelser har minskat den upplevda uppgiftslämnarbördan. Men det finns en obalans mellan den tid som läggs på inrapportering av resultat i förhållande till användning för kvalitetsutveckling, vilket minskar kommunernas nytta av öppna jämförelser. Datakvaliteten har förbättrats men vissa frågetecken kvarstår vad gäller jämförbarheten

92 Intervju med företrädare för SKR, 2020-02-26. Intervjuer med företrädare för Socialstyrelsen 2020-05-15, 2020-02-21, 2020-11-13, 2021-02-19.

93 SKR, ”Kommunens kvalitet i korthet, KKiK”, hämtad 2021-02-17.

94 SKR gör brukarundersökningar inom delområdena: ekonomiskt bistånd, LSS, socialpsykiatri, social barn- och ungdomsvård samt missbruks- och beroendevård. SKR, ”Socialtjänst, brukarundersökningar”, hämtad 2021-05-04.

95 RKA, Vägledning för nyckeltal för produktivitet och effektivitet i kommuner i Kolada, 2020. Uppdraget kom från Finansdepartementet.

R I K S R E V I S I O N E N

33

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

i kommunernas resultat över tid och därmed också mellan kommuner. Socialstyrelsen kan förbättra sina kontroller av datakvaliteten.

3.3.1 Minskad uppgiftslämnarbörda

Socialstyrelsen har förenklat datainsamlingen och kommunerna har med tiden blivit mer vana vid öppna jämförelser. Det har gjort att kommunerna upplever inrapporteringen av resultat som mindre krävande.

Som nämnts (avsnitt 3.2) utvecklades det mellan 2009 och 2014 många indikatorer, varav vissa återfanns inom flera delområden men med skilda frågeformuleringar. Datainsamlingen var också splittrad på flera enkäter som skickades till kommunerna vid olika tillfällen på året vilket gjorde datainsamlingen svåröverblickbar. Kommunerna var inte heller vana vid öppna jämförelser. Det gjorde sammantaget att de hade svårt att tolka frågorna

i enkäterna och upplevde inrapporteringen som krävande. Socialstyrelsen och SKR arbetade därför aktivt mot kommunerna för att underlätta tolkning och att fylla

i enkäterna. Mycket av detta arbete gjordes via RSS:erna.96

När Socialstyrelsen 2016 reviderade indikatorerna i kommunundersökningen förenklades också datainsamlingen. Sedan dess inhämtas uppgifterna via en gemensam webbenkät för alla socialtjänstens delområden samt den kommunala hälso- och sjukvården. Tidigare användes åtta olika enkäter under olika insamlingsperioder för socialtjänstens olika delområden. Enkäten kan numera också besvaras i den ordning som passar den enskilda kommunen. Tidigare var kommunerna tvungna att följa en fast ordning och kunde inte välja vilka delar eller frågor de ville svara på utan behövde svara på allt. De kan nu välja att inte svara på alla delar av enkäten eller enskilda frågor.97

Socialstyrelsen bedömde i sin uppföljning av handlingsplanen 2015–2018 att förändringarna medfört att enkätinsamlingen blivit effektivare och mindre tidskrävande för kommunerna.98 Av våra kommunintervjuer framkommer dock att det som snarare har underlättat inrapporteringen för kommunerna är att de lärt sig att tolka frågorna och blivit mer vana att besvara enkäten. En av kommunföreträdarna beskriver det till exempel som att de först nu fått struktur på insamlingen.99 Även SKR menar att kommunerna med tiden har hittat sätt att hantera den stora undersökningen, och att behovet av tolkning av enkätfrågor

96 Intervju med företrädare för SKR 2020-02-26. Intervjuer med företrädare för RSS:er, 2020-06-08, 2020-06-10, 2020-08-24, 2020-09-10.

97 Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen 2015–2018, 2019. Intervju med företrädare för Socialstyrelsen, 2020-06-02.

98 Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen 2015–2018, 2019.

99 Intervju med kommunföreträdare, 2020-10-26.

34 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

därför minskat i kommunerna.100 Det bekräftas av RSS:erna som har upplevt ett minskat behov av den sortens stöd under senare år.101

Öppna jämförelser är dock fortfarande en omfattande undersökning. Datainsamling via enkäter innebär generellt en stor uppgiftslämnarbörda och de enkätundersökningar som öppna jämförelser bygger på innehåller många indikatorer. Av intervjuerna i granskningen framkommer emellertid att uppgiftslämnarbördan för just öppna jämförelser i sig inte alltid upplevs som stor i relation till kommunernas totala uppgiftslämnarbörda. Kommunerna dokumenterar och rapporterar in många underlag utöver öppna jämförelser, bland annat till myndigheter och SKR. Såväl Socialstyrelsen som de intervjuade kommunföreträdarna menar att kommunens totala uppgiftslämnarbörda upplevs stor och betungande men att öppna jämförelser ändå inte sticker ut som en av de stora inrapporteringarna.102

3.3.2 Obalans mellan inrapportering och användning minskar nyttan av öppna jämförelser

Det finns en obalans mellan den tid kommunerna lägger på att rapportera in resultat i förhållande till den tid de lägger på att använda resultaten för kvalitetsutveckling. Det minskar den upplevda nyttan av öppna jämförelser.

Det är svårt för de intervjuade kommunföreträdarna att uppskatta hur mycket tid de faktiskt lägger ner på öppna jämförelser, eftersom de inte registrerar arbetstid specifikt på öppna jämförelser. Det är heller inte helt tydligt att alla kommuner upplever uppgiftslämnarbördan som stor. Flera av kommunerna i granskningen uppger dock att de lägger ner stor tid på insamling av uppgifter och på att svara på enkäterna i förhållande till den tid de lägger på analys och användning av öppna jämförelser.103 Det är samma mönster som identifierats i tidigare utvärderingar.104 Socialstyrelsen har i intervjuer också poängterat att de vill se en utveckling mot att kommunerna jobbar mer med kvalitetsutveckling och inte bara med insamling. Att stimulera användningen av öppna jämförelser är därför en prioriterad del av Socialstyrelsens pågående utvecklingsarbete.105

100 Intervju med företrädare för SKR, 2020-02-26.

101 Intervjuer med företrädare RSS:er 2020-06-08, 2020-06-10, 2020-08-24, 2020-09-01. Riksrevisionen, Enkätundersökning till regionala samverkans- och stödstrukturer, 2020.

102 Intervju med företrädare för Socialstyrelsen, 2020-05-13, 2020-05-29, 2020-06-02. Intervjuer med kommunföreträdare 2020-09-07, 2020-09-14, 2020-10-26, 2020-11-13, 2020-11-16a, 2020-11-19c, 2020-11-19d, 2020-11-23. Kommunerna rapporterar bland annat in underlag till IVO och länsstyrelserna, samt till SKR underlag till KKiK och brukarundersökningar.

103 Intervjuer med kommunföreträdare, 2020-09-07, 2020-10-26, 2020-11-23.

104 Health Navigator, Öppna jämförelser av socialtjänsten – på mottagarens villkor, på uppdrag av Socialstyrelsen, 2014, s. 31.

105 Intervjuer med företrädare för Socialstyrelsen 2020-02-12, 2021-02-19.

R I K S R E V I S I O N E N

35

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

3.3.3 Vissa frågetecken kring datakvaliteten

Att svårigheterna att tolka enkätfrågorna har minskat har förbättrat jämförbarheten i öppna jämförelser. Men det finns frågetecken i hur jämförbara resultaten i öppna jämförelser är över tid och mellan kommuner, och Socialstyrelsen kan förbättra sina kontroller av datakvaliteten.

Socialstyrelsen genomför vissa kvalitetskontroller av de uppgifter som samlas in till öppna jämförelser och kontaktar kommuner för att utreda orsaken till eventuella inkonsistenser. Oklarheter upptäcks också genom en frågefunktion där kommunerna kan ställa frågor. Socialstyrelsen testar även nya indikatorer innan de tas i bruk genom provenkäter till några kommuner. Provenkäterna kan även indikera om nyttan med indikatorn överväger den administrativa bördan

för inrapportering.106

Det finns dock frågetecken för vad Socialstyrelsens kontroller av datakvaliteten i öppna jämförelser ger. RKA genomför systematiska kontroller av alla uppgifter de publicerar i Kolada, däribland öppna jämförelser. Många indikatorer i öppna jämförelser får låga betyg på datakvalitet, bland annat för att det finns inkonsistenser i svaren över tid.107

Socialstyrelsen uppger att de inte kan kontrollera jämförbarheten i uppgifterna fullt ut. De måste i grunden lita på att de uppgifter kommunerna lämnar in är korrekta.108 Därför blir de kontroller som kommunerna själva gör viktiga för datakvaliteten. Ett exempel i våra kommunintervjuer är att en kommun upptäckt att de svarat olika på en fråga mellan olika år fast de inte gjort några förändringar i verksamheten som borde påverka svaren. Ett annat exempel är att vissa enhetschefer anger att en rutin finns medan andra inte gör det, vilket föranlett interna kontroller av svaren.109 Denna systematik i datainsamlingen varierar dock i kommunerna i granskningen.

106 Intervjuer med företrädare för Socialstyrelsen, 2020-06-02, 2020-11-13. Socialstyrelsen har haft 50 kommuner som referenskommuner jämnt fördelade efter SKR:s kommunindelning. De har använts några år och ska bytas ut under 2021.

107 Intervju med företrädare för RKA, 2020-05-14.

108 Intervju med företrädare för Socialstyrelsen, 2020-05-29.

109 Intervju med kommunföreträdare, 2020-11-23.

36 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

4 Begränsat bidrag till en mer jämlik socialtjänst av god kvalitet

I kapitlet redovisar vi våra iakttagelser för delfråga 2: Bidrar öppna jämförelser till en mer jämlik socialtjänst av god kvalitet? Kapitlet inleds med en sammanfattning av iakttagelserna.

Vi bedömer sammantaget att öppna jämförelser i begränsad utsträckning bidrar till kvalitetsutveckling av socialtjänsten.

Det finns en stor variation mellan socialtjänstens delområden i hur mycket kommunerna använder öppna jämförelser och vad de använder öppna jämförelser till. Inom vissa delområden använder majoriteten av kommunerna öppna jämförelser, och en stor andel använder dem till kvalitetsutveckling. Inom andra delområden använder ungefär hälften av kommunerna inte alls öppna jämförelser.

Det är främst resultatindikatorer och verksamhetsnära indikatorer som är till nytta för kommunerna. De kommuner som intervjuats i granskningen anser att relativt få indikatorer är användbara i deras kvalitetsutvecklingsarbete. I relation till mängden indikatorer som ingår i öppna jämförelser är en kommuns nytta av öppna jämförelser för kvalitetsutveckling därmed låg.

De flesta indikatorer i öppna jämförelser används istället som en checklista över vad man som kommun bör ha infört i sin verksamhet. På så sätt förekommer en viss kunskapsstyrning genom öppna jämförelser. Kommunerna

i granskningen jämför också sina resultat i öppna jämförelser med andra kommuners. De intervjuade kommunerna prioriterar dock utifrån sina egna förutsättningar och väljer aktivt bort att arbeta med vissa indikatorer.

Våra statistiska analyser visar inte heller på några tydliga resultatförbättringar

i indikatorerna över tid, varken bland de kommuner som uppgett att de använder öppna jämförelser för kvalitetsutveckling eller de som inte alls använder öppna jämförelser. Analyserna visar inte heller att kommunjämförelser leder till tydliga förbättringar i enskilda kommuners resultat.

Granskningen visar vidare att det stöd kommunerna får från Socialstyrelsen, SKR och RSS:erna inte är anpassat till att användas av kommunerna i deras kvalitetsutvecklingsarbete. Stödet motsvarar därmed inte kommunernas behov.

R I K S R E V I S I O N E N

37

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

4.1 Stor variation i kommunernas användning av öppna jämförelser

Majoriteten av kommunerna använder öppna jämförelser på något sätt och svarsfrekvensen på enkäterna i öppna jämförelser är hög. Men det finns en stor variation mellan socialtjänstens olika delområden i hur öppna jämförelser används. Det gäller både i hur stor användningen är och vad kommunerna använder öppna jämförelser till. Inom delområden med en generellt högre användning uppger en stor andel av kommunerna att de använder öppna jämförelser för att utveckla kvaliteten i socialtjänstens verksamheter.

Vi kan i vår statistiska analys inte se några tydliga mönster i vilken typ av kommuner som uppger att de använder öppna jämförelser till kvalitetsutveckling respektive de som inte använder jämförelserna alls.

Kommunerna i granskningen jämför sina resultat i öppna jämförelser med andra kommuners. De identifierar dock sällan utvecklingsområden och prioriterar mellan dessa genom att jämföra sig med andra. Våra statistiska analyser visar också att kommunjämförelser inte leder till några tydliga resultatförbättringar för enskilda kommuner till följd av att de kommuner de jämför sig med uppvisar bra resultat.

4.1.1 Majoriteten av kommunerna använder öppna jämförelser på något sätt

Enligt Socialstyrelsens slutrapport för arbetet med öppna jämförelser 2015–2018 använder minst 70 procent av kommunerna öppna jämförelser på något sätt.110 Liknande siffror återkommer i SKR:s medlemsundersökning från 2019, se tabell 3 nedan.111 Det finns emellertid en stor variation mellan olika delområden vad gäller hur mycket kommunerna använder öppna jämförelser, och till vad.

110 Siffran 70 procent är baserat på en undersökning av Socialstyrelsen där 50 kommuners kvalitetsberättelser, verksamhetsplaner och webbplatser granskats. Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen 2015–2018, 2019, s. 7.

111 SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019.

38 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Tabell 3 Andel kommuner som uppgett att de använt resultatet från öppna jämförelser i olika syften inklusive inte alls använt resultaten, per delområde (procent)

Delområde	Har använt	Har använt	Har använt	Har inte använt
	resultaten till	resultaten för	resultaten för	resultaten alls
	kvalitets-	styrning	egenkontroll/
	utveckling		granskning/-
			tillsyn
Äldreomsorg	91	72	66	2
Funktionsnedsättning, LSS	70	39	53	16
Ekonomiskt bistånd	67	37	49	20
Social barn- och ungdomsvård	60	30	49	24
Socialpsykiatri	58	28	39	31
Missbruks- och beroendevård	56	27	39	31
Våld i nära relationer	55	19	37	30
Krisberedskap	32	10	17	48
Hemlöshet	30	17	24	54

Källa: SKR, Medlemsundersökning om öppna jämförelser socialtjänst 2019.

Öppna jämförelser används minst inom delområdena hemlöshet och krisberedskap, där uppger runt 50 procent av kommunerna att de inte alls använder öppna jämförelser. SKR menar att de kommuner som inte alls använder öppna jämförelser kan ha svarat på enkäterna, men sedan inte prioriterat att analysera och använda resultaten i form av kvalitetsutveckling.112 Det kan bland annat bero på att de inte tycker indikatorerna är tillräckligt intressanta eller motsvarar deras behov som underlag i kvalitetsutvecklingsarbetet. Det kan också krävas en för stor arbetsinsats med tolkning och analys för att indikatorerna ska anses vara användbara.113

Att kommunerna ändå prioriterar att svara på enkäterna i öppna jämförelser är tydligt. Svarsfrekvensen har sedan start varit mycket hög.114 Sedan revideringen av den gemensamma kommunundersökningen 2016 har svarsfrekvensen varit över 90 procent.115 Svarsfrekvensen i enhetsundersökningarna för äldreomsorg och LSS är mellan 86 och 91 procent.116 Brukarundersökningen inom äldreomsorgen har

112 Intervju med företrädare för SKR, 2020-02-26.

113 SKR, svar från faktagranskning, 2020-04-14.

114 Socialstyrelsen, Öppna jämförelser av socialtjänst och hemsjukvård 2010–2014 - Slutrapport, 2015, s. 15.

115 Intervju med företrädare för Socialstyrelsen, 2020-05-29. Den senaste genomförda undersökningen 2020 hade en svarsfrekvens på 95 procent för den gemensamma delen i kommunenkäten och mellan 94 och 91 procent för samtliga delområden, med undantag för krisberedskap som låg på 91 procent. (Socialstyrelsen 2020).

116 Socialstyrelsen, Resultat för öppna jämförelser i socialtjänsten 2019. Enhetsundersökningarna publicerades inte under 2020.

R I K S R E V I S I O N E N

39

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

en svarsfrekvens på 60 procent för personer med hemtjänst och 50 procent för personer på särskilt boende för äldre.117

Vår statistiska analys visar att det inte finns några tydliga mönster i vilken typ av kommuner som uppger att de använder öppna jämförelser till kvalitetsutveckling respektive de som inte använder jämförelserna alls. När vi har jämfört geografi, demografi och ekonomi bland dessa grupper av kommuner framkommer få skillnader. Den enda tydliga skillnaden är att fler mellanstora kommuner och kommuner i vissa län använder resultatet till kvalitetsutveckling. Det gäller både inom ekonomiskt bistånd och social barn- och ungdomsvård.118

Användningen kan variera mycket inom en och samma kommun – exempel från en av de intervjuade mindre kommunerna

Äldreomsorg – indikatorer från öppna jämförelser är uppsatta mål för verksamheten

• Inom äldreomsorgen grundas de politiska besluten och målen för verksamheten mycket på indikatorer från brukarundersökningen i öppna jämförelser. De mål som verksamheten ska uppnå mäts därmed genom öppna jämförelser.

• Kvalitetsutvecklingsarbetet utgår därför också mycket från öppna jämförelser.

Social barn- och ungdomsvård – lägger inte ner mycket tid på öppna jämförelser

• Inom social barn- och ungdomsvård lägger man inte ner mycket tid på öppna jämförelser. De går främst igenom hur det ser ut och jämför sig till viss del med grannkommuner och andra jämförbara kommuner.

Ekonomiskt bistånd – inget systematiskt kvalitetsutvecklingsarbete

• Inom ekonomiskt bistånd har de inte något systematiskt kvalitetsarbete. De följer dock upp verksamheten och jobbar med utveckling, men skulle kunna göra det mer systematiskt och rutinmässigt.

• Öppna jämförelser används för att stämma av hur de ligger till. Indikatorerna fungerar då som en checklista över vad de bör ha infört i verksamheten.

• När socialsekreterare inom ekonomiskt bistånd arbetar med verksamhetsutveckling utifrån någon indikator i öppna jämförelser görs det inte specifikt i termer av öppna jämförelser. Det är mer regel än undantag att socialsekreterarna inte är medvetna om öppna jämförelser.

117 Socialstyrelsen, Resultat för öppna jämförelser i socialtjänsten 2019. Vi har valt att undersöka 2019 istället för 2020 med hänsyn till coronapandemin.

118 Riksrevisionens bearbetning av data från SKR:s medlemsundersökning 2019. Inom äldreomsorg går det inte att skatta sådana skillnader eftersom antalet kommuner som uppgett att de inte använder öppna jämförelser alls är så pass få, endast fem.

40 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

4.1.2 Resultat presenteras främst för enhetschefer

Öppna jämförelsers huvudsakliga målgrupper är verksamhetsutvecklare, chefer och politiker i kommunerna.119 De ska främja och stödja beslutsfattare nära verksamheterna.120 Det är också i huvudsak dessa målgrupper som arbetar med och använder öppna jämförelser.

Enligt SKR:s medlemsundersökning presenteras resultaten från öppna jämförelser främst för enhetschefer.121 En liknande bild framkommer i våra intervjuer med kommunföreträdare. Ofta är det någon ledningsfunktion, antingen verksamhetschef eller funktioner kopplade till kvalitetsutveckling, som presenterar resultatet för enhetschefer men också för avdelningschefer. Det beror på hur stor kommunen är och hur många chefsnivåer det finns inom kommunen.122 Att enhetschefer är de vanligaste mottagarna av resultaten

i kommunerna menar SKR är naturligt då det är en rimlig nivå inom förvaltningen när det handlar om just kvalitetsutveckling och förbättringsarbete.123

Det är enligt SKR:s undersökning mindre vanligt att resultat presenteras för politiker, och det förekommer i högre utsträckning inom äldreomsorg, LSS och ekonomiskt bistånd.124 I våra intervjuade kommuner presenteras resultat för politiker främst inom delområdet äldreomsorg.125 Inom äldreomsorgen där det finns verksamhetsnära indikatorer i form av brukarbedömningar finns det också en större koppling till uppsatta mål i socialnämnden eller i verksamhetsplaner.126 Tydliga kopplingar mellan indikatorerna i öppna jämförelser och uppsatta mål kan med andra ord påverka benägenheten att redovisa resultatet för politikerna.

4.1.3 Kommunerna arbetar med olika typer av jämförelser

Kommunerna gör olika jämförelser utifrån resultaten i öppna jämförelser. Vanliga jämförelser är med den egna kommunen över tid, med grannkommuner och kommuner inom länet, med kommuner med liknande förutsättningar såsom storlek, befolkningssammansättning och andra bakgrundsmått eller nationellt mot samtliga av landets kommuner.127

119 Socialstyrelsen, ”Öppna jämförelser av socialtjänst och kommunal hälso- och sjukvård”, hämtad 2021-03-04.

120 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

121 SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019.

122 Intervjuer med kommunföreträdare, 2020-09-07, 2020-10-26, 2020-11-16a, 2020-11-19c, 2020-11-23, 2020-11-27.

123 Intervju med företrädare för SKR, 2020-02-26.

124 SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019.

125 Intervjuer med kommunföreträdare, 2020-09-07, 2020-11-16a, 2020-11-23.

126 Intervju med kommunföreträdare, 2020-11-16a.

127 Intervju med företrädare för RKA, 2020-05-24. Intervjuer med kommunföreträdare, 2020-09-07. 2020-10-26, 2020-11-13, 2020-11-16b, 2020-11-19a, 2020-11-19c, 2020-11-20, 2020-11-27.

R I K S R E V I S I O N E N

41

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Det är i intervjuerna i granskningen tydligt att de kommuner som främst jämför sig med grannkommuner och inom länet oftast gör det av praktiska skäl. Det kan vara för att de i nätverksträffar genom sin RSS gemensamt tolkat frågorna

i enkäterna och då fått en gemensam uppfattning, eller att de i vanliga fall har dialoger med sina grannkommuner. Vissa tycker att länet är den mest intressanta jämförelsen, medan andra inte arbetar särskilt mycket med jämförelser och då ”nöjer sig” med att jämföra sig med kommunerna inom länet.128

De kommuner som jämför sig med kommuner med liknande förutsättningar gör det ofta i Kolada.129 Det är då vanligt att jämförelser görs inom ett specifikt verksamhetsområde.130 Intervjuade kommunföreträdare menar att när de i Kolada kan få fram liknande förutsättningar ända ner på verksamhetsnivå blir jämförelserna mer relevanta.131 Enligt företrädare för RKA har kommunerna med tiden blivit medvetna om att förutsättningar är viktiga och att jämförelser inom länet inte alltid behöver vara den bästa jämförelsen.132

Vi ser i vår statistiska analys ingen systematisk koppling mellan förbättringar från år till år (2016–2020) i den egna kommunen och övriga kommuners resultat.133 Jämförelser verkar alltså inte leda till förbättringar för den enskilda kommunen. Resultaten i öppna jämförelser varierar mellan län och mellan kommungrupper (enligt SKR:s kommungruppsindelning) för många av de indikatorer vi undersökt inom delområdena äldreomsorg, ekonomiskt bistånd och social barn- och ungdomsvård. Även om resultaten skiljer sig mellan län/kommungrupper, så tyder det på att enskilda kommuner inte utvecklas positivt till följd av att den kommun de jämför sig mot uppvisar bra resultat. En möjlig förklaring är i stället att olika grupper av kommuner ”blir lika bra samtidigt”, till exempel tack vare samordnat stöd från sin RSS.134

Det är vidare utifrån våra intervjuer med kommunföreträdare inte vanligt att kommunerna identifierar utvecklingsområden och prioriterar mellan dessa genom jämförelser med andra. Men det finns enstaka exempel där kommunen dels prioriterat de områden som fått dåligt resultat i jämförelse mot övriga kommuner i landet135, dels letat efter ”goda exempel” hos grannkommuner eller de kommuner man i den daglig verksamhet har kontakt med.136 Kommuner som

128 Intervjuer med kommunföreträdare, 2020-09-07, 2020-11-19c, 2020-11-20, 2020-11-27.

129 Intervju med företrädare för RKA, 2020-05-24. Intervjuer med kommunföreträdare, 2020-10-26, 2020-11-13, 2020-11-19c.

130 Intervju med företrädare för RKA, 2020-05-24.

131 Intervjuer med kommunföreträdare, 2020-10-26, 2020-11-19c.

132 Intervju med företrädare för RKA, 2020-05-24.

133 Se tabell 3–5, 10–12 och 15–17 i bilaga 1. Analysen baseras på resultat från 2016–2020 (2016–2019 för enhets- och brukarundersökningen inom äldreomsorgen).

134 Intervjuer med företrädare för RSS:er, 2020-06-08, 2020-06-10, 2020-08-24, 2020-09-01. Riksrevisionen, Enkätundersökning till regionala samverkans- och stödstrukturer, 2020.

135 Intervju med kommunföreträdare, 2020-11-16b.

136 Intervju med kommunföreträdare, 2020-11-27.

42 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

har en etablerad kontakt genom till exempel regionala nätverk kan även kontakta varandra angående enskilda frågor eller indikatorer i öppna jämförelser.137

4.2 Relativt få indikatorer är användbara i kommunernas kvalitetsutvecklingsarbete

Kommunernas upplevda nytta av öppna jämförelser varierar stort mellan socialtjänstens delområden. De intervjuade kommunerna anser att relativt få indikatorer är användbara i deras kvalitetsutvecklingsarbete. När de ger exempel på kvalitetsförbättringar utifrån öppna jämförelser handlar det om specifika, enskilda indikatorer, som ofta är verksamhetsnära. Det är till exempel enbart indikatorer från brukarundersökningen inom äldreomsorgen som används som mål i kommunernas verksamhetsplaner och styrmodeller. I relation till den stora mängden indikatorer som ingår i öppna jämförelser som helhet är kommunernas användning och därmed nytta av öppna jämförelser låg.

De flesta indikatorer används istället som en checklista över vad kommunen bör ha infört i verksamheten. På det sättet förekommer en viss kunskapsstyrning genom öppna jämförelser. Samtidigt visar vår statistiska analys inte på några tydliga resultatskillnader över tid mellan de kommuner som uppgett att de använder öppna jämförelser för kvalitetsutveckling och de som inte använder alls använder öppna jämförelser. Intervjuade kommuner i granskningen uttrycker också att de prioriterar utifrån sina egna förutsättningar och ibland aktivt väljer bort vissa indikatorer. Så även om kommunerna använder öppna jämförelser som en checklista kan vi inte tydligt se att detta bidrar till kvalitetsutveckling.

4.2.1 Den upplevda nyttan av öppna jämförelser varierar stort

Det finns en stor variation i upplevd nytta av öppna jämförelser mellan socialtjänstens delområden. Inom äldreomsorgen är det 81 procent, inom ekonomiskt bistånd 50 procent och inom social barn- och ungdomsvård

36 procent av kommunerna som uppgett att de har en mycket eller ganska stor sammantagen nytta av öppna jämförelser. Se tabell 4 nedan.

137 Intervjuer med kommunföreträdare, 2020-11-13, 2020-11-27.

R I K S R E V I S I O N E N

43

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Tabell 4 Sammantagen uppskattad nytta av öppna jämförelser fördelat på socialtjänstens olika delområden (procent)

Delområde	Mycket stor	Ganska stor	Ganska liten	Ingen alls	Vet inte
Äldreomsorg	24	57	13	0	4
Ekonomiskt bistånd	8	42	35	5	10
Funktionsnedsättning, LSS	9	35	39	4	12
Social barn- och ungdomsvård	5	31	43	6	14
Socialpsykiatri	5	30	37	9	20
Missbruks- och beroendevård	5	26	45	8	17
Våld i nära relationer	1	24	44	13	16
Krisberedskap	4	16	36	13	32
Hemlöshet	1	15	36	30	18

Källa: SKR, Medlemsundersökning om öppna jämförelser socialtjänst 2019.

Det är generellt få kommuner som uppger att de haft en mycket stor nytta av öppna jämförelser. Bortsett från äldreomsorgen är det mindre än tio procent av kommunerna som uppger att de haft en mycket stor nytta.138

4.2.2 Resultat- och verksamhetsnära indikatorer används mest och är till störst nytta

En förklaring till skillnader i användning, och därmed upplevd nytta för kvalitetsutveckling, är att innehållet i öppna jämförelser varierar mellan olika delområden. Enligt RKA:s mätningar i Kolada är äldreomsorg och ekonomiskt bistånd de mest besökta och använda delområdena. Inom övriga delområden används öppna jämförelser i avsevärt mindre utsträckning.139

Den indikatortyp som generellt används mest i Kolada är registerindikatorer. De finns inom ekonomiskt bistånd och äldreomsorg, och majoriteten är resultatindikatorer. Exempel på registerindikatorer är hur många som har långvarigt ekonomiskt bistånd och hur många barn som lever i familjer med ekonomiskt bistånd. Även brukarbedömningar från brukarundersökningen inom äldreomsorgen är indikatorer som används mycket i Kolada, där samtliga kategoriseras som resultatindikatorer.140

Registerindikatorer finns även inom social barn- och ungdomsvård samt missbruks- och beroendevård (se avsnitt 3.2.1). Öppna jämförelser inom dessa delområden används dock inte i samma utsträckning i Kolada som äldreomsorg

138 SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019.

139 Intervju med företrädare för RKA, 2020-05-24. RKA har mätt i antalet klick i Kolada.

140 Intervju med företrädare för RKA, 2020-05-24.

44 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

och ekonomiskt bistånd, och de har också en lägre upplevd nytta i SKR:s medlemsundersökning.

I följande avsnitt beskriver vi hur de intervjuade kommunerna i granskningen använder olika typer av indikatorer inom de tre delområden som vi fördjupat oss inom.

Äldreomsorg

Inom äldreomsorgen uttrycker kommunföreträdarna i våra intervjuer att öppna jämförelser är till nytta i kvalitetsutvecklingsarbetet. Kommunerna sätter mål på ledningsnivå utifrån indikatorerna i öppna jämförelser, de prioriterar utvecklingsområden och fokuserar på att förbättra resultat. Även på enhetsnivå, inom hemtjänsten och på särskilda boenden för äldre, upplevs öppna jämförelser vara till nytta.141 Det är främst indikatorer från brukarundersökningen och enhetsundersökningen samt registerindikatorer som kommunerna uppger att de använder och har nytta av. När indikatorer från öppna jämförelser används på ett systematiskt sätt som mål i verksamhetsplaner, i socialnämnden eller

i övergripande styrmodeller handlar det främst om brukarbedömningarna, det vill säga verksamhetsnära indikatorer. Det gäller till exempel sammantagen upplevd nöjdhet, bemötande, trygghet, upplevd ensamhet, måltider, brukarens möjlighet att påverka tider och hur insatser genomförs.142

Däremot nämner ingen kommun i våra intervjuer att de använder indikatorer från den gemensamma kommunundersökningen i sitt kvalitetsutvecklingsarbete. Inom äldreomsorgen innehåller den enbart struktur- och processindikatorer.

En av kommunföreträdarna menar att det kommunundersökningen framför allt bidrar med är att de får upp ögonen för saker de kan ha missat, det vill säga lite som en checklista. Den typen av användning diskuteras mer i avsnitt 4.2.4.143

Ekonomiskt bistånd

Det finns i våra intervjuer inom ekonomiskt bistånd inte några exempel på att indikatorer från öppna jämförelser används för att sätta mål för verksamheten. SKR:s generella bild är att när kommunerna sätter mål i sina verksamhetsplaner utifrån indikatorerna i öppna jämförelser så använder de främst indikatorer från brukar- och enhetsundersökningarna.144 Den typen av undersökningar finns emellertid inte inom delområdet ekonomiskt bistånd, och inte heller inom social

141 Intervjuer med kommunföreträdare, 2020-09-07, 2020-10-26, 2020-11-16a, 2020-11-16b, 2020-11-19a, 2020-11-23.

142 Intervjuer med kommunföreträdare, 2020-11-16a, 2020-11-19a, 2020-11-19b, 2020-11-23. Svar på frågor via mejl från kommunföreträdare, 2021-04-21, 2021-04-22.

143 Intervju med kommunföreträdare, 2020-11-23.

144 Intervju med företrädare för SKR, 2020-02-26. I Socialstyrelsens öppna jämförelser finns brukarundersökningar enbart inom äldreomsorg och enhetsundersökningar inom äldreomsorg och LSS. Se kapitel 2. SKR gör dock egna brukarundersökningar inom fler delområden: ekonomiskt bistånd, LSS, socialpsykiatri, social barn- och ungdomsvård samt missbruks- och beroendevård. SKR, ”Socialtjänst, brukarundersökningar”, hämtad 2021-05-04.

R I K S R E V I S I O N E N

45

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

barn- och ungdomsvård. Inom dessa två delområden har enskilda kommuner istället genomfört egna brukarenkäter där mått kopplas till verksamhetsmål i olika styrdokument.145

För kommunerna i granskningen är det inom ekonomiskt bistånd, liksom inom äldreomsorgen, främst verksamhetsnära indikatorer som sägs vara värdefulla att arbeta med för kvalitetsutveckling. Till exempel uppges processindikatorer om standardiserade bedömningsmetoder och upprättade och uppdaterade genomförandeplaner till nytta.146 Indikatorn om upprättade och uppdaterade genomförandeplaner nämns också i en av våra RSS-intervjuer som ett exempel på en indikator som kommunerna i det länet jobbar aktivt med.147 Dessa indikatorer beskriver arbete som utförs relativt nära brukarna.

…”de standardiserade bedömningsinstrument och strukturerade arbetssätt som man kan utläsa från ÖJ, är väl det som känns relevant att jämföra sig med och titta på. Och då använda för någon faktisk form av verksamhetsutveckling. […] Vi tänker att fokus borde ligga mer på indikatorer kring kunskapsbaserad verksamhet, standardiserade bedömningsinstrument och strukturerat arbetssätt och personalens kompetens.”148

Social barn-och ungdomsvård

I våra intervjuer inom social barn- och ungdomsvård sägs olika typer av indikatorer vara till nytta för kommunerna i deras kvalitetsutvecklingsarbete. En kommun använder till exempel två registerindikatorer som mål i verksamheten och som underlag i analyser av verksamhetens resultat. Det är indikatorer om utbildningsnivå, andelen placerade barn som fullföljt grundskolan respektive gymnasium, som ingår i delområdet.149

I en av de intervjuade kommunerna används inte indikatorer från kommunundersökningen för kvalitetsutveckling.150 En annan kommun lyfter däremot strukturindikatorer om rutiner från kommunundersökningen som ett exempel på indikatorer där kommunen arbetat aktivt för att få grönt resultat i öppna jämförelser. Det gäller bland annat rutiner för intern samordning med socialpsykiatrin och LSS och rutiner för extern samverkan med tandvård och mödravård. Kommunen har tidigare haft rött på några av dessa indikatorer men sedan arbetat med att ta fram rutiner.151

145 Intervjuer med kommunföreträdare, 2020-11-19c, 2020-11-19d.

146 Intervjuer med kommunföreträdare, 2020-10-26, 2020-11-19d, 2020-11-20.

147 Intervju med företrädare för RSS, 2020-09-01.

148 Intervju med kommunföreträdare, 2020-10-26.

149 Intervju med kommunföreträdare, 2020-11-13.

150 Intervju med kommunföreträdare, 2020-11-19c.

151 Intervjuer med kommunföreträdare, 2020-11-13, 2020-11-27.

46 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

4.2.3 Nyttan av strukturindikatorerna är oklar

Som framgått i kapitel 3 (avsnitt 3.2.1) finns det relativt många strukturindikatorer i öppna jämförelser. Strukturindikatorerna handlar ofta just om huruvida kommunerna har av ledning godkända rutiner eller aktuella överenskommelser.

I intervjuerna i granskningen framkommer det kritik mot att denna typ av indikatorer inte alltid är relevanta att följa för kommunernas kvalitetsutvecklingsarbete. Resultatet för en sådan indikator behöver inte säga något om kvaliteten i verksamheten. En kommunföreträdare menar till exempel att de kan få grönt på en indikator för att de upprättat en rutin kring samverkan, men om samverkan i praktiken inte fungerar, då mäter indikatorn inte kvalitet. Samtidigt kan det vara tvärtom, att en kommun har en bra samverkan i ett visst område men får rött på indikatorn då de inte har en uppdaterad rutin eller överenskommelse.152 SKR menar att många av strukturindikatorerna är uppbyggda på enkätfrågor med villkor som gör indikatorerna alltför snäva.

Ett exempel är att rutinerna behöver vara uppdaterade varje år för att de ska anses vara aktuella (och bli gröna i öppna jämförelser), medan kommunerna i praktiken inte arbetar med så täta uppdateringar.153

4.2.4 Öppna jämförelser används som checklista och är en del av den nationella kunskapsstyrningen

RKA:s mätningar i Kolada visar att kommunerna använder struktur- och processindikatorerna för analyser och jämförelser relativt lite. Dessa typer av indikatorer fungerar istället mer som en checklista för kommunerna över vad de behöver ha på plats i verksamheterna.154 Kommunerna behöver inte vänta på att resultaten ska publiceras utan har sitt eget resultat, och därmed checklistan, från när de fyllt i och skickat enkäterna till Socialstyrelsen.

I intervjuerna med kommunföreträdare framkommer att den här typen av användning är vanligt förekommande. Flera av de intervjuade kommunföreträdarna menar att nyttan med att använda öppna jämförelse just är att de får en checklista på vad de behöver prioritera.155 Kommunerna får upp ögonen för saker de kan ha missat, och kan prioritera sitt utvecklingsarbete utifrån det.156

152 Intervjuer med kommunföreträdare, 2020-10-26, 2020-11-13.

153 Intervju med företrädare för SKR, 2020-02-26.

154 Intervju med företrädare för RKA, 2020-05-24. RKA har mätt i antalet klick på indikatornivå i Kolada.

155 Intervjuer med kommunföreträdare, 2020-09-07, 2020-09-14, 2020-11-16a, 2020-11-19d, 2020-11-27.

156 Intervjuer med kommunföreträdare, 2020-11-13, 2020-11-19d, 2020-11-23.

R I K S R E V I S I O N E N

47

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

…”när jag sitter med i de här sammanhangen och vi svarar på enkäten varje år så får man ju en hint, vänta lite nu det här blev inte så bra. Då får jag en tanke, det här måste vi gå tillbaka till våra chefer och prata om. När vi fyller i enkäten, då får jag ju en övergripande påminnelse […] Jag får en påminnelse om att just här skulle jag vilja att vi gör bättre, och då kan jag driva den frågan”157

Ett syfte med indikatorerna i öppna jämförelser är också att de som en del av Socialstyrelsens kunskapsstyrning ska visa kommunerna vilka områden som det är viktigt att utveckla kvaliteten inom.158 Våra kommunintervjuer bekräftar att det som Socialstyrelsen frågar om uppfattas som viktigt för kvaliteten, och att kommunerna uppfattar den delen av myndighetens kunskapsstyrning.

”Det jag använder öppna jämförelser mest för är väl den här temperaturmätningen för att se hur vi ligger till. Ser det inte så bra ut, då tar man ju de sakerna vidare. Tanken är att de här sakerna frågar Socialstyrelsen om, ja då är det viktigt i vårt arbete, att vi belyser de sakerna.”159

I exemplet ovan ses öppna jämförelser inte enbart som en checklista över vilka områden kommunen behöver prioritera och utveckla utan också som styrdokument för vad staten anser behöver uppnås för god kvalitet.160

En kommunföreträdare menar också att det också blir en checklista över vilka frågor som följs upp nationellt.161

Bilden av att göra det som Socialstyrelsen frågar om kan dock nyanseras i intervjuerna med kommunföreträdarna.162 Särskilt mindre kommuner har inte alltid kapacitet att arbeta med alla indikatorer som finns i öppna jämförelser och kommunerna är heller inte strukturerade på samma sätt. Det innebär att vissa indikatorer kan vara mer eller mindre relevanta att införa för respektive kommun.

Det är heller inte helt självklart att det är motiverat för varje enskild kommun att vidta en åtgärd bara för att den följs genom en indikator i öppna jämförelser. En kommunföreträdare menar att när de får rött på en indikator brukar de först diskutera om de borde ha grönt eller inte. Ibland kommer de fram till att de inte behöver ha grönt på just den indikatorn eller att de har något annat alternativ som de redan är nöjda med.163

157 Intervju med kommunföreträdare, 2020-11-13.

158 Governo, Förstudie: Utveckling av öppna jämförelser inom socialtjänst och hälso- och sjukvård, på uppdrag av Socialstyrelsen, 2020, s. 6. Intervjuer med företrädare för Socialstyrelsen, 2020-05-15, 2020-11-26.

159 Intervju med kommunföreträdare, 2020-11-19d.

160 Intervju med kommunföreträdare, 2020-11-19d, 2020-11-27.

161 Intervju med kommunföreträdare, 2020-09-14.

162 Intervjuer med kommunföreträdare, 2020-09-07, 2020-09-14.

163 Intervju med kommunföreträdare, 2020-11-23.

48 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

4.2.5 Kunskapsstyrningen leder inte till resultatförbättringar över tid

Socialstyrelsens vill genom att följa resultaten i öppna jämförelser se om det som indikatorerna omfattar får genomslag i kommunerna.164 Men även om våra kommunintervjuer visar att kommunerna använder öppna jämförelser som checklista och uppfattar den statliga kunskapsstyrningen så leder det inte nödvändigtvis till förbättringar av resultateten i öppna jämförelser.

Vi ser i vår statistiska analys inga tydliga skillnader i kommunernas resultat mellan de kommuner som uppger att de använder indikatorerna i öppna jämförelser för kvalitetsutveckling och de som uppger att de inte alls använder öppna jämförelser. Inom social barn- och ungdomsvård har de kommuner som använder öppna jämförelser för kvalitetsutveckling bättre resultat endast på några enstaka indikatorer. De har fler rutiner för extern samverkan och det är vanligare att de använder manualbaserade insatser för stödgruppsverksamhet. Inom ekonomiskt bistånd har den gruppen dock ett bättre resultat på flertalet indikatorer.

Till exempel är det vanligare att ha rutiner för extern samverkan och till viss del för individbaserad uppföljning.165

För majoriteten av de indikatorer vi undersökt finns det inte heller några tydliga trender över tid sett till rikssnittet för åren vår analys täcker, 2016–2020, se figur 3 nedan.166

164 Intervju med företrädare för Socialstyrelsen 2020-11-26.

165 Vi har inte kunnat göra motsvarande jämförelser för äldreomsorgen eftersom gruppen kommuner som inte använder jämförelserna alls där är för liten. Se tabell 8 och 13 i bilaga 1.

166 Figuren visar specifikt medelvärdet av andelen kommuner i riket som uppfyller indikatorerna

i respektive delområde. Endast indikatorer med konsistent definition över tid ingår. Medelvärdet är beräknat på 5 indikatorer från kommunenkäten inom äldreomsorgen, 12 indikatorer från enhets- och brukarenkäten inom äldreomsorgen, 14 indikatorer från kommunenkäten inom ekonomiskt bistånd och 22 indikatorer från kommunenkäten inom social barn- och ungdomsvård. Analysen baseras på resultat från 2016–2020 med undantag för brukar- och enhetsundersökningen 2020 med hänsyn till coronapandemin. Figurer över utvecklingen av samtliga indikatorer vi analyserat finns i bilaga 1.

R I K S R E V I S I O N E N

49

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Figur 3 Genomsnittlig nationell utveckling av de indikatorer som ingått i granskningens statistiska analys inom äldreomsorgen, ekonomiskt bistånd och social barn-

och ungdomsvård

Procent 70

60

50

40

30

20

10

0

2016		2017	2018	2019	2020	År
	Äldreomsorg: Kommunenkät			Äldreomsorg: Enhets- och brukarenkät
	Ekonomiskt bistånd			Social barn- och ungdomsvård

Källa: Riksrevisionens bearbetning av Socialstyrelsens öppna jämförelser.

Några undantag finns dock. Fler kommuner genomför individbaserad systematisk uppföljning med ett könsperspektiv inom såväl äldreomsorgen, ekonomiskt bistånd och social barn- och ungdomsvård. Men användningen är fortfarande låg, som högst inom ekonomiskt bistånd med 16 procent och endast 6–7 procent inom äldreomsorgen, se figur 4 nedan. Även rutiner för intern samordning tycks öka över tid inom samtliga tre delområden.167

167 Inom de olika områdena ser vi ytterligare enstaka positiva trender. Inom ekonomiskt bistånd ökar användningen av strukturerade utredningsmallar. Inom äldreomsorgen har fler och fler rutiner för samordning/samarbete med vårdcentral, läkare och anhöriga. Däremot är resultaten i brukarbedömningarna inom äldreomsorgen mycket stabila över tid, på en hög nivå. Över 80 procent är mycket eller ganska nöjd med sin hemtjänst/sitt särskilda boende (vilket kan kontrasteras mot att endast runt 30 procent bedömer sitt allmänna hälsotillstånd som mycket eller ganska gott).

50 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Figur 4 Andel kommuner som genomfört individbaserad systematisk uppföljning med ett könsperspektiv inom äldreomsorgen, ekonomiskt bistånd och social barn- och ungdomsvård

Procent 18

16

14

12

10

8

6

4

2

0

2016	2017	2018	2019		2020
	Äldreomsorg			Äldreomsorg, ordinärt boende År
	Äldreomsorg, särskilt boende			Ekonomiskt bistånd
	Barn och unga			Barn och unga, öppenvård
	Barn och unga, dygnsvård

Kommentar: 2016 är indikatorn gemensam för ordinärt och särskilt boende inom äldreomsorg, och för öppenvård och dygnsvård inom social barn- och ungdomsvård.

Källa: Riksrevisionens bearbetning av Socialstyrelsens öppna jämförelser.

4.3 Det nationella stödet är inte anpassat till kommunernas behov

Både Socialstyrelsen och SKR anser att det är viktigt att ge kommunerna stöd i att använda öppna jämförelser. Granskningen visar dock att det stöd som kommunerna erbjuds inte är tillräckligt anpassat och till nytta för kommunernas arbete med kvalitetsutveckling. Socialstyrelsens presentation av resultaten från öppna jämförelser behöver också bli mer användarvänligt.

Mycket av Socialstyrelsens och SKR:s stödmaterial för öppna jämförelser används främst när en kommun börjar arbeta med öppna jämförelser. RSS:ernas stöd till öppna jämförelser har minskat över tid. Det beror dels på en minskad statlig finansiering, dels på att kommunerna idag blivit bättre på att tolka indikatorerna i enkäterna och inte efterfrågar stödet i samma utsträckning som tidigare. Gemensamt för stödmaterialet, resultatpresentationen och stödet från RSS:erna är att det inte har anpassats till att använda öppna jämförelser för kvalitetsutveckling,

R I K S R E V I S I O N E N

51

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

det behov kommunerna har idag. Socialstyrelsen delar den uppfattningen och planerar att utöka sitt stöd till kommunerna.

4.3.1 Delvis överlappande stöd till kommunerna

Det är kommunerna som bestämmer på vilket sätt de använder öppna jämförelser för kvalitetsutveckling av socialtjänstens verksamheter. De måste själva göra

en analys och vidta åtgärder baserat på resultaten utifrån lokala förutsättningar.168 Ansvaret för att stödja kommunerna i att använda öppna jämförelser har enligt den senaste handlingsplanen 2015–2018 i huvudsak legat på SKR.169 Men både Socialstyrelsen och SKR har sett det som viktigt att ge kommunerna stöd

i användningen av resultaten och därmed kunna öka nyttan av öppna jämförelser. Socialstyrelsen har därför också utvecklat stödmaterial. Stödet till kommunerna sker även via RSS:erna och RKA. Kommunernas stöd kommer med andra ord från flera olika nationella och regionala aktörer, vilket skapar en viss överlappning.

SKR har tagit fram olika typer av stödmaterial till kommunernas arbete med att följa upp och analysera verksamheterna. De erbjuder dels ett mer generellt stöd i att genomföra en strukturerad analys, dels ett mer specifikt stöd i just öppna jämförelser i form av en handbok. Handboken togs fram 2012 för att ge kommunerna stöd i hur de kan analysera sina resultat och prioritera i sitt kvalitetsutvecklingsarbete.170 Till handboken finns även mallar som ska hjälpa till att skapa struktur och ge stöd i analysarbetet.171

SKR har också i olika omgångar genomfört utbildningar för kommunerna, både mer generella utbildningar i analysarbete och mer specifika kopplat till öppna jämförelser. Till exempel genomförde SKR tillsammans med RKA under

2018 utbildningar i att använda indikatorer för uppföljning och analys inom äldreomsorgen, där indikatorer från öppna jämförelser ingick.172 RKA genomför också egna utbildningar i analys och utbildningar i databasen Kolada tillsammans med SKR.173, 174

168 Socialstyrelsen, ”Om öppna jämförelser av socialtjänst och kommunal hälso- och sjukvård”, hämtad 2021-01-18.

169 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015. Intervju med företrädare för Socialstyrelsen, 2020-02-21.

170 SKR, ”Handbok för arbetet med Öppna jämförelser socialtjänst”, hämtad 2021-01-26. Handboken har sedan dess uppdaterats och under 2017 togs en ny reviderad kortversion fram. (SKR, 2017).

171 SKR, ”Metoder för att följa upp och analysera verksamhet”, hämtad 2021-01-26.

172 Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen 2015–2018, 2019, s. 16.

173 Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen 2015–2018, 2019, s. 16. Intervju med företrädare för RKA, 2020-05-14.

174 Det har i granskningen inte varit möjligt att göra några iakttagelser om utbildningarna. Endast ett fåtal av de intervjuade kommunföreträdarna i granskningen har deltagit i utbildningarna och inte under de senaste åren, och de omfattas inte av SKR:s medlemsundersökning.

52 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Mycket av SKR:s stöd till kommunerna kanaliseras via RSS:erna inom ramen för ett nätverk för regionalt stöd. Fokus för nätverket låg 2011–2016 på öppna jämförelser men det har breddats och prioriterar numera stöd för individbaserad uppföljning.175 RSS:erna ger kommunerna stöd i att tolka enkätfrågor och indikatorer inför inrapportering, analysera de publicerade resultaten och utifrån resultaten utveckla kommunernas verksamhet. En del RSS:er sammanställer också kommunernas svar inom regionen.176

I stödet till kommunerna ingår även att presentera resultaten i öppna jämförelser på ett användarvänligt sätt. I dagsläget är Socialstyrelsens stödmaterial i första hand kopplat till just presentation av resultat, vilket beskrivs närmare i avsnitt

4.3.4. Resultaten redovisas även av SKR på deras webbplats och sedan 2016 i Jämföraren i RKA:s databas Kolada. I Kolada samlas olika typer av indikatoruppsättningar och nyckeltal. Jämföraren utvecklades för att underlätta användarnas överblick och analyser vid jämförelser mellan kommuner och regioner, mellan verksamheter och över tid.177

4.3.2 Stödmaterialet är grundläggande och ger inte kommunerna praktiskt stöd

I våra kommunintervjuer framkommer att det stödmaterial som Socialstyrelsen och SKR erbjuder har använts i varierande grad. Det finns skilda uppfattningar om vilket stöd som materialen bidrar med, och åsikterna kan variera inom en och samma kommun. En återkommande synpunkt i intervjuerna är emellertid att stödmaterialet inte används systematiskt eller löpande; det används främst inledningsvis när en kommun ska börja arbeta med öppna jämförelser eller vid omtag då man går tillbaka och tittar i materialet.178 Liknande synpunkter förs även fram av företrädare för RSS:erna.179

I SKR:s medlemsundersökning från 2019 framkommer en stor variation i upplevd nytta av SKR:s handbok. De två delområden där kommunerna var mest positiva till handboken är äldreomsorg och ekonomiskt bistånd; 32 respektive 26 procent uppger att de haft ganska stor nytta av handboken inom dessa delområden. Bortsett från delområdet äldreomsorg så uppger 60–70 procent av kommunerna att de inte har någon nytta, inte vet eller inte alls har använt sig av handboken. För äldreomsorgen är motsvarande siffra 39 procent.180

175 Intervju med företrädare för SKR, 2020-02-26.

176 Riksrevisionen, Enkätundersökning till regionala samverkans- och stödstrukturer, 2020.

177 Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen 2015–2018, 2019, s. 10.

178 Intervjuer med kommunföreträdare, 2020-10-26, 2020-11-13, 2020-11-16a, 2020-11-23.

179 Intervju med företrädare för RSS, 2020-08-24.

180 SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019.

R I K S R E V I S I O N E N

53

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

En förklaring kan vara att handboken och övrigt stödmaterial främst använts

i ett tidigt skede när arbetet med öppna jämförelser inleddes.181 Enligt flera av de intervjuade kommunföreträdarna har SKR:s handbok varit till nytta när de startat upp ett arbete med öppna jämförelser.182 En annan förklaring kan vara att kommunerna inte känner till att den finns då SKR har svårt att nå ut med stödmaterial.183

I intervjuerna i granskningen framkommer även att stödmaterialet från SKR samt från Socialstyrelsen inte är ett tillräckligt stöd i kvalitetsutvecklingsarbetet. Företrädare för RSS:erna menar till exempel att SKR:s handbok och mallarna inte är ett tillräckligt konkret analysstöd för kommunerna.184 Detsamma gäller en av kommunföreträdarna som beskriver att stödmaterialet är grundläggande och inte är ett praktiskt stöd i själva analysarbetet.185 Att stödmaterialet är på

en grundläggande nivå framkommer även i intervjuerna med Socialstyrelsen.186

4.3.3 Socialstyrelsens vill utöka sitt stöd till kommunerna

Det finns en viss kritik från Socialstyrelsen mot att SKR inte gett kommunerna tillräckligt konkret stöd i att använda öppna jämförelser för kvalitetsutveckling. Samtidigt finns en förståelse för att dessa upplevda brister kan förklaras av resursbrist hos SKR.187

Socialstyrelsen ser en outnyttjad potential i öppna jämförelser och menar att kommunerna i större utsträckning än idag kan använda befintliga indikatorer till kvalitetsutveckling.188 Socialstyrelsen har därför en ambition att utöka sitt stöd till kommunerna och ge dem ett mer konkret och praktiskt stöd i att tänka vidare och använda resultaten för analys och kvalitetsutveckling. De planerar att anordna så kallade användarseminarier för kommunerna under 2021. Syftet är att efter publicering av resultatet sprida kunskap om hur öppna jämförelser kan tolkas och användas på kommunal nivå.189 Seminarieformen har också valts för att kunna ta reda på vad kommunerna behöver för stöd.190

181 Intervjuer med kommunföreträdare, 2020-10-26, 2020-11-16a.

182 Intervjuer med kommunföreträdare, 2020-11-16a, 2020-11-19d.

183 SKR, svar från faktagranskning, 2021-04-14.

184 Intervju med företrädare för RSS, 2020-09-01.

185 Intervju med kommunföreträdare, 2020-11-13.

186 Intervju med företrädare för Socialstyrelsen, 2020-02-21.

187 Intervju med företrädare för Socialstyrelsen, 2020-05-15.

188 Telefonintervju med företrädare för Socialstyrelsen, 2021-02-19.

189 Socialstyrelsen, Projektplan för öppna jämförelser inom socialtjänst och kommunal hälso- och sjukvård 2021, dnr 5.7-31757/2020, 2020.

190 Telefonintervju med företrädare för Socialstyrelsen, 2020-11-13.

54 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

4.3.4 Socialstyrelsens presentation av resultat kan förbättras

Nyttan av öppna jämförelser för kommunerna kan öka om resultaten i öppna jämförelser presenteras på ett användarvänligt sätt. Att göra resultaten mer lättillgängliga och att öka användarvänligheten har varit mål i den nationella strategin och den senaste handlingsplanen 2015–2018. I handlingsplanen var målet att resultatpresentationen skulle förenklas och förbättras för att öka användbarheten.191 I detta syfte publicerade Socialstyrelsen mellan 2015 och 2018 så kallade användarguider. Där beskrevs hur indikatorerna kan tolkas och användas i det lokala utvecklingsarbetet.192 Tidigare publicerade Socialstyrelsen även resultatrapporter, som också det var ett sätt att visa kommunerna hur de kan använda och analysera resultaten.193 Från 2018 ersattes resultatrapporterna av kortare faktablad.194

Socialstyrelsen tillgängliggör idag resultaten genom Excelfiler, faktablad och metodbeskrivningar. I Excelfilerna presenteras årets samtliga resultat för de olika delområdena och indikatorerna beskrivs. I faktabladen presenteras centrala delar av årets resultat på nationell nivå tillsammans med beskrivningar av indikatorerna och deras syften samt relevanta kunskapsunderlag. I metodbeskrivningarna redogörs för årets insamling, nya indikatorer och andra eventuella förändringar.195

Granskningen visar att trots Socialstyrelsens åtgärder finns det förbättringsmöjligheter i resultatpresentationen. Kommunföreträdarna i våra intervjuer uppger att indikatorbeskrivningarna är svåra att hitta i och att resultatet skulle kunna vara mer lättillgängligt och redovisningen mer användarvänlig. Bristerna gör att det finns en risk för att arbetet med öppna jämförelser inte prioriteras i kommunerna.196

SKR:s medlemsundersökning från 2019 visar att det finns en stor variation i hur kommunernas upplever Socialstyrelsens presentation av resultat.197 De uppger att de har mest nytta av Excelfilerna. En stor andel av kommunerna uppger dock att de inte har, eller inte vet om de har använt sig av filerna. Den upplevda nyttan av Excelfilerna är större inom de delområden i socialtjänsten där öppna jämförelser

191 Regeringsbeslut S2009/5130/SK och Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015, s. 13, 15.

192 Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen 2015–2018, 2019, s. 10. Användarguiderna slutade att publiceras 2018.

193 Intervju med företrädare för Socialstyrelsen, 2020-02-21.

194 Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen 2015–2018, 2019, s. 15.

195 Produkterna presenteras separat för samtliga av socialtjänstens delområden. Socialstyrelsen, ”Öppna jämförelser av socialtjänst och kommunal hälso- och sjukvård”, hämtad 2021-01-26.

196 Intervjuer med kommunföreträdare, 2020–11-19b, 2020-11-19d.

197 De produkter SKR frågat kommunerna om är Socialstyrelsens Excelfiler, faktablad och användarguider. (SKR 2019).

R I K S R E V I S I O N E N

55

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

används i större utsträckning, det vill säga inom äldreomsorg, ekonomiskt bistånd och LSS.198 Socialstyrelsen uttrycker att de själva inte är nöjda med Excelfilerna.199

Däremot är resultatpresentationen i databasen Kolada både välanvänd200 och anses vara mer användarvänlig än Socialstyrelsens presentation av resultat. I de kommuner vi intervjuat är det vanligt att hämta resultat från både Socialstyrelsen och i Kolada. Det är däremot ofta Kolada som används för att arbeta med resultaten, laborera med data, göra analyser och jämförelser.201 Det överensstämmer med SKR:s undersökning där Kolada har en större upplevd nytta än Socialstyrelsens samtliga produkter.202 Av intervjuerna framkommer att det både är enklare att hämta och att arbeta med resultatet i Kolada än på Socialstyrelsens webbplats. Det är också enkelt att få fram sammanställningar och jämförelser, till exempel genom funktioner med automatiska jämförelser med diagram och trender. Kolada blir även mer av en helhet då flera indikatorsammanställningar är samlade i databasen och det finns därmed andra mått som till exempel kostnader att komplettera sina analyser med.203

Det webbverktyg som Socialstyrelsen upphandlat för brukar- och enhetsundersökningen inom äldreomsorgen anses också vara användarvänligt. En av de intervjuade kommunföreträdarna menar att verktyget är uppskattat då det tar fram i princip färdiga Powerpointpresentationer med enskilda kommuners resultat. Det går också att göra djupare analyser direkt i verktyget.204 Den bilden delas av företrädare för Socialstyrelsen.205

4.3.5 RSS:ernas stöd har minskat och varierar mellan län

RSS:erna har varit ett viktigt stöd för kommunerna i att använda öppna jämförelser. RSS:ernas stöd till kommunerna för öppna jämförelser varierar dock mellan olika län och det har minskat.206

198 Faktabladen som började publiceras 2018 upplevs vara till mindre nytta än Excelfilerna. Användarguiderna, som inte publicerats efter 2018, uppgav kommunerna att de haft lägre nytta av än av både Excelfilerna och faktabladen. (SKR 2019).

199 Telefonintervju med företrädare för Socialstyrelsen, 2020-11-13.

200 Enligt RKA:s mätningar är samtliga av landets kommuner aktiva i Kolada på årsbasis. Intervju med företrädare för RKA, 2020-05-14.

201 Intervjuer med kommunföreträdare, 2020-09-14, 2020-10-26, 2020-11-16a, 2020-11-19d, 2020-11-23.

202 SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019.

203 Intervjuer med kommunföreträdare, 2020-09-14, 2020-10-26, 2020-11-16a, 2020-11-23.

204 Intervju med kommunföreträdare, 2020-11-23.

205 Intervju med företrädare för Socialstyrelsen, 2020-02-21. För jämförelser mellan verksamheterna inom kommunerna inom äldreomsorgen tillhandahåller Socialstyrelsen också verktyget Äldreguiden, som främst är riktat till brukare som ska välja hemtjänst eller boende. Äldreguiden stängdes dock ned under 2020. Ett nytt webbverktyg för att kunna jämföra hemtjänst och äldreboende är under utveckling. Telefonintervju med företrädare för Socialstyrelsen 2021-02-19. Socialstyrelsen, ”Äldreguiden”, hämtad 2021-02-04.

206 Riksrevisionen, Enkätundersökning till regionala samverkans- och stödstrukturer, 2020. Intervjuer med företrädare för RSS:er, 2020-06-08, 2020-09-01.

56 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Eftersom RSS:ernas verksamhet i huvudsak bedrivs på uppdrag av kommunerna och oftast finansieras av dem, beror deras stöd i viss mån på vilket stöd kommunerna efterfrågar. En anledning till det minskade stödet är att RSS:erna inte längre finansieras av staten efter att satsningen på evidensbaserad praktik upphörde 2016 och att de därmed har ett mindre utrymme för att ge stöd.207

En annan anledning till det minskade stödet är att kommunerna blivit mer vana vid öppna jämförelser och att frågorna i enkäterna blivit tydligare. Därmed har kommunernas behov av stöd i att tolka enkätfrågorna i öppna jämförelser minskat.208 En RSS-företrädare menar också att kommunerna med tiden blivit mer vana att hantera de stora Excelfilerna med resultat, och bättre på att sortera ut det som är viktigt för just den egna kommunen. En sorts mognad syns därmed hos kommunerna. Tidigare sågs öppna jämförelser även som den enda uppföljningen medan man numera ser öppna jämförelser som en del av den uppföljning som bedrivs, vilket skulle kunna förklara ett minskat behov av stöd.209 Likadana synpunkter framförs av RKA.210

RSS:ernas stöd har därför förändrats något. De ger kommunerna stöd till att analysera resultat och använda dem för kvalitetsutveckling i större utsträckning än tidigare. En del RSS:er sammanställer även kommunernas svar och identifierar gemensamma utvecklingsområden. Men även om vissa RSS:er ger mer stöd till analys så visar granskningen att stödet som helhet har minskat.211 Det innebär att kommunernas behov av stöd i just analys och användning av resultaten i öppna jämförelser för kvalitetsutveckling riskerar att inte uppfyllas.

Av våra intervjuer med kommunföreträdarna framgår också att RSS:ernas stöd för öppna jämförelser varierar mellan olika län.212 Kommunernas upplevda nytta av RSS:erna stöd i arbetet med öppna jämförelser varierar också enligt SKR:s medlemsundersökning. Variationen gäller inte mellan socialtjänstens delområden utan är generell för samtliga delområden.213 Alla RSS:er arbetar inte heller med socialtjänstfrågor.214

207 Intervju med företrädare för SKR, 2020-02-26.

208 SKR, svar från faktagranskning, 2021-04-14.

209 Intervju med företrädare för RSS, 2020-06-08.

210 Intervju med företrädare för RKA, 2020-05-14.

211 Riksrevisionen, Enkätundersökning till regionala samverkans- och stödstrukturer, 2020. Intervjuer med företrädare för RSS:er, 2020-06-08, 2020-06-10, 2020-08-24, 2020-09-01.

212 Den ena kommunen har en RSS som inte alls arbetar med frågor som rör socialtjänst och har därmed inte fått något stöd. Den andra kommunen har inte fått något stöd av sin RSS trots att de arbetar med frågor som rör socialtjänsten, medan den tredje kommunens RSS i ett tidigare skede haft utbildningar i att tolka frågorna i enkäterna. Intervju med kommunföreträdare, 2020-09-14, 2020-10-26, 2020-11-13, 2020-11-16a.

213 SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019.

214 Alla län har någon form av RSS men omfattningen och vilka frågor som RSS:erna arbetar med varierar. Vissa arbetar till exempel enbart mot hälso- och sjukvård, andra enbart mot socialtjänsten eller mot välfärdsområdet mer allmänt. Intervju med företrädare för SKR, 2020-02-26. Riksrevisionen, Enkätundersökning till regionala samverkans- och stödstrukturer, 2020.

R I K S R E V I S I O N E N

57

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

5 Begränsad nytta för statlig uppföljning och styrning

I kapitlet redovisar vi våra iakttagelser för delfråga 3: Bidrar öppna jämförelser till statens uppföljning och styrning av socialtjänsten? Kapitlet inleds med

en sammanfattning av iakttagelserna.

Vår sammantagna bedömning är att öppna jämförelsers bidrag till den statliga uppföljningen och styrningen av socialtjänsten är begränsat.

Socialstyrelsen och regeringen använder öppna jämförelser till att följa trender i socialtjänsten. De uppger att resultaten ger en bra lägesbild av hur det ser ut inom socialtjänstens olika verksamhetsområden. Socialstyrelsen uppger dock att de i begränsad utsträckning har analyserat resultaten i öppna jämförelser, även om de vill utöka sina resultatanalyser. Regeringen använder också bara ett fåtal, främst verksamhetsnära, indikatorer från öppna jämförelser för att visa på utveckling och bedöma kommunernas resultat. För att uppföljning ska ha

ett värde bör den omsättas i åtgärder. Det är i granskningen inte tydligt om den nationella uppföljningen via öppna jämförelser lett till åtgärder för att styra socialtjänsten.

5.1 Socialstyrelsen analyserar resultaten i öppna jämförelser i begränsad utsträckning

Öppna jämförelser ingår som en del av Socialstyrelsens samlade uppdrag att bidra till nationell uppföljning inom socialtjänsten. Myndigheten har ett brett uppdrag där nationell uppföljning innebär att följa, jämföra och utvärdera insatser och åtgärder, samt utvärdera kvalitet.215 Enligt strategin som 2009 fastslog den övergripande inriktningen för öppna jämförelser ska de främja och stödja nationella policybeslut.216 Numera uttrycks det istället som att öppna jämförelser ska kunna användas för att följa nationella trender.217

Det är i huvudsak också på detta sätt Socialstyrelsen uppger att de använder öppna jämförelser.218 Resultat från öppna jämförelser inom socialtjänsten publiceras i tre av Socialstyrelsens årliga lägesrapporter: Individ- och familjeomsorg, Insatser och stöd

215 Governo, Förstudie: Utveckling av öppna jämförelser inom socialtjänst och hälso- och sjukvård, på uppdrag av Socialstyrelsen, 2020, s. 6.

216 Regeringsbeslut S2009/5079/ST.

217 Socialstyrelsen, ”Om öppna jämförelser av socialtjänst och kommunal hälso- och sjukvård”, hämtad 2021-01-18.

218 Intervjuer med företrädare för Socialstyrelsen 2020-05-15, 2020-06-15.

58 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

till personer med funktionsnedsättning och Omsorg till äldre.219 Resultaten redovisas även i Socialstyrelsens årsredovisningar. I lägesrapporterna och årsredovisningarna redovisas sammanställningar och analyser av resultaten

i öppna jämförelser.

Produkterna innehåller inga fördjupade analyser för att till exempel utvärdera kvalitet eller stödja nationella policybeslut. Socialstyrelsen har inte heller genomfört fördjupade eller systematiska analyser av resultaten i öppna jämförelser i syfte att utveckla indikatorer. Socialstyrelsen uttrycker dock en ambition om att använda och analysera resultaten i öppna jämförelser mer.220 Den omorganisation som genomfördes 2019, där arbetet med öppna jämförelser placerades på analysavdelningen istället för på statistikavdelningen, var ett led i den riktningen.221 Syftet med omorganisationen var bland annat att öka förutsättningarna för fler interna analyser, något som vid tidpunkten för vår granskning ännu inte realiserats.222 Under 2020 har även en förstudie genomförts för att undersöka kommunernas användning och nytta av öppna jämförelser, och hur jämförelserna kan bli en större del i den nationella uppföljningen.223

5.2 Oklar nytta för regeringens uppföljning och styrning

Socialstyrelsen presenterar årligen resultaten från öppna jämförelser för Socialdepartementet i samband med publicering.224 Regeringen använder resultaten från öppna jämförelser i sin uppföljning av socialtjänsten.

I handlingsplanen 2015–2018 bedömer regeringen att öppna jämförelser leder till att kvaliteten i socialtjänsten förbättras och därmed att ett ökat värde uppnås för de medborgare som verksamheterna är till för.225 Socialdepartementet uttrycker att de genom öppna jämförelser kan följa trender då resultaten ger en bra lägesbild om hur det ser ut inom socialtjänstens olika verksamhetsområden.226 Socialdepartementet uppger också att resultaten från öppna jämförelser vid behov används som kunskapsunderlag tillsammans med andra källor inom ramen för till exempel lagstiftningsarbeten eller som underlag till regeringsuppdrag och propositioner.227

219 Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen 2015–2018, 2019 och Intervju men företrädare för Socialstyrelsen 2019-06-03.

220 Intervjuer med företrädare för Socialstyrelsen, 2020-02-21, 2020-06-15. Telefonintervju med företrädare för Socialstyrelsen 2020-11-13.

221 Intervjuer med företrädare för Socialstyrelsen 2020-05-15, 2020-06-15.

222 Intervju med företrädare för Socialstyrelsen, 2020-02-21.

223 Intervju med företrädare för Socialstyrelsen, 2020-02-12.

224 Intervju med företrädare för Socialstyrelsen, 2020-06-02.

225 Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

226 Intervju med företrädare för Socialdepartementet, 2020-12-08.

227 Ibid.

R I K S R E V I S I O N E N

59

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Samtidigt uttrycker Socialdepartementet att öppna jämförelser bara är ett av många underlag som de använder för att följa och styra socialtjänsten. Socialdepartementet gör sällan egna analyser baserat på resultat i öppna jämförelser men kan be Socialstyrelsen om vissa fördjupningar av resultat.228 Sammantaget är det inte tydligt av granskningen i vilken mån resultaten omsätts i styrning av socialtjänstområdet.

Det tydligaste nationella användningsområdet av resultaten i öppna jämförelser, och också det enda regelbundna, är i regeringens årliga budgetproposition.

I budgetpropositionen används resultatet för att visa på utveckling inom socialtjänstens olika verksamheter. I budgetpropositionen för 2021 användes hänvisningar till öppna jämförelser inom socialtjänsten sammanlagt 18 gånger.229

I budgetpropositionen använder regeringen också ett antal resultat- och bakgrundsindikatorer för att bedöma resultatet inom de olika politikområdena. Ett fåtal av indikatorerna från öppna jämförelser används av regeringen i detta syfte.230 Socialdepartementet uttrycker att ambitionen är att använda samma resultatindikatorer inom ett område över tid.231

Sju av de totalt nio indikatorer från öppna jämförelser som regeringen använder kan kategoriseras som verksamhetsnära. Strukturindikatorerna aktuell överenskommelse om samverkan inom ekonomiskt bistånd och rutiner för att säkra rätten till skolgången för barn i skyddat boende inom våld i nära relationer ligger på en hög beslutsnivå i kommunerna i förhållande till det arbete som utförs

i verksamheten. Inom äldreomsorgsområdet är tre av fyra indikatorer brukarbedömningar som hämtas från brukarundersökningen Vad tycker de äldre om äldreomsorgen? Dessa tillhör även gruppen resultatindikatorer inom öppna jämförelser. Den fjärde, olämpliga läkemedel i gruppen 75 år och äldre (i särskilt boende eller hemtjänst), är en registerindikator som kategoriseras som processindikator inom öppna jämförelser.

228 Intervju med företrädare för Socialdepartementet, 2020-12-08.

229 18 hänvisningar till totalt 13 unika indikatorer. Prop. 2020/21:1 utgiftsområde 9, bet. 2020/21:SoU1, rskr. 2020/21:156.

230 Regeringens indelning av resultat- och bakgrundsindikatorer motsvarar inte Socialstyrelsens kategorisering av resultat-, struktur-, process- och bakgrundsindikatorer i öppna jämförelser.

231 Intervju med företrädare för Socialdepartementet, 2020-12-08.

60 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Följande 9 indikatorer från öppna jämförelser används i budgetpropositionen för 2021:

Äldreomsorg

• Andel äldre som uppger att de är ganska eller mycket nöjda med hemtjänsten eller särskilt boende.

• Bemötande, förtroende och trygghet i äldreomsorgen.

• Andel äldre som upplever inflytande och tillräckligt med tid i utförandet i hemtjänst ellersärskilt boende.

• Olämpliga läkemedel i gruppen 75 år och äldre (i särskilt boende eller hemtjänst).

Ekonomiskt bistånd

• Antal mottagare av ekonomiskt bistånd.

• Andel kommuner som har en aktuell överenskommelse om samverkan med Arbetsförmedlingen.

Social barn- och ungdomsvård

• Antal anställda handläggare med socionomexamen och minst tre års erfarenhet av barnutredningar samt mer än fem års erfarenhet av barnutredningar.

Våld i nära relationer

• Antal kommuner som använder standardiserade bedömningsinstrument för våld i nära relationer.

• Antal kommuner som har rutiner för att säkra rätten till skolgången för barn i skyddat boende.

Källa: Prop. 2020/21:1 utgiftsområde 9, s. 126–128, bet. 2020/21:SoU1, rskr. 2020/21:156.

R I K S R E V I S I O N E N

61

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

6 Slutsatser

Öppna jämförelser i socialtjänsten är en sammanställning av indikatorer som tas fram av Socialstyrelsen i samverkan med SKR för att bidra till god kvalitet

i socialtjänsten. De ska användas av kommunerna till uppföljning, jämförelser och utveckling av sin verksamhet och bör svara mot deras behov. De ska samtidigt vara ett medel för statens styrning med kunskap och kunna användas för nationell uppföljning och styrning. Vår övergripande slutsats är att öppna jämförelser ger ett visst, men begränsat, bidrag till en mer jämlik socialtjänst av god kvalitet.

Granskningen visar att öppna jämförelser fyller ett behov för såväl kommunerna som staten. Eftersom det finns få alternativ till de årliga nationella mätningar som öppna jämförelser utgör bedömer vi att de bör finnas kvar. Samtidigt är kommunernas nytta av öppna jämförelser för uppföljning och kvalitetsutveckling begränsad i förhållande till deras omfattning. Kommunerna uppfattar de signaler som staten ger genom öppna jämförelser, men genomslaget av den statliga styrningen med kunskap är litet. Nyttan av öppna jämförelser för uppföljning och styrning på nationell nivå är också begränsad. Socialstyrelsen bör därför utveckla öppna jämförelser till ett mer ändamålsenligt medel för kommunerna, kunskapsstyrning och nationell uppföljning. Och regeringen bör ge Socialstyrelsen bättre förutsättningar för en sådan utveckling.

I följande avsnitt utvecklar vi och diskuterar våra slutsatser.

Öppna jämförelsers bidrag till kvalitetsutveckling varierar

Öppna jämförelser ska fungera som ett medel för en kommun att följa sin verksamhet över tid. Granskningen visar att ur ett kostnads–nytto-perspektiv har öppna jämförelser i socialtjänsten som helhet ett begränsat värde för en kommun.

Inom vissa av socialtjänstens delområden uppger en stor andel av kommunerna att de använder öppna jämförelser för kvalitetsutveckling. Men i förhållande till de totalt omkring 400 indikatorerna är det få som används för detta ändamål. Det är framför allt inom delområden som innehåller resultatindikatorer och indikatorer som mäts på enhetsnivå som kommunerna uppger att de använder och har nytta av öppna jämförelser. Kommunerna som intervjuats i granskningen har med något undantag inte heller använt indikatorerna i öppna jämförelser särskilt systematiskt över tid. Dessutom upplevs inrapporteringen av de många indikatorerna som förhållandevis krävande. Tyngdpunkten i arbetet med öppna jämförelser ligger för många kommuner också snarare i att tolka och fylla

i enkäterna än i att använda resultaten i nästa steg, för uppföljning och kvalitetsutveckling.

62 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Den benchmark-idé som öppna jämförelser ursprungligen mynnar ur syftar i socialtjänsten främst till att kommuner ska lära av varandra. De intervjuade kommunerna i granskningen har visserligen koll på hur de ligger till i öppna jämförelser, men de lägger samtidigt inte så stor vikt vid om de är sämre än andra kommuner. De förhåller sig självständigt till ett dåligt resultat och väljer vilka frågor som det lämpar sig för den egna kommunen att satsa på. Det lärande utbytet med andra kommuner är också begränsat till enstaka fall.

Att kommunerna jobbar efter sina egna förutsättningar är naturligt, men det innebär också att den jämförande mekanismen i öppna jämförelser inte är så stark. Det bekräftas av att kommunerna enligt vår statistiska analys inte förbättrar sina resultat i öppna jämförelser i förhållande till jämförelsekommuner.

Öppna jämförelser är också en del av statens styrning med kunskap. Det kunskapsstyrande syftet har fått större vikt över tid i Socialstyrelsens arbete med öppna jämförelser. Genom att en indikator ingår i öppna jämförelser får kommunerna en signal från staten om att en kvalitetsaspekt inom socialtjänsten är önskvärd att arbeta med. Det ger kommunerna en för dem välkommen checklista på vad staten anser är viktigt för god kvalitet, och utgör en grund för prioriteringar. Indikatorerna ger också information om vilka kunskapsbaserade arbetssätt och metoder som finns att använda.

För Socialstyrelsen är resultaten i öppna jämförelser en kartläggning av hur kunskapsstyrningen fungerar. Men för majoriteten av de indikatorer vi undersökt i vår statistiska analys ser vi inga tydliga resultatförbättringar över tid, vilket indikerar att kunskapsstyrningen inte har så stort genomslag i kommunerna.

I många fall torde den upplevda nyttan av en indikator för kommunerna sammanfalla med nyttan för staten och dess styrning med kunskap. Men i vissa fall behöver öppna jämförelser innehålla indikatorer som kommunerna inte ser någon omedelbar nytta med. Det kan till exempel handla om att införa en kunskapsbaserad handläggningsmetod som Socialstyrelsen menar är lämplig för ökad kvalitet men som kommunerna kanske inte ser behovet av eller inte har resurser att implementera. Samtidigt väljer kommunerna själva hur de ska utveckla sin verksamhet och kunskapsstyrningen i öppna jämförelser kan därför inte vara för långtgående. Men en brist är att Socialstyrelsen inte har gett kommunerna tillräckligt stöd i hur de kan använda indikatorerna för kvalitetsutveckling. Socialstyrelsen har inte heller tydligt definierat hur öppna jämförelser ska ingå i det övriga arbetet med kunskapsstyrning på myndigheten.

Öppna jämförelser ska också kunna användas av Socialstyrelsen och regeringen för att följa utvecklingen i socialtjänsten. För att uppföljningen ska ha ett värde bör den också omsättas i åtgärder. Granskningen visar att Socialstyrelsen och regeringen endast använder en mindre andel av indikatorerna i öppna jämförelser för uppföljning, och precis som kommunerna följer de främst resultatindikatorer

R I K S R E V I S I O N E N

63

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

och verksamhetsnära indikatorer. Det är exempelvis sådana indikatorer som regeringen regelbundet följer i budgetpropositionen. Socialstyrelsen uppger också att de i begränsad utsträckning har analyserat resultaten i öppna jämförelser, även om de vill utöka sina resultatanalyser. Det är i granskningen inte heller tydligt om den nationella uppföljningen via öppna jämförelser omsatts i åtgärder. Många av de indikatorer som inte används av kommunerna för kvalitetsutveckling tjänar därför inte heller något tydligt syfte på nationell nivå. Risken finns att vissa indikatorer mer är ”bra att ha”, än är till nytta. Samtidigt måste kommunerna lägga tid på inrapportering av dessa indikatorer.

Socialstyrelsen bör göra en kritisk översyn av indikatorer

Det är svårt att definiera vad som är kvalitet i socialtjänsten. En brist på individbaserad statistik och evidensbaserade metoder begränsar Socialstyrelsens möjligheter att utveckla indikatorer. Det gör också datainsamlingen tidskrävande för kommunerna och försvårar kontroll av datakvaliteten.

En konsekvens är att majoriteten av indikatorerna i öppna jämförelser är struktur- eller processindikatorer och mäter förutsättningar för kvalitet snarare än kvalitet

i utfall. Socialstyrelsen följer dock inte systematiskt upp hur dessa indikatorer implementeras av kommunerna och därmed om de leder till en kvalitetshöjning i socialtjänsten. Att de indikatorer som mäter förutsättningar för kvalitet fångar kvalitetsutveckling bygger därför till viss del på antaganden som inte verifierats. Det finns därmed en lucka i Socialstyrelsens och regeringens kunskaper om huruvida öppna jämförelser verkligen mäter det som är dess slutmål – god kvalitet i socialtjänsten.

Socialstyrelsen kan ge kommunerna bättre förutsättningar att öka kvaliteten

i socialtjänsten genom öppna jämförelser. Socialstyrelsen bör systematiskt se över indikatorerna och förbättra sitt stöd till kommunerna att använda dem för kvalitetsutveckling. För att endast de indikatorer som är till tydlig nytta för kvalitetsutveckling ska ingå i öppna jämförelser behöver Socialstyrelsen:

• undersöka vilka indikatorer som inte används av och inte är till nytta för kommunerna

• undersöka om och hur de indikatorer som används av kommunerna bidrar till kvalitetsutveckling

• undersöka vilka indikatorer som inte används eller uppfylls idag men som kan vara till nytta om de förstås bättre av kommunerna, genom att tydliggöra kopplingen till statens kunskapsstyrning

• ta bort de indikatorer som varken är till nytta för kommunerna, den statliga kunskapsstyrningen eller statlig uppföljning.

I denna översyn och analys bör kommunerna involveras. Utifrån analysen kan Socialstyrelsen dels minska antalet indikatorer i öppna jämförelser, dels förbättra

64 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

de kvarvarande indikatorerna och i samarbete med SKR, RKA och RSS:erna ge ett mer precist stöd till kommunerna i att använda öppna jämförelser för kvalitetsutveckling.

Socialstyrelsen har inlett ett fördjupat arbete med att utveckla indikatorer och förbättra stödet till kommunerna, och det bör fortsätta. Socialstyrelsen har också förbättrat den interna systematiken i arbetet med öppna jämförelser i förhållande till myndighetens andra uppgifter, men den kan utvecklas ytterligare. Vi bedömer att det är särskilt viktigt att Socialstyrelsen tydliggör hur öppna jämförelser ska vara en del av övriga insatser för statens styrning med kunskap. Socialstyrelsen kan också förbättra sina kontroller av datakvaliteten i öppna jämförelser.

Regeringen bör ta initiativ till bättre uppföljning av socialtjänsten

Socialstyrelsen har begränsade rättsliga möjligheter att hämta in och hantera individbaserad statistik från kommunerna. Det är ett hinder för uppföljning av socialtjänsten och Socialstyrelsen har upprepade gånger uppmärksammat regeringen på behovet av ökade statistikbefogenheter. Regeringen bör ta initiativ till att de lagändringar som i så fall krävs kommer till stånd.

Frågan om statistikinsamling är bredare än öppna jämförelser, och det är inte givet att just öppna jämförelser är det rätta verktyget för presentation av sådana data. Dessutom bör nyttan vägas mot integritet för individen och initiala kostnader för kommunerna. Men bättre möjligheter till statistikhantering skulle underlätta Socialstyrelsens uppföljning, och på sikt skulle datainsamlingen från kommunerna troligtvis kunna automatiseras och förenklas.

Regeringen bör vidta åtgärder för att samordna den indikatorbaserade uppföljningen av socialtjänsten

Det finns vinster med att samordna uppföljningen av socialtjänsten och regeringen bör vidta åtgärder för att skapa ett mer sammanhållet system för indikatorbaserad uppföljning.

Öppna jämförelser har ökat kunskaperna om socialtjänsten. När de utvecklades fanns inte någon motsvarighet, och de är fortfarande ett viktigt medel för uppföljning i avsaknad av andra regelbundna mätningar som täcker in alla kommuner. Men granskningen visar att öppna jämförelser har minskat

i betydelse. Kommunerna i granskningen och företrädare för RSS:erna uttrycker att öppna jämförelser spelar mindre roll nu än när de infördes. SKR visar dem ett minskat intresse och har utvecklat andra indikatorsammanställningar och brukarundersökningar vid sidan av öppna jämförelser. Dessutom har regeringen gett RKA i uppdrag att utveckla liknande indikatorsammanställningar som finns i öppna jämförelser.

R I K S R E V I S I O N E N

65

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Regeringen och Socialstyrelsen uttrycker att öppna jämförelser bara ska ses som ett medel av flera för den sammantagna uppföljningen av kvaliteten

i socialtjänsten. Enligt dem måste öppna jämförelser kompletteras med andra underlag. Men det finns en fara i att hävda att svaret på om det finns kvalitet i socialtjänsten ligger någon annanstans. Risken är att det finns olika indikatorsammanställningar med ungefär samma innehåll och därmed liknande brister, till exempel att de inte mäter kvalitet i verksamheternas utfall och resultat. Granskningen visar också att kommunerna behöver rapportera in uppgifter till flera olika undersökningar vilket gör deras uppgiftslämnarbörda onödigt stor.

Det är inget självändamål att just öppna jämförelser ska finnas kvar som medel för uppföljning och kvalitetsutveckling av socialtjänsten, och det är inte självklart att alla indikatorer för att följa upp socialtjänsten ska samlas under ett paraply. För kommunerna spelar det mindre roll vad en indikator ryms under för beteckning. Kolada, där många indikatorer och andra mått redovisas, är ett användarvänligt verktyg enligt kommunerna. Regeringen och Socialstyrelsen ansvarar inte heller för indikatorsammanställningar som exempelvis SKR och kommunerna själva utvecklar. Men vi bedömer att det finns en vinst för såväl staten som kommunerna i att samordna olika nationella sammanställningar av indikatorer inom socialtjänstområdet. Det skulle minska risken för överlappning av indikatorsammanställningar med ungefär samma innehåll och därmed brister, samt förenkla kommunernas inrapportering av resultat.

Rekommendationer

För att stärka kvalitetsutveckling i socialtjänsten via öppna jämförelser lämnar Riksrevisionen följande rekommendationer till Socialstyrelsen:

• Gör en kritisk översyn av indikatorerna i öppna jämförelser. Syftet med översynen bör vara att endast indikatorer med tydlig nytta för kommunerna, statens kunskapsstyrning eller nationell uppföljning ska ingå i öppna jämförelser.

• Förbättra och anpassa stödet till kommunerna att använda öppna jämförelser för kvalitetsutveckling med utgångspunkt i översynen av indikatorer.

Riksrevisionen lämnar följande rekommendationer till regeringen:

• Ta initiativ till att ge Socialstyrelsen bättre möjligheter att inhämta och hantera individbaserad statistik.

• Vidta åtgärder för att skapa ett mer sammanhållet system för den indikatorbaserade uppföljningen av socialtjänsten.

66 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Referenslista

Dir. 2017:39, Översyn av socialtjänstlagen.

Förordning (2015:284) med instruktion för Socialstyrelsen.

Governo, Förstudie: Utveckling av öppna jämförelser inom socialtjänst och hälso- och sjukvård, på uppdrag av Socialstyrelsen, 2020.

Health Navigator, Öppna jämförelser av socialtjänsten – på mottagarens villkor, på uppdrag av Socialstyrelsen, 2014.

Lag (1993:387) om stöd och service till vissa funktionshindrade.

Lindgren, L, Ottosson, M och Salas, O, Öppna jämförelser – Ett styrmedel i tiden eller Hur kunde det bli så här? Rapport 2:2012, FoU Väst, 2012.

Lindgren, Lena, ”Kvalitetsmätningars användning och effekter inom svensk äldreomsorg”, Nordiske Organisasjonsstudier, 18 (1): 31–55, 2016.

Prop. 2020/21:1, Budgetproposition för 2021 utgiftsområde 9, bet. 2020/21:SoU1, rskr. 2020/21:156.

Regeringsbeslut S2009/5079/ST, Uppdrag att intensifiera utvecklingen av öppna jämförelser och ta fram en handlingsplan för ökad tillgång till data av god kvalitet inom socialtjänst m.m.

Regeringsbeslut S2009/5130/SK, Nationell strategi för kvalitetsutveckling genom öppna jämförelser inom socialtjänsten och hälso-och sjukvården.

Regeringsbeslut S2014/7686/FST, S2014/8929/SAM (delvis), Regleringsbrev för budgetåret 2015 avseende Socialstyrelsen, 2014.

Regeringsbeslut S2014/00197/FS, S2014/01928/FS, S2015/08135/RS (delvis), Regleringsbrev för budgetåret 2016 avseende Socialstyrelsen, 2015.

Regeringsbeslut S2015/04635/FST, S2016/07779/RS (delvis), Regleringsbrev för budgetåret 2017 avseende Socialstyrelsen, 2016.

Regeringsbeslut S2019/05315/RS, Regleringsbrev för budgetåret 2020 avseende Socialstyrelsen.

Riksrevisionen, Enkätundersökning till Regionala samverkans- och stödstrukturer, 2020. RKA, Vägledning för nyckeltal för produktivitet och effektivitet i kommuner i Kolada, 2020. SKR, Handbok för Öppna jämförelser i socialtjänst – en kort version, 2017.

SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019.

SKR, Verksamhetssystem som stöd för systematisk uppföljning. Förslag till generella variabler och brukarfrågor för uppföljning av socialtjänstens stöd, 2019.

R I K S R E V I S I O N E N

67

Ö P P N A J Ä M F Ö R E L S E R I S O C I A L T J Ä N S T E N – B E G R Ä N S A T B I D R A G T I L L G O D K V A L I T E T

Socialdepartementet, Öppna jämförelser inom socialtjänsten och hemsjukvården, handlingsplan 2015–2018, 2015.

Socialtjänstlag (2001:453).

Socialstyrelsen, Årsredovisningar 2007–2018.

Socialstyrelsen, Öppna jämförelser i socialtjänsten, handlingsplan för socialtjänst och hemsjukvård 2010–2014, 2010.

Socialstyrelsen, Öppna jämförelser av vård och omsorg om äldre 2007–2009, Slutrapport från ett treårigt regeringsuppdrag, 2010.

Socialstyrelsens föreskrifter och allmänna råd om ledningssystem för systematiskt kvalitetsarbete (SOSFS 2011:9).

Socialstyrelsen, Öppna jämförelser av socialtjänst och hemsjukvård 2010–2014 – Slutrapport, 2015.

Socialstyrelsen, Handbok för utveckling av indikatorer – För god vård och omsorg, 2017. Socialstyrelsen och SKL, 10 år med öppna jämförelser - vård och omsorg om äldre, 2017.

Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen 2015–2018, 2019.

Socialstyrelsen, Indikatorer – öppna jämförelser 2019. Socialtjänst och kommunal hälso- och sjukvård, 2019.

Socialstyrelsen, Beslutsunderlag för förslag till framtida frekvens och omfattning på datainsamling till öppna jämförelser, 2019.

Socialstyrelsen, Projektplan för öppna jämförelser inom socialtjänst och kommunal hälso- och sjukvård 2021, dnr 5.7-31757/2020, 2020.

Socialstyrelsen, Metodbeskrivning 2020 öppna jämförelser - socialtjänst och kommunal hälso- och sjukvård, 2020.

Socialstyrelsen, Resultat från öppna jämförelser i socialtjänsten 2020, 2020. Socialstyrelsen, Resultat för öppna jämförelser i socialtjänsten 2019, 2019.

SOU 2019:43, Med tillit följer bättre resultat – tillitsbaserad styrning och ledning i staten.

SOU 2020:47, Hållbar socialtjänst – En ny socialtjänstlag.

Statskontoret, Tänk efter före – Om viss styrning av kommuner och landsting, 2011. Vårdanalys, Grönt ljus för Öppna jämförelser? 2012.

Vårdanalys, Öppnar jämförelser för ökad kvalitet i vård och omsorg om äldre? 2013.

68 R I K S R E V I S I O N E N

E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N

Webbkällor

SKR, ”Handbok för arbetet med Öppna jämförelser socialtjänst”, https://skr.se/ tjanster/merfranskr/oppnajamforelser/handbokoppnajamforelsersocialtjanst.1154

.html, hämtad 2021-01-26.

SKR, ”Kommunens kvalitet i korthet, KKiK” https://skr.se/demokrati ledningstyrning/stodforattstyraochleda/kommunenskvalitetikorthet.672.html, hämtad 2021-02-17.

SKR, ”Metoder för att följa upp och analysera verksamhet”, https://skr.se/dem okratiledningstyrning/stodforattstyraochleda/planerafoljauppochatgarda/foljaupp ochanalysera/foljauppochanalyserametoder.25280.html, hämtad 2021-01-26.

SKR, ”Socialtjänst, brukarundersökningar”, https://skr.se/skr/tjanster/oppna jamforelser/socialtjanstbrukarundersokningar.15329.html, hämtad 2021-05-04.

Statistiska Centralbyrån, ”Kostnader och intäkter för kommuner efter region och verksamhetsområde. År 2011–2019.”, http://www.statistikdatabasen.scb.se/ pxweb/sv/ssd/START__OE__OE0107__OE0107B/KostnDR/, hämtad 2021-02-02.

Socialstyrelsen, ”Om öppna jämförelser av socialtjänst och kommunal hälso- och sjukvård”, https://www.socialstyrelsen.se/statistik-och-data/oppna- jamforelser/socialtjanst/om-oppna-jamforelser-socialtjanst/, hämtad 2021-01-18.

Socialstyrelsen, ”Öppna jämförelser av socialtjänst och kommunal hälso- och sjukvård”, https://www.socialstyrelsen.se/statistik-och-data/oppna- jamforelser/socialtjanst/, hämtad 2021-01-26 och 2021-03-04.

Socialstyrelsen, ”Äldreguiden”, https://www.socialstyrelsen.se/lattlast/ aldreguiden/, hämtad 2021-02-04.

Socialstyrelsen, ”Om Kunskapsguiden”, https://kunskapsguiden.se/omkunskapsguiden/, hämtad 2021-04-21.

R I K S R E V I S I O N E N

69