2930870H2B312201412sousouStatens offentliga utredningar 2014:12Statens offentliga utredningarStatens offentliga utredningar1202014-03-12 00:00:002016-03-16 08:35:002014-03-12 00:00:00Utvärdera för utveckling, - om utvärdering av skolpolitiska reformertitelhtml-echttps://data.riksdagen.se/dokument/H2B312/texthttps://data.riksdagen.se/dokument/H2B312https://data.riksdagen.se/dokumentstatus/H2B312
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<HTML>
<HEAD>
<META http-equiv="Content-Type" content="text/html; charset=UTF-8">
<META http-equiv="X-UA-Compatible" content="IE=8">
<TITLE>sou 2014 12 </TITLE>
<META name="generator" content="BCL easyConverter SDK 3.0.60">
<STYLE type="text/css">
body {margin-top: 0px;margin-left: 0px;}
#page_1 {position:relative; overflow: hidden;margin: 188px 0px 74px 93px;padding: 0px;border: none;width: 587px;}
#page_1 #id_1 {border:none;margin: 0px 0px 0px 0px;padding: 0px;border:none;width: 587px;overflow: hidden;}
#page_1 #id_2 {border:none;margin: 74px 0px 0px 381px;padding: 0px;border:none;width: 206px;overflow: hidden;}
#page_1 #dimg1 {position:absolute;top:619px;left:350px;z-index:-1;width:132px;height:74px;}
#page_1 #dimg1 #img1 {width:132px;height:74px;}
#page_2 {position:relative; overflow: hidden;margin: 495px 0px 95px 93px;padding: 0px;border: none;width: 587px;}
#page_3 {position:relative; overflow: hidden;margin: 75px 0px 320px 76px;padding: 0px;border: none;width: 718px;}
#page_4 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_5 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_6 {position:relative; overflow: hidden;margin: 41px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_7 {position:relative; overflow: hidden;margin: 41px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_8 {position:relative; overflow: hidden;margin: 41px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_9 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_9 #dimg1 {position:absolute;top:713px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_9 #dimg1 #img1 {width:415px;height:1px;}
#page_10 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_11 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_12 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_13 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_14 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_15 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_16 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_17 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_18 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_19 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_20 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_21 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_21 #dimg1 {position:absolute;top:701px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_21 #dimg1 #img1 {width:415px;height:1px;}
#page_22 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_22 #dimg1 {position:absolute;top:696px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_22 #dimg1 #img1 {width:416px;height:1px;}
#page_23 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_24 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_24 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_24 #dimg1 #img1 {width:416px;height:1px;}
#page_25 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_26 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_27 {position:relative; overflow: hidden;margin: 75px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_28 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_28 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_28 #dimg1 #img1 {width:416px;height:1px;}
#page_29 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_29 #dimg1 {position:absolute;top:708px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_29 #dimg1 #img1 {width:415px;height:1px;}
#page_30 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_30 #dimg1 {position:absolute;top:660px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_30 #dimg1 #img1 {width:416px;height:1px;}
#page_31 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_31 #dimg1 {position:absolute;top:636px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_31 #dimg1 #img1 {width:415px;height:1px;}
#page_32 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_32 #dimg1 {position:absolute;top:672px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_32 #dimg1 #img1 {width:416px;height:1px;}
#page_33 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_33 #dimg1 {position:absolute;top:648px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_33 #dimg1 #img1 {width:415px;height:1px;}
#page_34 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_35 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_35 #dimg1 {position:absolute;top:684px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_35 #dimg1 #img1 {width:415px;height:1px;}
#page_36 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_37 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_38 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_38 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_38 #dimg1 #img1 {width:416px;height:1px;}
#page_39 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_40 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_40 #dimg1 {position:absolute;top:660px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_40 #dimg1 #img1 {width:416px;height:1px;}
#page_41 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_41 #dimg1 {position:absolute;top:684px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_41 #dimg1 #img1 {width:415px;height:1px;}
#page_42 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_42 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_42 #dimg1 #img1 {width:416px;height:1px;}
#page_43 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_43 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_43 #dimg1 #img1 {width:415px;height:1px;}
#page_44 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_44 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_44 #dimg1 #img1 {width:416px;height:1px;}
#page_45 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_45 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_45 #dimg1 #img1 {width:415px;height:1px;}
#page_46 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_46 #dimg1 {position:absolute;top:624px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_46 #dimg1 #img1 {width:416px;height:1px;}
#page_47 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_47 #dimg1 {position:absolute;top:708px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_47 #dimg1 #img1 {width:415px;height:1px;}
#page_48 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_48 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_48 #dimg1 #img1 {width:416px;height:1px;}
#page_49 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_49 #dimg1 {position:absolute;top:708px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_49 #dimg1 #img1 {width:415px;height:1px;}
#page_50 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_50 #dimg1 {position:absolute;top:672px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_50 #dimg1 #img1 {width:416px;height:1px;}
#page_51 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_51 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_51 #dimg1 #img1 {width:415px;height:1px;}
#page_52 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_52 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_52 #dimg1 #img1 {width:416px;height:1px;}
#page_53 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_53 #dimg1 {position:absolute;top:696px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_53 #dimg1 #img1 {width:415px;height:1px;}
#page_54 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_54 #dimg1 {position:absolute;top:672px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_54 #dimg1 #img1 {width:416px;height:1px;}
#page_55 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_55 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_55 #dimg1 #img1 {width:415px;height:1px;}
#page_56 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_57 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_57 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_57 #dimg1 #img1 {width:415px;height:1px;}
#page_58 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_59 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_60 {position:relative; overflow: hidden;margin: 41px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_60 #id_1 {border:none;margin: 0px 0px 0px 0px;padding: 0px;border:none;width: 490px;overflow: hidden;}
#page_60 #id_2 {border:none;margin: 34px 0px 0px 66px;padding: 0px;border:none;width: 492px;overflow: hidden;}
#page_60 #dimg1 {position:absolute;top:49px;left:66px;z-index:-1;width:417px;height:248px;}
#page_60 #dimg1 #img1 {width:417px;height:248px;}
#page_61 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_61 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_61 #dimg1 #img1 {width:415px;height:1px;}
#page_62 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_62 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_62 #dimg1 #img1 {width:416px;height:1px;}
#page_63 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_64 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_64 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_64 #dimg1 #img1 {width:416px;height:1px;}
#page_65 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_65 #dimg1 {position:absolute;top:600px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_65 #dimg1 #img1 {width:415px;height:1px;}
#page_66 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_66 #dimg1 {position:absolute;top:696px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_66 #dimg1 #img1 {width:416px;height:1px;}
#page_67 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_67 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_67 #dimg1 #img1 {width:415px;height:1px;}
#page_68 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_69 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_69 #dimg1 {position:absolute;top:708px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_69 #dimg1 #img1 {width:415px;height:1px;}
#page_70 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_70 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_70 #dimg1 #img1 {width:416px;height:1px;}
#page_71 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_71 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_71 #dimg1 #img1 {width:415px;height:1px;}
#page_72 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_72 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_72 #dimg1 #img1 {width:416px;height:1px;}
#page_73 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_74 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_75 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_75 #dimg1 {position:absolute;top:612px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_75 #dimg1 #img1 {width:415px;height:1px;}
#page_76 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_76 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_76 #dimg1 #img1 {width:416px;height:1px;}
#page_77 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_78 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_78 #dimg1 {position:absolute;top:689px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_78 #dimg1 #img1 {width:415px;height:1px;}
#page_79 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_79 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_79 #dimg1 #img1 {width:416px;height:1px;}
#page_80 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_80 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_80 #dimg1 #img1 {width:415px;height:1px;}
#page_81 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_81 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_81 #dimg1 #img1 {width:416px;height:1px;}
#page_82 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_82 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_82 #dimg1 #img1 {width:415px;height:1px;}
#page_83 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_84 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_84 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_84 #dimg1 #img1 {width:415px;height:1px;}
#page_85 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_85 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_85 #dimg1 #img1 {width:416px;height:1px;}
#page_86 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_86 #dimg1 {position:absolute;top:708px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_86 #dimg1 #img1 {width:415px;height:1px;}
#page_87 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_87 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_87 #dimg1 #img1 {width:416px;height:1px;}
#page_88 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_88 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_88 #dimg1 #img1 {width:415px;height:1px;}
#page_89 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_89 #dimg1 {position:absolute;top:600px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_89 #dimg1 #img1 {width:416px;height:1px;}
#page_90 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_91 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_92 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_92 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_92 #dimg1 #img1 {width:415px;height:1px;}
#page_93 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_93 #dimg1 {position:absolute;top:660px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_93 #dimg1 #img1 {width:416px;height:1px;}
#page_94 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_94 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_94 #dimg1 #img1 {width:415px;height:1px;}
#page_95 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_96 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_96 #dimg1 {position:absolute;top:708px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_96 #dimg1 #img1 {width:415px;height:1px;}
#page_97 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_97 #dimg1 {position:absolute;top:713px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_97 #dimg1 #img1 {width:415px;height:1px;}
#page_98 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_98 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_98 #dimg1 #img1 {width:416px;height:1px;}
#page_99 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_100 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_100 #dimg1 {position:absolute;top:696px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_100 #dimg1 #img1 {width:416px;height:1px;}
#page_101 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_102 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_103 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_103 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_103 #dimg1 #img1 {width:415px;height:1px;}
#page_104 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_105 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_106 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_106 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_106 #dimg1 #img1 {width:416px;height:1px;}
#page_107 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_107 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_107 #dimg1 #img1 {width:415px;height:1px;}
#page_108 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_108 #dimg1 {position:absolute;top:576px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_108 #dimg1 #img1 {width:416px;height:1px;}
#page_109 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_109 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_109 #dimg1 #img1 {width:415px;height:1px;}
#page_110 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_110 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_110 #dimg1 #img1 {width:416px;height:1px;}
#page_111 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_111 #dimg1 {position:absolute;top:303px;left:1px;z-index:-1;width:413px;height:203px;}
#page_111 #dimg1 #img1 {width:413px;height:203px;}
#page_112 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_112 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_112 #dimg1 #img1 {width:416px;height:1px;}
#page_113 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_114 {position:relative; overflow: hidden;margin: 75px 0px 273px 0px;padding: 0px;border: none;width: 496px;}
#page_114 #dimg1 {position:absolute;top:701px;left:76px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_114 #dimg1 #img1 {width:415px;height:1px;}
#page_115 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_115 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_115 #dimg1 #img1 {width:416px;height:1px;}
#page_116 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_117 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_117 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_117 #dimg1 #img1 {width:416px;height:1px;}
#page_118 {position:relative; overflow: hidden;margin: 44px 0px 273px 68px;padding: 0px;border: none;width: 726px;}
#page_118 #dimg1 {position:absolute;top:167px;left:0px;z-index:-1;width:431px;height:392px;}
#page_118 #dimg1 #img1 {width:431px;height:392px;}
#page_119 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_119 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_119 #dimg1 #img1 {width:416px;height:1px;}
#page_120 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_121 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_122 {position:relative; overflow: hidden;margin: 74px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_122 #dimg1 {position:absolute;top:714px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_122 #dimg1 #img1 {width:415px;height:1px;}
#page_123 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_123 #dimg1 {position:absolute;top:648px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_123 #dimg1 #img1 {width:416px;height:1px;}
#page_124 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_124 #dimg1 {position:absolute;top:576px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_124 #dimg1 #img1 {width:415px;height:1px;}
#page_125 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_125 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_125 #dimg1 #img1 {width:416px;height:1px;}
#page_126 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_126 #dimg1 {position:absolute;top:696px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_126 #dimg1 #img1 {width:415px;height:1px;}
#page_127 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_127 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_127 #dimg1 #img1 {width:416px;height:1px;}
#page_128 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_128 #dimg1 {position:absolute;top:708px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_128 #dimg1 #img1 {width:415px;height:1px;}
#page_129 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_129 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_129 #dimg1 #img1 {width:416px;height:1px;}
#page_130 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_130 #dimg1 {position:absolute;top:672px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_130 #dimg1 #img1 {width:415px;height:1px;}
#page_131 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_131 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_131 #dimg1 #img1 {width:416px;height:1px;}
#page_132 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_132 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_132 #dimg1 #img1 {width:415px;height:1px;}
#page_133 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_134 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_135 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_135 #dimg1 {position:absolute;top:98px;left:66px;z-index:-1;width:416px;height:646px;}
#page_135 #dimg1 #img1 {width:416px;height:646px;}
#page_136 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_137 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_137 #dimg1 {position:absolute;top:713px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_137 #dimg1 #img1 {width:415px;height:1px;}
#page_138 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_138 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_138 #dimg1 #img1 {width:416px;height:1px;}
#page_139 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_139 #dimg1 {position:absolute;top:648px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_139 #dimg1 #img1 {width:415px;height:1px;}
#page_140 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_140 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_140 #dimg1 #img1 {width:416px;height:1px;}
#page_141 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_141 #dimg1 {position:absolute;top:636px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_141 #dimg1 #img1 {width:415px;height:1px;}
#page_142 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_142 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_142 #dimg1 #img1 {width:416px;height:1px;}
#page_143 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_144 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_144 #dimg1 {position:absolute;top:636px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_144 #dimg1 #img1 {width:416px;height:1px;}
#page_145 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_146 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_146 #dimg1 {position:absolute;top:684px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_146 #dimg1 #img1 {width:416px;height:1px;}
#page_147 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_147 #dimg1 {position:absolute;top:618px;left:1px;z-index:-1;width:413px;height:110px;}
#page_147 #dimg1 #img1 {width:413px;height:110px;}
#page_148 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_148 #dimg1 {position:absolute;top:46px;left:66px;z-index:-1;width:416px;height:566px;}
#page_148 #dimg1 #img1 {width:416px;height:566px;}
#page_149 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_149 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_149 #dimg1 #img1 {width:415px;height:1px;}
#page_150 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_151 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_151 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_151 #dimg1 #img1 {width:415px;height:1px;}
#page_152 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_152 #dimg1 {position:absolute;top:713px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_152 #dimg1 #img1 {width:415px;height:1px;}
#page_153 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_153 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_153 #dimg1 #img1 {width:416px;height:1px;}
#page_154 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_154 #dimg1 {position:absolute;top:624px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_154 #dimg1 #img1 {width:415px;height:1px;}
#page_155 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_155 #dimg1 {position:absolute;top:672px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_155 #dimg1 #img1 {width:416px;height:1px;}
#page_156 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_156 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_156 #dimg1 #img1 {width:415px;height:1px;}
#page_157 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_157 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_157 #dimg1 #img1 {width:416px;height:1px;}
#page_158 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_158 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_158 #dimg1 #img1 {width:415px;height:1px;}
#page_159 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_160 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_161 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_161 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_161 #dimg1 #img1 {width:416px;height:1px;}
#page_162 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_162 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_162 #dimg1 #img1 {width:415px;height:1px;}
#page_163 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_163 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_163 #dimg1 #img1 {width:416px;height:1px;}
#page_164 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_164 #dimg1 {position:absolute;top:624px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_164 #dimg1 #img1 {width:415px;height:1px;}
#page_165 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_165 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_165 #dimg1 #img1 {width:416px;height:1px;}
#page_166 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_166 #dimg1 {position:absolute;top:672px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_166 #dimg1 #img1 {width:415px;height:1px;}
#page_167 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_167 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_167 #dimg1 #img1 {width:416px;height:1px;}
#page_168 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_168 #dimg1 {position:absolute;top:708px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_168 #dimg1 #img1 {width:415px;height:1px;}
#page_169 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_169 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_169 #dimg1 #img1 {width:416px;height:1px;}
#page_170 {position:relative; overflow: hidden;margin: 44px 0px 273px 0px;padding: 0px;border: none;width: 563px;}
#page_170 #dimg1 {position:absolute;top:98px;left:87px;z-index:-1;width:403px;height:636px;}
#page_170 #dimg1 #img1 {width:403px;height:636px;}
#page_171 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_172 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_173 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_173 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_173 #dimg1 #img1 {width:416px;height:1px;}
#page_174 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_174 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_174 #dimg1 #img1 {width:415px;height:1px;}
#page_175 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_175 #dimg1 {position:absolute;top:696px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_175 #dimg1 #img1 {width:416px;height:1px;}
#page_176 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_177 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_178 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_179 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_179 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_179 #dimg1 #img1 {width:416px;height:1px;}
#page_180 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_181 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_182 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_182 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_182 #dimg1 #img1 {width:415px;height:1px;}
#page_183 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_184 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_185 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_186 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_186 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_186 #dimg1 #img1 {width:415px;height:1px;}
#page_187 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_187 #dimg1 {position:absolute;top:624px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_187 #dimg1 #img1 {width:416px;height:1px;}
#page_188 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_189 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_189 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_189 #dimg1 #img1 {width:416px;height:1px;}
#page_190 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_190 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_190 #dimg1 #img1 {width:415px;height:1px;}
#page_191 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_192 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_193 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_194 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_195 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_196 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_196 #dimg1 {position:absolute;top:689px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_196 #dimg1 #img1 {width:415px;height:1px;}
#page_197 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_197 #dimg1 {position:absolute;top:696px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_197 #dimg1 #img1 {width:416px;height:1px;}
#page_198 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_198 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_198 #dimg1 #img1 {width:415px;height:1px;}
#page_199 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_200 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_200 #dimg1 {position:absolute;top:660px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_200 #dimg1 #img1 {width:415px;height:1px;}
#page_201 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_202 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_202 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_202 #dimg1 #img1 {width:415px;height:1px;}
#page_203 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_203 #dimg1 {position:absolute;top:696px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_203 #dimg1 #img1 {width:416px;height:1px;}
#page_204 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_204 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_204 #dimg1 #img1 {width:415px;height:1px;}
#page_205 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_205 #dimg1 {position:absolute;top:575px;left:66px;z-index:-1;width:416px;height:121px;}
#page_205 #dimg1 #img1 {width:416px;height:121px;}
#page_206 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_206 #dimg1 {position:absolute;top:46px;left:1px;z-index:-1;width:413px;height:407px;}
#page_206 #dimg1 #img1 {width:413px;height:407px;}
#page_207 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_208 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_209 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_210 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_210 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_210 #dimg1 #img1 {width:415px;height:1px;}
#page_211 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_211 #dimg1 {position:absolute;top:682px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_211 #dimg1 #img1 {width:416px;height:1px;}
#page_212 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_213 {position:relative; overflow: hidden;margin: 75px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_213 #dimg1 {position:absolute;top:701px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_213 #dimg1 #img1 {width:415px;height:1px;}
#page_214 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_214 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_214 #dimg1 #img1 {width:416px;height:1px;}
#page_215 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_216 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_217 {position:relative; overflow: hidden;margin: 85px 0px 273px 57px;padding: 0px;border: none;width: 737px;}
#page_218 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_219 {position:relative; overflow: hidden;margin: 44px 0px 273px 57px;padding: 0px;border: none;width: 737px;}
#page_220 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_221 {position:relative; overflow: hidden;margin: 44px 0px 273px 57px;padding: 0px;border: none;width: 737px;}
#page_222 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_223 {position:relative; overflow: hidden;margin: 44px 0px 273px 57px;padding: 0px;border: none;width: 737px;}
#page_224 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_225 {position:relative; overflow: hidden;margin: 44px 0px 273px 57px;padding: 0px;border: none;width: 737px;}
#page_226 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_226 #id_1 {border:none;margin: 0px 0px 0px 0px;padding: 0px;border:none;width: 482px;overflow: hidden;}
#page_226 #id_2 {border:none;margin: 32px 0px 0px 47px;padding: 0px;border:none;width: 511px;overflow: hidden;}
#page_227 {position:relative; overflow: hidden;margin: 44px 0px 273px 57px;padding: 0px;border: none;width: 737px;}
#page_228 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_229 {position:relative; overflow: hidden;margin: 44px 0px 273px 57px;padding: 0px;border: none;width: 737px;}
#page_230 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_231 {position:relative; overflow: hidden;margin: 44px 0px 273px 57px;padding: 0px;border: none;width: 737px;}
#page_232 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_232 #id_1 {border:none;margin: 0px 0px 0px 0px;padding: 0px;border:none;width: 482px;overflow: hidden;}
#page_232 #id_2 {border:none;margin: 32px 0px 0px 48px;padding: 0px;border:none;width: 510px;overflow: hidden;}
#page_233 {position:relative; overflow: hidden;margin: 44px 0px 273px 58px;padding: 0px;border: none;width: 736px;}
#page_234 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_234 #id_1 {border:none;margin: 0px 0px 0px 0px;padding: 0px;border:none;width: 482px;overflow: hidden;}
#page_234 #id_2 {border:none;margin: 32px 0px 0px 48px;padding: 0px;border:none;width: 510px;overflow: hidden;}
#page_235 {position:relative; overflow: hidden;margin: 44px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_236 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_237 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_238 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_239 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_240 {position:relative; overflow: hidden;margin: 44px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_240 #id_1 {border:none;margin: 0px 0px 0px 236px;padding: 0px;border:none;width: 482px;overflow: hidden;}
#page_240 #id_2 {border:none;margin: 32px 0px 0px 0px;padding: 0px;border:none;width: 794px;overflow: hidden;}
#page_241 {position:relative; overflow: hidden;margin: 44px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_242 {position:relative; overflow: hidden;margin: 44px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_243 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_244 {position:relative; overflow: hidden;margin: 44px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_244 #dimg1 {position:absolute;top:732px;left:76px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_244 #dimg1 #img1 {width:415px;height:1px;}
#page_245 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_246 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_246 #dimg1 {position:absolute;top:660px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_246 #dimg1 #img1 {width:415px;height:1px;}
#page_247 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_247 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_247 #dimg1 #img1 {width:416px;height:1px;}
#page_248 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_249 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_249 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_249 #dimg1 #img1 {width:416px;height:1px;}
#page_250 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_250 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_250 #dimg1 #img1 {width:415px;height:1px;}
#page_251 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_251 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_251 #dimg1 #img1 {width:416px;height:1px;}
#page_252 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_253 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_253 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_253 #dimg1 #img1 {width:416px;height:1px;}
#page_254 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_254 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_254 #dimg1 #img1 {width:415px;height:1px;}
#page_255 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_255 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_255 #dimg1 #img1 {width:416px;height:1px;}
#page_256 {position:relative; overflow: hidden;margin: 44px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_257 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_257 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_257 #dimg1 #img1 {width:416px;height:1px;}
#page_258 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_259 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_259 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_259 #dimg1 #img1 {width:416px;height:1px;}
#page_260 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_260 #dimg1 {position:absolute;top:708px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_260 #dimg1 #img1 {width:415px;height:1px;}
#page_261 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_261 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_261 #dimg1 #img1 {width:416px;height:1px;}
#page_262 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_262 #dimg1 {position:absolute;top:744px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_262 #dimg1 #img1 {width:415px;height:1px;}
#page_263 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_263 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_263 #dimg1 #img1 {width:416px;height:1px;}
#page_264 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_264 #dimg1 {position:absolute;top:684px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_264 #dimg1 #img1 {width:415px;height:1px;}
#page_265 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_266 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_267 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_267 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_267 #dimg1 #img1 {width:416px;height:1px;}
#page_268 {position:relative; overflow: hidden;margin: 44px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_269 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_270 {position:relative; overflow: hidden;margin: 44px 0px 273px 57px;padding: 0px;border: none;width: 737px;}
#page_271 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_272 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_273 {position:relative; overflow: hidden;margin: 44px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_274 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_274 #dimg1 {position:absolute;top:720px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_274 #dimg1 #img1 {width:416px;height:1px;}
#page_275 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_275 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_275 #dimg1 #img1 {width:415px;height:1px;}
#page_276 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_277 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_278 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_279 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_280 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_281 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_282 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_283 {position:relative; overflow: hidden;margin: 44px 0px 273px 0px;padding: 0px;border: none;width: 794px;}
#page_284 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_285 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_286 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_286 #dimg1 {position:absolute;top:732px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_286 #dimg1 #img1 {width:416px;height:1px;}
#page_287 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_287 #dimg1 {position:absolute;top:588px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_287 #dimg1 #img1 {width:415px;height:1px;}
#page_288 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_288 #dimg1 {position:absolute;top:708px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_288 #dimg1 #img1 {width:416px;height:1px;}
#page_289 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_289 #dimg1 {position:absolute;top:732px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_289 #dimg1 #img1 {width:415px;height:1px;}
#page_290 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_291 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_291 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_291 #dimg1 #img1 {width:415px;height:1px;}
#page_292 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_292 #dimg1 {position:absolute;top:744px;left:66px;z-index:-1;width:416px;height:1px;font-size: 1px;line-height:nHeight;}
#page_292 #dimg1 #img1 {width:416px;height:1px;}
#page_293 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_293 #dimg1 {position:absolute;top:720px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_293 #dimg1 #img1 {width:415px;height:1px;}
#page_294 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_295 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_296 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_297 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_297 #dimg1 {position:absolute;top:696px;left:0px;z-index:-1;width:415px;height:1px;font-size: 1px;line-height:nHeight;}
#page_297 #dimg1 #img1 {width:415px;height:1px;}
#page_298 {position:relative; overflow: hidden;margin: 44px 0px 273px 236px;padding: 0px;border: none;width: 558px;}
#page_299 {position:relative; overflow: hidden;margin: 44px 0px 273px 76px;padding: 0px;border: none;width: 718px;}
#page_300 {position:relative; overflow: hidden;margin: 104px 0px 391px 131px;padding: 0px;border: none;width: 549px;}
#page_300 #dimg1 {position:absolute;top:36px;left:0px;z-index:-1;width:457px;height:1px;font-size: 1px;line-height:nHeight;}
#page_300 #dimg1 #img1 {width:457px;height:1px;}
#page_301 {position:relative; overflow: hidden;margin: 104px 0px 275px 129px;padding: 0px;border: none;width: 551px;}
#page_301 #dimg1 {position:absolute;top:36px;left:0px;z-index:-1;width:458px;height:514px;}
#page_301 #dimg1 #img1 {width:458px;height:514px;}
.ft0{font: 40px 'Arial';line-height: 45px;}
.ft1{font: italic 21px 'Times New Roman';line-height: 23px;}
.ft2{font: italic 16px 'Times New Roman';line-height: 20px;}
.ft3{font: italic 16px 'Times New Roman';line-height: 19px;}
.ft4{font: 12px 'Arial';line-height: 15px;}
.ft5{font: 12px 'Times New Roman';line-height: 15px;}
.ft6{font: 12px 'Times New Roman';line-height: 14px;}
.ft7{font: italic 12px 'Times New Roman';line-height: 14px;}
.ft8{font: 25px 'Arial';line-height: 28px;}
.ft9{font: 13px 'Arial';line-height: 17px;}
.ft10{font: 15px 'Arial';line-height: 17px;}
.ft11{font: italic 15px 'Arial';line-height: 17px;}
.ft12{font: italic 13px 'Arial';line-height: 17px;}
.ft13{font: bold 15px 'Arial';line-height: 18px;}
.ft14{font: 13px 'Arial';line-height: 16px;}
.ft15{font: 12px 'Arial';line-height: 15px;}
.ft16{font: bold 13px 'Arial';line-height: 16px;}
.ft17{font: 1px 'Arial';line-height: 1px;}
.ft18{font: bold 10px 'Arial';line-height: 12px;}
.ft19{font: bold 11px 'Arial';line-height: 14px;}
.ft20{font: 15px 'Arial';margin-left: 16px;line-height: 17px;}
.ft21{font: bold 13px 'Times New Roman';line-height: 15px;}
.ft22{font: bold 15px 'Times New Roman';line-height: 17px;}
.ft23{font: bold 15px 'Arial';line-height: 17px;}
.ft24{font: 15px 'Times New Roman';line-height: 17px;}
.ft25{font: 1px 'Arial';line-height: 16px;}
.ft26{font: 15px 'Arial';line-height: 16px;}
.ft27{font: 15px 'Arial';margin-left: 15px;line-height: 17px;}
.ft28{font: 7px 'Arial';line-height: 8px;position: relative; bottom: 6px;}
.ft29{font: 15px 'Arial';line-height: 18px;}
.ft30{font: 7px 'Arial';line-height: 7px;position: relative; bottom: 4px;}
.ft31{font: 11px 'Arial';line-height: 14px;}
.ft32{font: bold 17px 'Arial';line-height: 19px;}
.ft33{font: 15px 'Symbol';line-height: 19px;}
.ft34{font: italic 15px 'Arial';margin-left: 12px;line-height: 17px;}
.ft35{font: italic 14px 'Arial';margin-left: 12px;line-height: 16px;}
.ft36{font: 14px 'Arial';line-height: 16px;}
.ft37{font: 15px 'Arial';margin-left: 12px;line-height: 17px;}
.ft38{font: bold 9px 'Arial';line-height: 11px;}
.ft39{font: 13px 'Arial';line-height: 18px;}
.ft40{font: 14px 'Arial';line-height: 17px;}
.ft41{font: 14px 'Courier New';line-height: 17px;}
.ft42{font: 14px 'Arial';margin-left: 11px;line-height: 17px;}
.ft43{font: italic 14px 'Arial';line-height: 17px;}
.ft44{font: 15px 'Arial';margin-left: 11px;line-height: 17px;}
.ft45{font: 14px 'Arial';line-height: 18px;}
.ft46{font: 15px 'Arial';margin-left: 8px;line-height: 17px;}
.ft47{font: 15px 'Arial';margin-left: 10px;line-height: 17px;}
.ft48{font: 9px 'Arial';line-height: 13px;position: relative; bottom: 6px;}
.ft49{font: italic 15px 'Arial';line-height: 18px;}
.ft50{font: bold 17px 'Arial';margin-left: 35px;line-height: 19px;}
.ft51{font: 6px 'Arial';line-height: 6px;}
.ft52{font: 11px 'Arial';margin-left: 3px;line-height: 13px;}
.ft53{font: 11px 'Arial';line-height: 13px;}
.ft54{font: 11px 'Arial';margin-left: 3px;line-height: 14px;}
.ft55{font: 9px 'Arial';line-height: 12px;position: relative; bottom: 6px;}
.ft56{font: 7px 'Arial';line-height: 7px;}
.ft57{font: 11px 'Arial';margin-left: 2px;line-height: 12px;}
.ft58{font: italic 11px 'Arial';line-height: 12px;}
.ft59{font: 11px 'Arial';line-height: 12px;}
.ft60{font: 11px 'Arial';margin-left: 2px;line-height: 14px;}
.ft61{font: 9px 'Arial';margin-left: 2px;line-height: 12px;}
.ft62{font: 9px 'Arial';line-height: 12px;}
.ft63{font: italic 9px 'Arial';line-height: 12px;}
.ft64{font: 15px 'Courier New';line-height: 17px;}
.ft65{font: 25px 'Arial';margin-left: 46px;line-height: 30px;}
.ft66{font: 25px 'Arial';line-height: 30px;}
.ft67{font: italic 14px 'Arial';line-height: 18px;}
.ft68{font: 8px 'Arial';line-height: 12px;position: relative; bottom: 6px;}
.ft69{font: bold 15px 'Arial';margin-left: 25px;line-height: 18px;}
.ft70{font: 11px 'Arial';margin-left: 3px;line-height: 12px;}
.ft71{font: 11px 'Arial';margin-left: 2px;line-height: 13px;}
.ft72{font: italic 11px 'Arial';line-height: 13px;}
.ft73{font: 9px 'Arial';margin-left: 3px;line-height: 12px;}
.ft74{font: italic 11px 'Arial';line-height: 14px;}
.ft75{font: 7px 'Arial';line-height: 9px;position: relative; bottom: 6px;}
.ft76{font: 5px 'Arial';line-height: 6px;position: relative; bottom: 4px;}
.ft77{font: 8px 'Arial';line-height: 11px;position: relative; bottom: 6px;}
.ft78{font: 10px 'Arial';margin-left: 3px;line-height: 12px;}
.ft79{font: 10px 'Arial';line-height: 12px;}
.ft80{font: italic 10px 'Arial';line-height: 12px;}
.ft81{font: italic 13px 'Arial';line-height: 18px;}
.ft82{font: italic 9px 'Arial';line-height: 12px;position: relative; bottom: 6px;}
.ft83{font: 15px 'Symbol';line-height: 17px;}
.ft84{font: 6px 'Arial';line-height: 6px;position: relative; bottom: 4px;}
.ft85{font: italic 10px 'Arial';line-height: 13px;}
.ft86{font: 10px 'Arial';line-height: 13px;}
.ft87{font: bold 17px 'Arial';margin-left: 35px;line-height: 20px;}
.ft88{font: bold 17px 'Arial';line-height: 20px;}
.ft89{font: 1px 'Arial';line-height: 13px;}
.ft90{font: 1px 'Arial';line-height: 11px;}
.ft91{font: 1px 'Arial';line-height: 10px;}
.ft92{font: 13px 'Arial';line-height: 17px;}
.ft93{font: 15px 'Arial';line-height: 17px;}
.ft94{font: bold 15px 'Arial';line-height: 18px;}
.ft95{font: bold 15px 'Arial';margin-left: 25px;line-height: 18px;}
.ft96{font: 13px 'Arial';margin-left: 10px;line-height: 17px;}
.ft97{font: bold 9px 'Arial';line-height: 11px;position: relative; bottom: 6px;}
.ft98{font: 8px 'Arial';line-height: 10px;position: relative; bottom: 5px;}
.ft99{font: bold 8px 'Arial';line-height: 10px;}
.ft100{font: 13px 'Arial';line-height: 14px;}
.ft101{font: 13px 'Arial';line-height: 15px;}
.ft102{font: 10px 'Arial';margin-left: 2px;line-height: 12px;}
.ft103{font: 11px 'Arial';margin-left: 4px;line-height: 14px;}
.ft104{font: bold 13px 'Arial';margin-left: 25px;line-height: 16px;}
.ft105{font: bold 14px 'Arial';line-height: 17px;}
.ft106{font: bold 14px 'Arial';line-height: 18px;}
.ft107{font: 25px 'Times New Roman';line-height: 31px;}
.ft108{font: 10px 'Arial';margin-left: 2px;line-height: 13px;}
.ft109{font: 24px 'Arial';margin-left: 46px;line-height: 32px;}
.ft110{font: 24px 'Times New Roman';line-height: 32px;}
.ft111{font: 24px 'Arial';line-height: 32px;}
.ft112{font: bold 11px 'Times New Roman';line-height: 13px;}
.ft113{font: 14px 'Arial';margin-left: 10px;line-height: 17px;}
.ft114{font: bold 9px 'Times New Roman';line-height: 12px;}
.ft115{font: 11px 'Arial';margin-left: 5px;line-height: 14px;}
.ft116{font: 10px 'Arial';margin-left: 4px;line-height: 12px;}
.ft117{font: bold 15px 'Arial';margin-left: 35px;line-height: 20px;}
.ft118{font: bold 15px 'Arial';line-height: 20px;}
.ft119{font: 25px 'Arial';margin-left: 32px;line-height: 30px;}
.ft120{font: bold 17px 'Arial';margin-left: 25px;line-height: 20px;}
.ft121{font: bold 15px 'Arial';margin-left: 16px;line-height: 18px;}
.ft122{font: italic 15px 'Arial';margin-left: 8px;line-height: 17px;}
.ft123{font: italic 14px 'Arial';margin-left: 8px;line-height: 18px;}
.ft124{font: italic 13px 'Arial';line-height: 16px;}
.ft125{font: bold 17px 'Arial';margin-left: 25px;line-height: 19px;}
.ft126{font: italic 14px 'Arial';margin-left: 10px;line-height: 17px;}
.ft127{font: italic 15px 'Arial';margin-left: 10px;line-height: 17px;}
.ft128{font: italic 15px 'Arial';margin-left: 11px;line-height: 17px;}
.ft129{font: bold 13px 'Arial';line-height: 18px;}
.ft130{font: italic 8px 'Arial';line-height: 12px;position: relative; bottom: 6px;}
.ft131{font: bold 16px 'Arial';margin-left: 25px;line-height: 20px;}
.ft132{font: bold 16px 'Arial';line-height: 20px;}
.ft133{font: 13px 'Arial';margin-left: 15px;line-height: 17px;}
.ft134{font: italic 13px 'Arial';margin-left: 13px;line-height: 17px;}
.ft135{font: 13px 'Arial';margin-left: 8px;line-height: 18px;}
.ft136{font: italic bold 15px 'Arial';line-height: 17px;}
.ft137{font: 14px 'Arial';line-height: 25px;}
.ft138{font: italic 14px 'Arial';line-height: 25px;}
.ft139{font: 15px 'Arial';line-height: 23px;}
.ft140{font: italic 15px 'Arial';line-height: 23px;}
.ft141{font: 13px 'Arial';line-height: 25px;}
.ft142{font: italic 13px 'Arial';line-height: 25px;}
.ft143{font: 13px 'Arial';line-height: 24px;}
.ft144{font: italic 13px 'Arial';line-height: 24px;}
.ft145{font: 12px 'Arial';line-height: 18px;}
.ft146{font: italic 12px 'Arial';line-height: 18px;}
.ft147{font: 21px 'Arial';line-height: 28px;}
.ft148{font: bold 17px 'Arial';margin-left: 45px;line-height: 19px;}
.ft149{font: bold 15px 'Arial';margin-left: 45px;line-height: 20px;}
.ft150{font: italic 11px 'Arial';margin-left: 3px;line-height: 14px;}
.ft151{font: italic 7px 'Arial';line-height: 9px;position: relative; bottom: 6px;}
.ft152{font: bold 17px 'Arial';margin-left: 45px;line-height: 20px;}
.ft153{font: 12px 'Arial';line-height: 14px;}
.ft154{font: 7px 'Arial';line-height: 7px;position: relative; bottom: 5px;}
.ft155{font: italic 14px 'Arial';line-height: 21px;}
.ft156{font: 14px 'Arial';line-height: 21px;}
.ft157{font: italic 15px 'Arial';text-decoration: underline;line-height: 17px;}
.ft158{font: 15px 'Arial';text-decoration: underline;line-height: 17px;}
.ft159{font: 14px 'Arial';margin-left: 8px;line-height: 17px;}
.ft160{font: 13px 'Arial';line-height: 21px;}
.ft161{font: 13px 'Arial';margin-left: 8px;line-height: 17px;}
.ft162{font: 15px 'Arial';line-height: 20px;}
.ft163{font: 24px 'Arial';line-height: 30px;}
.ft164{font: italic 15px 'Arial';margin-left: 15px;line-height: 17px;}
.ft165{font: 25px 'Arial';line-height: 28px;}
.ft166{font: italic 12px 'Times New Roman';line-height: 15px;}
.ft167{font: 11px 'Times New Roman';line-height: 14px;}
.ft168{font: 11px 'Times New Roman';margin-left: 4px;line-height: 14px;}
.ft169{font: 11px 'Times New Roman';margin-left: 2px;line-height: 14px;}
.ft170{font: bold 11px 'Arial';line-height: 14px;}
.ft171{font: 12px 'Times New Roman';margin-left: 2px;line-height: 15px;}
.p0{text-align: left;margin-top: 0px;margin-bottom: 0px;}
.p1{text-align: left;margin-top: 12px;margin-bottom: 0px;}
.p2{text-align: left;padding-right: 283px;margin-top: 462px;margin-bottom: 0px;}
.p3{text-align: left;margin-top: 19px;margin-bottom: 0px;}
.p4{text-align: left;padding-right: 229px;margin-top: 0px;margin-bottom: 0px;}
.p5{text-align: justify;padding-right: 492px;margin-top: 12px;margin-bottom: 0px;}
.p6{text-align: left;padding-right: 451px;margin-top: 3px;margin-bottom: 0px;}
.p7{text-align: left;margin-top: 13px;margin-bottom: 0px;}
.p8{text-align: left;padding-right: 213px;margin-top: 1px;margin-bottom: 0px;}
.p9{text-align: left;margin-top: 14px;margin-bottom: 0px;}
.p10{text-align: left;margin-top: 1px;margin-bottom: 0px;}
.p11{text-align: left;margin-top: 2px;margin-bottom: 0px;}
.p12{text-align: justify;padding-right: 298px;margin-top: 150px;margin-bottom: 0px;}
.p13{text-align: justify;padding-right: 303px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p14{text-align: justify;padding-right: 303px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p15{text-align: justify;padding-right: 303px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p16{text-align: justify;padding-right: 303px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p17{text-align: justify;padding-right: 298px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p18{text-align: left;padding-left: 19px;margin-top: 1px;margin-bottom: 0px;}
.p19{text-align: left;margin-top: 18px;margin-bottom: 0px;}
.p20{text-align: left;padding-left: 240px;margin-top: 17px;margin-bottom: 0px;}
.p21{text-align: left;padding-left: 255px;margin-top: 1px;margin-bottom: 0px;}
.p22{text-align: left;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p23{text-align: right;padding-right: 1px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p24{text-align: left;padding-left: 16px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p25{text-align: right;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p26{text-align: left;padding-left: 6px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p27{text-align: left;padding-left: 15px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p28{text-align: left;padding-left: 66px;margin-top: 104px;margin-bottom: 0px;}
.p29{text-align: left;padding-left: 8px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p30{text-align: right;padding-right: 71px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p31{text-align: left;padding-left: 49px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p32{text-align: right;padding-right: 72px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p33{text-align: justify;padding-left: 76px;margin-top: 10px;margin-bottom: 0px;}
.p34{text-align: justify;padding-left: 76px;margin-top: 9px;margin-bottom: 0px;}
.p35{text-align: justify;padding-left: 76px;margin-top: 8px;margin-bottom: 0px;}
.p36{text-align: right;padding-right: 8px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p37{text-align: right;padding-right: 303px;margin-top: 102px;margin-bottom: 0px;}
.p38{text-align: left;padding-left: 66px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p39{text-align: justify;padding-left: 66px;margin-top: 8px;margin-bottom: 0px;}
.p40{text-align: left;padding-left: 4px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p41{text-align: left;padding-left: 46px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p42{text-align: left;padding-left: 66px;margin-top: 78px;margin-bottom: 0px;}
.p43{text-align: left;padding-left: 5px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p44{text-align: left;padding-left: 1px;margin-top: 0px;margin-bottom: 0px;white-space: nowrap;}
.p45{text-align: left;padding-left: 409px;margin-top: 303px;margin-bottom: 0px;}
.p46{text-align: justify;padding-right: 297px;margin-top: 150px;margin-bottom: 0px;}
.p47{text-align: justify;padding-right: 302px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p48{text-align: justify;padding-right: 303px;margin-top: 6px;margin-bottom: 0px;text-indent: 19px;}
.p49{text-align: left;margin-top: 87px;margin-bottom: 0px;}
.p50{text-align: left;padding-left: 403px;margin-top: 31px;margin-bottom: 0px;}
.p51{text-align: left;padding-left: 66px;margin-top: 32px;margin-bottom: 0px;}
.p52{text-align: left;padding-left: 66px;margin-top: 13px;margin-bottom: 0px;}
.p53{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 11px;margin-bottom: 0px;}
.p54{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p55{text-align: left;padding-left: 66px;margin-top: 37px;margin-bottom: 0px;}
.p56{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 12px;margin-bottom: 0px;}
.p57{text-align: justify;padding-left: 85px;padding-right: 75px;margin-top: 8px;margin-bottom: 0px;text-indent: -19px;}
.p58{text-align: justify;padding-left: 85px;padding-right: 71px;margin-top: 2px;margin-bottom: 0px;text-indent: -19px;}
.p59{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 2px;margin-bottom: 0px;text-indent: -19px;}
.p60{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 16px;margin-bottom: 0px;}
.p61{text-align: left;padding-left: 66px;margin-top: 40px;margin-bottom: 0px;}
.p62{text-align: justify;padding-right: 303px;margin-top: 31px;margin-bottom: 0px;}
.p63{text-align: justify;padding-right: 298px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p64{text-align: left;margin-top: 32px;margin-bottom: 0px;}
.p65{text-align: justify;padding-right: 298px;margin-top: 12px;margin-bottom: 0px;}
.p66{text-align: left;padding-left: 19px;margin-top: 2px;margin-bottom: 0px;}
.p67{text-align: justify;padding-left: 23px;padding-right: 303px;margin-top: 8px;margin-bottom: 0px;text-indent: -23px;}
.p68{text-align: justify;padding-left: 23px;padding-right: 303px;margin-top: 1px;margin-bottom: 0px;text-indent: -23px;}
.p69{text-align: justify;padding-right: 298px;margin-top: 15px;margin-bottom: 0px;}
.p70{text-align: justify;padding-right: 298px;margin-top: 12px;margin-bottom: 0px;text-indent: 19px;}
.p71{text-align: left;padding-left: 403px;margin-top: 46px;margin-bottom: 0px;}
.p72{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 32px;margin-bottom: 0px;}
.p73{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 10px;margin-bottom: 0px;}
.p74{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p75{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 5px;margin-bottom: 0px;text-indent: 19px;}
.p76{text-align: left;padding-left: 66px;margin-top: 116px;margin-bottom: 0px;}
.p77{text-align: justify;padding-right: 298px;margin-top: 10px;margin-bottom: 0px;}
.p78{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 11px;margin-bottom: 0px;text-indent: -19px;}
.p79{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 4px;margin-bottom: 0px;text-indent: -19px;}
.p80{text-align: left;padding-left: 403px;margin-top: 88px;margin-bottom: 0px;}
.p81{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 11px;margin-bottom: 0px;}
.p82{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 4px;margin-bottom: 0px;text-indent: 19px;}
.p83{text-align: left;padding-left: 66px;margin-top: 38px;margin-bottom: 0px;}
.p84{text-align: left;padding-left: 66px;padding-right: 101px;margin-top: 13px;margin-bottom: 0px;}
.p85{text-align: justify;padding-right: 298px;margin-top: 32px;margin-bottom: 0px;}
.p86{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 9px;margin-bottom: 0px;text-indent: -19px;}
.p87{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 3px;margin-bottom: 0px;text-indent: -19px;}
.p88{text-align: justify;margin-top: 4px;margin-bottom: 0px;}
.p89{text-align: justify;padding-right: 298px;margin-top: 16px;margin-bottom: 0px;}
.p90{text-align: left;margin-top: 30px;margin-bottom: 0px;}
.p91{text-align: justify;padding-right: 303px;margin-top: 11px;margin-bottom: 0px;}
.p92{text-align: justify;padding-right: 298px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p93{text-align: left;padding-left: 403px;margin-top: 42px;margin-bottom: 0px;}
.p94{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 32px;margin-bottom: 0px;}
.p95{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p96{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p97{text-align: left;padding-left: 66px;padding-right: 118px;margin-top: 37px;margin-bottom: 0px;}
.p98{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 11px;margin-bottom: 0px;}
.p99{text-align: left;padding-left: 66px;margin-top: 46px;margin-bottom: 0px;}
.p100{text-align: justify;padding-right: 297px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p101{text-align: justify;padding-right: 297px;margin-top: 20px;margin-bottom: 0px;text-indent: 19px;}
.p102{text-align: left;margin-top: 56px;margin-bottom: 0px;}
.p103{text-align: justify;padding-right: 303px;margin-top: 10px;margin-bottom: 0px;}
.p104{text-align: left;padding-left: 403px;margin-top: 38px;margin-bottom: 0px;}
.p105{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 31px;margin-bottom: 0px;}
.p106{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p107{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p108{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p109{text-align: left;padding-left: 66px;margin-top: 36px;margin-bottom: 0px;}
.p110{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 9px;margin-bottom: 0px;text-indent: -19px;}
.p111{text-align: left;padding-left: 66px;margin-top: 53px;margin-bottom: 0px;}
.p112{text-align: justify;padding-left: 19px;margin-top: 32px;margin-bottom: 0px;}
.p113{text-align: justify;padding-left: 37px;padding-right: 303px;margin-top: 3px;margin-bottom: 0px;text-indent: -18px;}
.p114{text-align: justify;padding-left: 19px;margin-top: 3px;margin-bottom: 0px;}
.p115{text-align: justify;padding-left: 37px;padding-right: 302px;margin-top: 4px;margin-bottom: 0px;text-indent: -18px;}
.p116{text-align: justify;padding-right: 302px;margin-top: 17px;margin-bottom: 0px;}
.p117{text-align: justify;padding-right: 297px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p118{text-align: left;padding-left: 403px;margin-top: 189px;margin-bottom: 0px;}
.p119{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 5px;margin-bottom: 0px;text-indent: 19px;}
.p120{text-align: left;padding-left: 66px;margin-top: 113px;margin-bottom: 0px;}
.p121{text-align: justify;padding-right: 303px;margin-top: 2px;margin-bottom: 0px;}
.p122{text-align: justify;margin-top: 33px;margin-bottom: 0px;}
.p123{text-align: justify;padding-right: 303px;margin-top: 12px;margin-bottom: 0px;}
.p124{text-align: justify;padding-right: 298px;margin-top: 4px;margin-bottom: 0px;text-indent: 19px;}
.p125{text-align: justify;margin-top: 21px;margin-bottom: 0px;}
.p126{text-align: justify;margin-top: 1px;margin-bottom: 0px;}
.p127{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p128{text-align: justify;padding-left: 66px;margin-top: 36px;margin-bottom: 0px;}
.p129{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 8px;margin-bottom: 0px;text-indent: -19px;}
.p130{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 7px;margin-bottom: 0px;text-indent: -19px;}
.p131{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 15px;margin-bottom: 0px;}
.p132{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 20px;margin-bottom: 0px;}
.p133{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 6px;margin-bottom: 0px;}
.p134{text-align: left;padding-left: 66px;margin-top: 29px;margin-bottom: 0px;}
.p135{text-align: justify;margin-top: 36px;margin-bottom: 0px;}
.p136{text-align: justify;padding-right: 298px;margin-top: 13px;margin-bottom: 0px;}
.p137{text-align: justify;padding-right: 297px;margin-top: 4px;margin-bottom: 0px;text-indent: 19px;}
.p138{text-align: left;padding-left: 403px;margin-top: 37px;margin-bottom: 0px;}
.p139{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 32px;margin-bottom: 0px;}
.p140{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p141{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 5px;margin-bottom: 0px;text-indent: 19px;}
.p142{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 18px;margin-bottom: 0px;}
.p143{text-align: justify;padding-left: 66px;margin-top: 1px;margin-bottom: 0px;}
.p144{text-align: left;padding-left: 66px;margin-top: 31px;margin-bottom: 0px;}
.p145{text-align: justify;margin-top: 32px;margin-bottom: 0px;}
.p146{text-align: justify;padding-right: 303px;margin-top: 13px;margin-bottom: 0px;}
.p147{text-align: justify;padding-right: 302px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p148{text-align: left;margin-top: 9px;margin-bottom: 0px;}
.p149{text-align: left;padding-left: 403px;margin-top: 39px;margin-bottom: 0px;}
.p150{text-align: justify;padding-left: 66px;margin-top: 32px;margin-bottom: 0px;}
.p151{text-align: justify;padding-left: 66px;margin-top: 0px;margin-bottom: 0px;}
.p152{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 16px;margin-bottom: 0px;}
.p153{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 15px;margin-bottom: 0px;}
.p154{text-align: justify;padding-left: 66px;margin-top: 9px;margin-bottom: 0px;}
.p155{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 0px;margin-bottom: 0px;text-indent: -19px;}
.p156{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 1px;margin-bottom: 0px;text-indent: -19px;}
.p157{text-align: left;padding-left: 66px;padding-right: 76px;margin-top: 17px;margin-bottom: 0px;}
.p158{text-align: left;padding-left: 66px;margin-top: 18px;margin-bottom: 0px;}
.p159{text-align: left;padding-left: 66px;margin-top: 366px;margin-bottom: 0px;}
.p160{text-align: justify;padding-left: 136px;padding-right: 344px;margin-top: 0px;margin-bottom: 0px;text-indent: -60px;}
.p161{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 148px;margin-bottom: 0px;}
.p162{text-align: justify;padding-left: 76px;margin-top: 36px;margin-bottom: 0px;}
.p163{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 13px;margin-bottom: 0px;}
.p164{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 9px;margin-bottom: 0px;}
.p165{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 5px;margin-bottom: 0px;text-indent: 19px;}
.p166{text-align: right;padding-right: 303px;margin-top: 45px;margin-bottom: 0px;}
.p167{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p168{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 13px;margin-bottom: 0px;}
.p169{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p170{text-align: left;padding-left: 66px;margin-top: 26px;margin-bottom: 0px;}
.p171{text-align: justify;padding-right: 302px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p172{text-align: justify;padding-right: 297px;margin-top: 11px;margin-bottom: 0px;}
.p173{text-align: justify;padding-right: 303px;padding-top: 1px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p174{text-align: justify;margin-top: 66px;margin-bottom: 0px;}
.p175{text-align: justify;padding-right: 303px;margin-top: 0px;margin-bottom: 0px;}
.p176{text-align: justify;padding-left: 66px;padding-right: 71px;padding-top: 1px;margin-top: 31px;margin-bottom: 0px;text-indent: 19px;}
.p177{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 4px;margin-bottom: 0px;text-indent: 19px;}
.p178{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 4px;margin-bottom: 0px;text-indent: 19px;}
.p179{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 46px;margin-bottom: 0px;}
.p180{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 0px;margin-bottom: 0px;}
.p181{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 2px;margin-bottom: 0px;}
.p182{text-align: justify;padding-right: 298px;margin-top: 11px;margin-bottom: 0px;}
.p183{text-align: justify;padding-right: 298px;margin-top: 22px;margin-bottom: 0px;text-indent: 19px;}
.p184{text-align: left;margin-top: 33px;margin-bottom: 0px;}
.p185{text-align: justify;padding-right: 297px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p186{text-align: justify;padding-right: 298px;margin-top: 14px;margin-bottom: 0px;}
.p187{text-align: justify;margin-top: 0px;margin-bottom: 0px;}
.p188{text-align: justify;padding-right: 298px;margin-top: 0px;margin-bottom: 0px;}
.p189{text-align: left;padding-left: 403px;margin-top: 27px;margin-bottom: 0px;}
.p190{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 12px;margin-bottom: 0px;}
.p191{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 6px;margin-bottom: 0px;}
.p192{text-align: justify;padding-right: 297px;margin-top: 32px;margin-bottom: 0px;}
.p193{text-align: left;margin-top: 37px;margin-bottom: 0px;}
.p194{text-align: justify;padding-right: 303px;margin-top: 17px;margin-bottom: 0px;}
.p195{text-align: justify;padding-right: 298px;margin-top: 3px;margin-bottom: 0px;}
.p196{text-align: justify;padding-right: 303px;margin-top: 1px;margin-bottom: 0px;}
.p197{text-align: left;padding-left: 403px;margin-top: 29px;margin-bottom: 0px;}
.p198{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 32px;margin-bottom: 0px;}
.p199{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 11px;margin-bottom: 0px;}
.p200{text-align: left;padding-left: 66px;margin-top: 45px;margin-bottom: 0px;}
.p201{text-align: justify;padding-right: 298px;margin-top: 31px;margin-bottom: 0px;}
.p202{text-align: justify;padding-right: 303px;margin-top: 104px;margin-bottom: 0px;}
.p203{text-align: left;padding-left: 66px;margin-top: 62px;margin-bottom: 0px;}
.p204{text-align: justify;padding-right: 298px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p205{text-align: left;margin-top: 3px;margin-bottom: 0px;}
.p206{text-align: justify;padding-right: 297px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p207{text-align: left;padding-left: 403px;margin-top: 35px;margin-bottom: 0px;}
.p208{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p209{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 215px;margin-bottom: 0px;}
.p210{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 4px;margin-bottom: 0px;}
.p211{text-align: justify;margin-top: 30px;margin-bottom: 0px;}
.p212{text-align: justify;padding-right: 297px;margin-top: 13px;margin-bottom: 0px;}
.p213{text-align: justify;padding-left: 66px;margin-top: 30px;margin-bottom: 0px;}
.p214{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 21px;margin-bottom: 0px;text-indent: 19px;}
.p215{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 13px;margin-bottom: 0px;}
.p216{text-align: left;padding-left: 66px;margin-top: 27px;margin-bottom: 0px;}
.p217{text-align: justify;padding-right: 302px;padding-top: 1px;margin-top: 5px;margin-bottom: 0px;text-indent: 19px;}
.p218{text-align: justify;padding-right: 303px;padding-top: 1px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p219{text-align: justify;padding-right: 298px;margin-top: 24px;margin-bottom: 0px;}
.p220{text-align: justify;padding-left: 66px;padding-right: 76px;padding-top: 1px;margin-top: 31px;margin-bottom: 0px;text-indent: 19px;}
.p221{text-align: justify;padding-left: 66px;margin-top: 101px;margin-bottom: 0px;}
.p222{text-align: left;margin-top: 36px;margin-bottom: 0px;}
.p223{text-align: justify;padding-right: 298px;margin-top: 19px;margin-bottom: 0px;}
.p224{text-align: justify;padding-right: 298px;margin-top: 1px;margin-bottom: 0px;}
.p225{text-align: justify;margin-top: 13px;margin-bottom: 0px;}
.p226{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p227{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 19px;margin-bottom: 0px;}
.p228{text-align: justify;padding-right: 297px;margin-top: 12px;margin-bottom: 0px;}
.p229{text-align: justify;margin-top: 80px;margin-bottom: 0px;}
.p230{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 10px;margin-bottom: 0px;}
.p231{text-align: justify;padding-left: 66px;margin-top: 18px;margin-bottom: 0px;}
.p232{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 0px;margin-bottom: 0px;}
.p233{text-align: justify;padding-right: 303px;margin-top: 4px;margin-bottom: 0px;text-indent: 19px;}
.p234{text-align: justify;padding-right: 302px;margin-top: 4px;margin-bottom: 0px;}
.p235{text-align: left;padding-left: 66px;margin-top: 75px;margin-bottom: 0px;}
.p236{text-align: justify;padding-right: 303px;margin-top: 6px;margin-bottom: 0px;}
.p237{text-align: justify;padding-right: 303px;margin-top: 4px;margin-bottom: 0px;}
.p238{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 6px;margin-bottom: 0px;text-indent: 19px;}
.p239{text-align: justify;padding-left: 66px;margin-top: 37px;margin-bottom: 0px;}
.p240{text-align: justify;padding-left: 66px;margin-top: 29px;margin-bottom: 0px;}
.p241{text-align: justify;padding-right: 298px;margin-top: 30px;margin-bottom: 0px;text-indent: 19px;}
.p242{text-align: justify;padding-right: 302px;margin-top: 12px;margin-bottom: 0px;text-indent: 19px;}
.p243{text-align: left;margin-top: 38px;margin-bottom: 0px;}
.p244{text-align: justify;margin-top: 19px;margin-bottom: 0px;}
.p245{text-align: justify;padding-left: 66px;padding-right: 76px;padding-top: 1px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p246{text-align: justify;padding-left: 66px;margin-top: 27px;margin-bottom: 0px;}
.p247{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 1px;margin-bottom: 0px;}
.p248{text-align: justify;padding-right: 298px;margin-top: 27px;margin-bottom: 0px;}
.p249{text-align: justify;padding-right: 302px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p250{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 32px;margin-bottom: 0px;text-indent: 19px;}
.p251{text-align: justify;padding-left: 66px;margin-top: 31px;margin-bottom: 0px;}
.p252{text-align: left;padding-left: 66px;margin-top: 30px;margin-bottom: 0px;}
.p253{text-align: justify;padding-right: 298px;padding-top: 1px;margin-top: 32px;margin-bottom: 0px;text-indent: 19px;}
.p254{text-align: justify;padding-right: 303px;margin-top: 21px;margin-bottom: 0px;}
.p255{text-align: left;margin-top: 45px;margin-bottom: 0px;}
.p256{text-align: left;padding-left: 66px;padding-right: 76px;margin-top: 32px;margin-bottom: 0px;}
.p257{text-align: justify;padding-left: 66px;margin-top: 35px;margin-bottom: 0px;}
.p258{text-align: justify;padding-left: 90px;padding-right: 76px;margin-top: 7px;margin-bottom: 0px;text-indent: -24px;}
.p259{text-align: justify;padding-left: 90px;padding-right: 76px;margin-top: 1px;margin-bottom: 0px;text-indent: -24px;}
.p260{text-align: justify;padding-left: 90px;padding-right: 76px;margin-top: 0px;margin-bottom: 0px;text-indent: -24px;}
.p261{text-align: left;padding-left: 66px;margin-top: 54px;margin-bottom: 0px;}
.p262{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 12px;margin-bottom: 0px;}
.p263{text-align: left;padding-left: 66px;margin-top: 464px;margin-bottom: 0px;}
.p264{text-align: justify;padding-right: 298px;margin-top: 151px;margin-bottom: 0px;}
.p265{text-align: justify;padding-left: 60px;padding-right: 425px;margin-top: 38px;margin-bottom: 0px;text-indent: -60px;}
.p266{text-align: justify;padding-right: 302px;margin-top: 12px;margin-bottom: 0px;}
.p267{text-align: left;padding-left: 403px;margin-top: 86px;margin-bottom: 0px;}
.p268{text-align: justify;padding-right: 71px;margin-top: 0px;margin-bottom: 0px;}
.p269{text-align: justify;padding-right: 71px;margin-top: 4px;margin-bottom: 0px;text-indent: 19px;}
.p270{text-align: justify;padding-right: 76px;margin-top: 12px;margin-bottom: 0px;}
.p271{text-align: left;margin-top: 65px;margin-bottom: 0px;}
.p272{text-align: left;margin-top: 11px;margin-bottom: 0px;}
.p273{text-align: justify;margin-top: 8px;margin-bottom: 0px;}
.p274{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 9px;margin-bottom: 0px;text-indent: -19px;}
.p275{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 8px;margin-bottom: 0px;text-indent: -19px;}
.p276{text-align: left;margin-top: 25px;margin-bottom: 0px;}
.p277{text-align: left;margin-top: 39px;margin-bottom: 0px;}
.p278{text-align: left;padding-left: 403px;margin-top: 47px;margin-bottom: 0px;}
.p279{text-align: justify;padding-left: 85px;padding-right: 71px;margin-top: 8px;margin-bottom: 0px;text-indent: -19px;}
.p280{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 16px;margin-bottom: 0px;}
.p281{text-align: justify;padding-left: 66px;margin-top: 15px;margin-bottom: 0px;}
.p282{text-align: justify;padding-right: 303px;margin-top: 32px;margin-bottom: 0px;}
.p283{text-align: justify;padding-right: 303px;margin-top: 18px;margin-bottom: 0px;}
.p284{text-align: justify;margin-top: 6px;margin-bottom: 0px;}
.p285{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p286{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 14px;margin-bottom: 0px;}
.p287{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 3px;margin-bottom: 0px;}
.p288{text-align: justify;padding-left: 66px;margin-top: 4px;margin-bottom: 0px;}
.p289{text-align: justify;padding-right: 298px;margin-top: 5px;margin-bottom: 0px;text-indent: 19px;}
.p290{text-align: justify;padding-right: 303px;margin-top: 5px;margin-bottom: 0px;text-indent: 19px;}
.p291{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p292{text-align: left;padding-left: 66px;margin-top: 44px;margin-bottom: 0px;}
.p293{text-align: justify;padding-right: 302px;padding-top: 1px;margin-top: 31px;margin-bottom: 0px;}
.p294{text-align: left;margin-top: 46px;margin-bottom: 0px;}
.p295{text-align: justify;margin-top: 15px;margin-bottom: 0px;}
.p296{text-align: justify;padding-right: 302px;margin-top: 0px;margin-bottom: 0px;}
.p297{text-align: left;padding-left: 66px;margin-top: 35px;margin-bottom: 0px;}
.p298{text-align: justify;padding-left: 66px;padding-right: 71px;padding-top: 1px;margin-top: 13px;margin-bottom: 0px;}
.p299{text-align: justify;margin-top: 38px;margin-bottom: 0px;}
.p300{text-align: justify;padding-right: 298px;margin-top: 112px;margin-bottom: 0px;}
.p301{text-align: left;padding-left: 403px;margin-top: 33px;margin-bottom: 0px;}
.p302{text-align: left;padding-left: 66px;margin-top: 11px;margin-bottom: 0px;}
.p303{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 11px;margin-bottom: 0px;text-indent: 19px;}
.p304{text-align: left;padding-left: 66px;margin-top: 39px;margin-bottom: 0px;}
.p305{text-align: justify;padding-right: 302px;margin-top: 31px;margin-bottom: 0px;}
.p306{text-align: justify;padding-right: 298px;margin-top: 5px;margin-bottom: 0px;}
.p307{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 10px;margin-bottom: 0px;}
.p308{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 4px;margin-bottom: 0px;text-indent: 19px;}
.p309{text-align: left;padding-left: 403px;margin-top: 337px;margin-bottom: 0px;}
.p310{text-align: justify;padding-left: 60px;padding-right: 309px;margin-top: 0px;margin-bottom: 0px;text-indent: -60px;}
.p311{text-align: justify;padding-right: 303px;margin-top: 148px;margin-bottom: 0px;}
.p312{text-align: justify;margin-top: 37px;margin-bottom: 0px;}
.p313{text-align: justify;padding-right: 298px;padding-top: 1px;margin-top: 13px;margin-bottom: 0px;}
.p314{text-align: justify;margin-top: 35px;margin-bottom: 0px;}
.p315{text-align: justify;padding-right: 303px;margin-top: 25px;margin-bottom: 0px;}
.p316{text-align: justify;padding-left: 66px;margin-top: 38px;margin-bottom: 0px;}
.p317{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 8px;margin-bottom: 0px;}
.p318{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 29px;margin-bottom: 0px;}
.p319{text-align: justify;padding-right: 297px;margin-top: 31px;margin-bottom: 0px;text-indent: 19px;}
.p320{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 2px;margin-bottom: 0px;}
.p321{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 11px;margin-bottom: 0px;text-indent: 10px;}
.p322{text-align: justify;margin-top: 31px;margin-bottom: 0px;}
.p323{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 31px;margin-bottom: 0px;text-indent: 19px;}
.p324{text-align: left;padding-left: 85px;margin-top: 3px;margin-bottom: 0px;}
.p325{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 1px;margin-bottom: 0px;}
.p326{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 30px;margin-bottom: 0px;}
.p327{text-align: justify;padding-left: 19px;padding-right: 302px;margin-top: 3px;margin-bottom: 0px;}
.p328{text-align: justify;padding-left: 60px;padding-right: 328px;margin-top: 35px;margin-bottom: 0px;text-indent: -60px;}
.p329{text-align: left;margin-top: 31px;margin-bottom: 0px;}
.p330{text-align: justify;padding-right: 303px;margin-top: 16px;margin-bottom: 0px;}
.p331{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 21px;margin-bottom: 0px;text-indent: 19px;}
.p332{text-align: left;padding-left: 66px;margin-top: 33px;margin-bottom: 0px;}
.p333{text-align: left;padding-left: 66px;margin-top: 57px;margin-bottom: 0px;}
.p334{text-align: justify;padding-right: 302px;margin-top: 7px;margin-bottom: 0px;}
.p335{text-align: justify;padding-left: 85px;padding-right: 76px;padding-top: 1px;margin-top: 8px;margin-bottom: 0px;text-indent: -19px;}
.p336{text-align: justify;padding-left: 85px;padding-right: 76px;padding-top: 1px;margin-top: 7px;margin-bottom: 0px;text-indent: -19px;}
.p337{text-align: justify;padding-left: 66px;margin-top: 23px;margin-bottom: 0px;}
.p338{text-align: justify;padding-right: 298px;margin-top: 32px;margin-bottom: 0px;text-indent: 19px;}
.p339{text-align: justify;padding-left: 66px;margin-top: 33px;margin-bottom: 0px;}
.p340{text-align: left;padding-left: 66px;margin-top: 34px;margin-bottom: 0px;}
.p341{text-align: justify;padding-right: 297px;margin-top: 32px;margin-bottom: 0px;text-indent: 19px;}
.p342{text-align: justify;padding-right: 297px;margin-top: 1px;margin-bottom: 0px;}
.p343{text-align: left;padding-left: 403px;margin-top: 44px;margin-bottom: 0px;}
.p344{text-align: left;padding-left: 66px;margin-top: 162px;margin-bottom: 0px;}
.p345{text-align: justify;padding-right: 297px;margin-top: 5px;margin-bottom: 0px;text-indent: 19px;}
.p346{text-align: justify;padding-right: 298px;margin-top: 43px;margin-bottom: 0px;}
.p347{text-align: justify;padding-left: 66px;margin-top: 7px;margin-bottom: 0px;}
.p348{text-align: justify;margin-top: 34px;margin-bottom: 0px;}
.p349{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 21px;margin-bottom: 0px;}
.p350{text-align: justify;padding-right: 302px;margin-top: 32px;margin-bottom: 0px;}
.p351{text-align: justify;padding-right: 303px;margin-top: 20px;margin-bottom: 0px;}
.p352{text-align: justify;padding-right: 297px;margin-top: 29px;margin-bottom: 0px;}
.p353{text-align: justify;padding-left: 60px;padding-right: 320px;margin-top: 0px;margin-bottom: 0px;text-indent: -60px;}
.p354{text-align: justify;padding-right: 298px;margin-top: 148px;margin-bottom: 0px;}
.p355{text-align: left;margin-top: 23px;margin-bottom: 0px;}
.p356{text-align: left;padding-left: 397px;margin-top: 31px;margin-bottom: 0px;}
.p357{text-align: justify;padding-left: 66px;margin-top: 14px;margin-bottom: 0px;}
.p358{text-align: left;padding-left: 397px;margin-top: 38px;margin-bottom: 0px;}
.p359{text-align: justify;padding-left: 66px;padding-right: 76px;padding-top: 1px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p360{text-align: justify;padding-left: 90px;padding-right: 76px;margin-top: 8px;margin-bottom: 0px;text-indent: -24px;}
.p361{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 39px;margin-bottom: 0px;}
.p362{text-align: justify;padding-left: 66px;margin-top: 6px;margin-bottom: 0px;}
.p363{text-align: justify;padding-left: 24px;padding-right: 303px;margin-top: 31px;margin-bottom: 0px;text-indent: -24px;}
.p364{text-align: justify;padding-left: 24px;padding-right: 303px;margin-top: 3px;margin-bottom: 0px;text-indent: -24px;}
.p365{text-align: justify;padding-left: 23px;padding-right: 303px;margin-top: 3px;margin-bottom: 0px;text-indent: -23px;}
.p366{text-align: left;padding-left: 397px;margin-top: 126px;margin-bottom: 0px;}
.p367{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p368{text-align: left;padding-left: 66px;margin-top: 41px;margin-bottom: 0px;}
.p369{text-align: justify;padding-right: 303px;padding-top: 1px;margin-top: 12px;margin-bottom: 0px;}
.p370{text-align: justify;padding-right: 303px;padding-top: 1px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p371{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 7px;margin-bottom: 0px;}
.p372{text-align: justify;margin-top: 22px;margin-bottom: 0px;}
.p373{text-align: left;padding-left: 66px;padding-right: 141px;margin-top: 36px;margin-bottom: 0px;}
.p374{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 20px;margin-bottom: 0px;}
.p375{text-align: left;padding-left: 66px;margin-top: 42px;margin-bottom: 0px;}
.p376{text-align: justify;padding-left: 66px;padding-right: 76px;padding-top: 1px;margin-top: 30px;margin-bottom: 0px;}
.p377{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 12px;margin-bottom: 0px;}
.p378{text-align: left;padding-left: 60px;padding-right: 363px;margin-top: 37px;margin-bottom: 0px;text-indent: -60px;}
.p379{text-align: left;margin-top: 68px;margin-bottom: 0px;}
.p380{text-align: left;padding-left: 66px;padding-right: 125px;margin-top: 32px;margin-bottom: 0px;}
.p381{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 9px;margin-bottom: 0px;}
.p382{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 47px;margin-bottom: 0px;}
.p383{text-align: justify;padding-right: 303px;margin-top: 32px;margin-bottom: 0px;text-indent: 19px;}
.p384{text-align: left;margin-top: 35px;margin-bottom: 0px;}
.p385{text-align: left;padding-left: 397px;margin-top: 29px;margin-bottom: 0px;}
.p386{text-align: justify;padding-left: 9px;padding-right: 307px;margin-top: 19px;margin-bottom: 0px;}
.p387{text-align: justify;padding-left: 9px;padding-right: 307px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p388{text-align: justify;padding-right: 298px;margin-top: 20px;margin-bottom: 0px;}
.p389{text-align: left;padding-left: 397px;margin-top: 44px;margin-bottom: 0px;}
.p390{text-align: left;padding-left: 66px;margin-top: 1px;margin-bottom: 0px;}
.p391{text-align: justify;padding-left: 18px;padding-right: 298px;margin-top: 0px;margin-bottom: 0px;text-indent: -18px;}
.p392{text-align: justify;padding-left: 18px;padding-right: 303px;margin-top: 1px;margin-bottom: 0px;text-indent: -18px;}
.p393{text-align: justify;padding-left: 18px;padding-right: 341px;margin-top: 1px;margin-bottom: 0px;text-indent: -18px;}
.p394{text-align: justify;padding-left: 18px;padding-right: 303px;margin-top: 0px;margin-bottom: 0px;text-indent: -18px;}
.p395{text-align: left;padding-left: 397px;margin-top: 385px;margin-bottom: 0px;}
.p396{text-align: left;padding-left: 136px;padding-right: 19px;margin-top: 0px;margin-bottom: 0px;text-indent: -60px;}
.p397{text-align: justify;padding-left: 76px;padding-right: 5px;margin-top: 147px;margin-bottom: 0px;}
.p398{text-align: justify;padding-left: 136px;padding-right: 13px;margin-top: 37px;margin-bottom: 0px;text-indent: -60px;}
.p399{text-align: justify;padding-left: 76px;margin-top: 12px;margin-bottom: 0px;}
.p400{text-align: justify;padding-left: 76px;padding-right: 5px;margin-top: 91px;margin-bottom: 0px;}
.p401{text-align: right;padding-right: 5px;margin-top: 29px;margin-bottom: 0px;}
.p402{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 25px;margin-bottom: 0px;}
.p403{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 15px;margin-bottom: 0px;}
.p404{text-align: left;padding-left: 8px;padding-right: 303px;margin-top: 32px;margin-bottom: 0px;}
.p405{text-align: justify;padding-left: 68px;padding-right: 307px;margin-top: 35px;margin-bottom: 0px;text-indent: -60px;}
.p406{text-align: justify;padding-left: 8px;padding-right: 303px;margin-top: 14px;margin-bottom: 0px;}
.p407{text-align: justify;padding-left: 8px;padding-right: 298px;margin-top: 9px;margin-bottom: 0px;}
.p408{text-align: justify;padding-left: 27px;padding-right: 303px;margin-top: 6px;margin-bottom: 0px;text-indent: -19px;}
.p409{text-align: justify;padding-left: 26px;padding-right: 303px;margin-top: 1px;margin-bottom: 0px;text-indent: -18px;}
.p410{text-align: justify;padding-left: 8px;margin-top: 1px;margin-bottom: 0px;}
.p411{text-align: justify;padding-left: 26px;padding-right: 303px;margin-top: 0px;margin-bottom: 0px;text-indent: -18px;}
.p412{text-align: justify;padding-left: 8px;padding-right: 303px;margin-top: 9px;margin-bottom: 0px;}
.p413{text-align: justify;padding-left: 8px;padding-right: 303px;margin-top: 20px;margin-bottom: 0px;}
.p414{text-align: justify;padding-left: 8px;padding-right: 298px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p415{text-align: left;padding-left: 405px;margin-top: 45px;margin-bottom: 0px;}
.p416{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 31px;margin-bottom: 0px;}
.p417{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 34px;margin-bottom: 0px;}
.p418{text-align: left;padding-left: 397px;margin-top: 64px;margin-bottom: 0px;}
.p419{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 32px;margin-bottom: 0px;text-indent: 19px;}
.p420{text-align: left;padding-left: 66px;margin-top: 300px;margin-bottom: 0px;}
.p421{text-align: justify;padding-left: 60px;padding-right: 338px;margin-top: 0px;margin-bottom: 0px;text-indent: -60px;}
.p422{text-align: justify;margin-top: 39px;margin-bottom: 0px;}
.p423{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 9px;margin-bottom: 0px;text-indent: 19px;}
.p424{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 6px;margin-bottom: 0px;text-indent: -19px;}
.p425{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 93px;margin-bottom: 0px;}
.p426{text-align: justify;padding-left: 66px;margin-top: 2px;margin-bottom: 0px;}
.p427{text-align: justify;padding-right: 297px;margin-top: 0px;margin-bottom: 0px;}
.p428{text-align: justify;margin-top: 3px;margin-bottom: 0px;}
.p429{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 17px;margin-bottom: 0px;}
.p430{text-align: justify;padding-right: 297px;margin-top: 6px;margin-bottom: 0px;text-indent: 19px;}
.p431{text-align: justify;margin-top: 9px;margin-bottom: 0px;}
.p432{text-align: justify;padding-left: 127px;padding-right: 86px;margin-top: 37px;margin-bottom: 0px;text-indent: -61px;}
.p433{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 51px;margin-bottom: 0px;}
.p434{text-align: left;padding-right: 303px;margin-top: 32px;margin-bottom: 0px;}
.p435{text-align: justify;padding-left: 60px;padding-right: 393px;margin-top: 35px;margin-bottom: 0px;text-indent: -60px;}
.p436{text-align: justify;margin-top: 27px;margin-bottom: 0px;}
.p437{text-align: justify;padding-right: 302px;margin-top: 1px;margin-bottom: 0px;}
.p438{text-align: left;padding-left: 397px;margin-top: 27px;margin-bottom: 0px;}
.p439{text-align: justify;padding-left: 66px;padding-right: 71px;padding-top: 1px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p440{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 18px;margin-bottom: 0px;}
.p441{text-align: justify;padding-left: 60px;padding-right: 358px;margin-top: 37px;margin-bottom: 0px;text-indent: -60px;}
.p442{text-align: left;padding-right: 347px;margin-top: 12px;margin-bottom: 0px;}
.p443{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 8px;margin-bottom: 0px;}
.p444{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 29px;margin-bottom: 0px;}
.p445{text-align: justify;padding-left: 66px;margin-top: 126px;margin-bottom: 0px;}
.p446{text-align: justify;margin-top: 55px;margin-bottom: 0px;}
.p447{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 32px;margin-bottom: 0px;text-indent: 19px;}
.p448{text-align: left;padding-left: 66px;margin-top: 2px;margin-bottom: 0px;}
.p449{text-align: left;padding-left: 397px;margin-top: 189px;margin-bottom: 0px;}
.p450{text-align: justify;padding-left: 127px;padding-right: 83px;margin-top: 32px;margin-bottom: 0px;text-indent: -61px;}
.p451{text-align: justify;padding-left: 76px;padding-right: 85px;margin-top: 17px;margin-bottom: 0px;}
.p452{text-align: justify;padding-left: 76px;padding-right: 80px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p453{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 19px;margin-bottom: 0px;}
.p454{text-align: left;padding-left: 66px;margin-top: 12px;margin-bottom: 0px;}
.p455{text-align: left;padding-left: 397px;margin-top: 244px;margin-bottom: 0px;}
.p456{text-align: justify;padding-left: 60px;padding-right: 318px;margin-top: 0px;margin-bottom: 0px;text-indent: -60px;}
.p457{text-align: justify;padding-right: 298px;margin-top: 143px;margin-bottom: 0px;}
.p458{text-align: justify;padding-left: 60px;padding-right: 371px;margin-top: 29px;margin-bottom: 0px;text-indent: -60px;}
.p459{text-align: justify;padding-left: 127px;padding-right: 87px;margin-top: 35px;margin-bottom: 0px;text-indent: -61px;}
.p460{text-align: justify;padding-left: 66px;margin-top: 5px;margin-bottom: 0px;}
.p461{text-align: justify;padding-left: 85px;padding-right: 71px;margin-top: 1px;margin-bottom: 0px;text-indent: -19px;}
.p462{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 8px;margin-bottom: 0px;text-indent: -19px;}
.p463{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 5px;margin-bottom: 0px;text-indent: -19px;}
.p464{text-align: justify;padding-right: 298px;margin-top: 17px;margin-bottom: 0px;}
.p465{text-align: justify;padding-left: 66px;padding-right: 76px;padding-top: 1px;margin-top: 31px;margin-bottom: 0px;}
.p466{text-align: justify;padding-left: 66px;padding-right: 76px;padding-top: 1px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p467{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 2px;margin-bottom: 0px;}
.p468{text-align: justify;padding-right: 303px;margin-top: 26px;margin-bottom: 0px;}
.p469{text-align: left;padding-left: 397px;margin-top: 30px;margin-bottom: 0px;}
.p470{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 10px;margin-bottom: 0px;}
.p471{text-align: justify;padding-left: 60px;padding-right: 340px;margin-top: 38px;margin-bottom: 0px;text-indent: -60px;}
.p472{text-align: left;padding-left: 397px;margin-top: 68px;margin-bottom: 0px;}
.p473{text-align: justify;padding-left: 66px;margin-top: 24px;margin-bottom: 0px;}
.p474{text-align: justify;padding-right: 302px;margin-top: 21px;margin-bottom: 0px;text-indent: 19px;}
.p475{text-align: left;padding-left: 397px;margin-top: 53px;margin-bottom: 0px;}
.p476{text-align: justify;padding-left: 127px;padding-right: 89px;margin-top: 32px;margin-bottom: 0px;text-indent: -61px;}
.p477{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 3px;margin-bottom: 0px;}
.p478{text-align: justify;padding-right: 297px;margin-top: 31px;margin-bottom: 0px;}
.p479{text-align: justify;padding-right: 298px;margin-top: 6px;margin-bottom: 0px;text-indent: 19px;}
.p480{text-align: justify;padding-left: 60px;padding-right: 322px;margin-top: 39px;margin-bottom: 0px;text-indent: -60px;}
.p481{text-align: justify;padding-left: 9px;padding-right: 307px;margin-top: 18px;margin-bottom: 0px;}
.p482{text-align: left;padding-left: 397px;margin-top: 62px;margin-bottom: 0px;}
.p483{text-align: justify;padding-left: 76px;padding-right: 85px;margin-top: 32px;margin-bottom: 0px;text-indent: 19px;}
.p484{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 26px;margin-bottom: 0px;}
.p485{text-align: justify;margin-top: 11px;margin-bottom: 0px;}
.p486{text-align: justify;padding-right: 298px;margin-top: 208px;margin-bottom: 0px;}
.p487{text-align: justify;padding-left: 60px;padding-right: 426px;margin-top: 0px;margin-bottom: 0px;text-indent: -60px;}
.p488{text-align: justify;padding-right: 297px;margin-top: 148px;margin-bottom: 0px;}
.p489{text-align: justify;padding-left: 60px;padding-right: 358px;margin-top: 56px;margin-bottom: 0px;text-indent: -60px;}
.p490{text-align: justify;padding-left: 66px;margin-top: 28px;margin-bottom: 0px;}
.p491{text-align: justify;padding-right: 303px;margin-top: 29px;margin-bottom: 0px;}
.p492{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 5px;margin-bottom: 0px;}
.p493{text-align: justify;padding-right: 303px;margin-top: 37px;margin-bottom: 0px;}
.p494{text-align: left;padding-left: 66px;margin-top: 97px;margin-bottom: 0px;}
.p495{text-align: justify;padding-left: 19px;padding-right: 302px;margin-top: 9px;margin-bottom: 0px;text-indent: -19px;}
.p496{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 5px;margin-bottom: 0px;text-indent: -19px;}
.p497{text-align: left;margin-top: 47px;margin-bottom: 0px;}
.p498{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 32px;margin-bottom: 0px;text-indent: -19px;}
.p499{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 17px;margin-bottom: 0px;}
.p500{text-align: left;padding-left: 66px;margin-top: 98px;margin-bottom: 0px;}
.p501{text-align: left;padding-left: 397px;margin-top: 41px;margin-bottom: 0px;}
.p502{text-align: justify;padding-left: 66px;margin-top: 25px;margin-bottom: 0px;}
.p503{text-align: justify;padding-right: 298px;margin-top: 31px;margin-bottom: 0px;text-indent: 19px;}
.p504{text-align: left;padding-left: 66px;padding-right: 76px;margin-top: 11px;margin-bottom: 0px;}
.p505{text-align: justify;padding-left: 85px;padding-right: 71px;margin-top: 9px;margin-bottom: 0px;text-indent: -19px;}
.p506{text-align: justify;padding-left: 18px;padding-right: 303px;margin-top: 32px;margin-bottom: 0px;text-indent: -18px;}
.p507{text-align: justify;padding-left: 19px;padding-right: 302px;margin-top: 5px;margin-bottom: 0px;text-indent: -19px;}
.p508{text-align: justify;padding-left: 18px;padding-right: 298px;margin-top: 5px;margin-bottom: 0px;text-indent: -18px;}
.p509{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 1px;margin-bottom: 0px;}
.p510{text-align: justify;padding-right: 303px;padding-top: 1px;margin-top: 17px;margin-bottom: 0px;}
.p511{text-align: justify;margin-top: 12px;margin-bottom: 0px;}
.p512{text-align: left;padding-left: 66px;padding-right: 122px;margin-top: 35px;margin-bottom: 0px;}
.p513{text-align: justify;margin-top: 42px;margin-bottom: 0px;}
.p514{text-align: justify;padding-left: 66px;padding-right: 71px;padding-top: 1px;margin-top: 11px;margin-bottom: 0px;}
.p515{text-align: justify;padding-left: 24px;padding-right: 303px;margin-top: 6px;margin-bottom: 0px;text-indent: -24px;}
.p516{text-align: left;margin-top: 8px;margin-bottom: 0px;}
.p517{text-align: justify;margin-top: 17px;margin-bottom: 0px;}
.p518{text-align: left;padding-left: 85px;margin-top: 2px;margin-bottom: 0px;}
.p519{text-align: justify;padding-left: 66px;margin-top: 57px;margin-bottom: 0px;}
.p520{text-align: justify;padding-left: 136px;padding-right: 69px;margin-top: 32px;margin-bottom: 0px;text-indent: -60px;}
.p521{text-align: justify;padding-left: 95px;padding-right: 81px;margin-top: 18px;margin-bottom: 0px;}
.p522{text-align: justify;padding-left: 95px;padding-right: 81px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p523{text-align: justify;padding-left: 95px;padding-right: 76px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p524{text-align: justify;padding-left: 95px;padding-right: 76px;margin-top: 5px;margin-bottom: 0px;text-indent: 19px;}
.p525{text-align: justify;padding-left: 95px;padding-right: 81px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p526{text-align: right;padding-right: 72px;margin-top: 68px;margin-bottom: 0px;}
.p527{text-align: justify;padding-left: 23px;padding-right: 297px;margin-top: 4px;margin-bottom: 0px;text-indent: -23px;}
.p528{text-align: justify;padding-left: 23px;padding-right: 302px;margin-top: 3px;margin-bottom: 0px;text-indent: -23px;}
.p529{text-align: left;padding-left: 397px;margin-top: 48px;margin-bottom: 0px;}
.p530{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 50px;margin-bottom: 0px;}
.p531{text-align: left;margin-top: 40px;margin-bottom: 0px;}
.p532{text-align: justify;padding-right: 298px;margin-top: 21px;margin-bottom: 0px;}
.p533{text-align: left;padding-left: 397px;margin-top: 88px;margin-bottom: 0px;}
.p534{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 21px;margin-bottom: 0px;}
.p535{text-align: justify;padding-right: 302px;margin-top: 16px;margin-bottom: 0px;}
.p536{text-align: justify;padding-right: 303px;margin-top: 19px;margin-bottom: 0px;}
.p537{text-align: justify;padding-right: 297px;margin-top: 18px;margin-bottom: 0px;}
.p538{text-align: left;padding-left: 397px;margin-top: 47px;margin-bottom: 0px;}
.p539{text-align: justify;padding-left: 66px;margin-top: 39px;margin-bottom: 0px;}
.p540{text-align: justify;padding-right: 303px;margin-top: 14px;margin-bottom: 0px;}
.p541{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 31px;margin-bottom: 0px;text-indent: 19px;}
.p542{text-align: left;padding-left: 66px;margin-top: 64px;margin-bottom: 0px;}
.p543{text-align: left;margin-top: 28px;margin-bottom: 0px;}
.p544{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 20px;margin-bottom: 0px;text-indent: 19px;}
.p545{text-align: justify;padding-right: 297px;margin-top: 16px;margin-bottom: 0px;}
.p546{text-align: justify;padding-right: 297px;margin-top: 15px;margin-bottom: 0px;}
.p547{text-align: left;padding-left: 397px;margin-top: 33px;margin-bottom: 0px;}
.p548{text-align: left;padding-left: 66px;margin-top: 3px;margin-bottom: 0px;}
.p549{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 27px;margin-bottom: 0px;}
.p550{text-align: left;padding-left: 397px;margin-top: 58px;margin-bottom: 0px;}
.p551{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 24px;margin-bottom: 0px;}
.p552{text-align: left;padding-left: 66px;margin-top: 58px;margin-bottom: 0px;}
.p553{text-align: left;padding-left: 397px;margin-top: 39px;margin-bottom: 0px;}
.p554{text-align: left;padding-left: 397px;margin-top: 34px;margin-bottom: 0px;}
.p555{text-align: left;padding-left: 66px;margin-top: 440px;margin-bottom: 0px;}
.p556{text-align: justify;padding-left: 60px;padding-right: 421px;margin-top: 0px;margin-bottom: 0px;text-indent: -60px;}
.p557{text-align: left;padding-right: 303px;margin-top: 13px;margin-bottom: 0px;}
.p558{text-align: justify;margin-top: 63px;margin-bottom: 0px;}
.p559{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 31px;margin-bottom: 0px;text-indent: -19px;}
.p560{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 7px;margin-bottom: 0px;}
.p561{text-align: justify;padding-right: 302px;margin-top: 32px;margin-bottom: 0px;text-indent: 19px;}
.p562{text-align: left;margin-top: 16px;margin-bottom: 0px;}
.p563{text-align: justify;padding-right: 303px;margin-top: 28px;margin-bottom: 0px;}
.p564{text-align: justify;padding-left: 66px;margin-top: 13px;margin-bottom: 0px;}
.p565{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 11px;margin-bottom: 0px;text-indent: -19px;}
.p566{text-align: justify;padding-left: 85px;padding-right: 70px;margin-top: 8px;margin-bottom: 0px;text-indent: -19px;}
.p567{text-align: left;padding-left: 66px;margin-top: 51px;margin-bottom: 0px;}
.p568{text-align: justify;padding-left: 60px;padding-right: 326px;margin-top: 38px;margin-bottom: 0px;text-indent: -60px;}
.p569{text-align: justify;margin-top: 16px;margin-bottom: 0px;}
.p570{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 4px;margin-bottom: 0px;}
.p571{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 4px;margin-bottom: 0px;text-indent: 19px;}
.p572{text-align: justify;padding-left: 66px;margin-top: 19px;margin-bottom: 0px;}
.p573{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 31px;margin-bottom: 0px;}
.p574{text-align: justify;padding-right: 297px;margin-top: 10px;margin-bottom: 0px;}
.p575{text-align: justify;padding-right: 303px;margin-top: 23px;margin-bottom: 0px;text-indent: 19px;}
.p576{text-align: justify;padding-left: 60px;padding-right: 322px;margin-top: 31px;margin-bottom: 0px;text-indent: -60px;}
.p577{text-align: justify;padding-right: 303px;padding-top: 1px;margin-top: 11px;margin-bottom: 0px;}
.p578{text-align: left;padding-left: 76px;padding-right: 85px;margin-top: 19px;margin-bottom: 0px;}
.p579{text-align: justify;padding-left: 95px;padding-right: 85px;margin-top: 8px;margin-bottom: 0px;text-indent: -19px;}
.p580{text-align: left;padding-left: 76px;margin-top: 4px;margin-bottom: 0px;}
.p581{text-align: justify;padding-left: 28px;padding-right: 312px;margin-top: 31px;margin-bottom: 0px;text-indent: -19px;}
.p582{text-align: justify;padding-left: 28px;padding-right: 312px;margin-top: 1px;margin-bottom: 0px;text-indent: -19px;}
.p583{text-align: justify;padding-left: 28px;padding-right: 312px;margin-top: 9px;margin-bottom: 0px;text-indent: -19px;}
.p584{text-align: justify;padding-left: 9px;margin-top: 5px;margin-bottom: 0px;}
.p585{text-align: justify;padding-left: 9px;margin-top: 0px;margin-bottom: 0px;}
.p586{text-align: justify;padding-left: 28px;padding-right: 312px;margin-top: 0px;margin-bottom: 0px;text-indent: -19px;}
.p587{text-align: justify;padding-left: 9px;padding-right: 307px;margin-top: 9px;margin-bottom: 0px;}
.p588{text-align: left;padding-left: 66px;margin-top: 76px;margin-bottom: 0px;}
.p589{text-align: left;padding-right: 404px;margin-top: 31px;margin-bottom: 0px;}
.p590{text-align: left;padding-left: 397px;margin-top: 50px;margin-bottom: 0px;}
.p591{text-align: left;padding-left: 66px;margin-top: 126px;margin-bottom: 0px;}
.p592{text-align: justify;padding-right: 302px;margin-top: 11px;margin-bottom: 0px;}
.p593{text-align: left;padding-left: 397px;margin-top: 414px;margin-bottom: 0px;}
.p594{text-align: justify;padding-right: 297px;margin-top: 151px;margin-bottom: 0px;}
.p595{text-align: justify;padding-right: 302px;margin-top: 22px;margin-bottom: 0px;text-indent: 19px;}
.p596{text-align: justify;margin-top: 129px;margin-bottom: 0px;}
.p597{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 37px;margin-bottom: 0px;}
.p598{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 9px;margin-bottom: 0px;}
.p599{text-align: left;padding-right: 316px;margin-top: 29px;margin-bottom: 0px;}
.p600{text-align: left;padding-left: 397px;margin-top: 63px;margin-bottom: 0px;}
.p601{text-align: left;padding-left: 66px;margin-top: 368px;margin-bottom: 0px;}
.p602{text-align: justify;padding-left: 19px;padding-right: 302px;margin-top: 150px;margin-bottom: 0px;text-indent: -18px;}
.p603{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 8px;margin-bottom: 0px;text-indent: -18px;}
.p604{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p605{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p606{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 7px;margin-bottom: 0px;text-indent: -18px;}
.p607{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p608{text-align: left;padding-left: 416px;margin-top: 48px;margin-bottom: 0px;}
.p609{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 32px;margin-bottom: 0px;text-indent: -18px;}
.p610{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p611{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 12px;margin-bottom: 0px;text-indent: -18px;}
.p612{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p613{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 8px;margin-bottom: 0px;text-indent: -18px;}
.p614{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 8px;margin-bottom: 0px;text-indent: -18px;}
.p615{text-align: left;padding-left: 19px;padding-right: 303px;margin-top: 0px;margin-bottom: 0px;}
.p616{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 8px;margin-bottom: 0px;text-indent: -18px;}
.p617{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p618{text-align: left;padding-left: 416px;margin-top: 44px;margin-bottom: 0px;}
.p619{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 32px;margin-bottom: 0px;text-indent: -18px;}
.p620{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p621{text-align: left;padding-left: 47px;margin-top: 10px;margin-bottom: 0px;}
.p622{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p623{text-align: left;padding-left: 47px;margin-top: 9px;margin-bottom: 0px;}
.p624{text-align: left;padding-left: 66px;margin-top: 0px;margin-bottom: 0px;}
.p625{text-align: left;padding-left: 47px;margin-top: 12px;margin-bottom: 0px;}
.p626{text-align: left;padding-left: 66px;padding-right: 76px;margin-top: 1px;margin-bottom: 0px;}
.p627{text-align: left;padding-left: 66px;margin-top: 61px;margin-bottom: 0px;}
.p628{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 32px;margin-bottom: 0px;text-indent: -18px;}
.p629{text-align: left;padding-left: 19px;margin-top: 0px;margin-bottom: 0px;}
.p630{text-align: left;padding-left: 416px;margin-top: 89px;margin-bottom: 0px;}
.p631{text-align: left;padding-left: 47px;margin-top: 7px;margin-bottom: 0px;}
.p632{text-align: left;padding-left: 66px;margin-top: 108px;margin-bottom: 0px;}
.p633{text-align: left;padding-left: 19px;padding-right: 303px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p634{text-align: left;margin-top: 10px;margin-bottom: 0px;}
.p635{text-align: left;padding-left: 416px;margin-top: 63px;margin-bottom: 0px;}
.p636{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 8px;margin-bottom: 0px;text-indent: -18px;}
.p637{text-align: justify;padding-left: 66px;padding-right: 70px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p638{text-align: justify;padding-left: 66px;padding-right: 75px;margin-top: 8px;margin-bottom: 0px;text-indent: -18px;}
.p639{text-align: left;padding-left: 47px;margin-top: 11px;margin-bottom: 0px;}
.p640{text-align: left;padding-left: 66px;padding-right: 71px;margin-top: 0px;margin-bottom: 0px;}
.p641{text-align: left;padding-left: 66px;margin-top: 69px;margin-bottom: 0px;}
.p642{text-align: left;padding-left: 19px;padding-right: 303px;margin-top: 1px;margin-bottom: 0px;}
.p643{text-align: justify;padding-left: 19px;padding-right: 297px;margin-top: 8px;margin-bottom: 0px;text-indent: -18px;}
.p644{text-align: left;padding-left: 416px;margin-top: 62px;margin-bottom: 0px;}
.p645{text-align: justify;padding-left: 19px;padding-right: 76px;margin-top: 0px;margin-bottom: 0px;text-indent: -18px;}
.p646{text-align: justify;padding-left: 19px;padding-right: 76px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p647{text-align: justify;padding-left: 19px;padding-right: 76px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p648{text-align: justify;padding-left: 19px;padding-right: 76px;margin-top: 0px;margin-bottom: 0px;}
.p649{text-align: left;padding-left: 19px;margin-top: 35px;margin-bottom: 0px;}
.p650{text-align: left;padding-left: 19px;padding-right: 298px;margin-top: 32px;margin-bottom: 0px;text-indent: -18px;}
.p651{text-align: left;padding-left: 19px;padding-right: 303px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p652{text-align: left;padding-right: 401px;margin-top: 10px;margin-bottom: 0px;}
.p653{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 4px;margin-bottom: 0px;text-indent: -18px;}
.p654{text-align: justify;padding-left: 19px;padding-right: 297px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p655{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 9px;margin-bottom: 0px;text-indent: -18px;}
.p656{text-align: left;padding-left: 416px;margin-top: 87px;margin-bottom: 0px;}
.p657{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 6px;margin-bottom: 0px;text-indent: -18px;}
.p658{text-align: left;padding-left: 47px;padding-right: 188px;margin-top: 0px;margin-bottom: 0px;}
.p659{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 6px;margin-bottom: 0px;text-indent: -18px;}
.p660{text-align: left;padding-left: 66px;margin-top: 66px;margin-bottom: 0px;}
.p661{text-align: justify;padding-left: 19px;padding-right: 302px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p662{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 9px;margin-bottom: 0px;text-indent: -18px;}
.p663{text-align: left;padding-left: 416px;margin-top: 60px;margin-bottom: 0px;}
.p664{text-align: left;padding-left: 47px;margin-top: 8px;margin-bottom: 0px;}
.p665{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 9px;margin-bottom: 0px;text-indent: -18px;}
.p666{text-align: left;padding-left: 66px;margin-top: 52px;margin-bottom: 0px;}
.p667{text-align: justify;padding-left: 19px;padding-right: 298px;margin-top: 32px;margin-bottom: 0px;text-indent: -18px;}
.p668{text-align: left;padding-right: 385px;margin-top: 9px;margin-bottom: 0px;}
.p669{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 4px;margin-bottom: 0px;text-indent: -18px;}
.p670{text-align: left;padding-right: 303px;margin-top: 11px;margin-bottom: 0px;}
.p671{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 5px;margin-bottom: 0px;text-indent: -18px;}
.p672{text-align: left;padding-left: 416px;margin-top: 65px;margin-bottom: 0px;}
.p673{text-align: justify;padding-left: 18px;padding-right: 76px;margin-top: 0px;margin-bottom: 0px;text-indent: -18px;}
.p674{text-align: justify;padding-left: 18px;padding-right: 71px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p675{text-align: justify;padding-left: 18px;padding-right: 76px;margin-top: 8px;margin-bottom: 0px;text-indent: -18px;}
.p676{text-align: justify;padding-left: 18px;padding-right: 76px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p677{text-align: justify;padding-left: 18px;padding-right: 76px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p678{text-align: justify;padding-left: 18px;padding-right: 71px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p679{text-align: left;padding-left: 18px;margin-top: 87px;margin-bottom: 0px;}
.p680{text-align: justify;padding-left: 18px;padding-right: 303px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p681{text-align: justify;padding-left: 18px;padding-right: 303px;margin-top: 8px;margin-bottom: 0px;text-indent: -18px;}
.p682{text-align: justify;padding-left: 18px;padding-right: 302px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p683{text-align: justify;padding-left: 18px;padding-right: 297px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p684{text-align: justify;padding-left: 18px;padding-right: 303px;margin-top: 9px;margin-bottom: 0px;text-indent: -18px;}
.p685{text-align: justify;padding-left: 18px;padding-right: 298px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p686{text-align: justify;padding-left: 18px;padding-right: 302px;margin-top: 10px;margin-bottom: 0px;text-indent: -18px;}
.p687{text-align: justify;padding-left: 18px;padding-right: 303px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p688{text-align: left;padding-left: 415px;margin-top: 62px;margin-bottom: 0px;}
.p689{text-align: left;padding-left: 18px;margin-top: 404px;margin-bottom: 0px;}
.p690{text-align: right;padding-right: 231px;margin-top: 0px;margin-bottom: 0px;}
.p691{text-align: left;padding-left: 76px;margin-top: 17px;margin-bottom: 0px;}
.p692{text-align: left;padding-left: 76px;margin-top: 151px;margin-bottom: 0px;}
.p693{text-align: left;padding-left: 76px;margin-top: 13px;margin-bottom: 0px;}
.p694{text-align: left;padding-left: 76px;margin-top: 35px;margin-bottom: 0px;}
.p695{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 11px;margin-bottom: 0px;}
.p696{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p697{text-align: left;padding-left: 76px;margin-top: 36px;margin-bottom: 0px;}
.p698{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 12px;margin-bottom: 0px;}
.p699{text-align: left;padding-left: 473px;margin-top: 45px;margin-bottom: 0px;}
.p700{text-align: justify;padding-left: 104px;padding-right: 76px;margin-top: 7px;margin-bottom: 0px;text-indent: -19px;}
.p701{text-align: left;padding-left: 19px;margin-top: 3px;margin-bottom: 0px;}
.p702{text-align: justify;padding-left: 37px;padding-right: 303px;margin-top: 8px;margin-bottom: 0px;text-indent: -18px;}
.p703{text-align: justify;padding-left: 37px;padding-right: 303px;margin-top: 7px;margin-bottom: 0px;text-indent: -18px;}
.p704{text-align: justify;padding-left: 37px;padding-right: 298px;margin-top: 7px;margin-bottom: 0px;text-indent: -18px;}
.p705{text-align: left;margin-top: 34px;margin-bottom: 0px;}
.p706{text-align: left;padding-left: 397px;margin-top: 72px;margin-bottom: 0px;}
.p707{text-align: justify;padding-left: 302px;padding-right: 71px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p708{text-align: right;padding-right: 76px;margin-top: 36px;margin-bottom: 0px;}
.p709{text-align: left;padding-left: 302px;margin-top: 627px;margin-bottom: 0px;}
.p710{text-align: right;padding-right: 227px;margin-top: 0px;margin-bottom: 0px;}
.p711{text-align: left;padding-left: 76px;padding-right: 354px;margin-top: 1px;margin-bottom: 0px;}
.p712{text-align: left;padding-left: 76px;margin-top: 12px;margin-bottom: 0px;}
.p713{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 21px;margin-bottom: 0px;text-indent: 19px;}
.p714{text-align: left;padding-left: 316px;margin-top: 18px;margin-bottom: 0px;}
.p715{text-align: left;padding-left: 473px;margin-top: 154px;margin-bottom: 0px;}
.p716{text-align: right;padding-right: 218px;margin-top: 0px;margin-bottom: 0px;}
.p717{text-align: left;padding-left: 76px;padding-right: 312px;margin-top: 5px;margin-bottom: 0px;}
.p718{text-align: left;padding-left: 76px;margin-top: 0px;margin-bottom: 0px;}
.p719{text-align: justify;padding-left: 124px;padding-right: 298px;margin-top: 409px;margin-bottom: 0px;}
.p720{text-align: left;padding-left: 253px;margin-top: 9px;margin-bottom: 0px;}
.p721{text-align: left;padding-left: 473px;margin-top: 119px;margin-bottom: 0px;}
.p722{text-align: left;padding-left: 66px;padding-right: 76px;margin-top: 13px;margin-bottom: 0px;}
.p723{text-align: justify;padding-left: 127px;padding-right: 212px;margin-top: 38px;margin-bottom: 0px;text-indent: -61px;}
.p724{text-align: justify;padding-left: 85px;padding-right: 71px;margin-top: 6px;margin-bottom: 0px;}
.p725{text-align: left;padding-left: 66px;margin-top: 43px;margin-bottom: 0px;}
.p726{text-align: left;padding-left: 95px;padding-right: 303px;margin-top: 31px;margin-bottom: 0px;}
.p727{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 14px;margin-bottom: 0px;}
.p728{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 1px;margin-bottom: 0px;text-indent: 19px;}
.p729{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 3px;margin-bottom: 0px;text-indent: 19px;}
.p730{text-align: left;padding-left: 76px;margin-top: 32px;margin-bottom: 0px;}
.p731{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 21px;margin-bottom: 0px;text-indent: 19px;}
.p732{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 43px;margin-bottom: 0px;}
.p733{text-align: right;padding-right: 303px;margin-top: 29px;margin-bottom: 0px;}
.p734{text-align: left;padding-left: 66px;padding-right: 71px;margin-top: 32px;margin-bottom: 0px;}
.p735{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 2px;margin-bottom: 0px;}
.p736{text-align: left;padding-left: 356px;margin-top: 4px;margin-bottom: 0px;}
.p737{text-align: left;padding-left: 66px;margin-top: 50px;margin-bottom: 0px;}
.p738{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 80px;margin-bottom: 0px;}
.p739{text-align: justify;padding-left: 60px;padding-right: 430px;margin-top: 32px;margin-bottom: 0px;text-indent: -60px;}
.p740{text-align: left;padding-left: 397px;margin-top: 46px;margin-bottom: 0px;}
.p741{text-align: justify;padding-left: 60px;padding-right: 379px;margin-top: 38px;margin-bottom: 0px;text-indent: -60px;}
.p742{text-align: right;padding-left: 61px;padding-right: 76px;margin-top: 13px;margin-bottom: 0px;}
.p743{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 3px;margin-bottom: 0px;}
.p744{text-align: left;padding-left: 361px;margin-top: 4px;margin-bottom: 0px;}
.p745{text-align: justify;padding-right: 302px;margin-top: 4px;margin-bottom: 0px;text-indent: 19px;}
.p746{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 22px;margin-bottom: 0px;text-indent: 19px;}
.p747{text-align: justify;margin-top: 65px;margin-bottom: 0px;}
.p748{text-align: justify;padding-left: 127px;padding-right: 159px;margin-top: 32px;margin-bottom: 0px;text-indent: -61px;}
.p749{text-align: left;padding-left: 66px;margin-top: 24px;margin-bottom: 0px;}
.p750{text-align: left;padding-left: 95px;padding-right: 303px;margin-top: 28px;margin-bottom: 0px;}
.p751{text-align: left;padding-left: 427px;margin-top: 2px;margin-bottom: 0px;}
.p752{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 16px;margin-bottom: 0px;}
.p753{text-align: left;padding-left: 76px;margin-top: 37px;margin-bottom: 0px;}
.p754{text-align: justify;padding-left: 95px;padding-right: 303px;margin-top: 2px;margin-bottom: 0px;}
.p755{text-align: right;padding-right: 302px;margin-top: 5px;margin-bottom: 0px;}
.p756{text-align: left;padding-left: 473px;margin-top: 152px;margin-bottom: 0px;}
.p757{text-align: justify;padding-left: 85px;padding-right: 76px;margin-top: 10px;margin-bottom: 0px;text-indent: -19px;}
.p758{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 43px;margin-bottom: 0px;}
.p759{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 32px;margin-bottom: 0px;text-indent: -19px;}
.p760{text-align: left;padding-left: 318px;margin-top: 11px;margin-bottom: 0px;}
.p761{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 14px;margin-bottom: 0px;}
.p762{text-align: left;margin-top: 29px;margin-bottom: 0px;}
.p763{text-align: justify;padding-left: 85px;padding-right: 71px;margin-top: 8px;margin-bottom: 0px;}
.p764{text-align: justify;padding-left: 66px;margin-top: 26px;margin-bottom: 0px;}
.p765{text-align: left;padding-left: 19px;padding-right: 298px;margin-top: 31px;margin-bottom: 0px;}
.p766{text-align: left;margin-top: 144px;margin-bottom: 0px;}
.p767{text-align: left;padding-left: 85px;margin-top: 5px;margin-bottom: 0px;}
.p768{text-align: justify;padding-left: 60px;padding-right: 363px;margin-top: 40px;margin-bottom: 0px;text-indent: -60px;}
.p769{text-align: left;padding-left: 397px;margin-top: 32px;margin-bottom: 0px;}
.p770{text-align: left;padding-left: 66px;margin-top: 65px;margin-bottom: 0px;}
.p771{text-align: justify;padding-left: 66px;margin-top: 12px;margin-bottom: 0px;}
.p772{text-align: left;padding-left: 76px;padding-right: 303px;margin-top: 32px;margin-bottom: 0px;}
.p773{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p774{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 5px;margin-bottom: 0px;text-indent: -18px;}
.p775{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 4px;margin-bottom: 0px;text-indent: -18px;}
.p776{text-align: left;padding-left: 57px;padding-right: 340px;margin-top: 4px;margin-bottom: 0px;}
.p777{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 1px;margin-bottom: 0px;text-indent: -18px;}
.p778{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 5px;margin-bottom: 0px;text-indent: -18px;}
.p779{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 2px;margin-bottom: 0px;text-indent: -18px;}
.p780{text-align: left;padding-left: 76px;margin-top: 1px;margin-bottom: 0px;}
.p781{text-align: left;padding-left: 57px;margin-top: 5px;margin-bottom: 0px;}
.p782{text-align: right;padding-right: 303px;margin-top: 64px;margin-bottom: 0px;}
.p783{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 4px;margin-bottom: 0px;text-indent: -18px;}
.p784{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 5px;margin-bottom: 0px;text-indent: -18px;}
.p785{text-align: left;padding-left: 47px;margin-top: 3px;margin-bottom: 0px;}
.p786{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 3px;margin-bottom: 0px;text-indent: -18px;}
.p787{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 2px;margin-bottom: 0px;text-indent: -18px;}
.p788{text-align: justify;padding-left: 66px;padding-right: 76px;margin-top: 5px;margin-bottom: 0px;text-indent: -18px;}
.p789{text-align: left;padding-left: 19px;margin-top: 36px;margin-bottom: 0px;}
.p790{text-align: left;padding-left: 19px;padding-right: 368px;margin-top: 11px;margin-bottom: 0px;}
.p791{text-align: left;padding-left: 19px;padding-right: 339px;margin-top: 3px;margin-bottom: 0px;}
.p792{text-align: left;padding-left: 19px;margin-top: 33px;margin-bottom: 0px;}
.p793{text-align: left;padding-left: 19px;padding-right: 332px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p794{text-align: justify;padding-left: 19px;margin-top: 0px;margin-bottom: 0px;}
.p795{text-align: justify;padding-left: 38px;padding-right: 298px;margin-top: 1px;margin-bottom: 0px;text-indent: -19px;}
.p796{text-align: left;padding-left: 38px;margin-top: 0px;margin-bottom: 0px;}
.p797{text-align: justify;padding-left: 38px;padding-right: 303px;margin-top: 0px;margin-bottom: 0px;text-indent: -19px;}
.p798{text-align: justify;padding-left: 19px;margin-top: 1px;margin-bottom: 0px;}
.p799{text-align: left;padding-left: 19px;padding-right: 303px;margin-top: 9px;margin-bottom: 0px;text-indent: -18px;}
.p800{text-align: left;margin-top: 4px;margin-bottom: 0px;}
.p801{text-align: left;padding-left: 19px;padding-right: 303px;margin-top: 5px;margin-bottom: 0px;text-indent: -18px;}
.p802{text-align: left;padding-right: 398px;margin-top: 4px;margin-bottom: 0px;}
.p803{text-align: left;padding-left: 416px;margin-top: 40px;margin-bottom: 0px;}
.p804{text-align: left;padding-left: 47px;margin-top: 32px;margin-bottom: 0px;}
.p805{text-align: left;padding-left: 47px;padding-right: 102px;margin-top: 4px;margin-bottom: 0px;}
.p806{text-align: left;padding-left: 47px;margin-top: 0px;margin-bottom: 0px;}
.p807{text-align: justify;padding-left: 85px;padding-right: 71px;margin-top: 0px;margin-bottom: 0px;text-indent: -19px;}
.p808{text-align: left;padding-left: 85px;padding-right: 76px;margin-top: 0px;margin-bottom: 0px;text-indent: -18px;}
.p809{text-align: left;padding-left: 47px;padding-right: 112px;margin-top: 4px;margin-bottom: 0px;}
.p810{text-align: left;padding-left: 47px;margin-top: 1px;margin-bottom: 0px;}
.p811{text-align: left;padding-left: 85px;padding-right: 76px;margin-top: 11px;margin-bottom: 0px;text-indent: -18px;}
.p812{text-align: left;padding-left: 85px;padding-right: 76px;margin-top: 5px;margin-bottom: 0px;text-indent: -18px;}
.p813{text-align: left;padding-left: 19px;padding-right: 303px;margin-top: 32px;margin-bottom: 0px;text-indent: -18px;}
.p814{text-align: left;padding-right: 390px;margin-top: 4px;margin-bottom: 0px;}
.p815{text-align: left;padding-right: 328px;margin-top: 1px;margin-bottom: 0px;}
.p816{text-align: justify;padding-left: 19px;padding-right: 302px;margin-top: 1px;margin-bottom: 0px;text-indent: -18px;}
.p817{text-align: left;padding-right: 372px;margin-top: 5px;margin-bottom: 0px;}
.p818{text-align: justify;padding-left: 19px;padding-right: 302px;margin-top: 0px;margin-bottom: 0px;text-indent: -18px;}
.p819{text-align: left;margin-top: 5px;margin-bottom: 0px;}
.p820{text-align: left;padding-right: 313px;margin-top: 5px;margin-bottom: 0px;}
.p821{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 12px;margin-bottom: 0px;text-indent: -18px;}
.p822{text-align: justify;padding-left: 19px;padding-right: 302px;margin-top: 4px;margin-bottom: 0px;text-indent: -18px;}
.p823{text-align: justify;padding-left: 19px;padding-right: 302px;margin-top: 2px;margin-bottom: 0px;text-indent: -18px;}
.p824{text-align: left;padding-left: 397px;margin-top: 76px;margin-bottom: 0px;}
.p825{text-align: left;padding-left: 76px;padding-right: 345px;margin-top: 17px;margin-bottom: 0px;}
.p826{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 146px;margin-bottom: 0px;}
.p827{text-align: left;padding-left: 76px;padding-right: 307px;margin-top: 37px;margin-bottom: 0px;}
.p828{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 1px;margin-bottom: 0px;}
.p829{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p830{text-align: left;padding-left: 95px;margin-top: 1px;margin-bottom: 0px;}
.p831{text-align: left;padding-left: 473px;margin-top: 32px;margin-bottom: 0px;}
.p832{text-align: left;padding-left: 66px;padding-right: 88px;margin-top: 32px;margin-bottom: 0px;}
.p833{text-align: left;padding-left: 66px;margin-top: 10px;margin-bottom: 0px;}
.p834{text-align: left;padding-right: 317px;margin-top: 36px;margin-bottom: 0px;}
.p835{text-align: justify;padding-right: 303px;margin-top: 45px;margin-bottom: 0px;}
.p836{text-align: left;padding-left: 66px;padding-right: 126px;margin-top: 36px;margin-bottom: 0px;}
.p837{text-align: left;padding-right: 328px;margin-top: 32px;margin-bottom: 0px;}
.p838{text-align: justify;padding-right: 302px;margin-top: 10px;margin-bottom: 0px;}
.p839{text-align: justify;padding-left: 19px;padding-right: 303px;margin-top: 8px;margin-bottom: 0px;}
.p840{text-align: left;padding-right: 344px;margin-top: 36px;margin-bottom: 0px;}
.p841{text-align: left;padding-left: 66px;padding-right: 122px;margin-top: 36px;margin-bottom: 0px;}
.p842{text-align: left;padding-left: 85px;margin-top: 21px;margin-bottom: 0px;}
.p843{text-align: left;padding-left: 397px;margin-top: 96px;margin-bottom: 0px;}
.p844{text-align: left;padding-left: 66px;margin-top: 60px;margin-bottom: 0px;}
.p845{text-align: left;padding-right: 329px;margin-top: 37px;margin-bottom: 0px;}
.p846{text-align: left;padding-left: 397px;margin-top: 59px;margin-bottom: 0px;}
.p847{text-align: left;padding-left: 66px;padding-right: 76px;margin-top: 31px;margin-bottom: 0px;}
.p848{text-align: left;padding-left: 85px;margin-top: 1px;margin-bottom: 0px;}
.p849{text-align: justify;padding-left: 66px;margin-top: 3px;margin-bottom: 0px;}
.p850{text-align: justify;padding-left: 90px;padding-right: 76px;margin-top: 2px;margin-bottom: 0px;text-indent: -24px;}
.p851{text-align: left;padding-left: 66px;margin-top: 224px;margin-bottom: 0px;}
.p852{text-align: left;padding-left: 76px;padding-right: 300px;margin-top: 17px;margin-bottom: 0px;}
.p853{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 148px;margin-bottom: 0px;}
.p854{text-align: justify;padding-left: 76px;padding-right: 298px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p855{text-align: justify;padding-left: 76px;padding-right: 303px;margin-top: 0px;margin-bottom: 0px;text-indent: 19px;}
.p856{text-align: justify;padding-left: 76px;padding-right: 297px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p857{text-align: left;padding-left: 473px;margin-top: 34px;margin-bottom: 0px;}
.p858{text-align: justify;padding-left: 90px;padding-right: 76px;margin-top: 5px;margin-bottom: 0px;text-indent: -24px;}
.p859{text-align: left;padding-left: 397px;margin-top: 40px;margin-bottom: 0px;}
.p860{text-align: justify;padding-left: 66px;margin-top: 68px;margin-bottom: 0px;}
.p861{text-align: justify;margin-top: 7px;margin-bottom: 0px;}
.p862{text-align: justify;padding-left: 66px;padding-right: 71px;margin-top: 25px;margin-bottom: 0px;}
.p863{text-align: justify;padding-right: 303px;padding-top: 1px;margin-top: 31px;margin-bottom: 0px;}
.p864{text-align: justify;padding-right: 297px;margin-top: 21px;margin-bottom: 0px;text-indent: 19px;}
.p865{text-align: justify;padding-left: 66px;margin-top: 10px;margin-bottom: 0px;}
.p866{text-align: justify;padding-left: 90px;padding-right: 76px;margin-top: 3px;margin-bottom: 0px;text-indent: -24px;}
.p867{text-align: left;padding-left: 66px;margin-top: 14px;margin-bottom: 0px;}
.p868{text-align: justify;padding-right: 297px;padding-top: 1px;margin-top: 2px;margin-bottom: 0px;text-indent: 19px;}
.p869{text-align: justify;padding-right: 363px;margin-top: 1px;margin-bottom: 0px;}
.p870{text-align: left;padding-left: 66px;margin-top: 15px;margin-bottom: 0px;}
.p871{text-align: justify;padding-left: 19px;padding-right: 302px;margin-top: 4px;margin-bottom: 0px;text-indent: -19px;}
.p872{text-align: justify;margin-top: 5px;margin-bottom: 0px;}
.p873{text-align: left;padding-left: 397px;margin-top: 202px;margin-bottom: 0px;}
.p874{text-align: justify;padding-left: 8px;margin-top: 81px;margin-bottom: 0px;}
.p875{text-align: justify;padding-left: 8px;margin-top: 2px;margin-bottom: 0px;}
.p876{text-align: justify;padding-left: 21px;margin-top: 0px;margin-bottom: 0px;}
.p877{text-align: justify;padding-left: 21px;padding-right: 361px;margin-top: 2px;margin-bottom: 0px;text-indent: -13px;}
.p878{text-align: justify;padding-left: 21px;padding-right: 337px;margin-top: 0px;margin-bottom: 0px;}
.p879{text-align: justify;padding-left: 21px;padding-right: 343px;margin-top: 1px;margin-bottom: 0px;text-indent: -17px;}
.p880{text-align: justify;padding-left: 21px;padding-right: 347px;margin-top: 2px;margin-bottom: 0px;text-indent: -17px;}
.p881{text-align: justify;padding-left: 21px;padding-right: 330px;margin-top: 2px;margin-bottom: 0px;text-indent: -17px;}
.p882{text-align: left;padding-left: 1px;margin-top: 83px;margin-bottom: 0px;}
.p883{text-align: left;padding-left: 1px;margin-top: 1px;margin-bottom: 0px;}
.p884{text-align: left;padding-left: 1px;margin-top: 2px;margin-bottom: 0px;}
.p885{text-align: left;padding-left: 1px;margin-top: 15px;margin-bottom: 0px;}
.p886{text-align: left;padding-left: 1px;margin-top: 0px;margin-bottom: 0px;}
.p887{text-align: justify;padding-left: 16px;margin-top: 1px;margin-bottom: 0px;}
.p888{text-align: justify;padding-left: 1px;margin-top: 1px;margin-bottom: 0px;}
.p889{text-align: justify;padding-left: 16px;margin-top: 0px;margin-bottom: 0px;}
.p890{text-align: left;padding-left: 16px;margin-top: 1px;margin-bottom: 0px;}
.p891{text-align: left;padding-left: 16px;padding-right: 336px;margin-top: 0px;margin-bottom: 0px;text-indent: -14px;}
.p892{text-align: left;padding-left: 1px;margin-top: 12px;margin-bottom: 0px;}
.p893{text-align: left;padding-left: 1px;padding-right: 379px;margin-top: 2px;margin-bottom: 0px;}
.p894{text-align: left;padding-left: 1px;margin-top: 16px;margin-bottom: 0px;}
.p895{text-align: left;padding-left: 16px;padding-right: 344px;margin-top: 0px;margin-bottom: 0px;}
.p896{text-align: left;padding-left: 16px;padding-right: 338px;margin-top: 2px;margin-bottom: 0px;text-indent: -14px;}
.p897{text-align: left;padding-left: 16px;padding-right: 359px;margin-top: 1px;margin-bottom: 0px;text-indent: -14px;}
.td0{padding: 0px;margin: 0px;width: 398px;vertical-align: bottom;}
.td1{padding: 0px;margin: 0px;width: 18px;vertical-align: bottom;}
.td2{padding: 0px;margin: 0px;width: 380px;vertical-align: bottom;}
.td3{padding: 0px;margin: 0px;width: 51px;vertical-align: bottom;}
.td4{padding: 0px;margin: 0px;width: 329px;vertical-align: bottom;}
.td5{padding: 0px;margin: 0px;width: 19px;vertical-align: bottom;}
.td6{padding: 0px;margin: 0px;width: 370px;vertical-align: bottom;}
.td7{padding: 0px;margin: 0px;width: 27px;vertical-align: bottom;}
.td8{padding: 0px;margin: 0px;width: 319px;vertical-align: bottom;}
.td9{padding: 0px;margin: 0px;width: 389px;vertical-align: bottom;}
.td10{padding: 0px;margin: 0px;width: 98px;vertical-align: bottom;}
.td11{padding: 0px;margin: 0px;width: 26px;vertical-align: bottom;}
.td12{padding: 0px;margin: 0px;width: 363px;vertical-align: bottom;}
.td13{padding: 0px;margin: 0px;width: 358px;vertical-align: bottom;}
.td14{padding: 0px;margin: 0px;width: 24px;vertical-align: bottom;}
.td15{padding: 0px;margin: 0px;width: 366px;vertical-align: bottom;}
.td16{padding: 0px;margin: 0px;width: 392px;vertical-align: bottom;}
.td17{padding: 0px;margin: 0px;width: 90px;vertical-align: bottom;}
.td18{padding: 0px;margin: 0px;width: 30px;vertical-align: bottom;}
.td19{padding: 0px;margin: 0px;width: 359px;vertical-align: bottom;}
.td20{padding: 0px;margin: 0px;width: 29px;vertical-align: bottom;}
.td21{padding: 0px;margin: 0px;width: 360px;vertical-align: bottom;}
.td22{padding: 0px;margin: 0px;width: 330px;vertical-align: bottom;}
.td23{padding: 0px;margin: 0px;width: 59px;vertical-align: bottom;}
.td24{padding: 0px;margin: 0px;width: 415px;vertical-align: bottom;}
.td25{padding: 0px;margin: 0px;width: 67px;vertical-align: bottom;}
.td26{padding: 0px;margin: 0px;width: 410px;vertical-align: bottom;}
.td27{padding: 0px;margin: 0px;width: 77px;vertical-align: bottom;}
.td28{padding: 0px;margin: 0px;width: 443px;vertical-align: bottom;}
.td29{padding: 0px;margin: 0px;width: 44px;vertical-align: bottom;}
.td30{padding: 0px;margin: 0px;width: 295px;vertical-align: bottom;}
.td31{padding: 0px;margin: 0px;width: 192px;vertical-align: bottom;}
.td32{padding: 0px;margin: 0px;width: 416px;vertical-align: bottom;}
.td33{padding: 0px;margin: 0px;width: 71px;vertical-align: bottom;}
.td34{padding: 0px;margin: 0px;width: 266px;vertical-align: bottom;}
.td35{padding: 0px;margin: 0px;width: 122px;vertical-align: bottom;}
.td36{padding: 0px;margin: 0px;width: 83px;vertical-align: bottom;}
.td37{padding: 0px;margin: 0px;width: 56px;vertical-align: bottom;}
.td38{padding: 0px;margin: 0px;width: 11px;vertical-align: bottom;}
.td39{border-bottom: #000000 1px solid;padding: 0px;margin: 0px;width: 45px;vertical-align: bottom;}
.td40{padding: 0px;margin: 0px;width: 9px;vertical-align: bottom;}
.td41{padding: 0px;margin: 0px;width: 22px;vertical-align: bottom;}
.td42{border-bottom: #000000 1px solid;padding: 0px;margin: 0px;width: 123px;vertical-align: bottom;}
.td43{border-bottom: #000000 1px solid;padding: 0px;margin: 0px;width: 122px;vertical-align: bottom;}
.td44{padding: 0px;margin: 0px;width: 13px;vertical-align: bottom;}
.td45{padding: 0px;margin: 0px;width: 7px;vertical-align: bottom;}
.td46{border-right: #000000 1px solid;padding: 0px;margin: 0px;width: 10px;vertical-align: bottom;}
.td47{border-right: #000000 1px solid;padding: 0px;margin: 0px;width: 44px;vertical-align: bottom;}
.td48{border-right: #000000 1px solid;padding: 0px;margin: 0px;width: 21px;vertical-align: bottom;}
.td49{border-right: #000000 1px solid;border-bottom: #000000 1px solid;padding: 0px;margin: 0px;width: 122px;vertical-align: bottom;}
.td50{border-right: #000000 1px solid;padding: 0px;margin: 0px;width: 18px;vertical-align: bottom;}
.td51{border-right: #000000 1px solid;padding: 0px;margin: 0px;width: 121px;vertical-align: bottom;}
.td52{border-right: #000000 1px solid;padding: 0px;margin: 0px;width: 12px;vertical-align: bottom;}
.td53{border-right: #000000 1px solid;padding: 0px;margin: 0px;width: 122px;vertical-align: bottom;}
.td54{border-right: #000000 1px solid;border-bottom: #000000 1px solid;padding: 0px;margin: 0px;width: 44px;vertical-align: bottom;}
.td55{border-right: #000000 1px solid;border-bottom: #000000 1px solid;padding: 0px;margin: 0px;width: 121px;vertical-align: bottom;}
.td56{padding: 0px;margin: 0px;width: 361px;vertical-align: bottom;}
.td57{padding: 0px;margin: 0px;width: 126px;vertical-align: bottom;}
.td58{padding: 0px;margin: 0px;width: 302px;vertical-align: bottom;}
.td59{padding: 0px;margin: 0px;width: 185px;vertical-align: bottom;}
.td60{padding: 0px;margin: 0px;width: 292px;vertical-align: bottom;}
.td61{padding: 0px;margin: 0px;width: 195px;vertical-align: bottom;}
.td62{padding: 0px;margin: 0px;width: 172px;vertical-align: bottom;}
.td63{padding: 0px;margin: 0px;width: 315px;vertical-align: bottom;}
.td64{padding: 0px;margin: 0px;width: 254px;vertical-align: bottom;}
.td65{padding: 0px;margin: 0px;width: 233px;vertical-align: bottom;}
.td66{padding: 0px;margin: 0px;width: 218px;vertical-align: bottom;}
.td67{padding: 0px;margin: 0px;width: 269px;vertical-align: bottom;}
.td68{padding: 0px;margin: 0px;width: 305px;vertical-align: bottom;}
.td69{padding: 0px;margin: 0px;width: 182px;vertical-align: bottom;}
.td70{padding: 0px;margin: 0px;width: 158px;vertical-align: bottom;}
.td71{padding: 0px;margin: 0px;width: 424px;vertical-align: bottom;}
.td72{padding: 0px;margin: 0px;width: 63px;vertical-align: bottom;}
.td73{padding: 0px;margin: 0px;width: 437px;vertical-align: bottom;}
.td74{padding: 0px;margin: 0px;width: 50px;vertical-align: bottom;}
.td75{padding: 0px;margin: 0px;width: 448px;vertical-align: bottom;}
.td76{padding: 0px;margin: 0px;width: 39px;vertical-align: bottom;}
.tr0{height: 21px;}
.tr1{height: 37px;}
.tr2{height: 28px;}
.tr3{height: 38px;}
.tr4{height: 17px;}
.tr5{height: 18px;}
.tr6{height: 45px;}
.tr7{height: 27px;}
.tr8{height: 31px;}
.tr9{height: 16px;}
.tr10{height: 51px;}
.tr11{height: 19px;}
.tr12{height: 20px;}
.tr13{height: 30px;}
.tr14{height: 39px;}
.tr15{height: 54px;}
.tr16{height: 50px;}
.tr17{height: 14px;}
.tr18{height: 89px;}
.tr19{height: 88px;}
.tr20{height: 105px;}
.tr21{height: 104px;}
.tr22{height: 33px;}
.tr23{height: 32px;}
.tr24{height: 13px;}
.tr25{height: 11px;}
.tr26{height: 10px;}
.t0{width: 416px;margin-top: 167px;font: 15px 'Arial';}
.t1{width: 416px;margin-left: 66px;margin-top: 31px;font: 15px 'Arial';}
.t2{width: 487px;margin-left: 76px;font: 15px 'Arial';}
.t3{width: 382px;margin-left: 110px;margin-top: 1px;font: 12px 'Arial';}
.t4{width: 416px;margin-left: 76px;margin-top: 1px;font: 15px 'Arial';}
.t5{width: 416px;margin-left: 76px;margin-top: 1px;font: 13px 'Arial';}
.t6{width: 482px;font: bold 11px 'Arial';}
.t7{width: 416px;margin-left: 66px;margin-top: 1px;font: 15px 'Arial';}
.t8{width: 487px;font: 15px 'Arial';}
.t9{width: 487px;font: bold 9px 'Arial';}
.t10{width: 490px;font: bold 11px 'Arial';}
.t11{width: 487px;font: bold 8px 'Arial';}
.t12{width: 487px;margin-left: 8px;font: bold 9px 'Arial';}
.t13{width: 487px;margin-left: 76px;font: bold 9px 'Arial';}
.t14{width: 487px;margin-left: 19px;font: bold 9px 'Arial';}
.t15{width: 487px;margin-left: 18px;font: bold 9px 'Arial';}
</STYLE>
</HEAD>
<BODY>
<DIV id="page_1">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B3121x1.jpg" id="img1">
</DIV>
<DIV id="id_1">
<P class="p0 ft0">Utvärdera för utveckling</P>
<P class="p1 ft1">– om utvärdering av skolpolitiska reformer</P>
<P class="p2 ft2">Slutbetänkande av Utredningen om förbättrade resultat i grundskolan</P>
<P class="p3 ft3">Stockholm 2014</P>
</DIV>
<DIV id="id_2">
<P class="p0 ft4">SOU 2014:12</P>
</DIV>
</DIV>
<DIV id="page_2">
<P class="p4 ft5">SOU och Ds kan köpas från Fritzes kundtjänst. För remissutsändningar av SOU och Ds svarar Fritzes Offentliga Publikationer på uppdrag av Regeringskansliets förvaltningsavdelning.</P>
<P class="p5 ft6">Beställningsadress: Fritzes kundtjänst 106 47 Stockholm</P>
<P class="p6 ft5">Orderfax: <NOBR>08-598</NOBR> 191 91 Ordertel: <NOBR>08-598</NOBR> 191 90 <NOBR>E-post:</NOBR> order.fritzes@nj.se Internet: www.fritzes.se</P>
<P class="p7 ft7">Svara på remiss – hur och varför. Statsrådsberedningen (SB PM 2003:2, reviderad <NOBR>2009-05-02)</NOBR></P>
<P class="p8 ft5">– En liten broschyr som underlättar arbetet för den som ska svara på remiss. Broschyren är gratis och kan laddas ner eller beställas på http://www.regeringen.se/remiss</P>
<P class="p9 ft5">Textbearbetning och layout har utförts av Regeringskansliet, FA/kommittéservice.</P>
<P class="p9 ft5">Omslag: Elanders Sverige AB.</P>
<P class="p9 ft6">Tryckt av Elanders Sverige AB.</P>
<P class="p10 ft5">Stockholm 2014</P>
<P class="p9 ft6">ISBN <NOBR>978-91-38-24080-9</NOBR></P>
<P class="p10 ft5">ISSN <NOBR>0375-250X</NOBR></P>
</DIV>
<DIV id="page_3">
<P class="p0 ft8">Till statsrådet och chefen för</P>
<P class="p11 ft8">Utbildningsdepartementet</P>
<P class="p12 ft9">Regeringen beslutade den 24 maj 2012 att ge en särskild utredare i uppdrag att dels bedöma när de åtgärder som har vidtagits från 2007 och framåt för att höja kunskapsnivån och öka måluppfyllel- sen i grundskolan kan förväntas få avsedd effekt, dels utreda vilka relevanta data som behövs för att i ökad utsträckning kunna utvär- dera de reformer som genomförs på skolområdet, och vid behov lämna författnings- eller andra förslag, samt belysa hur reformer på skolområdet bör genomföras för att underlätta utvärdering av dem.</P>
<P class="p13 ft10">Per Thullberg anställdes fr.o.m. den 1 juni 2012 som särskild ut- redare.</P>
<P class="p14 ft10">Ämnesrådet Maria Caryll och departementsrådet Kjell Nyman, Utbildningsdepartementet, förordnades att fr.o.m. den 25 septem- ber 2012 ingå i utredningen som experter. Maria Caryll entlediga- des fr.o.m. den 18 mars 2013. Samma dag förordnades ämnesrådet Kerstin Hultgren, Utbildningsdepartementet, som expert i utred- ningen.</P>
<P class="p15 ft10">Som sekreterare i utredningen anställdes fr.o.m. den 1 juni 2012 Eva Wallberg och fr.o.m. den 11 juni 2012 Mats Miljand.</P>
<P class="p16 ft10">Utredningen överlämnade i maj 2013 delbetänkandet <SPAN class="ft11">Det tar tid – om effekter av skolpolitiska reformer </SPAN>(SOU 2013:30).</P>
<P class="p17 ft9">Utredningen överlämnar härmed slutbetänkandet <SPAN class="ft12">Utvärdera för utveckling – om utvärdering av skolpolitiska reformer </SPAN>(SOU 2014:12).</P>
<P class="p18 ft10">Utredningens uppdrag är härmed slutfört.</P>
<P class="p19 ft10">Stockholm i mars 2014</P>
<P class="p19 ft10">Per Thullberg</P>
<P class="p20 ft10">/ Eva Wallberg</P>
<P class="p21 ft10">Mats Miljand</P>
</DIV>
<DIV id="page_4">
<P class="p0 ft8">Innehåll</P>
<TABLE cellpadding=0 cellspacing=0 class="t0">
<TR>
<TD colspan=3 class="tr0 td0"><P class="p22 ft13">Sammanfattning ................................................................</P></TD>
<TD class="tr0 td1"><P class="p23 ft13">11</P></TD>
</TR>
<TR>
<TD class="tr1 td1"><P class="p22 ft13">1</P></TD>
<TD colspan=2 class="tr1 td2"><P class="p24 ft13">Inledning...................................................................</P></TD>
<TD class="tr1 td1"><P class="p23 ft13">23</P></TD>
</TR>
<TR>
<TD class="tr2 td1"><P class="p22 ft14">1.1</P></TD>
<TD colspan=2 class="tr2 td2"><P class="p24 ft15">Bakgrund ..................................................................................</P></TD>
<TD class="tr2 td1"><P class="p25 ft10">23</P></TD>
</TR>
<TR>
<TD class="tr2 td1"><P class="p22 ft14">1.2</P></TD>
<TD colspan=2 class="tr2 td2"><P class="p24 ft15">Uppdraget mer i detalj.............................................................</P></TD>
<TD class="tr2 td1"><P class="p25 ft10">24</P></TD>
</TR>
<TR>
<TD class="tr2 td1"><P class="p22 ft14">1.3</P></TD>
<TD colspan=2 class="tr2 td2"><P class="p24 ft15">Inriktning och avgränsning .....................................................</P></TD>
<TD class="tr2 td1"><P class="p25 ft10">25</P></TD>
</TR>
<TR>
<TD class="tr2 td1"><P class="p22 ft14">1.4</P></TD>
<TD colspan=2 class="tr2 td2"><P class="p24 ft15">Utredningens arbete ................................................................</P></TD>
<TD class="tr2 td1"><P class="p25 ft10">27</P></TD>
</TR>
<TR>
<TD class="tr2 td1"><P class="p22 ft14">1.5</P></TD>
<TD colspan=2 class="tr2 td2"><P class="p24 ft15">Betänkandet..............................................................................</P></TD>
<TD class="tr2 td1"><P class="p25 ft10">27</P></TD>
</TR>
<TR>
<TD class="tr3 td1"><P class="p22 ft13">2</P></TD>
<TD colspan=2 class="tr3 td2"><P class="p24 ft16">Om evidensinformerad politik och praktik .....................</P></TD>
<TD class="tr3 td1"><P class="p23 ft13">29</P></TD>
</TR>
<TR>
<TD class="tr2 td1"><P class="p22 ft14">2.1</P></TD>
<TD colspan=2 class="tr2 td2"><P class="p24 ft14">Evidens – ett begrepp med flera betydelser............................</P></TD>
<TD class="tr2 td1"><P class="p25 ft10">29</P></TD>
</TR>
<TR>
<TD class="tr2 td1"><P class="p22 ft14">2.2</P></TD>
<TD colspan=2 class="tr2 td2"><P class="p24 ft15">Evidens i politik och praktik ...................................................</P></TD>
<TD class="tr2 td1"><P class="p25 ft10">30</P></TD>
</TR>
<TR>
<TD class="tr4 td1"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr4 td2"><P class="p24 ft14">2.2.1 Evidens i politiskt beslutsfattande...............................</P></TD>
<TD class="tr4 td1"><P class="p25 ft10">31</P></TD>
</TR>
<TR>
<TD class="tr5 td1"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr5 td2"><P class="p24 ft14">2.2.2 Evidensinformerad snarare än evidensbaserad............</P></TD>
<TD class="tr5 td1"><P class="p25 ft10">33</P></TD>
</TR>
<TR>
<TD class="tr4 td1"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td3"><P class="p24 ft10">2.2.3</P></TD>
<TD class="tr4 td4"><P class="p26 ft14">Styrningsperspektiv och utvecklingsperspektiv..........</P></TD>
<TD class="tr4 td1"><P class="p25 ft10">36</P></TD>
</TR>
<TR>
<TD class="tr2 td1"><P class="p22 ft14">2.3</P></TD>
<TD colspan=2 class="tr2 td2"><P class="p24 ft14">Forskning och politik – en problematisk relation .................</P></TD>
<TD class="tr2 td1"><P class="p25 ft10">39</P></TD>
</TR>
<TR>
<TD class="tr1 td1"><P class="p22 ft13">3</P></TD>
<TD colspan=2 class="tr1 td2"><P class="p24 ft13">Om utvärdering ..........................................................</P></TD>
<TD class="tr1 td1"><P class="p23 ft13">41</P></TD>
</TR>
<TR>
<TD class="tr2 td1"><P class="p22 ft14">3.1</P></TD>
<TD colspan=2 class="tr2 td2"><P class="p24 ft15">Vad menar vi med utvärdering? ..............................................</P></TD>
<TD class="tr2 td1"><P class="p25 ft10">41</P></TD>
</TR>
<TR>
<TD class="tr5 td1"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr5 td2"><P class="p24 ft14">3.1.1 Skilda tolkningar av begreppets innebörd ...................</P></TD>
<TD class="tr5 td1"><P class="p25 ft10">42</P></TD>
</TR>
<TR>
<TD class="tr4 td1"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td3"><P class="p24 ft10">3.1.2</P></TD>
<TD class="tr4 td4"><P class="p26 ft15">Några avgränsningar .....................................................</P></TD>
<TD class="tr4 td1"><P class="p25 ft10">45</P></TD>
</TR>
<TR>
<TD class="tr2 td1"><P class="p22 ft14">3.2</P></TD>
<TD colspan=2 class="tr2 td2"><P class="p24 ft15">Olika metodologiska ansatser .................................................</P></TD>
<TD class="tr2 td1"><P class="p25 ft10">49</P></TD>
</TR>
<TR>
<TD class="tr4 td1"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td3"><P class="p24 ft10">3.2.1</P></TD>
<TD class="tr4 td4"><P class="p26 ft15">Effektutvärdering..........................................................</P></TD>
<TD class="tr4 td1"><P class="p25 ft10">50</P></TD>
</TR>
<TR>
<TD class="tr5 td1"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td3"><P class="p24 ft10">3.2.2</P></TD>
<TD class="tr5 td4"><P class="p26 ft15">Teoribaserad utvärdering .............................................</P></TD>
<TD class="tr5 td1"><P class="p25 ft10">52</P></TD>
</TR>
<TR>
<TD class="tr6 td1"><P class="p22 ft17"> </P></TD>
<TD class="tr6 td3"><P class="p22 ft17"> </P></TD>
<TD class="tr6 td4"><P class="p22 ft17"> </P></TD>
<TD class="tr6 td1"><P class="p23 ft18">5</P></TD>
</TR>
</TABLE>
</DIV>
<DIV id="page_5">
<P class="p0 ft19">Innehåll SOU 2014:12</P>
<TABLE cellpadding=0 cellspacing=0 class="t1">
<TR>
<TD class="tr5 td5"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr5 td6"><P class="p27 ft14">3.2.3 Utvärdering av komplexa system.................................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">54</P></TD>
</TR>
<TR>
<TD class="tr5 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td3"><P class="p27 ft10">3.2.4</P></TD>
<TD class="tr5 td8"><P class="p26 ft15">Systematiska översikter ................................................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">56</P></TD>
</TR>
<TR>
<TD class="tr7 td5"><P class="p22 ft14">3.3</P></TD>
<TD colspan=2 class="tr7 td6"><P class="p27 ft15">Sammanfattande bedömning ...................................................</P></TD>
<TD class="tr7 td7"><P class="p25 ft10">58</P></TD>
</TR>
<TR>
<TD class="tr3 td5"><P class="p22 ft13">4</P></TD>
<TD colspan=2 class="tr3 td6"><P class="p27 ft16">Dagens utvärderingssystem..........................................</P></TD>
<TD class="tr3 td7"><P class="p25 ft13">61</P></TD>
</TR>
<TR>
<TD class="tr2 td5"><P class="p22 ft14">4.1</P></TD>
<TD colspan=2 class="tr2 td6"><P class="p27 ft14">Det nationella uppföljnings- och utvärderingssystemet........</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">61</P></TD>
</TR>
<TR>
<TD class="tr4 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td3"><P class="p27 ft10">4.1.1</P></TD>
<TD class="tr4 td8"><P class="p26 ft15">Uppföljning och utvärdering........................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">62</P></TD>
</TR>
<TR>
<TD class="tr5 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td3"><P class="p27 ft10">4.1.2</P></TD>
<TD class="tr5 td8"><P class="p26 ft15">Inspektion och revision ................................................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">73</P></TD>
</TR>
<TR>
<TD class="tr4 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td3"><P class="p27 ft10">4.1.3</P></TD>
<TD class="tr4 td8"><P class="p26 ft15">Forskning ......................................................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">76</P></TD>
</TR>
<TR>
<TD class="tr4 td5"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr4 td6"><P class="p27 ft14">4.1.4 Hur kommer reformutvärderingen in?........................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">78</P></TD>
</TR>
<TR>
<TD class="tr2 td5"><P class="p22 ft14">4.2</P></TD>
<TD colspan=2 class="tr2 td6"><P class="p27 ft15">Sammanfattande bedömning ...................................................</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">79</P></TD>
</TR>
<TR>
<TD class="tr1 td5"><P class="p22 ft13">5</P></TD>
<TD colspan=2 class="tr1 td6"><P class="p27 ft16">Reformutvärdering – historik och nuläge........................</P></TD>
<TD class="tr1 td7"><P class="p25 ft13">81</P></TD>
</TR>
<TR>
<TD class="tr2 td5"><P class="p22 ft14">5.1</P></TD>
<TD colspan=2 class="tr2 td6"><P class="p27 ft15">En historisk tillbakablick .........................................................</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">81</P></TD>
</TR>
<TR>
<TD class="tr5 td5"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr5 td6"><P class="p27 ft14">5.1.1 <NOBR>1900-talets</NOBR> mitt – en period av stora utredningar .......</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">81</P></TD>
</TR>
<TR>
<TD class="tr4 td5"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr4 td6"><P class="p27 ft15">5.1.2 En bild från <NOBR>1970-talet ..................................................</NOBR></P></TD>
<TD class="tr4 td7"><P class="p25 ft10">82</P></TD>
</TR>
<TR>
<TD class="tr5 td5"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr5 td6"><P class="p27 ft10">5.1.3 Den fortsatta debatten om den nationella</P></TD>
<TD class="tr5 td7"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr4 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td3"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td8"><P class="p26 ft15">utvärderingen.................................................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">83</P></TD>
</TR>
<TR>
<TD class="tr4 td5"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr4 td6"><P class="p27 ft10">5.1.4 Övergången till mål- och resultatstyrning i början</P></TD>
<TD class="tr4 td7"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr5 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td3"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td8"><P class="p26 ft15">av <NOBR>1990-talet ..................................................................</NOBR></P></TD>
<TD class="tr5 td7"><P class="p25 ft10">85</P></TD>
</TR>
<TR>
<TD class="tr4 td5"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr4 td6"><P class="p27 ft10">5.1.5 Sammantaget – ingen reformutvärdering att tala</P></TD>
<TD class="tr4 td7"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr4 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td3"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td8"><P class="p26 ft15">om ..................................................................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">88</P></TD>
</TR>
<TR>
<TD class="tr2 td5"><P class="p22 ft14">5.2</P></TD>
<TD colspan=2 class="tr2 td6"><P class="p27 ft15">Var står vi i dag? .......................................................................</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">89</P></TD>
</TR>
<TR>
<TD class="tr5 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td3"><P class="p27 ft10">5.2.1</P></TD>
<TD class="tr5 td8"><P class="p26 ft14">Reformutvärdering fortfarande ovanlig.......................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">89</P></TD>
</TR>
<TR>
<TD class="tr4 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td3"><P class="p27 ft10">5.2.2</P></TD>
<TD class="tr4 td8"><P class="p26 ft15">Skolverkets utvärderingsuppdrag.................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">90</P></TD>
</TR>
<TR>
<TD class="tr2 td5"><P class="p22 ft14">5.3</P></TD>
<TD colspan=2 class="tr2 td6"><P class="p27 ft15">En internationell utblick ..........................................................</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">95</P></TD>
</TR>
<TR>
<TD class="tr2 td5"><P class="p22 ft14">5.4</P></TD>
<TD colspan=2 class="tr2 td6"><P class="p27 ft15">Sammanfattande bedömning ...................................................</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">97</P></TD>
</TR>
<TR>
<TD class="tr1 td5"><P class="p22 ft13">6</P></TD>
<TD colspan=2 class="tr1 td6"><P class="p27 ft16">Reformutvärdering – strategi för framtiden...................</P></TD>
<TD class="tr1 td7"><P class="p25 ft13">101</P></TD>
</TR>
<TR>
<TD class="tr2 td5"><P class="p22 ft14">6.1</P></TD>
<TD colspan=2 class="tr2 td6"><P class="p27 ft14">Reformutvärdering och implementering ..............................</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">101</P></TD>
</TR>
<TR>
<TD class="tr8 td5"><P class="p22 ft14">6.2</P></TD>
<TD colspan=2 class="tr8 td6"><P class="p27 ft14">Reformstrategier och utvärdering .........................................</P></TD>
<TD class="tr8 td7"><P class="p25 ft10">106</P></TD>
</TR>
</TABLE>
<P class="p28 ft18">6</P>
</DIV>
<DIV id="page_6">
<TABLE cellpadding=0 cellspacing=0 class="t2">
<TR>
<TD colspan=2 class="tr9 td9"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr9 td10"><P class="p25 ft19">Innehåll</P></TD>
</TR>
<TR>
<TD class="tr10 td11"><P class="p22 ft10">6.3</P></TD>
<TD class="tr10 td12"><P class="p29 ft15">Regeringens och regeringskansliets arbete ...........................</P></TD>
<TD class="tr10 td10"><P class="p30 ft10">110</P></TD>
</TR>
<TR>
<TD class="tr5 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td12"><P class="p29 ft14">6.3.1 OECD om det centrala regeringsarbetet i Sverige ...</P></TD>
<TD class="tr5 td10"><P class="p30 ft10">110</P></TD>
</TR>
<TR>
<TD class="tr4 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td12"><P class="p29 ft10">6.3.2 Kopplingen mellan reformstrategier och</P></TD>
<TD class="tr4 td10"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr5 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td12"><P class="p31 ft14">reformutvärdering i regeringskansliets arbete ..........</P></TD>
<TD class="tr5 td10"><P class="p30 ft10">111</P></TD>
</TR>
<TR>
<TD class="tr7 td11"><P class="p22 ft10">6.4</P></TD>
<TD class="tr7 td12"><P class="p29 ft14">Reformutvärderingens roll bör stärkas.................................</P></TD>
<TD class="tr7 td10"><P class="p30 ft10">115</P></TD>
</TR>
<TR>
<TD class="tr3 td11"><P class="p22 ft13">7</P></TD>
<TD class="tr3 td12"><P class="p29 ft13">Ramverk för utvärdering av skolan – för bättre</P></TD>
<TD class="tr3 td10"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr11 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td12"><P class="p29 ft13">överblick och styrning ...............................................</P></TD>
<TD class="tr11 td10"><P class="p32 ft13">119</P></TD>
</TR>
</TABLE>
<P class="p33 ft10"><SPAN class="ft14">7.1</SPAN><SPAN class="ft20">OECD om behovet av ramverk för utvärdering av</SPAN></P>
<TABLE cellpadding=0 cellspacing=0 class="t3">
<TR>
<TD class="tr12 td13"><P class="p22 ft15">utbildningen ...........................................................................</P></TD>
<TD class="tr12 td14"><P class="p25 ft10">119</P></TD>
</TR>
</TABLE>
<P class="p34 ft10"><SPAN class="ft14">7.2</SPAN><SPAN class="ft20">Förslag om ett nationellt ramverk för utvärdering av</SPAN></P>
<TABLE cellpadding=0 cellspacing=0 class="t4">
<TR>
<TD class="tr5 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td12"><P class="p29 ft15">skolan ......................................................................................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">123</P></TD>
</TR>
<TR>
<TD class="tr3 td11"><P class="p22 ft13">8</P></TD>
<TD class="tr3 td12"><P class="p29 ft16">Försöksverksamhet <SPAN class="ft21">– </SPAN>för ökad evidens vid reformer ......</P></TD>
<TD class="tr3 td7"><P class="p23 ft13">127</P></TD>
</TR>
<TR>
<TD class="tr7 td11"><P class="p22 ft10">8.1</P></TD>
<TD class="tr7 td12"><P class="p29 ft14">Användningen av försöksverksamhet...................................</P></TD>
<TD class="tr7 td7"><P class="p25 ft10">127</P></TD>
</TR>
<TR>
<TD class="tr8 td11"><P class="p22 ft10">8.2</P></TD>
<TD class="tr8 td12"><P class="p29 ft14">Försöksverksamhet som strategi i andra länder...................</P></TD>
<TD class="tr8 td7"><P class="p25 ft10">131</P></TD>
</TR>
</TABLE>
<P class="p35 ft10"><SPAN class="ft14">8.3</SPAN><SPAN class="ft20">Försöksverksamhet stärker förutsättningarna för</SPAN></P>
<TABLE cellpadding=0 cellspacing=0 class="t5">
<TR>
<TD class="tr5 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td15"><P class="p29 ft15">reformutvärdering..................................................................</P></TD>
<TD class="tr5 td14"><P class="p25 ft10">132</P></TD>
</TR>
<TR>
<TD class="tr2 td11"><P class="p36 ft14">8.4</P></TD>
<TD class="tr2 td15"><P class="p29 ft14">Etiska överväganden i samband med försöksverksamhet....</P></TD>
<TD class="tr2 td14"><P class="p25 ft10">133</P></TD>
</TR>
<TR>
<TD class="tr13 td11"><P class="p36 ft14">8.5</P></TD>
<TD class="tr13 td15"><P class="p29 ft14">Förutsättningarna för försöksverksamhet i skollagen.........</P></TD>
<TD class="tr13 td14"><P class="p25 ft10">135</P></TD>
</TR>
</TABLE>
<P class="p35 ft10"><SPAN class="ft14">8.6</SPAN><SPAN class="ft20">Möjligheterna att bedriva försöksverksamhet bör</SPAN></P>
<TABLE cellpadding=0 cellspacing=0 class="t4">
<TR>
<TD class="tr5 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td12"><P class="p29 ft15">tillvaratas.................................................................................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">140</P></TD>
</TR>
<TR>
<TD class="tr14 td11"><P class="p22 ft13">9</P></TD>
<TD class="tr14 td12"><P class="p29 ft13">Systemet för att följa kunskapsresultat <SPAN class="ft22">–</SPAN></P></TD>
<TD class="tr14 td7"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr4 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td12"><P class="p29 ft23">utvecklingsbehov......................................................</P></TD>
<TD class="tr4 td7"><P class="p23 ft23">143</P></TD>
</TR>
<TR>
<TD class="tr2 td11"><P class="p22 ft10">9.1</P></TD>
<TD class="tr2 td12"><P class="p29 ft14">Dagens nationella system för kunskapsbedömning.............</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">143</P></TD>
</TR>
<TR>
<TD class="tr11 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td12"><P class="p29 ft10">9.1.1 Nationella prov och betyg <SPAN class="ft24">– </SPAN>lämpar sig inte som</P></TD>
<TD class="tr11 td7"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr9 td11"><P class="p22 ft25"> </P></TD>
<TD class="tr9 td12"><P class="p31 ft14">grund för trendmätning..............................................</P></TD>
<TD class="tr9 td7"><P class="p25 ft26">144</P></TD>
</TR>
<TR>
<TD class="tr5 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td12"><P class="p29 ft10">9.1.2 Internationella studier – de enda instrument som</P></TD>
<TD class="tr5 td7"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr11 td11"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td12"><P class="p31 ft14">i dag kan mäta kunskapsresultat över tid ..................</P></TD>
<TD class="tr11 td7"><P class="p25 ft10">149</P></TD>
</TR>
</TABLE>
<P class="p37 ft18">7</P>
</DIV>
<DIV id="page_7">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr9 td16"><P class="p22 ft19">Innehåll</P></TD>
<TD class="tr9 td17"><P class="p25 ft19">SOU 2014:12</P></TD>
</TR>
<TR>
<TD class="tr15 td16"><P class="p38 ft10">9.2 Användningen av nationella prov i andra länder</P></TD>
<TD class="tr15 td17"><P class="p25 ft15">..................151</P></TD>
</TR>
</TABLE>
<P class="p39 ft10"><SPAN class="ft14">9.3</SPAN><SPAN class="ft27">Tidigare förslag om rullande stickprovsbaserad</SPAN></P>
<TABLE cellpadding=0 cellspacing=0 class="t7">
<TR>
<TD class="tr5 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td19"><P class="p40 ft14">utvärdering av elevernas kunskapsresultat ............................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">152</P></TD>
</TR>
<TR>
<TD class="tr2 td18"><P class="p22 ft10">9.4</P></TD>
<TD class="tr2 td19"><P class="p40 ft14">Förslag till utveckling av systemet för att mäta trender ......</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">153</P></TD>
</TR>
<TR>
<TD class="tr1 td18"><P class="p22 ft13">10</P></TD>
<TD class="tr1 td19"><P class="p40 ft16">Data för utvärdering – utvecklingsbehov ......................</P></TD>
<TD class="tr1 td7"><P class="p25 ft13">159</P></TD>
</TR>
<TR>
<TD class="tr2 td18"><P class="p22 ft10">10.1</P></TD>
<TD class="tr2 td19"><P class="p40 ft10">Den nationella statistiken om skolan – en infrastruktur</P></TD>
<TD class="tr2 td7"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr11 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td19"><P class="p40 ft15">för systemförståelse ...............................................................</P></TD>
<TD class="tr11 td7"><P class="p25 ft10">159</P></TD>
</TR>
<TR>
<TD class="tr5 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td19"><P class="p40 ft14">10.1.1 Kort om skolstatistikens framväxt.............................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">159</P></TD>
</TR>
<TR>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td19"><P class="p40 ft15">10.1.2 Några grundläggande begrepp....................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">161</P></TD>
</TR>
<TR>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td19"><P class="p40 ft15">10.1.3 Skolverkets statistikansvar .........................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">162</P></TD>
</TR>
<TR>
<TD class="tr5 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td19"><P class="p40 ft15">10.1.4 Dagens statistiksystem ...............................................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">164</P></TD>
</TR>
<TR>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td19"><P class="p40 ft15">10.1.5 Uppgiftslämnarbördan ...............................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">168</P></TD>
</TR>
<TR>
<TD class="tr2 td18"><P class="p22 ft10">10.2</P></TD>
<TD class="tr2 td19"><P class="p40 ft14">Regelverket för hantering av data..........................................</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">170</P></TD>
</TR>
<TR>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td19"><P class="p40 ft15">10.2.1 En omfattande lagstiftning .........................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">170</P></TD>
</TR>
<TR>
<TD class="tr5 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td19"><P class="p40 ft15">10.2.2 Pågående utredningar..................................................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">174</P></TD>
</TR>
<TR>
<TD class="tr7 td18"><P class="p22 ft10">10.3</P></TD>
<TD class="tr7 td19"><P class="p40 ft10">Förslag och bedömningar om behovet av data för</P></TD>
<TD class="tr7 td7"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr11 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td19"><P class="p40 ft14">utvärdering och utvärdering av reformer ..............................</P></TD>
<TD class="tr11 td7"><P class="p25 ft10">177</P></TD>
</TR>
<TR>
<TD class="tr5 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td19"><P class="p40 ft15">10.3.1 Några utgångspunkter ................................................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">178</P></TD>
</TR>
<TR>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td19"><P class="p40 ft15">10.3.2 Individdata...................................................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">179</P></TD>
</TR>
<TR>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td19"><P class="p40 ft10">10.3.3 Uppgifter om undervisningens förutsättningar</P></TD>
<TD class="tr4 td7"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr5 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td19"><P class="p41 ft15">och genomförande ......................................................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">181</P></TD>
</TR>
<TR>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td19"><P class="p40 ft14">10.3.4 Uppgifter om undervisningens resultat.....................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">191</P></TD>
</TR>
<TR>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td19"><P class="p40 ft15">10.3.5 Kostnader och elevresultat .........................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">195</P></TD>
</TR>
<TR>
<TD class="tr5 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td19"><P class="p40 ft14">10.3.6 Utveckling, modernisering och resurser ...................</P></TD>
<TD class="tr5 td7"><P class="p25 ft10">197</P></TD>
</TR>
<TR>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td19"><P class="p40 ft14">10.3.7 Inga förslag om författningsändringar.......................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">198</P></TD>
</TR>
<TR>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td19"><P class="p40 ft15">10.3.8 Avslutande diskussion ................................................</P></TD>
<TD class="tr4 td7"><P class="p25 ft10">199</P></TD>
</TR>
<TR>
<TD class="tr1 td18"><P class="p22 ft13">11</P></TD>
<TD class="tr1 td19"><P class="p40 ft16">Organisering för stärkt utvärdering..............................</P></TD>
<TD class="tr1 td7"><P class="p25 ft13">203</P></TD>
</TR>
<TR>
<TD class="tr2 td18"><P class="p22 ft10">11.1</P></TD>
<TD class="tr2 td19"><P class="p40 ft15">Dagens aktörer i Sverige ........................................................</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">203</P></TD>
</TR>
<TR>
<TD class="tr2 td18"><P class="p22 ft10">11.2</P></TD>
<TD class="tr2 td19"><P class="p40 ft15">Internationell utblick .............................................................</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">205</P></TD>
</TR>
<TR>
<TD class="tr2 td18"><P class="p22 ft10">11.3</P></TD>
<TD class="tr2 td19"><P class="p40 ft14">Andra röster om organiseringen av utvärdering...................</P></TD>
<TD class="tr2 td7"><P class="p25 ft10">208</P></TD>
</TR>
<TR>
<TD class="tr12 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr12 td19"><P class="p40 ft14">11.3.1 Att nå ut och nå ända fram (SOU 2009:94)..............</P></TD>
<TD class="tr12 td7"><P class="p25 ft10">208</P></TD>
</TR>
</TABLE>
<P class="p42 ft18">8</P>
</DIV>
<DIV id="page_8">
<TABLE cellpadding=0 cellspacing=0 class="t8">
<TR>
<TD colspan=3 class="tr9 td9"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr9 td10"><P class="p25 ft19">Innehåll</P></TD>
</TR>
<TR>
<TD class="tr16 td20"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr16 td21"><P class="p43 ft10">11.3.2 Institutionaliseringen av utvärdering – ett</P></TD>
<TD class="tr16 td10"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr5 td20"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td22"><P class="p25 ft14">fenomen i tiden ...........................................................</P></TD>
<TD class="tr5 td10"><P class="p30 ft10">209</P></TD>
</TR>
<TR>
<TD class="tr4 td20"><P class="p22 ft17"> </P></TD>
<TD colspan=2 class="tr4 td21"><P class="p43 ft10">11.3.3 OECD om organisering och styrning av</P></TD>
<TD class="tr4 td10"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr4 td20"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr4 td22"><P class="p25 ft14">policyrelevant utvärdering..........................................</P></TD>
<TD class="tr4 td10"><P class="p30 ft10">211</P></TD>
</TR>
<TR>
<TD class="tr2 td20"><P class="p22 ft10">11.4</P></TD>
<TD colspan=2 class="tr2 td21"><P class="p43 ft14">Förslag om ett råd med dubbla funktioner ..........................</P></TD>
<TD class="tr2 td10"><P class="p30 ft10">212</P></TD>
</TR>
<TR>
<TD class="tr1 td20"><P class="p22 ft13">12</P></TD>
<TD colspan=2 class="tr1 td21"><P class="p43 ft13">Konsekvenser...........................................................</P></TD>
<TD class="tr1 td10"><P class="p32 ft13">221</P></TD>
</TR>
<TR>
<TD colspan=3 class="tr3 td9"><P class="p22 ft13">Referenser ......................................................................</P></TD>
<TD class="tr3 td10"><P class="p32 ft13">225</P></TD>
</TR>
<TR>
<TD colspan=2 class="tr1 td23"><P class="p22 ft13">Bilagor</P></TD>
<TD class="tr1 td22"><P class="p22 ft17"> </P></TD>
<TD class="tr1 td10"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD colspan=2 class="tr2 td23"><P class="p22 ft10">Bilaga 1</P></TD>
<TD class="tr2 td22"><P class="p25 ft14">Kommittédirektiv 2012:53..............................................</P></TD>
<TD class="tr2 td10"><P class="p30 ft10">243</P></TD>
</TR>
<TR>
<TD colspan=2 class="tr2 td23"><P class="p22 ft10">Bilaga 2</P></TD>
<TD class="tr2 td22"><P class="p25 ft15">Tilläggsdirektiv 2013:73 ..................................................</P></TD>
<TD class="tr2 td10"><P class="p30 ft10">249</P></TD>
</TR>
<TR>
<TD colspan=3 class="tr2 td9"><P class="p22 ft10">Bilaga 3 Kunskap och skolreform – En studie om underlag</P></TD>
<TD class="tr2 td10"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr11 td20"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td22"><P class="p44 ft10">för och utvärdering av reformer på skolområdet</P></TD>
<TD class="tr11 td10"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr5 td20"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td22"><P class="p25 ft15">av Mats Björnsson...........................................................</P></TD>
<TD class="tr5 td10"><P class="p30 ft10">251</P></TD>
</TR>
<TR>
<TD colspan=3 class="tr2 td9"><P class="p22 ft10">Bilaga 4 Exempel på uppföljningar och utvärderingar</P></TD>
<TD class="tr2 td10"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr11 td20"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td22"><P class="p44 ft10">genomförda av Skolverket på regeringens uppdrag</P></TD>
<TD class="tr11 td10"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr11 td20"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td22"><P class="p25 ft15">åren <NOBR>2002–2013 ...............................................................</NOBR></P></TD>
<TD class="tr11 td10"><P class="p30 ft10">283</P></TD>
</TR>
<TR>
<TD colspan=3 class="tr2 td9"><P class="p22 ft10">Bilaga 5 Internationell utblick – med fokus på</P></TD>
<TD class="tr2 td10"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr0 td20"><P class="p22 ft17"> </P></TD>
<TD class="tr0 td18"><P class="p22 ft17"> </P></TD>
<TD class="tr0 td22"><P class="p25 ft14">organiseringen av nationell utvärdering ........................</P></TD>
<TD class="tr0 td10"><P class="p30 ft10">293</P></TD>
</TR>
</TABLE>
<P class="p45 ft18">9</P>
</DIV>
<DIV id="page_9">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B3129x1.jpg" id="img1">
</DIV>
<P class="p0 ft8">Sammanfattning</P>
<P class="p46 ft9">I maj 2012 beslutade regeringen att tillkalla en särskild utredare med uppdrag<SPAN class="ft28">1 </SPAN>att dels bedöma när de åtgärder som har vidtagits från 2007 och framåt för att höja kunskapsnivån och öka mål- uppfyllelsen i grundskolan kan förväntas få avsedd effekt, dels analysera förutsättningarna för utvärdering av reformer. Utred- ningen redovisade i maj 2013 delbetänkandet <SPAN class="ft12">Det tar tid – om effek- ter av skolpolitiska reformer </SPAN>(SOU 2013:30). Den andra delen av uppdraget redovisas i detta slutbetänkande från utredningen.</P>
<P class="p47 ft10">Arbetet med detta betänkande och utredningens delbetänkande har stärkt oss i uppfattningen att det är långt ifrån enkelt att för- ändra skolan genom strukturella reformer. Det tar tid innan effek- ter uppstår så att de kan bli mätbara på nationell nivå. Dessutom är de effekter man kan förvänta sig ofta inte så stora som man kanske önskat. Detta innebär inte att man kan avstå från att försöka att för- bättra förutsättningarna för skolan. Det understryker dock behovet av att beslut om reformer vilar på en ordentlig kunskapsgrund. För varje åtgärd som vidtas bör det tydligt framgå på vilket sätt åtgärden är tänkt att påverka skolan, och vad som styrker denna slutsats. Forskning och utvärdering har här en central roll både inför att reformer ska utformas och vid utvärderingen av dem. Ut- värdering av reformer kan i sin tur resultera i kunskap som kan ligga till grund för evidensinformerade beslut inför eventuella fram- tida reformer.</P>
<P class="p48 ft29">I det följande redovisas hur vi kommit fram till och underbyggt denna slutsats kapitel för kapitel samt redogörs för våra mer kon- kreta bedömningar och förslag.</P>
<P class="p49 ft31"><SPAN class="ft30">1 </SPAN>Dir. 2012:53, dir. 2013:73.</P>
<P class="p50 ft18">11</P>
</DIV>
<DIV id="page_10">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Sammanfattning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft32">Bakgrund</P>
<P class="p52 ft13">Inledning (kapitel 1)</P>
<P class="p53 ft10">I Sverige har frågan om hur utvärderingskulturen inom skolområ- det kan förstärkas – på både lokal och nationell nivå – diskuterats länge. Det betyder inte att frågan alltid befunnit sig i centrum för den skolpolitiska debatten eller varit föremål för politiska initiativ. Vi uppfattar direktiven till utredningen som att Sverige nu behöver lägga en ökad vikt vid frågor som har med utvärdering av skolan att göra. Denna ökade betoning på utvärdering delar Sverige med andra länder.</P>
<P class="p54 ft10">Utredningens uppdrag är vittomfattande och berör, som vi ser det, hela uppföljnings- och utvärderingssystemet för skolan liksom organiseringen av detsamma. Även om utredningen i första hand har ett övergripande nationellt perspektiv på utvärdering av refor- mer går det inte heller att bortse från den nationella uppföljningens och utvärderingens samspel med den lokala nivån och verksamhets- nivån. Vidare har reformutvärdering en nära relation till implemen- tering av reformer, dvs. det som belystes i utredningens delbetän- kande.</P>
<P class="p55 ft13">Om evidensinformerad politik och praktik (kapitel 2)</P>
<P class="p56 ft10">Evidens är ett begrepp som fått en allt större spridning. Begreppet kan syfta på tre olika företeelser:</P>
<P class="p57 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft34">Evidensbaserad politik </SPAN>innebär att beslutsfattare, på olika nivåer och inom olika samhällsområden, så långt möjligt bör fatta beslut som baseras på kunskap.</P>
<P class="p58 ft36"><SPAN class="ft33"></SPAN><SPAN class="ft35">Evidensbaserad praktik </SPAN>syftar till att den dagliga verksamheten inom ett område ska vila på systematiskt utvecklad kunskap.</P>
<P class="p59 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft37">Evidens kan också användas i en mer metodologisk betydelse där evidensbaserad politik och praktik avser en särskild </SPAN><SPAN class="ft11">utvärde- ringsmetodik </SPAN>som bygger på s.k. <NOBR>meta-analyser</NOBR> och systematiska kunskapsöversikter.</P>
<P class="p60 ft9">Utredningen föredrar att använda begreppet <SPAN class="ft12">evidensinformerad </SPAN>i stället för evidensbaserad. En grundläggande skillnad mellan exem- pelvis evidensbaserad och evidensinformerad politik är <SPAN class="ft12">vad som kan betraktas som belägg eller bevis </SPAN>(evidens). Vid utformningen av evi-</P>
<P class="p61 ft18">12</P>
</DIV>
<DIV id="page_11">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td26"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td27"><P class="p22 ft38">Sammanfattning</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">densinformerad politik kan utöver forskningsresultat även använ- das andra systematiskt insamlade och kvalificerade underlag.</P>
<P class="p63 ft39">Frågan om evidens i politiken kan dessutom ses ur två perspek- tiv – ett styrningsperspektiv och ett utvecklingsperspektiv. Vilket perspektiv som dominerar får avgörande betydelse för vilket slags utvärderingssystem som kommer att byggas upp.</P>
<P class="p64 ft13">Om utvärdering (kapitel 3)</P>
<P class="p65 ft40">Det kan vara svårt att orientera sig rätt bland alla de olika teorier och utgångpunkter som finns om utvärdering och det är en grann- laga uppgift att bestämma hur en utvärdering ska genomföras. Det finns samtidigt stora möjligheter att genomföra utvärdering, även i de fall förutsättningarna i förstone inte verkar vara optimala. Det finns dock ett behov av ökad metodisk medvetenhet och förmåga hos både beställare och utförare av utvärderingar.</P>
<P class="p66 ft10">Gemensamt för god utvärdering är att det finns</P>
<P class="p67 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft27">en systematisk datainsamling som ligger till grund för analys, tolkningar och bedömningar,</SPAN></P>
<P class="p68 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft27">en metodik vid behandlingen av data som uppfyller rimliga krav på validitet och reliabilitet, samt</SPAN></P>
<P class="p68 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft27">en värdering (av utvärderingsobjektets nytta, effekter, påverkan eller motsvarande) i förhållande till något slags måttstock (rikt- värden, kriterier eller referenspunkter).</SPAN></P>
<P class="p69 ft39">För att möta olika krav och förutsättningar kan utvärderingar vara av en mängd olika slag: effektutvärdering, programteoretisk utvärdering, processutvärdering, etc. Valet av metod bör göras med utgångspunkt i själva objektet för utvärderingen och i de fråge- ställningar som ska utvärderas. Interventioner i skolan har i de flesta fall en komplex karaktär, något både reformstrategi och val av metoder för utvärdering bör förhålla sig till. Kombinationer av olika metoder kan vara en god strategi för att fånga olika aspekter av en mer eller mindre sammansatt verklighet. Kvantitativt och kvalitativt inriktade metoder bör inte ställas mot varandra.</P>
<P class="p70 ft39">Utvärdering kan syfta till att svara på om en viss åtgärd fått några effekter och vilka dessa i så fall har varit – positiva, negativa, avsedda eller oavsedda. Den kan även syfta till att upptäcka sam- band mellan olika företeelser och om möjligt bidra till att finna</P>
<P class="p71 ft18">13</P>
</DIV>
<DIV id="page_12">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Sammanfattning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft10">orsaker (förklaringar) till dessa. En utvärdering kan vidare syfta till fördjupad systemkunskap, till exempel genom att öka förståelsen för varför en viss reform eller åtgärd får olika genomslag i olika verksamheter. En formativ utvärdering kan bidra till att utveckla en reform genom att ge underlag för justeringar av reformen. Slutligen kan nationell utvärdering även utformas för att fungera utveck- lingsstödjande på lokal nivå och i verksamheten.</P>
<P class="p55 ft13">Dagens utvärderingssystem (kapitel 4)</P>
<P class="p73 ft40">Hur det befintliga utvärderingssystemet är utformat – med upp- följning och utvärdering, men även viss tillsyn och granskning samt viss forskning – har betydelse inte bara för systemkunskapen om skolan, utan även som underlag för utvärdering av reformer.</P>
<P class="p74 ft10">Med en bred tolkning av utvärderingsbegreppet finns det många aktörer inom utvärderingssystemet i Sverige. Skolverket har en central roll genom att svara för den officiella statistiken om skol- väsendet, det nationella provsystemet och de internationella studierna. Utvärderingar av skolan kan på regeringens uppdrag genomföras av Skolverket, Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU), Statskontoret, det offent- liga utredningsväsendet samt av forskare och andra utvärderings- organ. Skolinspektionens kvalitetsgranskningar och Riksrevisionens granskningar har utvärderande karaktär, men genomförs med andra syften. Riksrevisionen har dessutom en helt självständig roll i för- hållande till regeringen.</P>
<P class="p75 ft40">Systemet består i dag av ett stort antal olika aktiviteter som i vissa fall kompletterar varandra. I andra fall är gränsdragningen mellan olika aktiviteter inte helt tydlig, som t.ex. mellan Skolverkets utvärdering och Skolinspektionens kvalitetsgranskning. Det finns också exempel där de syften som tillskrivs ett specifikt instrument knappast är möjliga att infria med ett och samma instrument. Det gäller för de nationella proven. Slutligen har systemet luckor, dvs. det finns frågor som det inte kan besvaras på ett tillfredsställande sätt. Det gäller t.ex. hur skolans resultat och måluppfyllelse utveck- las över tid (se vidare nedan).</P>
<P class="p76 ft18">14</P>
</DIV>
<DIV id="page_13">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td26"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td27"><P class="p22 ft38">Sammanfattning</P></TD>
</TR>
</TABLE>
<P class="p64 ft32">Övergripande om reformutvärdering</P>
<P class="p7 ft13">Reformutvärdering – historik och nuläge (kapitel 5)</P>
<P class="p77 ft10">Reformer som genomförts under de senaste decennierna har före- gåtts av utredningar med ett ofta begränsat utrymme för att på ett mer djuplodande sätt kunna utreda den aktuella frågeställningen, t.ex. genom att initiera utvärdering och forskning eller genom att i förväg pröva tänkta lösningar genom försök eller stegvis införande av reformer. Samtidigt finns en ökad ambition om att de politiska besluten ska vara evidensinformerade.</P>
<P class="p15 ft10">Utredningen menar att skolpolitiska reformer skulle vinna på att beslutas efter en mer noggrann prövning. För att en sådan ambition ska kunna infrias är det önskvärt att beslutsprocesserna ges mer tid än i dag, så att beslut i högre grad kommer att kunna baseras på kunskap. I ett allt mer komplicerat och komplext sam- hälle kommer politiker att behöva utgå mer från evidens vid formandet av sin politik, för att öka chanserna att reformerna ska leda till avsedda resultat.</P>
<P class="p15 ft10">Sverige saknar vidare en tradition att utvärdera reformer på skolans område, på det sätt vi sett exempel på i vissa andra länder. Så långt bakåt i tiden vi har kunnat överblicka saknas i Sverige exempel på ordentliga reformutvärderingar på skolans område som genomförts på initiativ av regering eller riksdag. De exempel som finns gäller främst utvärderingar som genomförts på initiativ av oberoende forskare. Inte heller för de viktiga reformer som genomförts under de senaste åren, dvs. sedan 2007, finns något utvärderingsprogram. De få regeringsuppdrag som nu är aktuella avser reformer från början <NOBR>1990-talet,</NOBR> dvs.</P>
<P class="p78 ft40"><SPAN class="ft41">-</SPAN><SPAN class="ft42">uppdraget till en särskild utredare att utvärdera eventuella kau- sala effekter av kommunaliseringen på elevernas studieresultat, läraryrkets status, lärarnas och rektorernas arbetsuppgifter, samt likvärdigheten i skolväsendet som nyligen redovisats i betänkan- det </SPAN><SPAN class="ft43">Staten får inte abdikera – om kommunaliseringen av den svenska skolan </SPAN>(SOU 2014:5), och</P>
<P class="p79 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">uppdaget till IFAU att utvärdera </SPAN><NOBR>1990-talets</NOBR> stora reformer på skolområdet, mer specifikt för grundskolan och gymnasiesko- lan.</P>
<P class="p80 ft18">15</P>
</DIV>
<DIV id="page_14">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Sammanfattning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft13">Reformutvärdering – strategi för framtiden (kapitel 6)</P>
<P class="p81 ft40">En planerad och systematisk utvärdering av reformer är enligt utredningens uppfattning nödvändig för att säkerställa en både bred och djup systemkunskap om skolan. Inte minst är det viktigt för det politiska ansvarsutkrävandet att det går att få veta om den förda politiken har avsedda effekter och om de allmänna medlen allokeras på ett effektivt sätt. Utvärdering av reformer ger också kun- skap som kan bidra till att öka genomslaget för reformen respektive signalera om något håller på att gå fel. Slutligen kan reform- utvärdering bidra med kunskap inför kommande reformer.</P>
<P class="p54 ft10">Utformningen av reformer och utvärderingen av dessa står i ett ömsesidigt förhållande till varandra. Beslut om reformstrategi påver- kar förutsättningarna för utvärdering. Samtidigt kan ett beslut om en utvärderingsstrategi, om det fattas tidigt inför beslutet om en reform, påverka såväl utformningen som implementeringen av denna. Frågan om reformutvärdering bör därför prioriteras redan i samband med planeringen av reformer och andra mer genomgri- pande åtgärder. I bästa fall kan utvärderingen bidra till genom- förandet av reformstrategin genom att fungera formativt i förhål- lande till den nationella beslutsnivån och utvecklingsstödjande på verksamhetsnivån.</P>
<P class="p82 ft10">Det finns behov av att stärka inslaget av evidens i regeringens och Utbildningsdepartementets arbete med att förbereda och genomföra beslut om reformer på skolans område. Utvärderingen av reformer har då en central roll. Frågor som är viktiga att ta ställning till är t.ex. om reformen lämpar sig för försök eller stegvis införande (vilket ökar möjligheterna för ett evidensinformerat beslutsfattande), vilken typ av metodik som är lämplig för utvärde- ring av reformen, vilken roll utvärderingen är tänkt att ha, etc. För denna typ av överväganden behövs kvalificerad utvärderingskompe- tens.</P>
<P class="p83 ft32">Mer konkreta bedömningar och förslag</P>
<P class="p84 ft13">Ramverk för utvärdering av skolan – för bättre överblick och styrning (kapitel 7)</P>
<P class="p73 ft39">Utredningen föreslår att ett nationellt ramverk för utvärdering av skolan ska fastställas av regeringen, förslagsvis i form av en skrivelse till riksdagen. Bakgrunden är bl.a. det stora antalet aktörer</P>
<P class="p51 ft18">16</P>
</DIV>
<DIV id="page_15">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td26"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td27"><P class="p22 ft38">Sammanfattning</P></TD>
</TR>
</TABLE>
<P class="p85 ft10">som finns på den nationella arenan för utvärdering av skolan i dag. OECD har föreslagit ett liknande ramverk. Långsiktighet när det gäller utvärderingen av skolan är centralt såväl med hänsyn till användbarhet och kvalitet som ur ett demokratiperspektiv. Elever och föräldrar, lärare, rektorer, politiker, media, allmänhet – dvs. alla – ska kunna förvänta sig en kontinuitet när det gäller infor- mationen om den svenska skolan.</P>
<P class="p13 ft10">Ett nationellt ramverk för utvärdering av den svenska skolan och förskolan bör tydliggöra det övergripande syftet med upp- följningen och utvärderingen samt</P>
<P class="p86 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">vilka delar systemet består av för att följa upp, utvärdera, grans- ka och beforska skolan,</SPAN></P>
<P class="p87 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">vilka syften de olika delarna av systemet har och vad de för- väntas ge svar på,</SPAN></P>
<P class="p88 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">hur dessa olika delar förhåller sig till varandra, samt</SPAN></P>
<P class="p87 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">vilka aktörer som har ansvar för de olika delarna och hur dessa förväntas samverka.</SPAN></P>
<P class="p89 ft45">Av ramverket bör också framgå vilken roll utvärderingen har i sam- band med större reformer. Ett sådant nationellt ramverk bör utgöra en över tid stabil grund utifrån vilken den svenska skolan kan ut- värderas. Vi föreslår också att det nationella ramverket ska komp- letteras med regelbundna planer för utvärdering av skolan. Av dessa planer bör framgå regeringens övergripande prioritering för utvär- deringen för en överblickbar period, t.ex. tre år.</P>
<P class="p90 ft13">Försöksverksamhet <SPAN class="ft22">– </SPAN>för ökad evidens vid reformer (kapitel 8)</P>
<P class="p91 ft10">Försöksverksamhet respektive stegvis införande av reformer är sätt att underlätta utvärdering av reformer som i ökad utsträckning bör tillvaratas. Kunskaper och erfarenheter som vinns genom denna typ av försök kan bidra till att lägga en grund för långsiktigt bärkraftiga beslut.</P>
<P class="p92 ft39">Genom att pröva i liten skala kan man undvika misstag i full skala. Försök kan därför lämpa sig i de fall utfallet av en åtgärd inte i förväg kan förutses genom resultat från tidigare forskning och utvärdering. I ett försök är det också möjligt att vid behov justera och samtidigt lära av de erfarenheter försöket ger innan det even- tuellt permanentas. Genom att försöksverksamhet ger förutsätt-</P>
<P class="p93 ft18">17</P>
</DIV>
<DIV id="page_16">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Sammanfattning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">ningar för att skapa en kontrollgrupp möjliggörs dessutom använd- ningen av utvärderingsdesigner som annars kan vara svåra att få till stånd. Det finns dock även andra metoder att skapa kontroll- grupper än genom försök.</P>
<P class="p95 ft10">Vid försök måste hänsyn tas till effekterna för berörda elever. Enskilda elevers rättssäkerhet får inte påverkas negativt. Ett försök får inte heller allvarligt påverka likvärdigheten. Ett försök i liten skala är dock enklare att justera än en intervention i full skala. De etiska övervägandena är således lika viktiga när en reform ska genom- föras i full skala utan föregående försök, som i samband med en försöksverksamhet.</P>
<P class="p96 ft10">Nuvarande bestämmelse om försöksverksamhet i skollagen (2010:800) behöver ses över. Enligt denna bemyndigas regeringen eller den myndighet som regeringen bestämmer att få meddela föreskrifter om försöksverksamhet inom skolväsendet. I sådana föreskrifter får undantag göras från <SPAN class="ft11">organisatoriska bestämmelser </SPAN>i skollagen. Vad som avses med organisatoriska bestämmelser är oklart. Det är därför angeläget att det utreds hur försöksverksamhet ska regleras i skollagen i framtiden.</P>
<P class="p97 ft13">Systemet för att följa kunskapsresultat <SPAN class="ft22">– </SPAN>utvecklingsbehov (kapitel 9)</P>
<P class="p98 ft10">Trendmått av god kvalitet utgör ett viktigt underlag, bland andra, för att det ska vara möjligt att följa resultatet av skolreformer. I dag är det endast de internationella studierna som har en sådan utform- ning och kvalitet att de kan utgöra underlag för att följa kunskaps- utvecklingen över tid i den svenska skolan, dvs. för att följa trender. Varken betygen eller de nationella proven möjliggör denna typ av trendmätning.</P>
<P class="p96 ft9">Betygssystemet är inte tillräckligt stabilt över tid för att fungera väl för trendmätning. Systemet har varit föremål för återkommande förändringar under de senaste decennierna. Det målrelaterade betygs- systemet har dessutom, i varierande utsträckning över både tid och för olika ämnen, varit föremål för betygsinflation. En invändning mot de nationella proven är att proven inte är stabila över tid. För att vara det behöver varje nytt prov innehålla ett antal uppgifter som ingått i tidigare prov, s.k. ankaruppgifter. Framför allt svarar inte de nationella proven mot kravet på att varje år innehålla ett tillräckligt stort antal uppgifter för att täcka det aktuella ämnets</P>
<P class="p99 ft18">18</P>
</DIV>
<DIV id="page_17">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td26"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td27"><P class="p22 ft38">Sammanfattning</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">innehåll. Om man i stället genomför stickprovsundersökningar kan en provkonstruktion användas som fungerar bättre för trendmät- ning. Genom att låta ett begränsat antal elever (ett urval) svara på ett begränsat antal, men delvis olika, frågor som inte görs offent- liga, kan det aktuella ämnets innehåll täckas in.</P>
<P class="p100 ft9">Det är enligt utredningens uppfattning ett problem att vi i dag är hänvisade till de internationella undersökningarna för trendmät- ning. De mäter endast utvecklingen i vissa ämnen och täcker endast vissa av de mål som återfinns i de svenska styrdokumenten. Vi före- slår därför att ett system med stickprovsbaserade undersökningar för trendmätning ska komplettera de internationella studierna. Systemet bör ha en bredd med avseende på både de ämnen och de kunskaps- kvaliteter som mäts.</P>
<P class="p101 ft9">Det är emellertid inte lämpligt att nu endast lägga till ytterligare ett instrument i form av stickprovsundersökningar till ett redan hårt belastat provsystem utan att samtidigt utreda konsekvenserna av detta för övriga delar av systemet. Vi föreslår därför att en utredning till- sätts med uppdrag att i ett sammanhang utforma systemet för trendmätning genom stickprovsundersökningar och utreda hur det framtida systemet för utvärdering av kunskapsresultat ska vara utformat i sin helhet. Det gäller framför allt de nationella proven som i dag har många olika syften. Arbetet bör inriktas på att klargöra vilka syften som kan och ska knytas till systemet, vilka instrument som bör knytas till respektive syfte och vilka aktörers informa- tionsbehov de olika instrumenten ska svara mot.</P>
<P class="p102 ft13">Data för utvärdering – utvecklingsbehov (kapitel 10)</P>
<P class="p103 ft10">Utökade och förbättrade registerdata kan underlätta möjligheterna att utvärdera reformer. För utvärdering av reformer behövs dock ofta även riktade uppgiftsinsamlingar, med frågeställningar rele- vanta för den aktuella reformen.</P>
<P class="p92 ft39">Det nationella uppföljningssystemet har en potential att utveck- las vad gäller ny uppgiftsinsamling, utökad analys av befintliga data från uppföljningssystemet och de internationella studierna samt det sätt på vilket informationen presenteras på. Vid utvecklingen bör ställning tas till vilka uppgifter som lämpar sig för att samla in i form av registerdata, vilka uppgifter som bör utgöras av direkt- insamlade data och ingå i det nationella uppföljningssystemet samt vilken information som inte lämpar sig för att ingå i detta. Detta är</P>
<P class="p104 ft18">19</P>
</DIV>
<DIV id="page_18">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Sammanfattning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">bedömningar som löpande bör göras av Skolverket som statistik- ansvarig myndighet.</P>
<P class="p106 ft9">Det har ingått i utredningens uppdrag att bedöma behovet av vilka relevanta data som behövs för att utvärdera reformer. Våra bedömningar avser informationsbehov avseende exempelvis under- visningens förutsättningar och undervisningens genomförande. Vidare avser bedömningarna informationsbehov om undervis- ningens resultat samt om sambandet mellan kostnader och resultat. I kapitel 10 redovisas dessa bedömningar område för område.</P>
<P class="p54 ft10">Vi föreslår vidare att Skolverket ges möjlighet att i enlighet med verkets hemställan kunna samla in individdata för skolan i sin hel- het, dvs. även för modersmålsundervisning och skolgång i spe- cialskola, särskola och sameskola. Detta bland annat mot bakgrund av att målen för specialskolan och sameskolan ska motsvara dem som gäller för grundskolan</P>
<P class="p107 ft10">För att det ska vara möjligt att utveckla och modernisera det nationella uppföljningssystemet behöver denna infrastruktur för- stärkas finansiellt.</P>
<P class="p108 ft10">Med anledning av att det för närvarande pågår två utredningar som arbetar med frågor kopplade till hur förutsättningarna för registerbaserad forskning kan förbättras, lämnas inte här några för- fattningsförslag. Det är emellertid viktigt att regeringen i detta sammanhang bevakar de långsiktiga förutsättningarna för den s.k. <NOBR>UGU-databasen.</NOBR></P>
<P class="p109 ft13">Organisering för stärkt utvärdering (kapitel 11)</P>
<P class="p56 ft10">Ansvaret för att fatta strategiska beslut om utvärderingen av skolan måste ligga på central politisk nivå. Det är t.ex. regeringen som måste ta ansvar för att reformer utvärderas och att detta sker med den bredd och med de olika perspektiv som skissats ovan. Mängden aktörer som kan ha en roll vid utvärderingen av skolan och av reformer på skolområdet pekar på ett behov av en stärkt nationell styrning.</P>
<P class="p107 ft10">Mot denna bakgrund föreslår utredningen att ett <SPAN class="ft11">Råd för utvär- dering av skolan </SPAN>inrättas. Rådet föreslås få följande två huvud- uppgifter:</P>
<P class="p110 ft10"><SPAN class="ft14">1.</SPAN><SPAN class="ft46">Löpande bistå regeringen i utvärderingsfrågor avseende skol- väsendet. Det innebär t.ex. att</SPAN></P>
<P class="p111 ft18">20</P>
</DIV>
<DIV id="page_19">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td26"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td27"><P class="p22 ft38">Sammanfattning</P></TD>
</TR>
</TABLE>
<P class="p112 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">utarbeta förslag till ett nationellt ramverk för utvärdering,</SPAN></P>
<P class="p113 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">lämna förslag till nationell plan för utvärdering av skol- väsendet, samt</SPAN></P>
<P class="p113 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">inom ramen för en sådan plan vid behov kunna initiera policyrelevant forskningsbaserad utvärdering.</SPAN></P>
<P class="p86 ft10"><SPAN class="ft14">2.</SPAN><SPAN class="ft46">Vid större och genomgripande reformer inom skolväsendet bistå regeringen med</SPAN></P>
<P class="p114 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">förslag till program för reformutvärdering,</SPAN></P>
<P class="p114 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">att vid behov initiera forskningsbaserad reformutvärdering,</SPAN></P>
<P class="p113 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">att samordna utvärderingsinsatserna i det fall flera aktörer är involverade i reformutvärderingen (forskare, utvärderings- institut, myndigheter etc.),</SPAN></P>
<P class="p115 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">att sammanfatta resultat från olika aktörers utvärderingar, samt</SPAN></P>
<P class="p113 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">att sammanfatta identifierade behov av ytterligare stöd till, eller justeringar av, den aktuella reformen.</SPAN></P>
<P class="p116 ft10">Förslaget innebär oförändrade uppgifter för myndigheterna på skol- området. De uppgifter som rådet är tänkt att svara för, och de utvärderingar som det kan komma att föreslå eller initiera, genom- förs i allt väsentligt inte i dag.</P>
<P class="p117 ft9">Rådet föreslås bli organiserat som en kommitté inom Regerings- kansliet, med ett begränsat kansli. Rådets ledamöter, dvs. de som ska ha beslutsbefogenhet i rådet, förslås vara forskare som repre- senterar olika forskningsdiscipliner. I övrigt föreslås rådet bestå av sakkunniga från olika delar av skolsamhället, t.ex. Utbildnings- departementet, berörda myndigheter och skolhuvudmän, samt före- trädare för lärare, rektorer och elever. På detta sätt skapas ett forum för de strategiska frågorna om utvärderingen av den svenska skolan där de som har de största kunskaperna om behovet av, och förut- sättningarna för, utvärdering samlas.</P>
<P class="p118 ft18">21</P>
</DIV>
<DIV id="page_20">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Sammanfattning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft13">Konsekvenser (kapitel 12)</P>
<P class="p73 ft40">I direktiven till utredning har regeringen inte angett att det ska göras några specifika konsekvensbeskrivningar. Utredningen inne- håller dock ett begränsat antal förslag som har föranlett oss att i korthet diskutera vissa ekonomiska konsekvenser av förslagen.</P>
<P class="p106 ft10">Kostnaden för en grundbemanning för det föreslagna <SPAN class="ft11">rådet för utvärdering av skolan </SPAN>bör röra sig om cirka <NOBR>2–2,5</NOBR> miljon kronor per år, inkl. kostnader för sekretariat, ledamöter och sakkunniga. Kost- naderna för rådet blir naturligtvis avsevärt högre i de fall rådet ges särskilda uppdrag i anslutning till en specifik reform. Detta måste dock beräknas särskilt vid varje enskilt reformtillfälle. Det bör vara självklart att varje reform får sin finansiering, inte endast avseende kostnaderna i verksamheterna, utan också för implementering och utvärdering.</P>
<P class="p54 ft10">Kostnaderna för att införa ett <SPAN class="ft11">stickprovsbaserat system för att följa kunskapsutvecklingen i skolan </SPAN>bör beräknas av den utredning som föreslås för att utreda frågan om stickprovsbaserade undersökning- ar i ett sammanhang tillsammans med övriga delar av systemet för utvärdering av kunskapsresultaten, dvs. även det nationella prov- systemet.</P>
<P class="p54 ft10">Den finansiella förstärkning som utredningen bedömer behövs för att <SPAN class="ft11">förstärka och utveckla Skolverkets statistik- och uppföljnings- system </SPAN>har både permanenta och tillfälliga inslag. För att systemet ska kunna omfatta fler insamlingar än i dag, vilket krävs till följd av de senare årens reformer, och samtidigt bibehålla den nuvarande kvalitetsnivån, behövs enligt Skolverket en permanent förstärkning med 10 miljoner kronor per år. För att utveckla och modernisera systemet behövs dessutom, enligt verket, tillfälliga förstärkningar med 10 miljoner kronor för 2014, 7 miljoner kronor för 2015 och 7 miljoner kronor för 2016. Utredningen bedömer att detta är lågt räknat. En särskild anslagspost för statistik- och uppföljningssyste- met skulle tydligare än i dag kunna uttrycka statens ambitioner på området.</P>
<P class="p119 ft10">Slutligen bedömer utredningen att det är önskvärt att det s.k. <NOBR>UGU-projektet</NOBR> vid Göterborgs universitet ges stabila ekonomiska förutsättningar.</P>
<P class="p120 ft18">22</P>
</DIV>
<DIV id="page_21">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31221x1.jpg" id="img1">
</DIV>
<P class="p0 ft8">1 Inledning</P>
<P class="p12 ft9">I maj 2012 beslutade regeringen att tillkalla en särskild utredare med uppdrag<SPAN class="ft28">1 </SPAN>att i ett första steg bedöma när de åtgärder som har vidtagits från 2007 och framåt, för att höja kunskapsnivån och öka måluppfyllelsen i grundskolan, kan förväntas få avsedd effekt. Ut- redningen redovisade i maj 2013 denna första del i delbetänkandet</P>
<P class="p121 ft49">Det tar tid – om effekter av skolpolitiska reformer <SPAN class="ft29">(SOU 2013:30). I ett andra steg ska utredaren analysera förutsättningarna för utvär- dering av reformer</SPAN><SPAN class="ft48">2</SPAN><SPAN class="ft29">.</SPAN></P>
<P class="p122 ft32"><SPAN class="ft32">1.1</SPAN><SPAN class="ft50">Bakgrund</SPAN></P>
<P class="p123 ft10">Utvärdering av skolpolitiska reformer kan syfta till att ge besked om huruvida en viss åtgärd fått några effekter och vilka dessa i så fall har varit – positiva, negativa, avsedda eller oavsedda. Utvärde- ring kan även syfta till att upptäcka samband mellan olika förete- elser och om möjligt bidra till att finna orsaker (förklaringar) till dessa. En utvärdering kan vidare syfta till fördjupad systemkun- skap, t.ex. genom att öka förståelsen för varför en viss reform eller åtgärd får olika genomslag i olika verksamheter. Utvärdering av reformer kräver med andra ord god tillgång till data av både kvalitativt och kvantitativt slag.</P>
<P class="p124 ft45">I Sverige har frågan om hur utvärderingskulturen inom skolom- rådet kan förstärkas – både på lokal och nationell nivå – varit aktuell inte minst sedan decentraliseringen av skolan och det mål- och resultatstyrda styrsystemet infördes vid <NOBR>1990-talets</NOBR> början. Det betyder inte att frågan alltid befunnit sig i centrum för den skol- politiska debatten eller varit föremål för politiska initiativ. Av bilaga 3 framgår att så inte har varit fallet. Utredningen uppfattar</P>
<P class="p125 ft53"><SPAN class="ft51">1</SPAN><SPAN class="ft52">Dir. 2012:53 (bilaga 1).</SPAN></P>
<P class="p126 ft31"><SPAN class="ft51">2</SPAN><SPAN class="ft54">Dir. 2013:73 (bilaga 2).</SPAN></P>
<P class="p50 ft18">23</P>
</DIV>
<DIV id="page_22">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31222x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Inledning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">dock direktiven som att Sverige nu behöver lägga en ökad vikt vid frågor som har med utvärdering av skolan att göra. Denna ökade betoning på utvärdering delar Sverige med andra länder, bl.a. med våra nordiska grannländer och övriga <NOBR>OECD-länder.</NOBR></P>
<P class="p127 ft10">Det finns flera skäl till att många länder fäst ökad vikt vid utvär- dering av skolans verksamhet och prestationer i allmänhet och ele- vernas kunskapsresultat i synnerhet. Utbildningens betydelse för sysselsättning och tillväxt betonas.<SPAN class="ft55">3 </SPAN>Den internationella konkur- rensen om högutbildad arbetskraft har ökat liksom kraven på att avsatta medel för finansiering av offentlig verksamhet ska användas effektivt.<SPAN class="ft55">4 </SPAN>Slutligen har föräldrars krav på information om skolors och de egna barnens resultat ökat, i Sverige bl.a. mot bakgrund av det fria skolvalet.</P>
<P class="p54 ft10">Bakom det ökade intresset för uppföljning och utvärdering av kunskapsresultat har funnits, och finns, uppfattningen att uppfölj- ning och utvärdering kan utgöra en drivkraft för utveckling och förbättring av skolans prestationer och resultat.</P>
<P class="p128 ft32"><SPAN class="ft32">1.2</SPAN><SPAN class="ft50">Uppdraget mer i detalj</SPAN></P>
<P class="p52 ft10">Enligt direktiven ska utredaren i detta slutbetänkande</P>
<P class="p129 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft37">utreda vilka relevanta data som behövs för att i ökad utsträck- ning kunna utvärdera reformer inom de obligatoriska skolfor- merna, dvs. grundskolan, grundsärskolan, specialskolan och sameskolan,</SPAN></P>
<P class="p130 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft37">om det behövs, lämna författnings- eller andra förslag för att öka tillgången till sådana data, och</SPAN></P>
<P class="p130 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft37">belysa hur reformer inom de obligatoriska skolformerna bör genomföras för att underlätta utvärdering av reformerna.</SPAN></P>
<P class="p131 ft45">Enligt direktiven har utvärdering av reformer och politiska beslut under lång tid spelat en ganska undanskymd roll inom utbildnings- området. Enligt regeringen innebär dock det omfattande reform- arbetet inom sektorn att behovet av utvärderingar har förstärkts.</P>
<P class="p132 ft59"><SPAN class="ft56">3</SPAN><SPAN class="ft57">Se t.ex. Hanushek, Eric och Ludger Woessmann (2010) </SPAN><SPAN class="ft58">The cost of Low Educational Achie- vement in the European Union</SPAN>. European Expert Network on Economics of Education. EENEE Analytical Report No. 7.</P>
<P class="p133 ft31"><SPAN class="ft56">4</SPAN><SPAN class="ft60">Se t.ex. OECD (2013) Synergies for Better Learning: An International Perspective on Evaluation and Assessment.</SPAN></P>
<P class="p134 ft18">24</P>
</DIV>
<DIV id="page_23">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td28"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td29"><P class="p22 ft38">Inledning</P></TD>
</TR>
</TABLE>
<P class="p85 ft10">Områdets politiska och ekonomiska vikt medför dessutom, enligt regeringen, att behovet av beslutsunderlag av hög kvalitet ökar. Direktiven pekar också på att det även internationellt inom EU, OECD och i enskilda länder pågår en diskussion om hur använd- ningen av utvärderingar kan öka och hur utformningen av offentlig verksamhet i högre grad ska kunna baseras på kunskap.</P>
<P class="p135 ft32"><SPAN class="ft32">1.3</SPAN><SPAN class="ft50">Inriktning och avgränsning</SPAN></P>
<P class="p136 ft9">En utgångspunkt för arbetet med uppdraget är, som utredningen ser det, regeringens intentioner att utformningen av offentlig verk- samhet i högre grad än tidigare ska kunna basera sig på tillförlitlig kunskap (evidens). En annan är att utbildningen enligt skollagen (2010:800) ska vila på vetenskaplig grund och beprövad erfarenhet.</P>
<P class="p63 ft10">Utredningen definierar reform på skolans område som en för- ändring av bärande delar av skolsystemet som är reglerade i lag eller förordning. Det som sägs i detta betänkande om reformutvärdering avser utvärdering av sådana refomer, men även utvärdering av olika politiskt initierade åtgärder av betydelse, om än av annan mer till- fällig karaktär, t.ex. satsningar på <NOBR>läs-skriva-räkna</NOBR> eller på matema- tik och naturvetenskap.</P>
<P class="p92 ft9">I flera avseenden har vi kunnat konstatera att vårt uppdrag, trots det primära fokuset på utvärdering av reformer, är vittomfattande och berör hela uppföljnings- och utvärderingssystemet för skolan.</P>
<P class="p13 ft10">Även om vi har uppfattat att uppdraget i första hand har ett nationellt perspektiv på utvärdering av reformer går det exempelvis inte att bortse från den lokala nivån och verksamhetsnivån. En nationell utvärdering har, och bör ha, betydelse även för huvud- mannens och verksamhetens utvärdering och utveckling, och behö- ver utformas med hänsyn taget till detta. Man kan utgå från att reformer som utvärderas ytterst syftar till att utveckla verksamhe- ten lokalt. Det är därför viktigt att belysa sambanden mellan systemets olika nivåer. Den lokala nivån och verksamhetsnivån bidrar dessutom med underlag för den nationella nivåns utvär- dering.</P>
<P class="p137 ft39">Fokuset på reformer och utvärdering skulle kunna leda till slut- satsen att det räcker att enbart belysa förutsättningrna för just särskilda utvärderingar av reformer. Vi menar dock att reform- utvärdering i vissa fall kan genomföras integrerat med det befintliga uppföljnings- och utvärderingssystemet och är under alla omstän-</P>
<P class="p138 ft18">25</P>
</DIV>
<DIV id="page_24">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31224x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Inledning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p139 ft40">digheter, i de allra flesta fall, beroende av information från detta. Uppföljnings- och utvärderingssystemet som helhet – med statistik, trendstudier, internationella studier, utvärderingar och till viss del även granskning och forskning – har därför getts en central roll i vårt arbete. Det är också i bl.a. detta system som de relevanta data som behövs för utvärdering av reformer kan återfinnas.</P>
<P class="p140 ft10">Reformutvärdering har en nära relation till implementering av reformer, dvs. till de slags frågor som utredningen belyste i sitt delbetänkande. Vi har därför knutit an till den modell för imple- mentering som presenterades i delbetänkandet och diskuterar utvärderingens roll inför en reform, under pågående implementering och efter att en reform institutionaliserats. Det innebär att reform- utvärdering, enligt vår uppfattning, kan ha olika karaktär. Den kan t.ex. vara formativ i ett skede och summativ i ett annat. Metod- mässigt innebär detta att det finns många olika sätt att se på utvärdering, vilket redogörs för i kapitel 3.</P>
<P class="p96 ft40">Ytterligare en fråga som har att göra med hur reformer genom- förs gäller hur de organiseras med avseende på utvärdering. Det handlar bland annat om hur reformutvärderingens oberoende kan säkerställas och om hur forskning och forskarkompetens kan kny- tas till reformutvärderingen.</P>
<P class="p108 ft10">Sammantaget har det visat sig att direktiven väcker en rad vik- tiga frågor om uppföljnings- och utvärderingssystemet och dess funktion – generellt och i samband med reformutvärdering – samt om organiseringen av både utvärdering generellt och av reform- utvärdering specifikt. Utredningen konstaterar att det både inom akademin och bland olika utvärderingsinstitut och nätverk av utvärderare länge pågått en diskussion om värdet av olika utvärde- ringsansatser. Diskussionen handlar bland annat om vad som kan och inte kan betecknas som utvärdering, samt om vilka slags metoder som kan ligga till grund för tillförlitliga utvärderingar. Utredningen konstaterar att såväl OECD<SPAN class="ft55">5 </SPAN>och Europeiska kom- missionen<SPAN class="ft55">6 </SPAN>har en bred syn på utvärdering som ger utrymme för en variation av designer och metoder. Utredningen ansluter till detta breda synsätt i kapitel 3.</P>
<P class="p141 ft45">De frågor som detta betänkande behandlar är slutligen av en så generell karaktär att det inte har varit meningsfullt att begränsa framställningen till endast aspekter av utvärdering av refomer som</P>
<P class="p142 ft63"><SPAN class="ft51">5</SPAN><SPAN class="ft61">Se t.ex. OECD (2007) </SPAN>Evidence in Education. Linking research and policy <SPAN class="ft62">och OECD (2013) </SPAN>Synergies for Better learning. An international perspective on evaluation and assessment<SPAN class="ft62">.</SPAN></P>
<P class="p143 ft31"><SPAN class="ft56">6</SPAN><SPAN class="ft60">Se t.ex. www.ec.europa.eu/europeaid/evaluation/methodology/methods/mth_att_en.htm</SPAN></P>
<P class="p144 ft18">26</P>
</DIV>
<DIV id="page_25">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td28"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td29"><P class="p22 ft38">Inledning</P></TD>
</TR>
</TABLE>
<P class="p85 ft39">avser grundskolan och motsvarande skolformer, även om vi med hänsyn till direktiven har haft ett huvudfokus på dessa skolformer. Våra bedömningar och förslag avser dock skolväsendet i sin helhet.</P>
<P class="p145 ft32"><SPAN class="ft32">1.4</SPAN><SPAN class="ft50">Utredningens arbete</SPAN></P>
<P class="p146 ft10">Liksom inför delbetänkandet har utredningen haft ambitionen att samla kunskap från många olika aktörer, genom omfattande littera- turstudier och genom möten med personer i Sverige och andra länder.</P>
<P class="p100 ft9">Centralt för utredningen har varit den grupp av medarbetare från berörda myndigheter, dvs. Statens skolverk, Statens skolinspektion och Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU), som utredningen träffat vid flera tillfällen. Utredningen har dessutom fått hjälp med underlag från myndigheterna och slutligen samrått med dem. Inför slutfasen av arbetet har utredningen även haft kontakt med Vetenskapsrådet.</P>
<P class="p13 ft10">Utredningen har dessutom sammanträffat med flera nationella forskare och andra experter inom området.</P>
<P class="p147 ft10">Inför slutbetänkandet har utredningen även gjort en internatio- nell utblick. Vi har fördjupat oss särskilt i litteraturstudier av utvär- dering och utvärdering av reformer på skolans område i Danmark, Canada, England, Finland, Nederländerna, Norge, Nya Zeeland, Skottland och USA. Vi har dessutom besökt Danmark, Finland, Norge och Skottland och på plats kunnat diskutera frågeställning- arna med företrädare för ministerier och/eller berörda myndighe- ter.</P>
<P class="p15 ft10">Utredningen har sammanträffat med Sveriges Kommuner och Landsting (SKL) för att diskutera uppdraget.</P>
<P class="p117 ft10">Vi har slutligen träffat en grupp med företrädare för Lärarförbundet, Lärarnas Riksförbund och Skolledarförbundet för att diskutera hur de verksamma ser på utvärdering och reformer.</P>
<P class="p135 ft32"><SPAN class="ft32">1.5</SPAN><SPAN class="ft50">Betänkandet</SPAN></P>
<P class="p7 ft10">Efter denna inledning är betänkandet disponerat i tre huvuddelar:</P>
<P class="p7 ft10">I <SPAN class="ft11">kapitel </SPAN><NOBR><SPAN class="ft11">2–4</SPAN></NOBR><SPAN class="ft11"> </SPAN>ges en bakgrund avseende</P>
<P class="p148 ft10"><SPAN class="ft64">- </SPAN>evidensinformerad politik och praktik,</P>
<P class="p149 ft18">27</P>
</DIV>
<DIV id="page_26">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Inledning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p150 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">utvärdering, samt</SPAN></P>
<P class="p151 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">dagens utvärderingsystem.</SPAN></P>
<P class="p152 ft10">I <SPAN class="ft11">kapitel </SPAN><NOBR><SPAN class="ft11">5–6</SPAN></NOBR><SPAN class="ft11"> </SPAN>avhandlas frågan om reformutvärdering övergripande, i kapitel 5 med avseende på historik och nuläge och i kapitel 6 med avseende på strategi för framtiden. Kapitel 6 är således ett centralt kapitel i utredningen.</P>
<P class="p153 ft10"><SPAN class="ft11">Kapitel </SPAN><NOBR><SPAN class="ft11">7–11</SPAN></NOBR><SPAN class="ft11"> </SPAN>behandlar sedan, med kapitel 6 som utgångspunkt, ett antal mer konkreta frågor. Det gäller</P>
<P class="p154 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">behovet av ett ramverk för utvärdering,</SPAN></P>
<P class="p151 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">användningen av försöksverksamhet,</SPAN></P>
<P class="p155 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">behovet att utveckla systemet för att följa kunskapsutveck- lingen,</SPAN></P>
<P class="p151 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">behovet av data för utvärdering, samt</SPAN></P>
<P class="p156 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">behovet att stärka organiseringen för utvärdering på skolans område.</SPAN></P>
<P class="p157 ft10">Utredningens ambition är att det ska vara möjligt att läsa kapitlen <NOBR>7–11</NOBR> för sig, varför texten innehåller vissa smärre upprepningar.</P>
<P class="p158 ft10">Slutligen görs i <SPAN class="ft11">kapitel 12 </SPAN>vissa konsekvensbedömningar.</P>
<P class="p159 ft18">28</P>
</DIV>
<DIV id="page_27">
<P class="p160 ft66"><SPAN class="ft8">2</SPAN><SPAN class="ft65">Om evidensinformerad politik och praktik</SPAN></P>
<P class="p161 ft10">Intentionen att offentlig verksamhet i högre grad ska utformas med utgångspunkt i evidens är en central utgångspunkt för utredning- ens arbete. I detta kapitel redovisas fortsättningsvis vissa utgångs- punkter och begrepp som har betydelse för förståelsen av betän- kandets fortsatta analys.</P>
<P class="p162 ft32"><SPAN class="ft32">2.1</SPAN><SPAN class="ft50">Evidens – ett begrepp med flera betydelser</SPAN></P>
<P class="p163 ft10">Evidens är ett begrepp som under de senaste tjugo åren fått en allt större spridning. Begreppet kan syfta på tre olika företeelser:</P>
<P class="p164 ft10"><SPAN class="ft11">Evidensinformerad politik </SPAN>innebär att beslutsfattare, på olika nivåer och inom olika samhällsområden, så långt möjligt bör fatta beslut som baseras på tillförlitlig kunskap. De förväntas ha informerat sig om den samlade kunskap som finns inom det aktuella området, i form av forskning, utvärderingar, särskilda utredningar, uppfölj- ningsdata m.m. innan de beslutar om en reform eller annan åtgärd. Det varierar hur starkt olika länder har betonat betydelsen av ett evidensbaserat arbetssätt. Exempelvis Storbritannien har sedan <NOBR>1990-talet</NOBR> mycket målmedvetet försökt införa ett sådant arbetssätt vid all politikutformning. Även i USA har det funnits ett intresse för metoder som tar utgångspunkt i evidens, inte minst inom den federala utbildningspolitiken. Inom EU har Kommissionen strävat efter att införa evidensbaserade arbetsmetoder och OECD har framstått som en kraftfull tillskyndare av, och pådrivare för, sådana metoder.</P>
<P class="p165 ft45"><SPAN class="ft67">Evidensinformerad praktik </SPAN>syftar till att den dagliga verksamhe- ten inom ett område ska vila på systematiskt utvecklad kunskap (evidens). Denna tanke utvecklades först inom det medicinska</P>
<P class="p166 ft18">29</P>
</DIV>
<DIV id="page_28">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31228x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om evidensinformerad politik och praktik</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">området, men har senare spritt sig till exempel till det sociala området och utbildningsområdet. En vanlig tanke är att man genom sys- tematiska översikter av forskning inom ett område ska kunna fastställa ”best practice”. Genom att kontinuerligt införa sådana metoder kan verksamheten successivt förbättras, dvs. verksam- hetens insatser (behandling, undervisning etc.) blir effektivare och utbytet av insatta resurser bli större.</P>
<P class="p167 ft45">Evidens kan också användas i en mer metodologisk betydelse där begreppet avser en särskild <SPAN class="ft67">utvärderingsmetodik </SPAN>som bygger på <NOBR>meta-anlyser</NOBR> och systematiska kunskapsöversikter som i sin tur bygger på kvantitativa data insamlade genom en experimentell, kontrafaktisk design<SPAN class="ft68">1</SPAN>. Inom den så kallade evidensrörelsen menar man att endast resultat som baserar sig på dessa metoder kan anses utgöra evidens. Metodfrågor i anslutning till den så kallade evidens- rörelsen behandlas i kapitel 3 om utvärdering.</P>
<P class="p56 ft10">Utredningen tar upp alla tre ovan beskrivna aspekter av evidens, dvs. evidens som utgångspunkt för politikutveckling, för praktisk verksamhet och som utvärderingsmetodik. Som en följd av utred- ningsdirektivens fokus har vi dock lagt större vikt vid evidens- baserad politik snarare än vid evidensbaserad praktik.</P>
<P class="p128 ft32"><SPAN class="ft32">2.2</SPAN><SPAN class="ft50">Evidens i politik och praktik</SPAN></P>
<P class="p168 ft9">Ett evidensbaserat arbetssätt förutsätter att det finns tillgång till systematiskt framtagen kunskap som täcker samtliga väsentliga frågor inom det aktuella verksamhetsområdet. Ett viktigt problem i samband med evidensbaserat arbete – såväl vid politiskt beslutsfat- tande som vid utformningen av verksamhetens praktik – är att det finns bristfälligt forskningsstöd inom många politikområden. Det gäller både för själva verksamheten och dess resultat som avseende vilka åtgärder som kan förväntas åstadkomma önskat resultat.</P>
<P class="p169 ft39">Detta förhållande gäller inte minst det politiska beslutsfattandet om reformer och andra åtgärder på skolans område. Enligt direktiven till utredningen har utvärdering av reformer och politiska beslut under lång tid spelat en relativt undanskymd roll på skolans område. Utredningens direktiv kan tolkas som ett uttryck för en ambition att stärka evidensens betydelse vid utformningen av reformer och</P>
<P class="p170 ft31"><SPAN class="ft30">1 </SPAN>Om begreppen närmare betydelse se vidare kapitel 3.</P>
<P class="p144 ft18">30</P>
</DIV>
<DIV id="page_29">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31229x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td30"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td31"><P class="p22 ft38">Om evidensinformerad politik och praktik</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">politiska beslut på nationell nivå, något som i sin tur ställer krav på mer kvalificerade underlag för det politiska beslutsfattandet.</P>
<P class="p171 ft29">När det gäller skolans verksamhet är kravet på evidens fastställd i lag. Utbildningen ska enligt skollagen (2010:800) vila på veten- skaplig grund och beprövad erfarenhet.<SPAN class="ft48">2</SPAN></P>
<P class="p122 ft13"><SPAN class="ft13">2.2.1</SPAN><SPAN class="ft69">Evidens i politiskt beslutsfattande</SPAN></P>
<P class="p172 ft40">Det är inte ovanligt att politiska beslutsfattare menar att det saknas information som är möjlig att använda som utgångspunkt för ett beslutsfattande grundat på evidens. Det kan saknas policyrelevant forskning eller saknas forskning som ger tillräckligt entydiga svar. Man kan säga att forskningsläget ”spretar”. Mängden forskning kan också vara så stor att det är svårt att identifiera vilken forskning som är relevant och tillförlitlig. Situationen kan emellertid även vara en följd av att beslutsfattare i allt för liten utsräckning faktiskt intresserar sig för hur kunskapsläget kan förbättras inom det aktu- ella verksamhetsområdet.</P>
<P class="p137 ft9">Att många politik- och yrkesområden saknar stöd av omfattan- de och väl utförd forskning påverkar förutsättningarna för att utgå från evidens såväl vid det politiska beslutsfattandet som vid utform- ningen av själva verksamheten. Davies<SPAN class="ft28">3 </SPAN>konstaterar att politiker behöver beakta information från många olika håll: enskilda studier, pilotstudier, fallstudier, expertutlåtanden, utvärderingar, beskriv- ande analyser, attitydundersökningar, statistiska modeller m.m.</P>
<P class="p173 ft10">Davies<SPAN class="ft55">4 </SPAN>understryker samtidigt att beslutsfattare utöver denna typ av evidens måste lyssna på såväl den egna politiska organisa- tionen som på den allmänna opinionen och olika intresseorganisa- tioners uppfattningar. Evidensbaserad kunskap, dvs. kunskap som är systematiskt insamlad och sammanställd och bygger på veten- skapligt utförda studier av hög kvalitet, bör därför enligt Davies ingå i det beslutsunderlag som en beslutsfattare har att tillgå. Själva beslutsfattandet kan däremot aldrig förväntas vara endast evidens- baserat.</P>
<P class="p174 ft53"><SPAN class="ft51">2</SPAN><SPAN class="ft52">1 kap. 5 § skollagen (2010:800).</SPAN></P>
<P class="p175 ft59"><SPAN class="ft51">3</SPAN><SPAN class="ft70">Davies, Philip (2004) </SPAN><SPAN class="ft58">Is </SPAN><NOBR><SPAN class="ft58">Evidence-Based</SPAN></NOBR><SPAN class="ft58"> Government Possible? </SPAN>Jerry Lee Lecture. Annual Campbell Collaboration Colloqium, Wahington D.C.</P>
<P class="p126 ft31"><SPAN class="ft51">4</SPAN><SPAN class="ft54">Davies, Phillip (2004) a.a.</SPAN></P>
<P class="p50 ft18">31</P>
</DIV>
<DIV id="page_30">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31230x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om evidensinformerad politik och praktik</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p176 ft10">Gray<SPAN class="ft55">5 </SPAN>menar emellertid att evidens över tid kommer att få ökad betydelse i politikutvecklingsprocessen och att beslutsfattande baserat enbart på åsikter och värderingar kommer att minska i betydelse. OECD:s studier<SPAN class="ft55">6 </SPAN>av olika länders arbete med att utveckla mer evidensbaserade arbetsformer utgår från synsättet att evidens bör ges en ökad betydelse vid det politiska beslutsfattandet. Resultaten av OECD:s studier pekar också på att många länder strävar efter att öka evidensens betydelse vid utformningen av sin politik. Detta innebär naturligtvis inte att politiska värderingar kommer att sakna betydelse. Det handlar här mer om en förskjut- ning där politiker i ett allt mer komplicerat och komplext samhälle kommer att behöva utgå mer från evidens vid formandet av sin politik.</P>
<P class="p177 ft10">I en amerikansk studie om användningen av vetenskap i politis- ka sammanhang konstaterar man att det ligger i sakens natur att politikutformning innehåller värderingar och andra närbesläktade överväganden som ligger utanför den vetenskapliga expertisens domän. Även när det handlar om värderingar, är det rimligt, menar man, att förorda användningen av kunskap som beskriver det pro- blem som ska lösas på ett så exakt sätt som möjligt eller som förut- säger sannolika konsekvenser av föreslagna handlingar. Om besluts- fattare beaktar relevant forskning, så kommer de att förbättra chanserna att förverkliga de avsedda följderna av den politik de för fram.<SPAN class="ft55">7</SPAN></P>
<P class="p178 ft10">Användningen av vetenskap i politiska sammanhang kan enligt de amerikanska forskarna inte att skapa ”bättre politik”. Det handlar i stället om vägledning för att förstå ett problem, de förhållanden som ger upphov till dessa problem, och de resultat som sannolikt kan uppkomma när en viss policy riktar sig mot dessa problem. I denna mycket specifika bemärkelse kan, menar de, samhälls- och naturveten- skaperna ge en mer tillförlitlig (”bättre”) vägledning än vad som i övrigt är tillgängligt för beslutsfattare när de funderar över olika frågeställningar.</P>
<P class="p179 ft58"><SPAN class="ft56">5</SPAN><SPAN class="ft57">Gray, J. A. M. (1977) </SPAN><NOBR>Evidence-based</NOBR> Healthcare: How to Make Health Policy and manage- ment Decisions. <SPAN class="ft59">Här återgiven efter Davies, P. (2004</SPAN>) a.a.</P>
<P class="p180 ft59"><SPAN class="ft56">6</SPAN><SPAN class="ft57">Här avses de länderstudier som OECD genomfört inom ramen för projektet OECD Reviews of Evaluation and Assessment in Education.</SPAN></P>
<P class="p181 ft53"><SPAN class="ft56">7</SPAN><SPAN class="ft71">Prewitt, Kenneth, Thomas A. Schwandt and Miron L Straf (2012) </SPAN><SPAN class="ft72">Using Science as Evidence in Public Policy</SPAN>. Committee on the Use of Social Science Knowledge in Public Policy. National Research Council of the National Academies. The National Academies Press. Washington, D.C.</P>
<P class="p144 ft18">32</P>
</DIV>
<DIV id="page_31">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31231x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td30"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td31"><P class="p22 ft38">Om evidensinformerad politik och praktik</P></TD>
</TR>
</TABLE>
<P class="p145 ft13"><SPAN class="ft13">2.2.2</SPAN><SPAN class="ft69">Evidensinformerad snarare än evidensbaserad</SPAN></P>
<P class="p182 ft9">Överväganden av det slag som redovisats ovan har lett till diskus- sioner om vilka krav som ska ställas för att något ska anses vara evi- densbaserat. Inom vissa delar av evidensrörelsen ställs kraven högt. I princip är det endast (kvantitativa) forskningsresultat grundade på <NOBR>RCT-design</NOBR> (randomised controlled trials) som anses kunna komma i fråga, eftersom det är den enda forskningsdesign utifrån vilken en exakt beräkning anses kunna göras av sannolikheten för att det finns ett kausalt samband mellan den insats som studeras och den effekt som observeras. Andra aktörer har en vidare syn på evidens. Såväl OECD<SPAN class="ft28">8 </SPAN>som Europeiska kommissionen<SPAN class="ft28">9 </SPAN>menar att man kan utgå från både experimentell design och från andra metoder. Utredningen ansluter till detta synsätt. Inte heller den centrala administrationen inom den brittiska regeringen, som får anses ligga i frontlinjen inom detta område, gör en så snäv avgräns- ning att endast <NOBR>RCT-design</NOBR> räknas.<SPAN class="ft28">10</SPAN></P>
<P class="p183 ft45">Diskussionen om vad som kan anses vara evidensbaserat har också lett till att vissa uttolkare hellre talar om en evidensinfor- merad än en evidensbaserad politik eller verksamhet.</P>
<P class="p184 ft13">Evidensinformerad politik</P>
<P class="p172 ft9">Med evidensinformerad politik avses enligt Gough m.fl.<SPAN class="ft28">11 </SPAN>ett för- hållningssätt som hjälper människor att fatta välinformerade beslut om politik, åtgärder och projekt genom att sätta <SPAN class="ft12">bästa tillgängliga kun- skap </SPAN>i centrum för politikutvecklingen och implementeringen. Det finns dock i dag ingen konsensus bland forskarna om vad begreppet evidensinformerad politik innebär i praktiken. En grundläggande skillnad mellan evidensbaserad och evidensinformerad politik är dock <SPAN class="ft12">vad som kan betraktas som belägg eller bevis </SPAN>(evidens).</P>
<P class="p185 ft39">Vad som kan utgöra belägg vid utformningen av evidensinfor- merad politik kan utöver forskningsresultat även röra sig om expert-</P>
<P class="p186 ft63"><SPAN class="ft51">8</SPAN><SPAN class="ft73">Se t.ex. OECD (2007) </SPAN>Evidence in Education. Linking research and policy <SPAN class="ft62">och OECD (2013) </SPAN>Synergies for Better learning. An international perspective on evaluation and assessment<SPAN class="ft62">.</SPAN></P>
<P class="p187 ft53"><SPAN class="ft51">9</SPAN><SPAN class="ft52">Se t.ex. www.ec.europa.eu/europeaid/evaluation/methodology/methods/mth_att_en.htm</SPAN></P>
<P class="p188 ft63"><SPAN class="ft51">10</SPAN><SPAN class="ft73">Se till exempel </SPAN>The Sage Handbook of Evaluation<SPAN class="ft62">, s. 170 samt </SPAN>Cabinet Office The Magenta Book: guidance notes for policy evaluation and analysis<SPAN class="ft62">. Government Social Research Unit. HM Treasury, 2003, updated 2007, och Spencer, Liz m.fl. </SPAN>Quality i Qualitative Evaluation: A framwork for assessing research evidence<SPAN class="ft62">. Cabinet Office, Strategy unit, 2003.</SPAN></P>
<P class="p175 ft74"><SPAN class="ft51">11</SPAN><SPAN class="ft54">Gough, David m.fl. (2011) </SPAN>Evidence Informed Policymaking in Education in Europe<SPAN class="ft31">. EIPEE Final Project Report. Rapporten hänvisar i sin tur till Davies P., (1999) </SPAN>What is <NOBR>evidence-based</NOBR> education? <SPAN class="ft31">Brittish Journal of Educational Studies 47(2): </SPAN><NOBR><SPAN class="ft31">108–121.</SPAN></NOBR></P>
<P class="p189 ft18">33</P>
</DIV>
<DIV id="page_32">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31232x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om evidensinformerad politik och praktik</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p139 ft9">kunskap, statistik, särskilda utredningar, systematiskt genomförda enkäter eller intervjuer med företrädare för berörda organisationer eller verksamheter, utvärderingar av tidigare politiska insatser, resultat från internetsökningar, indikatorer och data från uppföljningssys- temet, kostnadsberäkningar och/eller output från ekonomiska eller statistiska modelleringar, dokumentanalyser, observationsanalyser (platsbesök) och analyser av adminstrativa data och enkätdata<SPAN class="ft28">12</SPAN>.</P>
<P class="p107 ft10">Med en så vid tolkning av vad som kan utgöra belägg vid ett evi- densinformerat beslutsfattande skulle i princip allt svenskt natio- nellt politiskt beslutsfattande kunna sägas vara evidensinformerat redan genom det beredningskrav som finns inskrivet i regeringsfor- men. Den ambitionsnivå, som begreppet signalerar, ställer dock högre krav på evidens än vad som, enligt vår bedömning, många gånger i praktiken är fallet vid nationellt politiskt beslutsfattande i Sverige.</P>
<P class="p96 ft10">När OECD behandlar frågor om <NOBR>evidensbaserad/-informerad</NOBR> politikutveckling är det främst ländernas olika system för uppfölj- ning och utvärdering man uppehåller sig vid. Viktiga delar i dessa system är olika former av nationella standards (kunskapskrav), prov för att mäta i vad mån eleverna uppnår dessa standards samt upprättande av indikatorer på måluppfyllelse, t.ex. andelen elever som fullföljt en utbildning.<SPAN class="ft55">13 </SPAN>OECD:s fokus ligger således på att länderna i första hand ska bygga upp sina uppföljningssystem, i mindre utsträckning på utvärdering.</P>
<P class="p55 ft13">Evidensinformerad praktik</P>
<P class="p190 ft39">Systematiska kunskapsöversikter (systematic reviews) och meta- analyser utgör hörnstenar i en evidensbaserad praktik. Känneteck- nande för den klassiska formen av metaanalys är att endast en forsk- ningsdesign som bygger på experimentella, kontrafaktiskt inriktade studier med kontrollgrupp (randomiserade kontrollerade studier) anses motsvara kraven på evidens<SPAN class="ft75">14</SPAN>. Denna forskningsdesign har fungerat väl inom delar av det medicinska området – som också var det område där formatet med systematic reviews först tillämp-</P>
<P class="p191 ft62"><SPAN class="ft51">12</SPAN><SPAN class="ft61">Se t.ex. Davies, Philip (2004) </SPAN><SPAN class="ft63">Is </SPAN><NOBR><SPAN class="ft63">evidence-Based</SPAN></NOBR><SPAN class="ft63"> Government Possibly</SPAN>? Jerry Lee lecture. 4<SPAN class="ft76">th </SPAN>Annual Campbell Collaboration Colloqium. Washington D.C. samt Davies, Phillip, Kathryn Newcomer and Haluk Soydan (2006) <SPAN class="ft63">Government as structural context for evaluation </SPAN>i Shaw, Ian F., Jennifer C. Greene and Melvin M. Mark (Ed.) <SPAN class="ft63">The Sage Handbook of Evaluation. Policies, programs and Practicies</SPAN>. Sage publications 2007. S. 171 f.</P>
<P class="p151 ft72"><SPAN class="ft51">13</SPAN><SPAN class="ft52">OECD (2007) </SPAN>Evidence in Education: Linking Research and Policy<SPAN class="ft53">.</SPAN></P>
<P class="p151 ft31"><SPAN class="ft51">14</SPAN><SPAN class="ft54">Om begreppens närmare betydelse se vidare kapitel 3.</SPAN></P>
<P class="p144 ft18">34</P>
</DIV>
<DIV id="page_33">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31233x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td30"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td31"><P class="p22 ft38">Om evidensinformerad politik och praktik</P></TD>
</TR>
</TABLE>
<P class="p192 ft9">ades – men är inte alltid lika tillämpbar för verksamheter som karaktäriseras av att de är komplexa<SPAN class="ft28">15</SPAN>. Utbildningsområdet karakt- äriseras av en sådan komplexitet liksom, för den delen, delar av hälso- och sjukvården och socialtjänsten. Begreppet evidensinformerad är därför relevant även för verksamhetsnivån. Hur begreppet avgränsas från begreppet evidensbaserad skiljer sig dock – som vanligt i dessa sammanhang – åt mellan olika forskare och brukare av dessa begrepp.</P>
<P class="p92 ft40">I en nyligen framlagd avhandling av Levinsson<SPAN class="ft77">16 </SPAN>beskrivs t.ex. begreppet evidensinformerad som ett försök att anpassa princi- perna för evidensbaserad praktik så att de passar bättre till utbild- nings- och skolsammanhanget. En påtaglig skillnad i förhållande till den klassiska modellen är att betydelsen av lärares professionella omdöme och praktiska kunnande betonas mer bland dem som föredrar begreppet evidensinformerad praktik. Avhandlingen hän- visar till en forskare<SPAN class="ft77">17 </SPAN>som menar att ”om resultaten från syste- matiska översikter ska göra skillnad måste de på något vis ramas in av lärares professionella omdöme och införlivas i deras befintliga verksamhet i klassrummet”.</P>
<P class="p137 ft40">Enligt Levinsson menar representanter för evidensinformerad praktik att det finns ett behov av att vidga evidensbegreppet och att systematiska översikter inte enbart bör fokusera på skolans effek- tivitet, utan även på andra frågor som är av relevans för yrkesverk- samma. Det kan i detta sammanhang vara värt att notera att bland annat två tunga aktörer på området, <NOBR>EPPI-center<SPAN class="ft77">18</SPAN></NOBR><SPAN class="ft77"> </SPAN>och Campbell Collaboration, arbetar med att utveckla metoder för att göra syste- matiska kunskapssammanställningar grundade på kvalitativt inrik- tad forskning.</P>
<P class="p193 ft13">Utredningen förordar begreppet evidensinformerad</P>
<P class="p65 ft39">Utredningen har valt att, där vi inte hänvisar till forskare eller andra författare, använda begreppet evidensinformerad framför evidens- baserad. Vi vill genom detta göra tydligt att vi menar att inte endast</P>
<P class="p194 ft59"><SPAN class="ft51">15</SPAN><SPAN class="ft70">Se kapitel 3 om utvärdering för en diskussion om vad som avses med komplexa verk- samheter och om följderna av detta för utvärderingsmetodik m.m.</SPAN></P>
<P class="p195 ft63"><SPAN class="ft51">16</SPAN><SPAN class="ft73">Levinsson, Magnus (2013) </SPAN>Evidens och existens. Evidensbaserad undervisning i ljuset av lärares erfarenheter<SPAN class="ft62">. Göteborgs Studies in Educational Sciencies. Göteborgs universitet.</SPAN></P>
<P class="p188 ft80"><SPAN class="ft51">17</SPAN><SPAN class="ft78">Cordingley, Philippa (2004) </SPAN>Teachers using evidence: Using what we know about teaching and learning to reconceptualize <NOBR>evidence-based</NOBR> practice<SPAN class="ft79">. I G. Thomas & R. Pring (red.) </SPAN><NOBR>Evidence-based</NOBR> practice in education<SPAN class="ft79">. Buckingham: Open University press.</SPAN></P>
<P class="p196 ft31"><SPAN class="ft51">18</SPAN><SPAN class="ft54">The Evidence for Policy and Practice Information and </SPAN><NOBR>Co-ordinating</NOBR> Centre (EPPI- Centre) at the Institute of Education, London University.</P>
<P class="p197 ft18">35</P>
</DIV>
<DIV id="page_34">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om evidensinformerad politik och praktik</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p198 ft10">forskning, utan även andra källor, kan utgöra underlag för ett besluts- fattande som utgår från evidens. Vi har också övervägt begreppet kunskapsbaserat, men avstått från att använda detta begrepp då det lätt likställs med evidensbaserat.</P>
<P class="p128 ft13"><SPAN class="ft13">2.2.3</SPAN><SPAN class="ft69">Styrningsperspektiv och utvecklingsperspektiv</SPAN></P>
<P class="p53 ft10">Frågan om evidens i politiken kan ses från två perspektiv – ett styr- ningsperspektiv och ett utvecklingsperspektiv. Vilket perspektiv som dominerar i en nation har betydelse för det syfte och den roll som utvärderingen primärt kommer att ha, och får därmed avgörande betydelse för vilket slags utvärderingssystem som kom- mer att byggas upp.</P>
<P class="p108 ft10">Oavsett vilket av perspektiven som dominerar det politiska beslutsfattandet kommer det att ställa den som från nationell nivå vill stärka inslagen av evidens i beslutsfattandet inför betydande utmaningar. Det handlar för det första om hur man ska få olika parter – på nationell nivå, på lokal nivå och på verksamhetsnivå – att engagera sig i utvärderingsaktiviteter och att använda sig av resultaten från dessa aktiviteter.</P>
<P class="p167 ft40">För det andra handlar det om ett förändringsarbete som berör den nationella nivåns egna arbetssätt, dvs. hur arbetet inom depar- tement och myndigheter organiseras och utförs. Inte minst ställs krav på en genomgripande analys av vilka roller som politiker och andra aktörer ska ha samt vilken ansvarsfördelning som ska råda mellan olika instanser. Att övergå till arbetssätt som innebär en för- stärkning av evidensinformerade arbetsformer ställer därför även krav på både organisationsutveckling och kompetensuppbyggnad på olika nivåer i systemet.</P>
<P class="p82 ft10">Utvärderingssystemets utformning och innehåll m.m. påverkas av vilket perspektiv som dominerar.</P>
<P class="p109 ft13">Styrningsperspektivet</P>
<P class="p199 ft45">En aspekt på evidens i ett styrningsperspektiv är när en nations utvärderingsaktiviteter ingår i ett system för styrning av den aktu- ella verksamheten. Dokumenterade prestationer, som mått på sko- lans kunskapsresultat, kan t.ex. användas för att bedöma i vilken mån mål som fastställts för verksamheten har uppnåtts. Upp-</P>
<P class="p200 ft18">36</P>
</DIV>
<DIV id="page_35">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31235x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td30"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td31"><P class="p22 ft38">Om evidensinformerad politik och praktik</P></TD>
</TR>
</TABLE>
<P class="p201 ft9">följning och utvärdering kan med andra ord betraktas som en förutsättning för ett mål- och resultatstyrt styrsystem. De ope- rativt ansvariga förutsätts tolka resultaten och omsätta dessa till förändringar i verksamheten, i syfte att förbättra måluppfyllelsen. Utvärdering kan i detta sammanhang ses som ett sätt att utkräva ansvar från den lokala nivån för de nationellt fastställda målen. Detta sätt att se på utvärdering står nära det synsätt som OECD nyligen presenterat i syntesrapporten <SPAN class="ft12">Synergies for Better learning</SPAN>.<SPAN class="ft28">19</SPAN></P>
<P class="p185 ft9">En annan aspekt på evidens i ett styrningsprespektiv gäller i vad mån själva utformningen av nya politiska initiativ bygger på utvär- deringsresultat eller annan evidens. Själva politikformuleringen för- väntas med andra ord i ökad utsträckning utgå från evidens. Under en följd av år har i ett antal länder strävan varit att på central nivå skapa arbetsformer där forsknings- och utvärderingsdata i större utsträckning utgör utgångspunkt för framtida politikutveckling. Exempel på länder i Europa som arbetar med evidensbaserad politik är enligt OECD<SPAN class="ft28">20 </SPAN>Norge, Danmark, Nederländerna och Storbritannien. Dessutom finns liknande exempel från t.ex. Canada och Nya Zeeland.</P>
<P class="p124 ft40">Intresset för ett beslutsfattande med utgångspunkt i evidens har enligt OECD<SPAN class="ft77">21 </SPAN>ökat på skolans område, både bland politiskt ansvariga och bland yrkesverksamma. Enligt samma källa är bland annat skälen för detta en ökad oro för utvecklingen av skolornas kunskapsresultat, en ökad tillgång på information och en ökad betoning på prov och utvärdering samt förändringar i det sätt på vilket politiska beslut fattas. Det växande finansdepartementala intresset för utbildningssystemets kostnader och prestationer, insikten om utbildningens roll som drivkraft för innovation och ekonomisk tillväxt samt den uppmärksamhet som riktats mot de svaga kopplingarna mellan forskning, policy och innovation har också, enligt OECD, bidragit till att stärka intresset för evidens i utformningen av politik och praktik.<SPAN class="ft77">22</SPAN></P>
<P class="p202 ft58"><SPAN class="ft51">19</SPAN><SPAN class="ft70">OECD (2013) </SPAN>Syneriges for better learning: An international perspective on evaluation and assessment<SPAN class="ft59">. </SPAN>An international perspective on evaluation and assessment<SPAN class="ft59">. OECD reviews of Evaluation and Assessment in Education.</SPAN></P>
<P class="p88 ft53"><SPAN class="ft51">20</SPAN><SPAN class="ft52">Se OECD (2013) a.a.</SPAN></P>
<P class="p187 ft72"><SPAN class="ft51">21</SPAN><SPAN class="ft52">OECD (2007) </SPAN>Evidence in Education: Linking Research and Policy<SPAN class="ft53">.</SPAN></P>
<P class="p187 ft31"><SPAN class="ft51">22</SPAN><SPAN class="ft54">OECD (2007) a. a.</SPAN></P>
<P class="p50 ft18">37</P>
</DIV>
<DIV id="page_36">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om evidensinformerad politik och praktik</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft13">Utvecklingsperspektivet</P>
<P class="p73 ft40">Ur ett utvecklingsperspektiv bör den evidens som genereras genom olika utvärderingsaktiviteter främst användas för att utveckla och förbättra skolans prestationer. Det gäller inte endast lokal utvär- dering utan även nationell utvärdering. Utvärderingsaktiviteterna kan ingå i ett genomtänkt och sammanhållet ramverk, men utgör inte delar i ett styrsystem eller i en <NOBR>top-downorienterad</NOBR> styrkedja. Utvärderingen är i stället tänkt att fungera som utgångspunkt för en lokalt utformad skolutvecklingsstrategi där de yrkesmässigt verksamma anförtros ett stort ansvar för åtgärder som leder till resultatförbättring.</P>
<P class="p96 ft40">Av de länder utredningen har studerat närmare har vi funnit flera utvärderingssystem vilkas huvudsyfte vi bedömer är att leverera empiri som är användbar lokalt och kan ligga till grund för det lokala utvecklingsarbetet. I länder där utvecklingsperspektivet dominerar, som till exempel Finland och Danmark, har därför rapportering och återkoppling till de operativt verksamma en viktig funktion. Detta gäller även om det förekommer ytterligare syften, som att informera föräldrar och allmänhet samt i viss mån försörja den nationella nivån med underlag.</P>
<P class="p177 ft45">I länder där utvecklingsperspektivet dominerar är det även van- ligt med satsningar på att bygga upp den lokala kapaciteten att han- tera och utnyttja uppföljnings- och utvärderingsdata samt annan empiri. Vid utredningens besök i Finland underströks samtidigt att man är mycket försiktig med att införa inslag i utvärderingssys- temet som man uppfattar skulle störa den lokala nivåns upplevelse av tillit och utrymme för eget ansvarstagande.</P>
<P class="p168 ft40">Ett utvärderingssystem som är utformat i ett utvecklingsperspektiv skiljer sig med andra ord på flera sätt från ett system där ut- värderingsaktiviterna främst är kopplade till ansvarsutkrävande (accountability) från lokalt skolansvariga, dvs. skolpolitiker, skol- ledare och lärare. Detta hindrar dock inte att drag från båda pers- pektiven kan förekomma parallellt i olika länder.</P>
<P class="p107 ft10">Enligt utredningen handlar det om att finna en rimlig avvägning mellan de båda perspektiven samtidigt som man är medveten om vilka inslag som faktiskt inte är förenliga med varandra eller som kan motverka vad man totalt sett vill uppnå. Vi återkommer till dessa frågor i kapitel 6.</P>
<P class="p203 ft18">38</P>
</DIV>
<DIV id="page_37">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td30"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td31"><P class="p22 ft38">Om evidensinformerad politik och praktik</P></TD>
</TR>
</TABLE>
<P class="p145 ft32"><SPAN class="ft32">2.3</SPAN><SPAN class="ft50">Forskning och politik – en problematisk relation</SPAN></P>
<P class="p123 ft10">Evidensbaserad politik handlar ytterst om relationen mellan politik och vetenskap – en i grunden problematisk relation. Forskning och politik styrs av olika logiker. Forskningen är till sitt innersta väsen <SPAN class="ft11">analytisk </SPAN>och <SPAN class="ft11">kritiskt granskande</SPAN>, dess objekt är något som funnits eller fortfarande pågår och den leder sällan till konkreta rekom- mendationer om vilken åtgärd som bör vidtas. Politiken är däremot till sitt väsen <NOBR><SPAN class="ft11">framtids-,</SPAN></NOBR><SPAN class="ft11"> lösnings- och handlingsinriktad</SPAN>. Den vill veta vad som kan och bör göras.</P>
<P class="p204 ft40">Det finns även en <NOBR><SPAN class="ft43">beroende-oberoende-dimension</SPAN>.</NOBR> Forskning kräver oberoende från olika parters intressen. Politiken är aldrig oberoende i detta avseende. En politiker har alltid sina ideologiska utgångspunkter och dessutom många grupper att ta hänsyn till: partimedlemmar, opinionsläget i väljarkåren, majoritetsställningen i riksdagen etc. Det är därför inte sannolikt att forskningsresultat – även om de i sig är entydiga och pekar mot en tydlig handlingslinje</P>
<P class="p205 ft10">– rakt av läggs till grund för politiskt handlande.</P>
<P class="p206 ft9">Problemet med vilka frågor som är <SPAN class="ft12">möjliga att beforska</SPAN>, och vilka frågor som inte är det, lägger också hinder i vägen för forskningens användbarhet i politiska sammanhang. Ju bättre avgränsad en forsk- ningsfråga är, desto högre validitet och reliabilitet kan en studie för- väntas ha. Dess intresse för politiken blir dock sannolikt låg. Begräns- ade frågeställningar kan inte ge svar på hur man ska lösa stora och komplexa samhällsfrågor. Sådana stora och komplexa frågor är samtidigt svåra att beforska med vetenskapligt acceptabla metoder.</P>
<P class="p204 ft10">Hur <SPAN class="ft11">relevant </SPAN>forskningen kan vara för politiken är en svårlöst fråga. Det finns en uppenbar risk för <SPAN class="ft11">politisering </SPAN>av forskningen om den låter sig styras. För att öka relevansen i forskningen kan poli- tiken gå för långt i en önskan om att styra forskningsfrågan. Utred- ningen har dock funnit exempel på länder som lyckats skapa olika institutionella arrangemang som kunnat utgöra grund för samver- kan mellan forskare, politiker och myndigheter.</P>
<P class="p92 ft39">Även frågan om <SPAN class="ft81">timing </SPAN>är svårhanterlig. Forskning tar tid medan politiken kräver snabbt handlande. Forskningsresultat (eller resul- tat från utvärderingar) måste komma vid exakt rätt tidpunkt i för- hållande till en berednings- och beslutsprocess för att bli en del av denna. ”För tidigt” kan innebära att de kommer för tätt inpå en förändring som redan genomförts. Någon ny förändring är då på kort sikt inte tänkbar även om resultaten skulle indikera att det finns ett sådant behov. ”För sent” kan innebära att resultaten inte</P>
<P class="p207 ft18">39</P>
</DIV>
<DIV id="page_38">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31238x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om evidensinformerad politik och praktik</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">kan påverka beslutets utformning, eftersom beredningen redan avslutats.</P>
<P class="p208 ft10">En särskild aspekt av timing rör <SPAN class="ft11">hastigheten i det politiska reform- arbetet</SPAN>. Hanberger<SPAN class="ft55">23 </SPAN>menar att utvärderingsobjektet vid utvärdering av politiska reformer är ett ”rörligt mål” eftersom förändringar numera sker oupphörligt. Samtidigt blir utvärdering i realtid allt vanligare, dvs. utvärderingar görs under fortlöpande reformering och följer och granskar pågående processer. Detta leder till att frågan om hur sådana förändringar i politiken ska hanteras i varje enskilt fall måste diskuteras noga i samband med att utvärderings- designen utformas.</P>
<P class="p82 ft10">Frågan har stor betydelse för vilka utvärderingsmetoder som kan användas. Vissa mer summativt inriktade modeller utgår från att inga förändringar görs av reformen under implementeringen, dvs. förändringar betraktas som avvikelser från den ursprungliga programteorin<SPAN class="ft55">24</SPAN>. Andra mer formativt inriktade modeller ger utrymme för att hantera förändringar som ett "naturligt" led i imple- mentering och utvärdering.</P>
<P class="p54 ft10">Ett ökat fokus på evidensinformerade arbetsformer ligger väl i linje med behovet av att stärka utvärderingens roll vid nationell politikutveckling och styrning, liksom vid lokal skolutveckling. Utredningen menar att det är viktigt att försöka finna former för samverkan mellan forskare och politiker. Genom en utökad sam- verkan får politiker bättre underlag för sina beslut och forskare får ett ökat intresse för sina resultat. Utredningen återkommer till denna fråga i kapitel 11.</P>
<P class="p209 ft58"><SPAN class="ft51">23</SPAN><SPAN class="ft57">Hanberger, Anders (2001) </SPAN>What is the Policy Problem? Methodological Challenges in Policy Evaluation<SPAN class="ft59">. Evaluation Vol. 7, No. 45.</SPAN></P>
<P class="p210 ft31"><SPAN class="ft51">24</SPAN><SPAN class="ft60">Med programteori avses de föreställningar om orsak och verkan samt om de verkans- mekanismer som finns bakom en åtgärd eller reform. Se vidare i kapitel 3.</SPAN></P>
<P class="p134 ft18">40</P>
</DIV>
<DIV id="page_39">
<P class="p0 ft8">3 Om utvärdering</P>
<P class="p46 ft40">När evidens blir allt viktigare såväl i samband med politiskt besluts- fattande som vid utformningen av verksamheten, blir också utvär- dering allt viktigare. Utvärdering ingår dessutom som ett naturligt inslag i ett system som, liksom det svenska, bygger på mål- och resultatstyrningens principer. När offentliga verksamheter inte längre, som förr, styrs av precisa regler, utan av ramlagar med generella mål, är utvärdering helt grundläggande för att politikerna ska kunna ta ansvar för den förda politiken.</P>
<P class="p204 ft45">Detta kan förefalla självklart. Över tid och i olika sammanhang har dock begreppet utvärdering getts olika betydelser och tilldelats olika roller. En utgångspunkt för nedanstående genomgång av olika uppfattningar om utvärdering är utredningens övertygelse om att arbetet med att utvärdera skolpolitiska reformer och andra åtgärder kräver en mångfald av teoretiska utgångspunkter, perspektiv, fråge- ställningar och metoder.</P>
<P class="p211 ft32"><SPAN class="ft32">3.1</SPAN><SPAN class="ft50">Vad menar vi med utvärdering?</SPAN></P>
<P class="p212 ft9">Utvärdering (evaluation) betecknas ofta som tillämpad samhälls- vetenskap och är ett förhållandevis ungt verksamhetsområde, åtmins- tone som vi tänker om det i dag – som en systematisk undersökning och värdering av en verksamhet, bedriven på ett transparant och kontrollerbart sätt. Utvärdering är inte någon självständig akade- misk disciplin utan ett verksamhetsområde som lånar sina teorier och sin metodologi från olika vetenskapliga discipliner.</P>
<P class="p204 ft45">Utvärdering utövas i en gränslinje mellan forskning och praktik. Det finns forskare som forskar om utvärdering och det finns fors- kare som arbetar med att genomföra utvärdering. Merparten av utvärderingar genomförs dock, helt eller delvis, utanför den strikt akademiska miljön. I olika länder finns institut som arbetar med</P>
<P class="p71 ft18">41</P>
</DIV>
<DIV id="page_40">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31240x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft45">mer eller mindre forskningsbaserade metoder (se vidare bilaga 5). Dessa institut kan vara helt fristående eller delvis sammanlänkade med en akademisk miljö. De kan också vara mer eller mindre nära kopplade till den nationella politiska nivån. De kan även vara helt fristående företag, t.ex. konsult- och revisionsföretag, som koncen- trerat sig på att utföra utvärderingar.</P>
<P class="p213 ft13"><SPAN class="ft13">3.1.1</SPAN><SPAN class="ft69">Skilda tolkningar av begreppets innebörd</SPAN></P>
<P class="p81 ft9">Begreppet utvärdering används på en mängd olika sätt. I den omfattande internationella litteraturen inom utvärderingsområdet används t.ex. utvärdering som ett paraplybegrepp för ett antal sins- emellan olikartade aktiviteter. Gemensamt för dessa aktiviteter är att de på ett eller annat sätt kritiskt granskar en företeelse eller en verksamhet genom att systematiskt samla information om den och att granskningen utmynnar i någon form av jämförelse eller bedömning av värdet (nyttan) av denna<SPAN class="ft28">1</SPAN>. Sedan skiljer sig uppfattningarna åt vad gäller de teoretiska utgångspunkterna, vilka metoder som kan användas (kvantitativa och kvalitativa), om vem som ska göra den slutliga bedömningen etc.</P>
<P class="p214 ft10">Ett flertal olika indelningsgrunder har föreslagits i syfte att skapa en överblick över hur olika utvärderingsmodeller förhåller sig till varandra. Enligt en sådan indelning kan utvärdering ses som (1) en i huvudsak metodisk kompetens för att mäta, (2) en tolkande och kritiskt värderande verksamhet och (3) en verksamhet inriktad på förändring av både organisationers och individers sätt att fun- gera<SPAN class="ft55">2</SPAN>.</P>
<P class="p107 ft10">Andra forskare konstaterar att de olika definitionerna hör sam- man med olika utvärderingstraditioner, t.ex. den amerikanska pro- gramutvärderingen respektive den utvärdering som vuxit fram parallellt med den skandinaviska välfärdsstaten och som inkluderar ett organisatoriskt perspektiv<SPAN class="ft55">3</SPAN>.</P>
<P class="p167 ft45">I många framställningar framstår utvärdering som något neutralt och värderingsfritt, en systematiserad metod för att få fram kun-</P>
<P class="p215 ft58"><SPAN class="ft56">1</SPAN><SPAN class="ft57">Lindgren, Lena (2008) </SPAN>Utvärderingsmonstret. Kvalitets- och resultatmätning i den offentliga sektorn<SPAN class="ft59">. Studentlitteratur.</SPAN></P>
<P class="p180 ft58"><SPAN class="ft56">2</SPAN><SPAN class="ft57">Karlsson, Ove (1999) </SPAN>Utvärdering – mer än en metod. Tankar och synsätt i utvärderings- forskning. En översikt. <SPAN class="ft59">Àjour. En serie kunskapsöversikter från Svenska kommunförbundet. Nr 3.</SPAN></P>
<P class="p210 ft74"><SPAN class="ft56">3</SPAN><SPAN class="ft60">Foss Hansen, Hanne (2012) </SPAN>Systematic evaluation governance. New logics in the develope- ment of organisational fields<SPAN class="ft31">. Offentlig förvaltning. Scandinavian Journal of Public Adminis- tration.</SPAN></P>
<P class="p216 ft18">42</P>
</DIV>
<DIV id="page_41">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31241x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td32"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td33"><P class="p22 ft38">Om utvärdering</P></TD>
</TR>
</TABLE>
<P class="p85 ft40">skap om något och sedan kunna göra kloka bedömningar om detta något. Andra forskare konstaterar att utvärdering alltid genomförs inom ramen för en styrningsstruktur eller styrningsmodell som både styr utvärderingen och begränsar den<SPAN class="ft77">4</SPAN>.</P>
<P class="p171 ft10">Detta spänningsförhållande mellan utvärdering som <SPAN class="ft11">kunskap- ande </SPAN>och utvärdering som en del i ett <SPAN class="ft11">styrsystem </SPAN>går som en under- ström i nästan allt som tänks och skrivs om utvärdering. Denna spänning kan ses som en återspegling av det spänningsförhållande mellan ett styrningsperspektiv och ett utvecklingsperspektiv som beskrevs i föregående kapitel om evidensbaserad politik och prak- tik.</P>
<P class="p193 ft13">Från mätning till instrument för styrning</P>
<P class="p103 ft10">Utvärderingens roll och funktion i samhället har utvecklats över tid. Olika forskare beskriver och tolkar denna utveckling på olika sätt. Enligt en uttolkning präglades 1950- och <NOBR>1960-talen</NOBR> av mät- ning och kontroll, där fokus för utvärderingen inte var att värdera utfallet och där bedömningen överlämnades till beställaren. Under 1970- och <NOBR>1980-talen</NOBR> riktades intresset mer mot processer och mot hur resultatet kommit till. Utvärdering skulle inte enbart vara beskrivande utan förväntades också göra en kvalitativ bedömning av hur verksamheten fungerade. Under 1980- och <NOBR>1990-talen</NOBR> utvecklades sedan en interaktiv utvärdering som bland annat beto- nade deltagarmedverkan för att förbättra utvärderingens relevans för intressenterna.<SPAN class="ft55">5</SPAN></P>
<P class="p217 ft10">En annan historik<SPAN class="ft55">6 </SPAN>talar om olika utvärderingsgenerationer. Den första generationen utvärderingar beskrivs som ”the Measurement generation”, den andra som ”the Description generation”, den tredje som ”the Judgement generation” och den fjärde som ”Responsive Constructivist evaluation”.</P>
<P class="p218 ft10">I en tredje historik<SPAN class="ft55">7 </SPAN>identifieras i stället fyra olika utvärderings- vågor sedan <NOBR>1960-talet:</NOBR> den vetenskapliga vågen, den dialog- orienterade vågen, den nyliberala vågen och den evidensbaserade vågen.</P>
<P class="p219 ft63"><SPAN class="ft51">4</SPAN><SPAN class="ft73">Hanberger, Anders (2012) </SPAN>Framework for exploring the interplay of governance and evalu- ation. Offentlig förvaltning<SPAN class="ft62">. Scandinavian Journal of Public Administration. 16(3): </SPAN><NOBR><SPAN class="ft62">9–27.</SPAN></NOBR></P>
<P class="p188 ft80"><SPAN class="ft51">5</SPAN><SPAN class="ft78">Karlsson, Ove (1999) </SPAN>Utvärdering – mer än en metod<SPAN class="ft79">. </SPAN>Tankar och synsätt i utvärderings- forskning<SPAN class="ft79">. Àjour. En serie kunskapsöversikter från Svenska kommunförbundet. Nr. 3.</SPAN></P>
<P class="p187 ft53"><SPAN class="ft51">6</SPAN><SPAN class="ft52">Guba och Lincoln. Se t.ex. Gröjer a.a.</SPAN></P>
<P class="p187 ft31"><SPAN class="ft51">7</SPAN><SPAN class="ft54">Vedung och Krogstrup . Här citerade efter Foss Hansen, Hanne (2012) a.a.</SPAN></P>
<P class="p50 ft18">43</P>
</DIV>
<DIV id="page_42">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31242x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p220 ft10">I en fjärde historik<SPAN class="ft55">8 </SPAN>urskiljs slutligen tre skikt som, enligt fors- karen, alla kan återfinnas inom dagens utvärderingspraxis. Det första skiktet, ursprungligen inspirerat från USA, fokuserar utvär- dering av specifika program, dvs. experiment och reformer inom den offentliga sektorn. Utvärdering inriktas mot implementering av olika politiska beslut och initiativ och organiseras ad hoc i köl- vattnet på dessa.</P>
<P class="p167 ft40">Det andra skiktet är kopplat till system för att leda verksamhet och förbättra verksamhetens prestationer. Sådana system har utvecklats i en bred grupp <NOBR>anglo-amerikanska</NOBR> länder och fokuserar utvärdering av en viss aktör. Den bärande idén är att en organi- sation eller verksamhet måste granskas och utvärderas av sin huvud- man – i syfte att säkra kvalitet, ansvarsutkrävande och resultat. Denna form av utvärdering organiseras mer rutinmässigt, t.ex. i form av årligen återkommande processer som definierar mål och bedömer i vilken grad målen uppfyllts.</P>
<P class="p96 ft9">Det tredje skiktet fokuserar utvärdering av en mångfald av enhe- ter, organisationer och nationer. Den bärande idén är att jämförel- ser och transparens i en organisation främjar lärande samt skapar en stimulerande och problemlösande miljö där aktörerna strävar efter att förbättra sin konkurrenskraft. Utvärderingspraxisen organiseras som återkommande rutiner som omfattar flera organisationer.</P>
<P class="p167 ft40">Det finns, enligt Foss Hansen<SPAN class="ft77">9</SPAN>, i själva verket två sätt att styra organisationer genom utvärdering. Den första metoden är <SPAN class="ft43">målstyr- ning </SPAN>(performance management eller management by objectives, MBO). Vid målstyrning handlar det om att utvärdera individuella organisationer i förhållande till kriterier som fastställts av huvud- mannen (jfr det andra skiktet). Till skillnad från detta syftar <SPAN class="ft43">syste- matisk utvärderingsstyrning </SPAN>(SEG) till att jämföra och bedöma flera aktörer sinsemellan genom att använda en gemensam uppsättning av utvärderingskriterier (jfr det tredje skiktet).</P>
<P class="p54 ft10">Det kan konstateras att SEG under de senare decennierna fått en allt större internationell utbredning och ett starkt institutionellt genomslag.</P>
<P class="p221 ft53"><SPAN class="ft56">8</SPAN><SPAN class="ft71">Foss Hansen, Hanne (2012) a.a.</SPAN></P>
<P class="p143 ft31"><SPAN class="ft56">9</SPAN><SPAN class="ft60">Foss Hansen, Hanne (2012) a.a.</SPAN></P>
<P class="p144 ft18">44</P>
</DIV>
<DIV id="page_43">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31243x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td32"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td33"><P class="p22 ft38">Om utvärdering</P></TD>
</TR>
</TABLE>
<P class="p145 ft13"><SPAN class="ft13">3.1.2</SPAN><SPAN class="ft69">Några avgränsningar</SPAN></P>
<P class="p91 ft10">En följd av att olika aktörer definierar begreppet utvärdering på olika sätt är att begreppets relation till vissa andra näraliggande begrepp behöver klargöras.</P>
<P class="p222 ft13">Uppföljning och utvärdering</P>
<P class="p182 ft9">I Sverige görs ofta en distinktion mellan uppföljning och utvärdering där uppföljning, något förenklat, svarar på frågan <SPAN class="ft12">vad </SPAN>som skett medan utvärdering även svarar på frågan <SPAN class="ft12">varför</SPAN>. Uppföljning beskrivs som en regelmässig och fortlöpande insamling av informa- tion för att kontrollera hur en verksamhet genomförs. Uppfölj- ningen är ofta en intern aktivitet som sker löpande enligt fastställda rutiner, medan utvärdering ofta genomförs av extern expertis på uppdrag av någon i den egna organisationen eller utanför denna.<SPAN class="ft28">10</SPAN></P>
<P class="p47 ft10">Uppföljning sker således kontinuerligt medan utvärdering sker vid särskilda tillfällen och innebär en djupare analys som avslutas med en värdering eller en bedömning. Uppföljningens mål är att genom systematiskt genomförda beskrivningar som bygger på sak- uppgifter, kontrollera vad som sker i verksamheten, vanligen genom nyckeltal, budgetutfall eller liknande, medan målet vid utvärdering i stället är att producera en bedömning av objektet för utvärd- eringen<SPAN class="ft55">11</SPAN>.</P>
<P class="p15 ft10">Det kan dock vara svårt att dra en tydlig skiljelinje mellan upp- följning och utvärdering eftersom uppföljningsinformation också kräver någon form av analys och värdering för att kunna använ- das<SPAN class="ft55">12</SPAN>. Det kan tilläggas att utvärdering på motsvarande sätt är beroende av uppföljning och ofta bygger på data som samlats in inom ramen för ett uppföljningssystem.</P>
<P class="p223 ft40">Den distinktion som ofta görs i Sverige mellan uppföljning och utvärdering görs inte på samma sätt i internationella sammanhang.</P>
<P class="p10 ft10">När t.ex. OECD talar om ”evaluation” är det många gånger det vi i</P>
<P class="p224 ft9">Sverige skulle kalla för uppföljning man avser. Det handlar med andra ord om att i olika sammanhang redovisa och använda statistik och andra uppföljningsdata. Det bör även noteras att ”follow up”, dvs. den ordagranna översättningen till engelska av den svenska</P>
<P class="p225 ft53"><SPAN class="ft51">10</SPAN><SPAN class="ft52">Se t.ex. Ove Karlsson a.a., Lena Lindgren (2008) a.a. och Statskontoret (2001) a.a.</SPAN></P>
<P class="p187 ft53"><SPAN class="ft51">11</SPAN><SPAN class="ft52">Karlsson, Ove (1999) a.a.</SPAN></P>
<P class="p187 ft31"><SPAN class="ft51">12</SPAN><SPAN class="ft54">Lindgren, Lena (2008) a.a.</SPAN></P>
<P class="p50 ft18">45</P>
</DIV>
<DIV id="page_44">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31244x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">termen uppföljning, inte har någon självklar förankring i den angloamerikanska diskursen. Där talar man hellre om ”performance measures” m.fl. liknande begrepp när man avser ”uppföljnings- data”.</P>
<P class="p106 ft43"><SPAN class="ft40">I OECD:s </SPAN>Reviews of Evaluation and Assessment in Education<SPAN class="ft77">13 </SPAN><SPAN class="ft40">används termen </SPAN>evaluation <SPAN class="ft40">när man relaterar till bedömningar av effektiviteten i skolor, skolsystem, policys och program, medan man använder </SPAN>assessment <SPAN class="ft40">när man relaterar till bedömningar av individuella framsteg och prestationer i förhållande till lärandemål. Det gäller i det sammanhanget såväl klassrumsbaserad bedömning som storskaliga, externa bedömningar (motsvarande de nationella proven i Sverige) och examinationer.</SPAN></P>
<P class="p226 ft11"><SPAN class="ft10">Med </SPAN>evaluation and assessment framework <SPAN class="ft10">avser OECD ett sam- ordnat arrangemang för uppföljning och utvärdering (av skolor/skol- system/program) och bedömning (av elevers kunskapsprestatio- ner) som ytterst syftar till att förbättra elevernas resultat inom ett skolsystem.</SPAN></P>
<P class="p227 ft10">Detta betänkande ansluter till den svenska tradition där uppfölj- ning och utvärdering ges olika betydelse och där utvärdering inne- bär en djupare analys och bedömning som inte bara syftar till att fastställa ett förhållande, utan att också förklara det. Som motsva- righet till engelskans övergripande paraplybegrepp ”evaluation” används antingen samlingsbegreppet ”uppföljning och utvärdering” eller begreppet ”utvärderingssystem”. Se vidare kapitel 7 om ram- verk för utvärdering.</P>
<P class="p55 ft13">Utvärdering och utveckling</P>
<P class="p199 ft45">Även relationen mellan utvärdering och utvecklingsarbete kan vara otydlig, vilket bl.a. har att göra med att utvärdering både kan utgöras av en produkt (en utvärderingsrapport) och en process (under pågående utvärdering). I en övergripande mening kan man säga att merparten av all utvärdering har en relation till förändring eller utveckling. Även en utvärdering som är av mer summativ eller kontrollerande karaktär leder, om resultaten inte är de som för- väntats, ofta till beslut om förändringar. Det gäller på såväl nationell nivå som verksamhetsnivå. Dessutom sker det ofta en</P>
<P class="p153 ft74"><SPAN class="ft30">13 </SPAN><SPAN class="ft31">OECD (2013) </SPAN>Synergies for Better Learning. An International Perspective on Evaluation and Assessment<SPAN class="ft31">.</SPAN></P>
<P class="p134 ft18">46</P>
</DIV>
<DIV id="page_45">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31245x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td32"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td33"><P class="p22 ft38">Om utvärdering</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">påverkan på verksamheten av en utvärdering, även i de fall detta inte varit syftet.</P>
<P class="p117 ft9">På verksamhetsnivå kan utvärdering dessutom ha en mer nära relation till utveckling. Man kan å ena sidan tala om utvärdering <SPAN class="ft12">av </SPAN>utvecklingsarbete, å andra sidan om utveckling <SPAN class="ft12">genom </SPAN>utvärdering<SPAN class="ft28">14</SPAN>. I det senare fallet handlar det om att utvärderingen syftar till att bidra till ett pågående förändringsarbete, dvs. att utvärderingen ges en utvecklingsdrivande funktion. Det är samtidigt viktigt att se vad som skiljer dessa aktiviteter åt. Medan utvecklingsarbetets mål är att komma fram till en förändring som är positiv för verksamheten inklusive intressenterna/brukarna är utvärderingens mål alltid att göra en bedömning eller en jämförelse, t.ex. mellan olika utfall.</P>
<P class="p124 ft45">I vissa forskningssammanhang talar man dessutom om exempel- vis <SPAN class="ft67">aktionsforskning</SPAN>. Denna forskningsansats betonar kunskap som utvecklas genom handling och forskningen bedrivs i ett nära sam- arbete mellan forskaren och praktikern. Vad som utgör skillnaden mellan aktionsforskning och en utvecklingsinriktad utvärdering kan i praktiken vara svårt att avgöra.</P>
<P class="p90 ft13">Utvärdering och tillsyn</P>
<P class="p228 ft9">Tillsyn tillämpas företrädesvis i sammanhang där staten har gjort en utfästelse i relation till en enskild medborgare eller till en grupp av medborgare. Tillsyn har det gemensamt med utvärdering att verk- samheter granskas och bedöms. Enligt Statskontoret är en viktig skillnad mellan tillsyn och utvärdering att bedömningskriterierna vid tillsyn alltid är relaterade till den relevanta lagstiftningen, medan kriterierna vid utvärdering fritt kan väljas utifrån vad utvärderaren eller uppdragsgivaren är intresserad av<SPAN class="ft28">15</SPAN>. Denna definition av tillsyn överensstämmer i princip med den som ges i regeringens tillsyns- skrivelse<SPAN class="ft28">16 </SPAN>från 2009. Där framgår dock att det i vissa fall kan finnas skäl att göra avsteg från denna strama definition och användning av begreppet tillsyn, bl.a. mot bakgrund av hur detaljerad lagstift- ningen är och hur många tillsynsobjekt det finns.</P>
<P class="p229 ft53"><SPAN class="ft51">14</SPAN><SPAN class="ft52">Karlsson, Ove (1999) a.a.</SPAN></P>
<P class="p187 ft72"><SPAN class="ft51">15</SPAN><SPAN class="ft52">Statskontoret (2011) </SPAN>Fristående utvärderingsmyndigheter – en förvaltningspolitisk trend?</P>
<P class="p187 ft74"><SPAN class="ft51">16</SPAN><SPAN class="ft54">Regeringens skrivelse 2009/10:79 </SPAN>En tydlig, rättssäker och effektiv tillsyn<SPAN class="ft31">.</SPAN></P>
<P class="p50 ft18">47</P>
</DIV>
<DIV id="page_46">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31246x1.jpg" id="img1">
</DIV>
<P class="p0 ft19">Om utvärdering SOU 2014:12</P>
<P class="p51 ft13">Utvärdering och forskning</P>
<P class="p230 ft10">Den kanske mest grundläggande skillnaden mellan forskning och utvärdering är att forskning inte är lika starkt knuten till externt givna ramar för sin undersökning som utvärdering. Utvärdering sker inom en mer begränsad ”uppdragsram” som formulerats av beställaren<SPAN class="ft55">17 </SPAN>medan forskningen sker med utgångspunkt i en inom- forskningsstyrd ”teoriram” som formulerats av forskaren.<SPAN class="ft55">18 </SPAN>Utvär- dering är dessutom mer tydligt inriktad på att göra en bedömning av en specifik verksamhet eller insats, som är relevant för beställaren, medan forskning oftare är inriktad mot kunskapsutveckling och kritisk granskning.</P>
<P class="p82 ft10">Betecknande för forskning är vidare att det rör sig om en kumu- lativ process som bygger vidare på tidigare forskning och att nya resultat förväntas ge ett bidrag till en eller flera vetenskapliga diskurser (generaliserbarhet). Utvärdering syftar i stället primärt till att komma till praktisk användning. <SPAN class="ft55">19</SPAN></P>
<P class="p108 ft10">I Storbritannien har utvärdering inom skolområdet av tradition uppfattats som en form av vetenskap där det problem som ska studeras är bestämt av den som beställt utvärderingen, till skillnad från forskning där forskaren själv avgör vilket problem som ska beforskas. Utvärderarens frihet begränsas också, till skillnad från forskarens, genom syftet med utvärderingen – om det är formativt eller summativt. <SPAN class="ft55">20</SPAN></P>
<P class="p54 ft10">I USA likställdes tidigare utvärdering med utvärdering av elever, dvs. bedömning. Denna starkt begränsade tolkning av vad utvär- dering är – eller kan vara – i skolsammanhang, utmanades dock av tillkomsten av så kallad formativ utvärdering, dvs. utvärdering som görs innan en aktivitet har avslutats i syfte att kunna bidra till att anpassa processen och därmed förbättra utfallet av denna. Vid sådan utvärdering läggs fokus lika mycket på hur utbildningspro- grammet fungerar i verksamheten, som på om det leder till de avsedda målen eller inte.<SPAN class="ft55">21</SPAN></P>
<P class="p231 ft53"><SPAN class="ft51">17</SPAN><SPAN class="ft52">Karlsson, Ove a.a.</SPAN></P>
<P class="p180 ft59"><SPAN class="ft51">18</SPAN><SPAN class="ft57">Även begreppet </SPAN><SPAN class="ft58">problemram </SPAN>förekommer. Med detta begrepp avses att man ringar in det som olika parter ser som gemensamma frågor att utvärdera. Karlsson menar att man genom att använda problemram kan ”komma förbi den låsning som riskerar att uppstå i kampen mellan den forskningsinriktade utvärderarens ambition att kvalificera utvärderingen utifrån teoretiska krav och beställarens önskan att styra utvärderingen genom en preciserad upp- dragsbeskrivning”.</P>
<P class="p151 ft53"><SPAN class="ft51">19</SPAN><SPAN class="ft52">Statskontoret (2011) a.a.</SPAN></P>
<P class="p232 ft62"><SPAN class="ft51">20</SPAN><SPAN class="ft61">Harlen, Wynne (2009) </SPAN><SPAN class="ft63">Reflections on a personal journey in research</SPAN>. The Association for Science Education. <NOBR>(www.ase.org.uk/resources/scitutors/research/research-wynne-harlen/)</NOBR></P>
<P class="p151 ft31"><SPAN class="ft51">21</SPAN><SPAN class="ft54">Harlen, Wynne (2009) a.a.</SPAN></P>
<P class="p144 ft18">48</P>
</DIV>
<DIV id="page_47">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31247x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td32"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td33"><P class="p22 ft38">Om utvärdering</P></TD>
</TR>
</TABLE>
<P class="p64 ft13">Forskningsbaserad utvärdering och utvärderingsforskning</P>
<P class="p182 ft40">Att det finns en närhet mellan utvärdering och forskning framgår av att man i utvärderingssammanhang ibland talar om <SPAN class="ft43">forsknings- baserad utvärdering</SPAN>, dvs. utvärdering som går på djupet vad gäller teoretiska utgångspunkter, begrepp, metodik m.m. och som oftast genomförs av utvärderare med forskarkompetens.</P>
<P class="p13 ft10">Begreppet bör inte sammanblandas med begreppet <SPAN class="ft11">utvärderings- forskning</SPAN>. Detta begrepp kan visserligen ges samma innebörd som forskningsbaserad utvärdering, men avser oftast forskning <SPAN class="ft11">om </SPAN>utvärdering.</P>
<P class="p135 ft32"><SPAN class="ft32">3.2</SPAN><SPAN class="ft50">Olika metodologiska ansatser</SPAN></P>
<P class="p146 ft10">Fokus i detta avsnitt ligger på utvärdering som sker på nationell nivå. Utvärdering kan givetvis även ske på lokal nivå samt inom enskilda verksamheter och det finns särskilda utvärderingsdesigner som utvecklats för att passa olika sådana syften. Exempel på sådana former av utvärdering är bl.a. följeforskning och brukarutvärdering. Dessa med flera andra liknande ansatser kommer inte att tas upp här.</P>
<P class="p92 ft10">Även när denna avgränsning gjorts kan det konstateras att anta- let teoretiska utgångspunkter, modeller och metoder inom utvär- deringsområdet i dag är mycket stort och att nya designer utvecklas ständigt. Området är alltså svåröverskådligt. Så sent som 2012 kon- staterade forskare att det saknas en allmänt erkänd terminologi och typologi inom området<SPAN class="ft55">22</SPAN>. Även en välkänd handbok<SPAN class="ft82">23 </SPAN>inom området avstår från att försöka ge en samlad översikt över hur olika teorier och metoder förhåller sig till varandra. Snarare än att slå fast vilken/vilka metoder som är den/de enda rätta har handboken som utgångspunkt att diskutera vad som är god utvärdering. En annan utgångspunkt är att utvärderingsmetod bör väljas utifrån syftet med utvärderingen.</P>
<P class="p233 ft10">Utredningen anser detta vara insiktsfulla utgångspunkter som det går att finna stöd för såväl inom forskningen som bland dem som praktiskt utför utvärderingar.</P>
<P class="p62 ft59"><SPAN class="ft51">22</SPAN><SPAN class="ft70">Gough, David, James Thomas and Sandy Oliver (2012) </SPAN><SPAN class="ft58">Clarifying differences between review designs and methods</SPAN>. BioMed Central. Systematic reviews.</P>
<P class="p234 ft31"><SPAN class="ft51">23</SPAN><SPAN class="ft54">Ian F. Shaw, Jennifer C. Greene and Melvin M. Mark (2006) </SPAN><SPAN class="ft74">The Sage Handbook of Evaluation</SPAN>. Sage Publications London, Thousand Oaks, New Delhi.</P>
<P class="p197 ft18">49</P>
</DIV>
<DIV id="page_48">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31248x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p150 ft13"><SPAN class="ft13">3.2.1</SPAN><SPAN class="ft69">Effektutvärdering</SPAN></P>
<P class="p73 ft9">Den tydligaste skiljelinjen inom utvärderingsområdet när det gäller metodologi är, historiskt sett, den som handlar om kvantitativa och kvalitativa metoder. Denna och andra diskussioner är dock inte specifika för forskningen om utvärdering utan bör ses som åter- speglingar av centrala kunskaps- och vetenskapsteoretiska diskus- sioner som ständigt förs i vetenskapssamhället – diskussioner som både format den vetenskapliga utvecklingen och formats av denna.</P>
<P class="p54 ft10">Effektutvärdering (effektmätning) uppfattas av många som starkt kopplad till kvantitativ analys och kvantitativ presentation av resultat. Effektutvärdering har också traditionellt sett varit så starkt förknippad med utvärdering att begreppen för vissa närmast fram- stått som synonyma<SPAN class="ft55">24</SPAN>.</P>
<P class="p55 ft13">Den kontrafaktiska utgångspunkten</P>
<P class="p230 ft10">Med ”effekt” menas per definition alltid en <SPAN class="ft11">jämförelse </SPAN>mellan en faktisk uppmätt (skattad) utveckling och den utveckling som skulle ha inträffat om den gjorda insatsen inte hade gjorts, dvs. den <SPAN class="ft11">kontrafaktiska utvecklingen</SPAN>.</P>
<P class="p107 ft10">Det randomiserade kontrollerade experimentet (<SPAN class="ft11">randomized controlled trials, RCT</SPAN>) är en kraftfull teknik för effektmätning, som bygger på jämförelser mellan slumpmässigt konstruerade försöks- och kontrollgrupper. En RCT kan med hög validitet och reliabilitet ge svar på frågor om korrelation (samband) och kausalitet (orsak- verkan). Modellen omnämns därför ofta som en ”gyllene standard” för utvärdering.</P>
<P class="p54 ft10">När det inte finns förutsättningar för att konstruera ett experi- ment med en slumpmässigt konstruerad kontrollgrupp kan man använda en så kallad <SPAN class="ft11">kvasiexperimentell </SPAN>design. Vid en sådan design åstadkoms en jämförelsegrupp, som i allt väsentligt antas motsvara experimentgruppen, men som inte är slumpmässigt konstruerad. Detta kan ske i efterhand. Ibland kan s.k. naturliga experiment uppstå, som gör att en viss population kan delas in i en experiment- respektive en jämförelsegrupp.</P>
<P class="p235 ft31"><SPAN class="ft30">24 </SPAN>Den första generationen av utvärderare har t.ex. benämnts ”the measurement generation”.</P>
<P class="p144 ft18">50</P>
</DIV>
<DIV id="page_49">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31249x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td32"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td33"><P class="p22 ft38">Om utvärdering</P></TD>
</TR>
</TABLE>
<P class="p64 ft13">Effektutvärderingens möjligheter och begränsningar</P>
<P class="p172 ft9">Samtidigt som effektutvärdering i många sammanhang är en stark utvärderingsmetod står det klart att effektstudier – precis som varje annan form av utvärdering – också kan förknippas med olika svårig- heter och begränsningar. De kan vara tids- och resurskrävande och de kräver också att reform- och implementeringsstrategier utformas på ett sådant sätt att de blir möjliga att genomföra.</P>
<P class="p92 ft40">Enligt betänkandet <SPAN class="ft43">Att nå ut och nå ända fram </SPAN>(SOU 2009:94) är det ofta svårt att fastställa en sluteffekt om effektkedjan (eller mål- medelkedjan) är lång och sker i flera steg. Liknande problem upp- står om flera förändringar sker samtidigt. Det blir då svårt att sär- skilja de olika effekterna från varandra. Utredningen konstaterar att skolan är ett område där svårigheter med långa effektkedjor och med att särskilja effekter från varandra är vanligt, något som pekar på behovet av kompletterande ansatser.</P>
<P class="p15 ft10">Synsättet att så många olika slags fakta oftast är involverade i en förändring att det inte går, eller är mycket svårt, att hänföra en viss förändring till en specifik intervention är även företrätt inom forsk- ningen. White konstaterar till exempel ”<SPAN class="ft11">att mäta är inte att utvär- dera”</SPAN><SPAN class="ft55">25</SPAN>. Han menar att det i många fall är rimligare att titta efter bidrag (contribution) än efter effekter (attribution). Det finns ofta fler än en händelse som påverkat en viss förändring och många resultat är inte heller dikotoma, dvs. det är inte fråga om antingen eller. Frågan är snarare hur stor andel av den samlade effekten som kan tillskrivas en viss intervention.</P>
<P class="p204 ft40">En annan invändning som riktats mot effektutvärdering handlar om att denna metod anses utesluta olika former av kvalitativa data, till exempel i form av enkätsvar eller genom observationer. Det har hävdats att det finns angelägna <NOBR>varför-frågor</NOBR> som effektutvärdering kan ha svårt att besvara, dvs. en typ av frågor som politiker och beslutsfattare ofta vill ha svar på.</P>
<P class="p92 ft39">Det finns forskare som menar att utvärdering av politiska inter- ventioner måste gå längre än vad som vanligen sker vid studier av hur politik och politiskt beslutsfattande bidrar till utveckling av demokrati och politisk legitimitet. <SPAN class="ft75">26 </SPAN>Frågor måste också ställas om huruvida politiken är väl utformad för den särskilda problemsitua- tionen och vilka värderingar och vilken ordning den främjar. Frågor</P>
<P class="p236 ft58"><SPAN class="ft51">25</SPAN><SPAN class="ft70">White, Howard (2010) </SPAN>A contribution to Current Debates in Impact Evaluation<SPAN class="ft59">. Evaluation, No. 16:53.</SPAN></P>
<P class="p237 ft74"><SPAN class="ft51">26</SPAN><SPAN class="ft54">Hanberger, Anders (2001) </SPAN>What is the Policy Problem? Methodological Challenges in Policy Evalation<SPAN class="ft31">. Evaluation, Vol. 7, No. 45.</SPAN></P>
<P class="p197 ft18">51</P>
</DIV>
<DIV id="page_50">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31250x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">av detta slag kan, menar man, inte besvaras inom ramen för en strikt <NOBR>RCT-studie.</NOBR></P>
<P class="p106 ft10">Danmarks Evalueringsinstitut (EVA) är inne på liknande tanke- gångar. Vill man undersöka om insatsen har haft effekt eller inte bör man enligt EVA undersöka möjligheterna att genomföra en effektutvärdering med en experimentell ansats. Vill man i stället förstå hur och på vilket sätt en insats påverkar eller inte påverkar ett visst resultat, därför att man kanske vill förbättra eller justera insatsen, bör man använda en processinriktad, dvs. en program- teoretisk, ansats. Detta behöver enligt EVA inte uppfattas som att det finns en hierarki mellan olika metoder. De svarar helt enkelt mot olika frågeställningar och levererar olika slags kunskap. Den experimentella ansatsen kan t.ex. ge ett kvantitativt mått på styrkan i ett samband, medan den processinriktade ansatsen kan bidra till en förståelse och förklaring av ett sådant samband (eller till avsak- naden av ett sådant). Det kan därför finnas goda skäl att kombinera dessa båda ansatser i stället för att se dem som uteslutande varandra. <SPAN class="ft55">27</SPAN></P>
<P class="p238 ft9">Utredningen konstaterar att det hela tiden pågår en utveckling av metoder för effektutvärdering, inte minst till följd av att den statistiska metodiken förfinas alltmer. Inte sällan handlar de metodo- logiska nyheterna om mer avancerade modeller för att hantera bias<SPAN class="ft28">28 </SPAN>av olika slag. Den experimentella ansatsen utvecklas också på så sätt att man inte endast intresserar sig för effekter i form av resultat utan även för att undersöka processer och mekanismer.<SPAN class="ft28">29</SPAN></P>
<P class="p239 ft13"><SPAN class="ft13">3.2.2</SPAN><SPAN class="ft69">Teoribaserad utvärdering</SPAN></P>
<P class="p53 ft10">Teoribaserad eller teoridriven utvärdering kan vid sidan av effekt- utvärdering ses som en andra huvudinriktning inom utvärdering.</P>
<P class="p127 ft10">De teoribaserade utvärderingsmodellerna utgår från en teoretisk referensram som beskriver utvärderingsobjektets tillkomst, organisa- tion, mål och verksamhet, samt kopplingar mellan dessa och mellan organisationen och omvärlden.</P>
<P class="p240 ft72"><SPAN class="ft51">27</SPAN><SPAN class="ft52">Danmarks Evalueringsinstitut </SPAN>Hvordan kan man evaluere effekt?</P>
<P class="p151 ft53"><NOBR>(www.eva.dk/udgivelser/2012/effektevaluering-notat)</NOBR></P>
<P class="p232 ft62"><SPAN class="ft51">28</SPAN><SPAN class="ft61">Snedvridning. Allmänt: felaktigheter i vetenskapliga resultat p.g.a. något systematiskt fel i forskningsprocessen vad gäller t.ex. insamling av data, bearbetning eller analys av resultat.</SPAN></P>
<P class="p151 ft58">Källa: <SPAN class="ft59">NE.</SPAN></P>
<P class="p232 ft31"><SPAN class="ft51">29</SPAN><SPAN class="ft60">Se t.ex. Jens Ludwig, Jeffrey R. Kling and Sendhil Mullainathan (2011) </SPAN><SPAN class="ft74">Mechanism Experiments and Policy Evaluations</SPAN>. Journal of Economic Perspectives, Vol. 25, Nr. 3.</P>
<P class="p134 ft18">52</P>
</DIV>
<DIV id="page_51">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31251x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td32"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td33"><P class="p22 ft38">Om utvärdering</P></TD>
</TR>
</TABLE>
<P class="p241 ft39"><NOBR>EU-kommissionen<SPAN class="ft75">30</SPAN></NOBR><SPAN class="ft75"> </SPAN>anger att teoribaserad utvärdering fokuse- rar på de teorier som ligger inbäddade i en policy eller ett program, dvs. de antaganden som beslutsfattare och intressenter gör avse- ende de förutsättningar, mekanismer och ramar som krävs för att en intervention ska fungera. Teoribaserade effektutvärderingar testar dessa antaganden mot de resultat som observeras (empiri) i samband med de olika stegen i programteorin och undersöker även andra faktorer som kunnat påverka utfallet. Därigenom blir det möjligt att förklara varför och hur resultaten har inträffat och att bedöma i vilken mån det specifika programmet bidragit till resul- taten och i vad mån andra faktorer påverkat dessa.</P>
<P class="p242 ft10">Kommissionen menar att det är av största betydelse för besluts- fattandet att förstå varför och under vilka förutsättningar en inter- vention av något slag påverkar och ger upphov till effekter. Teori- baserade utvärderingar gör det möjligt att bedöma om ett program fungerar, hur det fungerar och i vilket sammanhang. Samtidigt skapar de en ram för att bedöma effekten av komplexa program som integrerar olika interventioner och kan användas för verk- samhet som inte lämpar sig för utvärderingar av kontrafaktiska effekter.</P>
<P class="p243 ft13">Programteori</P>
<P class="p91 ft10">En utgångspunkt för teoribaserad utvärdering är att det går att bilda sig en uppfattning om vilka antaganden som beslutsfattaren gjort om hur reformen eller åtgärden är tänkt att verka för att upp- nå avsett syfte, en s.k. programteori.</P>
<P class="p100 ft9">Programteori kan beskrivas som välgrundade och väl motiverade uppfattningar om hur och varför en intervention antas påverka något<SPAN class="ft28">31</SPAN>. Genom att redogöra för de olika sätt som en intervention kan tänkas påverka en verksamhet, en situation eller ett resultat kan man klarlägga vilka mekanismer som fungerar och hur de gör det. Programteorin ger stöd för vad som bör undersökas i utvärderingen och i vilken ordning samt är ett viktigt led i bedömningen av en eller flera effekter. Programteorin bör därför utformas samtidigt som själva utvärderingsfrågan formuleras.</P>
<P class="p15 ft10">Programteorin uttrycks sällan explicit i ett visst beslut eller i de underlag som tagits fram inför beslutet. Inom forskningen om</P>
<P class="p244 ft53"><SPAN class="ft51">30</SPAN><SPAN class="ft52">www.ec.europa.eu/regional_policy/information/evaluations/impact_faq_theor_en.cfm</SPAN></P>
<P class="p126 ft74"><SPAN class="ft51">31</SPAN><NOBR><SPAN class="ft54">Dahler-Larsen,</SPAN></NOBR><SPAN class="ft31"> Peter (2005) </SPAN>Vaikuttavuuden arviointi. (Utvärdering av effektivitet). <SPAN class="ft31">Stakes.</SPAN></P>
<P class="p50 ft18">53</P>
</DIV>
<DIV id="page_52">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31252x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p139 ft9">utvärdering har det utvecklats olika metoder för hur en program- teori kan konstrueras i efterhand. Programteorin bör utarbetas med stöd av olika källor som kan ge en uppfattning om t.ex. en regerings antaganden om relationen mellan åtgärd och utfall för en tänkt reform. Källor kan i detta fall vara t.ex. bakomliggande dokument eller information från intervjuer med personer som haft insyn i förberedelserna för reformen. Svaret ges sällan i en proposition.</P>
<P class="p245 ft10">Programteorin utformas ofta med hjälp av formen ”om – så”<SPAN class="ft55">32</SPAN>. För detta finns olika metoder, t.ex. kan man ta fram s.k. CMO- konfigurationer <NOBR>(context-mechanism-outcomes)</NOBR> som visar hur en viss mekanism producerar ett visst resultat under vissa för- hållanden. Försök har även gjorts att fastställa effekten av sådana mekanismer med hjälp av experiment. De metoder som utvecklats för att göra effektutvärderingar har på så sätt visat sig användbara för att bekräfta eller förkasta de resultat som framkommit i studier med en programteoretisk ansats<SPAN class="ft55">33</SPAN>.</P>
<P class="p239 ft13"><SPAN class="ft13">3.2.3</SPAN><SPAN class="ft69">Utvärdering av komplexa system</SPAN></P>
<P class="p53 ft10">Utgångspunkten för den typ av programteori som den teori- baserade utvärderingsansatsen bygger på, är att det föreligger linjära orsakssamband (kausalitet), dvs. att saker inträffar i en viss följd. ”Om A görs, så inträffar B och resultatet blir C …”. Många har dock konstaterat att offentlig verksamhet sällan består av sådana enkla situationer. Snarare präglas offentlig verksamhet, som till exempel, sjuk- och hälsovård, socialt arbete och utbildning, av att verksamheten är komplex.</P>
<P class="p169 ft9">Man skiljer ofta på enkla, komplicerade och komplexa situa- tioner eller verksamheter. En <SPAN class="ft12">intervention i en enkel situation </SPAN>karaktäriseras av det är enkelt att utforma åtgärden och att effekten av en denna enkelt kan förutses och upprepas med gott resultat. Inom sjukvården brukar man exemplifiera med att ta en huvudvärkstablett. En <SPAN class="ft12">intervention i en komplicerad situation </SPAN>karaktäriseras av att åt- gärden visserligen är komplicerad, men att effekten kan förutses och upprepas. Inom sjukvården brukar knäledsoperationen ges som exempel. Ett exempel från ett annat område gäller rymdfärder, som visserligen bygger på en komplicerad teknik, men när denna väl har</P>
<P class="p246 ft53"><SPAN class="ft51">32</SPAN><SPAN class="ft52">Leeuw, Frans L. (2003) a.a.</SPAN></P>
<P class="p247 ft31"><SPAN class="ft51">33</SPAN><SPAN class="ft60">Ludwig, Jens & Jeffrey R. Kling & Sendhil Mullainathan (2011) </SPAN><SPAN class="ft74">Mechanism Experiments and Policy Evaluations, </SPAN>Journal of Economic Perspectives, Vol 25 No 3.</P>
<P class="p134 ft18">54</P>
</DIV>
<DIV id="page_53">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31253x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td32"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td33"><P class="p22 ft38">Om utvärdering</P></TD>
</TR>
</TABLE>
<P class="p192 ft9">utvecklats kan färden upprepas med förväntat resultat. En <SPAN class="ft12">inter- vention i en komplex situation </SPAN>kännetecknas däremot av att en åtgärd inte självklart får samma effekt när den upprepas. Barnuppfostran har angivits som ett exempel på en komplex situation.<SPAN class="ft28">34</SPAN></P>
<P class="p14 ft10">Komplexa situationer kännetecknas av <NOBR><SPAN class="ft11">icke-linjär</SPAN></NOBR><SPAN class="ft11"> kausalitet</SPAN>, dvs. att sambandet mellan orsak och verkan inte är tydligt, direkt eller proportionerligt. Komplexa situationer präglas även av <SPAN class="ft11">oförutsäg- barhet </SPAN>eftersom det finns många aktörer som påverkar och påverkas av varandras beteenden, och som i sin tur påverkar och påverkas av systemet samtidigt som externa faktorer ständigt påverkar situa- tionen.</P>
<P class="p204 ft81"><SPAN class="ft39">Vidare kan det finnas </SPAN>flera samtidiga eller flera alternativa kausala vägar<SPAN class="ft39">, dvs. det finns flera olika sätt som verksamheten kan genom- föras på för att de slutgiltiga effekterna ska uppstå. Forskare</SPAN><SPAN class="ft75">35 </SPAN><SPAN class="ft39">talar till exempel om </SPAN>framväxande resultat <SPAN class="ft39">(emergent outcomes), dvs. att de specifika resultaten uppstår under hand under implementeringen av en intervention. Fenomenet med framväxande resultat är kopp- lat till att människors beteendemönster inte är konstanta i kom- plexa, föränderliga system. När systemets omgivning förändras så förändras även beteendet hos de som agerar i systemet, och, som en följd av detta, förändras systemet som helhet. Sådana framväxande resultat är vanliga i samband med omfattande samhälleliga interven- tioner.</SPAN></P>
<P class="p248 ft10">Det är lätt att konstatera att utbildning är en komplex verksamhet, där samma åtgärd långt ifrån alltid leder till samma effekt inom alla skolenheter. Ett skäl till detta är att interventioner i skolan i hög grad är beroende av mänskligt beteende. Skolan är därtill ett omfat- tande socialt system med flera olika ansvarsnivåer. Insatser av olika slag beslutas på en nivå i systemet men implementeras i en lokal verksamhet där varje miljö är unik. Som en följd av detta uppstår varierande (eller heterogena) effekter.</P>
<P class="p249 ft10">Eftersom mänskligt beteende varierar under påverkan av olika kontexter är det nödvändigt att intressera sig för teorier som kan bidra till att förklara och ”förutsäga” hur särskilda kontexter påver- kar individer att agera på ett visst sätt och därigenom åstadkomma ett visst specifikt utfall eller resultat.</P>
<P class="p103 ft59"><SPAN class="ft51">34</SPAN><SPAN class="ft70">Glouberman, Sholom & Brenda Zimmerman (2002) Complicated and Comlex Systems: What Would Successful Reform of Medicare look like? Commision on the Future of Helth Care in Canada. Discussion paper, no. 8.</SPAN></P>
<P class="p236 ft74"><SPAN class="ft51">35</SPAN><SPAN class="ft54">Rogers, Patricia (2008) </SPAN>Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions<SPAN class="ft31">. Evaluation, 14:29.</SPAN></P>
<P class="p197 ft18">55</P>
</DIV>
<DIV id="page_54">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31254x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p250 ft10">Forskningen har gjort vissa framsteg i fråga om möjligheten att formulera detta slags förklaringar och sådan ”förutsägbarhet”. <SPAN class="ft11">Realist evaluation</SPAN><SPAN class="ft55">36 </SPAN>är en ansats som bland annat fokuserar vilka grupper som gynnats respektive inte gynnats av ett program eller en åtgärd. Bedömningen av en åtgärds effektivitet handlar då inte endast om att bedöma utfallet i termer av orsak och verkan, t.ex. genom att ställa en grupp som berörts av åtgärden mot en grupp som inte berörts, utan också om att bedöma variationen inom den grupp eller mellan de grupper som berörts av åtgärden.</P>
<P class="p96 ft45">Slutsatsen är således inte att det är omöjligt att utvärdera inter- ventioner inom en komplex verksamhet som skolan. Däremot krävs en god utvärderingsdesign, som i många fall bygger på en variation av olika metoder och är utformad med utgångspunkt i en väl genomtänkt reformstrategi (se vidare kapitel 6).</P>
<P class="p251 ft13"><SPAN class="ft13">3.2.4</SPAN><SPAN class="ft69">Systematiska översikter</SPAN></P>
<P class="p199 ft10">En systematisk översikt (systematic review) är inte en utvärde- ringsdesign utan en sammanställning av ”bästa möjliga kunskap” inom ett visst område. Arbetet med att ta fram en systematisk översikt följer ett rigoröst protokoll som syftar till att säkerställa att den slutliga bedömningen bygger på ett urval av relevanta studier av högsta vetenskapliga kvalitet. Av protokollet framgår vad som krävs i form av sökstrategi vid sökning i databaser, transparens vad gäller urvalsmetoder och former för att säkerställa vetenskaplig kvalitet. En vanlig metod är peer review, dvs. att kvalificerade oberoende forskare granskar metoder och resultat.</P>
<P class="p82 ft10">Systematiska översikter har kommit att bli en viktig beståndsdel i den strömning för evidensbaserad politik och praktik som vuxit sig stark i många länder.<SPAN class="ft55">37 </SPAN>Strömningen går tillbaka till den brittiske läkaren Archibald Cochrane som i början av <NOBR>1970-talet</NOBR> hävdade att medicinsk behandling skulle kunna bli mycket effektivare om man i större utsträckning arbetade med vetenskapligt kvalitetssäkrade metoder<SPAN class="ft55">38</SPAN>.</P>
<P class="p213 ft53"><SPAN class="ft51">36</SPAN><SPAN class="ft52">Pawson, Ray & Nick Tilley (1997) </SPAN><SPAN class="ft72">Realistic Evaluation</SPAN>. Sage.</P>
<P class="p232 ft62"><SPAN class="ft51">37</SPAN><SPAN class="ft61">Framställningen utgår från Bohlin, Ingemar (2010) </SPAN><SPAN class="ft63">Systematiska översikter, vetenskaplig kumulativitet och evidensbaserad pedagogik</SPAN>. Pedagogisk forskning i Sverige, årg. 15, nr. 2/3.</P>
<P class="p180 ft72"><SPAN class="ft51">38</SPAN><SPAN class="ft71">Cochranes, Archibald (1972) </SPAN>Effectiveness and Efficiency: Random Reflections on Health Services<SPAN class="ft53">. London: Nuffield Provincial Hospitals Trust, 1972. (Reprinted in 1989 in associa- tion with the BMJ, Reprinted in 1999 for Nuffield Trust by the Royal Society of Medicine Press, London.</SPAN></P>
<P class="p252 ft18">56</P>
</DIV>
<DIV id="page_55">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31255x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td32"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td33"><P class="p22 ft38">Om utvärdering</P></TD>
</TR>
</TABLE>
<P class="p253 ft10">Det stora genomslaget för Cochranes idéer kom sedan andra forskare<SPAN class="ft55">39 </SPAN>utvecklat en metod för att jämföra effekter av olika behandlingar och att genom ett enhetligt mått, <SPAN class="ft11">effektstorlek</SPAN>, göra individuella undersökningar jämförbara. En <SPAN class="ft11">metaanalys </SPAN>är den term som används när en sammanvägning görs av ett stort antal studiers effektstorlek till ett sammanvägt mått.</P>
<P class="p63 ft40">Metoden att fastställa effektstorlekar medförde att de systema- tiska översikterna till en början helt kom att bygga på kvantitativa metoder. Tidigt började dock en kritik växa fram mot att metoden uteslöt andra, mer kvalitativt inriktade forskningsdesigner. Fors- kare med samhällsvetenskaplig och social inriktning menade att det är både möjligt och nödvändigt att göra systematiska översikter byggda även på kvalitativt inriktade studier. Annars kommer helt enkelt inte ett stort antal frågor att kunna besvaras. Successivt har ståndpunkten vunnit mark att även kvalitativa studier, som bygger på t.ex. observationer och intervjuer, kan ingå i underlaget för systematiska översikter. <SPAN class="ft43">Metasyntes </SPAN>har kommit att bli en samlings- beteckning för metoder med vars hjälp resultaten av kvalitativa studier kan integreras.</P>
<P class="p137 ft10">Inom vetenskapssamhället har en intensiv diskussion förts om den evidensbaserade ansatsens anspråk och begränsningar. Å ena sidan finns ett brett stöd för behovet av kunskapsöversikter och synteser av forskningsläget inom olika områden – dels som grund för den fortsatta inomvetenskapliga utvecklingen, dels som grund för professionell praktik och beslutsfattande på policynivå. Å andra sidan har det funnits en diskussion om vad som kan utgöra evidens och därmed vilken slags forskning som kan ingå i en systematisk översikt. Diskussionen har även rört hur forskningsresultat kan omsättas i god praktik och vilka förutsättningar som krävs för att detta ska kunna ske.</P>
<P class="p254 ft10">Systematiska översikter syftar till att ta fram bästa möjliga kunskap som grund för politiska beslut eller för praktiskt verksammas beslut om handlingar, aktiviteter, processer m.m. De har alltså en viktig roll att spela i den evidensinformerade politik och verksam- het som diskuterades i föregående kapitel.</P>
<P class="p13 ft10">Systematiska översikter syntetiserar redan befintlig kunskap. Om det saknas studier (nationella eller internationella), eller om</P>
<P class="p255 ft31"><SPAN class="ft30">39 </SPAN>Gene Glass tillsammans med Mary Lee Smith.</P>
<P class="p50 ft18">57</P>
</DIV>
<DIV id="page_56">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p256 ft10">dessa inte håller tillräcklig vetenskaplig kvalitet, kan inte heller några systematiska översikter produceras.</P>
<P class="p257 ft32"><SPAN class="ft32">3.3</SPAN><SPAN class="ft50">Sammanfattande bedömning</SPAN></P>
<P class="p215 ft10">Genomgången av utvärderingslitteraturen tydliggör att det kan vara svårt att orientera sig rätt bland alla olika teorier och utgångs- punkter. Det framgår samtidigt att det också finns goda möjlig- heter att genomföra utvärdering, även i de fall förutsättningarna i förstone inte verkar finnas.</P>
<P class="p107 ft10">Gemensamt för god utvärdering av en reform eller insats är sammanfattningsvis att det finns</P>
<P class="p258 ft10"><SPAN class="ft83"></SPAN><SPAN class="ft20">en systematisk insamling av data (kvantitativ eller kvalitativ) till grund för analys, tolkningar och bedömningar,</SPAN></P>
<P class="p259 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">en metodik vid behandlingen av data (kvantitativ eller kva- litativ) som uppfyller rimliga krav på validitet och reliabilitet, samt</SPAN></P>
<P class="p260 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">en värdering (av utvärderingsobjektets nytta, effekter, påverkan eller motsvarande) i förhållande till något slags måttstock (rikt- värden, kriterier eller referenspunkter).</SPAN></P>
<P class="p131 ft10">Utöver dessa krav kan utvärderingar vara av en mängd olika slag, för att möta olika krav och förutsättningar: effektutvärdering, pro- gramteoretisk utvärdering, processutvärdering, etc.</P>
<P class="p109 ft11">Det behövs en mångfald av metoder</P>
<P class="p53 ft10">Genomgången av forskning inom området visar att flertalet utvär- deringsexperter och utvärderingsforskare är överens om att metoder för utvärdering bör väljas med utgångspunkt i själva objektet för utvärderingen och i de frågeställningar som ska utvärderas. Fler- talet forskare menar också att kombinationer av olika metoder kan vara en god strategi för att fånga olika aspekter av en mer eller mindre sammansatt verklighet.</P>
<P class="p96 ft39">I likhet med flertalet forskare och utvärderare ansluter vi oss till ett utvärderingsbegrepp som kan omfatta såväl att mäta effekter och skatta samband som att bedöma eller värdera ett utvärderings- objekt, att söka efter förklaringar till varför vissa effekter eller</P>
<P class="p261 ft18">58</P>
</DIV>
<DIV id="page_57">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31257x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td32"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td33"><P class="p22 ft38">Om utvärdering</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">resultat uppstått (eller inte uppstått) samt att försöka förstå olika processer och variationer i utfall.</P>
<P class="p16 ft10">Valet av metod för en specifik utvärdering bör vidare göras utifrån den eller de aktuella utvärderingsfrågorna och kvantitativt och kvalitativt inriktade metoder bör inte ställas mot varandra. Det behövs utvärdering av båda slagen.</P>
<P class="p100 ft40">Utvärdering av reformer ställer krav på att beställaren har en hög metodisk medvetenhet. En sådan medvetenhet innebär bland annat att vara uppmärksam på att det kan vara riskabelt, många gånger direkt olämpligt, att slå fast vilken slags utvärderingsmetod som ska användas – metodfrågor hanteras bäst av utvärderaren. För att åstadkomma relevanta utvärderingar av god kvalitet bör beställaren av utvärderingen däremot noga överväga vad det är för kunskaper man vill få ut som resultat av utvärderingsinsatsen, dvs. i vilket syfte utvärderingen ska genomföras, och hur man vill att utvärderingens resultat ska användas.</P>
<P class="p243 ft11">Utvärderingssystemet bör kunna hantera komplexitet</P>
<P class="p65 ft10">Forskningen har tagit fasta på att många offentliga verksamheter är sammansatta till sin karaktär. Man har använt olika begrepp för att beteckna denna karaktär – enkla respektive komplexa situationer, tama respektive svårlösta samhällsproblem<SPAN class="ft55">40 </SPAN>– men den verklighet man velat komma åt uppfattar vi är densamma.</P>
<P class="p92 ft40">Distinktionen mellan enkla och komplexa situationer är av stor betydelse för hur en utvärdering kan utformas och vilken slags vetande en utvärdering kan resultera i. Skolans verksamhet uppvisar alla kännetecken på en komplex och svårlöst verklighet. Detta får till följd att även interventioner i skolan i de flesta fall har en komplex karaktär, vilket både den övergripande reformstrategin och valet av metoder för utvärdering bör förhålla sig till.</P>
<P class="p92 ft39">Effektstudier med <NOBR>RCT-metodik</NOBR> kan i många sammanhang vara lämpliga. I andra sammanhang kan de leda till att regeringen endast får svar på mer begränsade frågeställningar och kommer att bli utan svar på angelägna frågor, som den kunde fått svar på om även andra utvärderingsmodeller använts. För att regeringen ska få maximalt utbyte av sina utvärderingsuppdrag ställs därför krav på beställar- kompetens och på att metodval inte låses i onödan.</P>
<P class="p89 ft86"><SPAN class="ft84">40 </SPAN>Begreppen tama respektive svårlösta samhällsproblem diskuteras t.ex. i betänkandet <SPAN class="ft85">Att tänka nytt för att göra nytta – om perspektivskiften i offentlig verksamhet </SPAN>(SOU 2013:40).</P>
<P class="p50 ft18">59</P>
</DIV>
<DIV id="page_58">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Om utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft11">Mångfald och komplexitet påverkar organiseringen</P>
<P class="p262 ft40">Utvärdering har en roll i olika skeden av en reform (före, under och efter) och kan genomföras med skilda strategier och metoder. Det medför att utvärderingen kan behöva organiseras på olika sätt. Det kan ske helt eller delvis inom ramen för ett existerande utvär- deringssystem, men det kan också ske genom att det skapas sär- skilda projekt eller uppdrag kopplade till en viss reform. Här väcks frågor om hur ett utvärderingssystem bör vara utformat för att kunna bidra med den kunskap som behövs, inte minst för att kunna identifiera behov av framtida politiska reformer eller andra åtgärder. Vilka beståndsdelar behöver det bestå av, hur hör de ihop, vem ansvarar för vad, vilken information/data behövs, etc? Här aktualiseras även frågor om när det behövs mer oberoende särskilda utvärderingar av reformer och hur dessa i så fall ska organiseras och förhålla sig till det befintliga utvärderingssystemet. Utredningen återkommer till dessa frågor i det följande.</P>
<P class="p263 ft18">60</P>
</DIV>
<DIV id="page_59">
<P class="p0 ft8">4 Dagens utvärderingssystem</P>
<P class="p264 ft10">För den fortsatta diskussionen om utvärdering av reformer, och behovet av data för sådan utvärdering, behöver utgångspunkt tas i dagens nationella system för uppföljning och utvärdering av skolan. Utöver uppföljning och utvärdering består systemet av viss tillsyn och granskning samt viss forskning. Systemet bidrar fortlöpande till systemkunskap om skolan, och utgör underlag för utvärdering av reformer. Här redogörs därför för dagens nationella uppfölj- nings- och utvärderingssystem. Redovisningen avser de väsentli- gaste inslagen i utvärderingssystemet och de aktörer som ansvarar för utvärderingen.</P>
<P class="p265 ft88"><SPAN class="ft32">4.1</SPAN><SPAN class="ft87">Det nationella uppföljnings- och utvärderingssystemet</SPAN></P>
<P class="p266 ft10">Huvudobjektet för detta avsnitt är det nationella systemet för upp- följning och utvärdering av skolan. Figur 4.1 är ett försök att schematiskt åskådliggöra den nationella uppföljningen och utvärde- ringens olika beståndsdelar och dess placering i gränslinjen mellan den nationella politikens styrning och skolans praktik. Modellen är extensiv i den meningen att den utöver vad som självklart kan räknas in som uppföljning och utvärdering även omfattar viss inspektion och granskning samt viss forskning. Gränserna mellan de olika aktiviteterna är inte skarpa. Till exempel kan en utvärdering genomföras med underlag från statistiksystemet eller med utgångs- punkt i data från t.ex. de internationella studierna. En utvärdering kan också genomföras som ett forskningsprojekt, etc. Modellen syftar till att skapa en översiktlig struktur för den fortsatta fram- ställningen.</P>
<P class="p267 ft18">61</P>
</DIV>
<DIV id="page_60">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31260x1.jpg" id="img1">
</DIV>
<DIV id="id_1">
<TABLE cellpadding=0 cellspacing=0 class="t10">
<TR>
<TD colspan=6 class="tr9 td34"><P class="p22 ft19">Dagens utvärderingssystem</P></TD>
<TD class="tr9 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr9 td35"><P class="p22 ft17"> </P></TD>
<TD colspan=4 class="tr9 td36"><P class="p29 ft19">SOU 2014:12</P></TD>
</TR>
<TR>
<TD class="tr18 td37"><P class="p22 ft17"> </P></TD>
<TD class="tr18 td38"><P class="p22 ft17"> </P></TD>
<TD class="tr19 td39"><P class="p22 ft17"> </P></TD>
<TD class="tr18 td40"><P class="p22 ft17"> </P></TD>
<TD class="tr18 td41"><P class="p22 ft17"> </P></TD>
<TD class="tr19 td42"><P class="p22 ft17"> </P></TD>
<TD class="tr18 td5"><P class="p22 ft17"> </P></TD>
<TD class="tr19 td43"><P class="p22 ft17"> </P></TD>
<TD class="tr18 td1"><P class="p22 ft17"> </P></TD>
<TD class="tr18 td44"><P class="p22 ft17"> </P></TD>
<TD class="tr19 td39"><P class="p22 ft17"> </P></TD>
<TD class="tr18 td45"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr20 td37"><P class="p22 ft17"> </P></TD>
<TD class="tr20 td46"><P class="p22 ft17"> </P></TD>
<TD class="tr20 td47"><P class="p22 ft17"> </P></TD>
<TD class="tr20 td40"><P class="p22 ft17"> </P></TD>
<TD class="tr20 td48"><P class="p22 ft17"> </P></TD>
<TD class="tr21 td49"><P class="p22 ft17"> </P></TD>
<TD class="tr20 td50"><P class="p22 ft17"> </P></TD>
<TD class="tr20 td51"><P class="p22 ft17"> </P></TD>
<TD class="tr20 td1"><P class="p22 ft17"> </P></TD>
<TD class="tr20 td52"><P class="p22 ft17"> </P></TD>
<TD class="tr20 td47"><P class="p22 ft17"> </P></TD>
<TD class="tr20 td45"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr11 td37"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td46"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td47"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td40"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td41"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td42"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td50"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td51"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td1"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td52"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td47"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td45"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr22 td37"><P class="p22 ft17"> </P></TD>
<TD class="tr22 td46"><P class="p22 ft17"> </P></TD>
<TD class="tr22 td47"><P class="p22 ft17"> </P></TD>
<TD class="tr22 td40"><P class="p22 ft17"> </P></TD>
<TD class="tr22 td48"><P class="p22 ft17"> </P></TD>
<TD class="tr23 td49"><P class="p22 ft17"> </P></TD>
<TD class="tr22 td50"><P class="p22 ft17"> </P></TD>
<TD class="tr22 td51"><P class="p22 ft17"> </P></TD>
<TD class="tr22 td1"><P class="p22 ft17"> </P></TD>
<TD class="tr22 td52"><P class="p22 ft17"> </P></TD>
<TD class="tr22 td47"><P class="p22 ft17"> </P></TD>
<TD class="tr22 td45"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr11 td37"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td46"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td47"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td40"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td41"><P class="p22 ft17"> </P></TD>
<TD class="tr5 td42"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td50"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td51"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td1"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td52"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td47"><P class="p22 ft17"> </P></TD>
<TD class="tr11 td45"><P class="p22 ft17"> </P></TD>
</TR>
<TR>
<TD class="tr24 td37"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td46"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td47"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td40"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td48"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td53"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td50"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td51"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td1"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td52"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td47"><P class="p22 ft89"> </P></TD>
<TD class="tr24 td45"><P class="p22 ft89"> </P></TD>
</TR>
<TR>
<TD class="tr25 td37"><P class="p22 ft90"> </P></TD>
<TD class="tr25 td46"><P class="p22 ft90"> </P></TD>
<TD class="tr26 td54"><P class="p22 ft91"> </P></TD>
<TD class="tr25 td40"><P class="p22 ft90"> </P></TD>
<TD class="tr25 td48"><P class="p22 ft90"> </P></TD>
<TD class="tr26 td49"><P class="p22 ft91"> </P></TD>
<TD class="tr25 td50"><P class="p22 ft90"> </P></TD>
<TD class="tr26 td55"><P class="p22 ft91"> </P></TD>
<TD class="tr25 td1"><P class="p22 ft90"> </P></TD>
<TD class="tr25 td52"><P class="p22 ft90"> </P></TD>
<TD class="tr26 td54"><P class="p22 ft91"> </P></TD>
<TD class="tr25 td45"><P class="p22 ft90"> </P></TD>
</TR>
</TABLE>
</DIV>
<DIV id="id_2">
<P class="p268 ft92">Modellen syftar till att tydliggöra att det nationella systemet å ena sidan vilar på lärares bedömning och betygssättning och på skolans och huvudmännens uppgiftslämning, dvs. på uppgifter från verk- samheten, och å andra sidan kan bidra till lokal skolutveckling. Vad som inte framgår av bilden är bland annat det uppgiftslämnande från den lokala nivån som består i att elever, lärare och skolledare svarar på enkäter eller på annat sätt bidrar med underlag till olika regelbundna studier, liksom det uppgiftslämnande som är för- knippat med sådana unika utvärderingsstudier som inte ingår i den regelbundna uppgiftsinsamlingen.</P>
<P class="p269 ft93">Vad som dessutom inte framgår, men som vi återkommer till i det följande, är vilka de centrala aktörerna är och ansvarsfördel- ningen dem emellan. Eftersom bilden ovan fokuserar det nationella uppföljnings- och utvärderingssystemet framgår inte heller de vik- tiga utvärderingsaktiviteter som bör genomföras av skolan och huvudmannen för att svara på lokala behov.</P>
<P class="p135 ft94"><SPAN class="ft94">4.1.1</SPAN><SPAN class="ft95">Uppföljning och utvärdering</SPAN></P>
<P class="p270 ft93">Skolverket har det huvudsakliga ansvaret för det nationella uppfölj- ningssystemet. Nationella utvärderingsstudier genomförs av Skol- verket och av även andra aktörer.</P>
<P class="p271 ft18">62</P>
</DIV>
</DIV>
<DIV id="page_61">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31261x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td56"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td57"><P class="p22 ft38">Dagens utvärderingssystem</P></TD>
</TR>
</TABLE>
<P class="p64 ft13">Det nationella uppföljningssystemet</P>
<P class="p272 ft11">Skolverkets nationella uppföljning</P>
<P class="p266 ft10">Skolverket är statistikansvarig myndighet för den <SPAN class="ft11">officiella statistiken </SPAN>om skolväsendet<SPAN class="ft55">1</SPAN>. Det är dock Statistiska Centralbyrån (SCB) som på Skolverkets uppdrag svarar för att samla in uppgifterna från skolhuvudmännen.</P>
<P class="p63 ft40">Syftet är att den officiella statistiken ska ge en samlad bild av skolans verksamhet. Varje år samlas uppgifter in om barn, elever, personal, kostnader och utbildningsresultat. Uppgifterna samman- ställs till statistik per verksamhetsform och skolform. Statistiken presenteras på såväl <NOBR>riks-,</NOBR> <NOBR>läns-,</NOBR> kommun- som skolnivå.</P>
<P class="p66 ft10">För grundskolan finns <SPAN class="ft11">strukturella uppgifter </SPAN>om t.ex.</P>
<P class="p86 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">antal elever och grundskolor, fördelat på huvudman, årskurs samt kön,</SPAN></P>
<P class="p273 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">moderna språk, svenska som andraspråk och modersmål,</SPAN></P>
<P class="p274 ft40"><SPAN class="ft41">-</SPAN><SPAN class="ft42">antal lärare och annan pedagogisk personal som arbetar i sko- lorna, lärartäthet och andelen lärare med pedagogisk högskole- examen samt vilka ämnen lärarna undervisar i, samt</SPAN></P>
<P class="p275 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">totalkostnader och kostnader per elev samt kostnader för undervisning, lokaler, läromedel, elevvård, skolmåltider m.m.</SPAN></P>
<P class="p89 ft40">Dessutom finns statistik över studieresultaten. Den består av <SPAN class="ft43">slut- betyg för eleverna i årskurs 9 </SPAN>bland annat i form av genomsnittligt meritvärde, behörighet till nationella program i gymnasieskolan och betyg per ämne. Från och med 2013 finns även <SPAN class="ft43">betygsresultat för eleverna i årskurs 6</SPAN>. Betygsuppgifterna fördelas på huvudman, års- kurs, kön, svensk respektive utländsk bakgrund och i vissa fall även efter invandringsår samt på föräldrarnas utbildningsnivå.</P>
<P class="p204 ft11"><SPAN class="ft10">Vidare finns statistik över </SPAN>resultat från de nationella proven <SPAN class="ft10">för eleverna i årskurs 9. För vissa år finns även resultat från årskurs 5 och årskurs 3. Från och med 2012 ersätter resultat från årskurs 6 de tidigare resultaten från årskurs 5. Uppgifter fördelas på andel elever totalt, per kön, utländsk bakgrund och i vissa fall efter föräldrarnas högsta utbildningsnivå. (Se vidare nedan.)</SPAN></P>
<P class="p13 ft10">Karaktäristiskt för den officiella statistiken är att den är stabil över tid. Justeringar med hänsyn till förändrade strukturer och</P>
<P class="p276 ft31"><SPAN class="ft30">1 </SPAN>Enligt förordningen (2001:100) om den officiella statistiken.</P>
<P class="p50 ft18">63</P>
</DIV>
<DIV id="page_62">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31262x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Dagens utvärderingssystem</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft9">bestämmelser måste naturligtvis genomföras, men stor vikt läggs vid att det ska vara möjligt att följa utveckling över tid. En hel del uppgifter lämpar sig dock inte särskilt väl för jämförelser över tid. När man vill följa reformer är det t.ex. ett problem att statistiken över betyg och resultat på nationella prov knappast lämpar sig för trendanalyser. Det gäller särskilt i samband med en reformperiod av det slag som vi nu befinner oss i, då förändringar i både betygs- och provsystemet ingår i det samlade reformpaketet. Vi har belyst detta i vårt delbetänkande<SPAN class="ft28">2 </SPAN>och återkommer till frågan i kapitel 9.</P>
<P class="p54 ft10">Utöver den officiella statistiken samlar Skolverket regelbundet in uppgifter om attityder till skolan, som publiceras i rapporten <SPAN class="ft11">Attityder till skolan, </SPAN>och som måste anses ingå i det nationella upp- följningssystemet. Samma sak gäller t.ex. Skolverkets uppföljning om <NOBR>it-användning</NOBR> respektive om simkunnighet.</P>
<P class="p109 ft11">Andra aktörers insamling av longitudinella uppföljningsdata</P>
<P class="p53 ft10">Sedan början av <NOBR>1960-talet</NOBR> har Statistiska centralbyrån (SCB) i samverkan med olika forskningsinstitutioner genomfört uppfölj- ningsundersökningar inom skolväsendet. Dessa undersökningar är sedan 1990 sammanslagna till ett forskningsprojekt vid Göteborgs universitet benämnt ”Utvärdering Genom Uppföljning” (UGU), fortfarande i samarbete med SCB.</P>
<P class="p169 ft9">Uppföljningsundersökningarna är ett led i den nationella utvär- deringen av skolan och utgör underlag för forskning inom fram- förallt det samhällsvetenskapliga forskningsområdet. Hittills har nio uppföljningsundersökningar (s.k. elevpaneler), som baseras på stora och riksrepresentativa stickprov från olika årskullar av elever, startat. Det första urvalet gjordes bland födda 1948. För varje stick- prov insamlas administrativa data och enkätuppgifter. Vidare ingår resultat från olika kognitiva test och kunskapsprov. Dessa görs av Pedagogiska institutionen vid Göteborgs universitet. De har varit de samma ända sedan den första kohorten, vilket gör databasen unik även i ett internationellt perspektiv. Panelerna följs sedan de slutat grundskolan med hjälp av registerdata samt genom enkätunder- sökningar som vänder sig till elever, lärare och föräldrar.</P>
<P class="p141 ft45">Avsikten med de omfattande datainsamlingarna är att möjlig- göra såväl längdsnitts- som tvärsnittsundersökningar av stora och representativa elevurval. Härigenom har man bl.a. kunnat belysa</P>
<P class="p52 ft74"><SPAN class="ft30">2 </SPAN><SPAN class="ft31">SOU 2013:30 </SPAN>Det tar tid – om effekter av skolpolitiska reformer<SPAN class="ft31">.</SPAN></P>
<P class="p144 ft18">64</P>
</DIV>
<DIV id="page_63">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td56"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td57"><P class="p22 ft38">Dagens utvärderingssystem</P></TD>
</TR>
</TABLE>
<P class="p192 ft10">hur olika faktorer i uppväxtmiljön successivt påverkat studieval och studieprestationer, i vilken grad denna påverkan förändrats mellan olika årskullar samt vilken betydelse olika utbildningspolitiska insatser haft i detta sammanhang. Insamlade data har också gett underlag till ett antal studier inom andra discipliner inom det samhällsveten- skapliga forskningsområdet samt ett antal utvecklingspsykologiska studier.</P>
<P class="p100 ft9">Sedan 1980 svarar SCB för de s.k. elevpanelerna för longitu- dinella studier, vilka ingår i den officiella statistiken. SCB:s insam- ling utgör även ett av underlagen för UGU, som dock kompletterar underlaget med egna tester och enkäter. SCB följer ett urval av elever genom grundskolan från och med skolår 3. Eleverna följs sedan vidare genom gymnasium, högskola och ut i arbetslivet. Sedan 1980 har paneler hittills startats åren 1980 för elever i årskurs 6 samt 1982, 1987, 1992, 1997, 2002 respektive 2008 för elever i års- kurs 3. Frågor ställs varje år till skolan så länge som eleven går i grund- skolan. Datainsamlingen sker genom en enkät som ställs till skolan om bl.a. stödundervisning, hemspråksundervisning, språkval och betyg. Dessa data kompletteras sedan med uppgifter ur register för att följa eleven efter grundskolans slut. Elevpanelerna är i första hand ett samarbete mellan SCB och UGU vid Göteborgs universitet.</P>
<P class="p277 ft13">Nationella provsystemet</P>
<P class="p123 ft10">Skolverket har regeringens uppdrag att svara för det nationella provsystemet, som består av nationella prov och andra bedöm- ningsstöd. De nationella proven utformas dock inom universitets- institutioner, på uppdrag av Skolverket.</P>
<P class="p117 ft10">Det är regeringen som beslutar om i vilka ämnen, årskurser och skolformer som nationella prov ska genomföras. För årskurs 3 i grundskolan ges i dag obligatoriska nationella ämnesprov i mate- matik samt svenska och svenska som andraspråk. Ämnesproven i årskurs 6 respektive i årskurs 9 ges i engelska, matematik, svenska och svenska som andraspråk samt i biologi, fysik eller kemi och geografi, historia, religionskunskap eller samhällskunskap. Vid samma provtillfälle genomför skolan ett av ämnesproven i <NOBR>NO-ämnena</NOBR> respektive ett av ämnesproven i <NOBR>SO-ämnena.</NOBR> I specialskolan genom- för eleverna motsvarande ämnesprov i årskurserna 4, 7 och 10. I sameskolan, som är en sexårig skolform, genomförs proven i års- kurs 3 och 6.</P>
<P class="p278 ft18">65</P>
</DIV>
<DIV id="page_64">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31264x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Dagens utvärderingssystem</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p220 ft10">Enligt de olika uppdrag<SPAN class="ft55">3 </SPAN>utifrån vilket dagens nationella prov- system ursprungligen utformats har systemet flera olika syften. Systemet ska</P>
<P class="p154 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">bidra till ökad måluppfyllelse för eleverna,</SPAN></P>
<P class="p39 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">förtydliga målen och visa på elevers starka och svaga sidor,</SPAN></P>
<P class="p39 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">konkretisera kursmål och betygskriterier,</SPAN></P>
<P class="p110 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">stödja en likvärdig och rättvis bedömning och betygssättning och</SPAN></P>
<P class="p279 ft9"><SPAN class="ft64">-</SPAN><SPAN class="ft96">ge underlag för en analys av i vilken utsträckning kunskaps- målen nås på skolnivå, på huvudmannanivå och på nationell nivå.</SPAN></P>
<P class="p280 ft9">De nationella proven är inte examensprov, utan ska vara en del av lärarens samlade information om en elevs kunskaper. De har fram- för allt en summativ funktion, vilket betyder att de ska fungera som en avstämningspunkt i slutet av vårterminen i respektive årskurs/kurs och visa vilka kvaliteter eleven har i sina kunskaper i de ämnen där proven genomförs. De nationella proven kan emellertid även i viss utsträckning användas formativt, som en del i den bedömning för lärande som är en del av undervisningen. Provresultaten ger informa- tion om vilka kunskaper som utgör styrkor och vilka kunskaper som eleven genom undervisningen behöver utveckla mer. Proven ger även en bild av hur undervisningen har fungerat, vilket i sin tur kan signaler om hur undervisningen kan utvecklas.</P>
<P class="p54 ft10">Som komplement till de nationella ämnesproven utvecklar Skolverket kontinuerligt bedömningsstöd i form av kartläggnings- och diagnosmaterial, prov och enskilda uppgifter med tillhörande bedömningsanvisningar och diskussionsmaterial.</P>
<P class="p167 ft45">Skolverket konstaterar i en rapport<SPAN class="ft68">4 </SPAN>till regeringen med förslag till hur systemet bör utvecklas att det är svårt att med ett enskilt instrument möta alla dessa syften och att provsystemet därför består av olika typer av material. Utredningen konstaterar att även om de olika syftena gäller för det nationella provsystemet som hel- het, dvs. inklusive de bedömningsstödjande insatserna, förväntas ändå de nationella proven ensamma svara upp mot merparten av syftena. Regeringen konstaterar i november 2011 i ett uppdrag<SPAN class="ft68">5 </SPAN>till</P>
<P class="p281 ft53"><SPAN class="ft56">3</SPAN><SPAN class="ft71">U2004/5293/S, U2005/8381/G, U2006/8951/S, U2008/1045/SV och U2008/2645/S.</SPAN></P>
<P class="p180 ft58"><SPAN class="ft56">4</SPAN><SPAN class="ft57">Skolverket (dnr. 2009:337) </SPAN>Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas<SPAN class="ft59">.</SPAN></P>
<P class="p143 ft31"><SPAN class="ft56">5</SPAN><SPAN class="ft60">Skolverket (dnr. 2011/6543/S) </SPAN><SPAN class="ft74">Uppdrag om nationella prov</SPAN>.</P>
<P class="p144 ft18">66</P>
</DIV>
<DIV id="page_65">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31265x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td56"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td57"><P class="p22 ft38">Dagens utvärderingssystem</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">Skolverket att de nationella proven inte i nuläget är utformade för att mäta kunskapsutvecklingen över tid. Det framgår av uppdraget att det förväntas att detta ska vara möjligt. Vi återkommer i kapitel 9 till frågan om förutsättningarna att knyta så många olika förvänt- ningar till ett och samma instrument som det görs i dag vad gäller de nationella proven.</P>
<P class="p222 ft13">Internationella studier</P>
<P class="p65 ft40">För att hålla för trendanalys krävs i de flesta fall att statistik eller studier utformas med detta syfte för ögonen. De enda studier som Sverige för närvarande deltar i med någon regelbundenhet, och som svarar mot de krav som kan ställas på trendanalyser, är de inter- nationella kunskapsmätningarna PIRLS<SPAN class="ft77">6</SPAN>, TIMSS<SPAN class="ft77">7 </SPAN>och PISA<SPAN class="ft77">8</SPAN>. För- utom kunskapsprov innehåller studierna enkäter till elever och rektorer samt – vad gäller PIRLS och TIMSS – även till lärare och ibland till föräldrar. Detta gör det möjligt att också följa de olika gruppernas attityder och inställning till skolan och skolarbetet.</P>
<P class="p204 ft40">För närvarande är strategin att Sverige ska delta i samtliga tre undersökningar och att detta ska ske för både yngre och äldre elever i grundskolan. Bakåt i tiden har dock deltagandet varierat något. Sverige har deltagit i samtliga IEA<SPAN class="ft77">9</SPAN>:s <NOBR>PIRLS-undersökningar</NOBR> av läsförmågan för elever i årkurs 4, dvs. sedan 2001. Undersök- ningen genomförs vart femte år. Sverige deltog även 1971 och 1991 i IEA:s tidigare undersökningar om läsning.</P>
<P class="p92 ft39">Sverige har även deltagit i samtliga OECD:s <NOBR>PISA-undersök-</NOBR> ningar av <NOBR>15-åringars</NOBR> kunskaper i matematik, naturvetenskap och läsförståelse, varav den första genomfördes 2000. Studien genom- förs vart tredje år med olika huvudområden vid de olika undersök- ningstillfällena. Den trendutveckling som kan identifieras mäts i</P>
<P class="p283 ft59"><SPAN class="ft51">6</SPAN><SPAN class="ft70">PIRLS (Progress in Reading Literacy Study) är en internationell studie som undersöker elevers läsförmåga i årskurs 4. Studien organiseras av The International Association for the Evaluation of Educational Achievement (IEA).</SPAN></P>
<P class="p175 ft59"><SPAN class="ft51">7</SPAN><SPAN class="ft70">TIMSS (Trends in International Mathematics and Science Study) undersöker kunskaper i matematik och NO hos elever i årskurs 4 och årskurs 8. Studien organiseras av The Inter- national Association for the Evaluation of Educational Achievement (IEA) och genomförs vart fjärde år.</SPAN></P>
<P class="p175 ft59"><SPAN class="ft51">8</SPAN><SPAN class="ft70">PISA (Programme for International Student Assessment) är ett </SPAN><NOBR>OECD-projekt</NOBR> som syftar till att undersöka i vilken grad respektive lands utbildningssystem bidrar till att femtonåriga elever, som snart kommer att ha avslutat den obligatoriska skolan, är rustade att möta fram- tiden. Studien genomförs för kunskapsområdena matematik, naturvetenskap och läsför- ståelse.</P>
<P class="p284 ft31"><SPAN class="ft51">9</SPAN><SPAN class="ft54">The International Association for the Evaluation of Educational Achievement.</SPAN></P>
<P class="p50 ft18">67</P>
</DIV>
<DIV id="page_66">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31266x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Dagens utvärderingssystem</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">första hand i förhållande till det år när området i fråga senast var huvudområde.</P>
<P class="p285 ft9">Första gången Sverige deltog i en <NOBR>IEA-studie</NOBR> om matematik var 1964 och om de naturvetenskapliga ämnena 1970. Därefter har elevers kunskaper i matematik och/eller de naturvetenskapliga ämnena undersökts i <NOBR>IEA-studier</NOBR> 1980 och 1983. Sedan 1995 då TIMSS introducerades har ambitionen varit att mäta förändring i resultat över tid, dvs. att mäta trend. Detta har skett genom att delar av uppgifterna i tidigare undersökningar, så kallade ankaruppgifter, återanvänds. Undersökningen 1995 var den första där kunskaps- testen i matematik och de naturvetenskapliga ämnena samordnades.</P>
<P class="p169 ft40">Sveriges deltagande i TIMSS har varierat något över tid. Den första undersökningen 1995 genomfördes för ett stort antal ålders- grupper. Sverige valde att för grundskolan delta med elever som var 13 år, dvs. elever i årskurs 6 eller 7. Följande undersökning 1999 riktades endast till elever i årskurs 8. Sverige valde dock att inte delta. År 2003 deltog Sverige i undersökningen med elever från års- kurs 8, men inte med elever från årskurs 4, vilket var ett erbjudande. I undersökningarna 2007 respektive 2011 har Sverige deltagit med elever från både årskurs 4 och årskurs 8.</P>
<P class="p177 ft39">TIMSS Advanced<SPAN class="ft75">10 </SPAN>undersöker kunskaper i avancerad mate- matik och fysik hos elever som går sista året på gymnasiet. Studien har genomförts vid två tillfällen, 1995 och 2008. Sverige har deltagit vid båda tillfällena. Nästa gång studien genomförs blir 2015.</P>
<P class="p286 ft10">Sverige deltar dessutom i flera andra internationella studier, som än så länge inte kan ligga till grund för trendanalyser, helt enkelt för att de inte har återupprepats med given design tillräckligt många gånger.</P>
<P class="p167 ft45">År 2009 genomförde IEA en studie om medborgar- och sam- hällsfrågor benämnd ICCS<SPAN class="ft68">11</SPAN>. Syftet med ICCS är att undersöka hur unga människor i olika länder förbereds för att axla sin roll som medborgare. Studien bygger på tidigare internationella undersök- ningar om samhällsfrågor men är anpassad till de nya utmaningar som finns när det gäller att utbilda unga människor till medborgare. Tidigare studier är den så kallade sexämnesstudien 1971 och CIVED<SPAN class="ft68">12 </SPAN>som i grundskolan genomfördes 1999 bland 14- och 15-</P>
<P class="p287 ft59"><SPAN class="ft51">10</SPAN><SPAN class="ft57">TIMSS Advanced (Trends in International Mathematics and Science Study (advanced)). Studien organiseras av The International Association for the Evaluation of Educational Achievement (IEA).</SPAN></P>
<P class="p288 ft53"><SPAN class="ft51">11</SPAN><SPAN class="ft52">International Civic and Citizenship Education Study (ICCS).</SPAN></P>
<P class="p143 ft31"><SPAN class="ft51">12</SPAN><SPAN class="ft54">Civic Education Study (CIVED).</SPAN></P>
<P class="p144 ft18">68</P>
</DIV>
<DIV id="page_67">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31267x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td56"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td57"><P class="p22 ft38">Dagens utvärderingssystem</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">åringar. Även om ICCS 2009 till stor del bygger på CIVED, som inte kommer att upprepas, är det för tidigt att tala om trendmät- ning. För närvarande planeras ICCS 2016 för årskurs 8 i grund- skolan.</P>
<P class="p206 ft40">Internationella språkstudien ESLC<SPAN class="ft77">13 </SPAN>är ett projekt som är initi- erat av <NOBR>EU-kommissionen.</NOBR> Studien genomfördes för första gången 2011. Syftet med studien var att ge EU:s medlemsländer jäm- förande data om elevers kunskaper i främmande språk och att ge insikter om hur språkundervisningen kan leda till förbättrade kun- skaper i främmande språk. I den studie som genomförts prövades de fem största språken som lärs ut inom EU, dvs. engelska, tyska, franska, spanska och italienska. Varje land som var med i studien deltog med sina två största främmande språk av dessa fem språk. I studien prövades de tre förmågorna läsa, lyssna och skriva. Diskus- sioner förs för närvarande om hur man ska gå vidare. Inriktningen är troligen att man nu vill begränsa sig till att testa kunskaperna i engelska. Dessutom övervägs om detta ska genomföras i form av en återupprepning av ESLC eller om man i stället ska ansluta till en av IEA planerad studie ETLS (English Teaching and Learning Study) som planeras för 2017.</P>
<P class="p289 ft9">TALIS<SPAN class="ft28">14 </SPAN>slutligen är en studie som fokuserar på lärares yrkesvar- dag. Syftet med studien är att den ska fylla de kunskapsluckor som finns inom internationella jämförelser om utbildningssystem, om undervisning och om lärares och rektorers arbetsvillkor, dvs. aspekter som har betydelse för elevers lärande och för lärares och rektorers tillfredsställelse i sitt arbete. I studien frågar man bland annat efter vilka möjligheter lärare och rektorer har till kompetens- utveckling, hur de fördelar arbetstiden mellan olika sysslor och vilken skolledarstil rektorn har. Man frågar också om trivsel, klass- rums- och skolklimat och om lärarna anser att de har tillräcklig kunskap för den undervisning som de bedriver. TALIS omfattar i första hand lärare och rektorer i grundskolans årskurs <NOBR>7–9.</NOBR></P>
<P class="p290 ft10">TALIS är initierad av OECD och är ett samarbetsprojekt mellan OECD och deltagarländernas myndigheter med ansvar för utbild- ning. Projektet stöds av OECD:s fackliga rådgivarkommitté<SPAN class="ft55">15 </SPAN>och <NOBR>EU-kommissionen.</NOBR> TALIS genomfördes första gången 2008 och upprepades 2013. Sverige deltog först 2013. Det finns ambitioner att studien ska upprepas framöver.</P>
<P class="p125 ft53"><SPAN class="ft51">13</SPAN><SPAN class="ft52">European Survey of Language Competences (ESLC).</SPAN></P>
<P class="p187 ft53"><SPAN class="ft51">14</SPAN><SPAN class="ft52">The Teaching and Learning International Survey (TALIS).</SPAN></P>
<P class="p187 ft31"><SPAN class="ft51">15</SPAN><SPAN class="ft54">TUAC.</SPAN></P>
<P class="p50 ft18">69</P>
</DIV>
<DIV id="page_68">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Dagens utvärderingssystem</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p250 ft39">De internationella studierna är tänkta för jämförelser mellan olika länder och baseras på små urval av elever i varje land. Det går därför inte att med försvarbar statistisk säkerhet bryta ner under- laget för att analysera skillnader t.ex. mellan olika typer av kommu- ner eller mellan skolor med olika socioekonomisk sammansättning etc. De internationella studierna kan därför endast spela en begrän- sad roll vid nationell reformutvärdering, om man inte väljer att nationellt utöka urvalet av elever för att möjliggöra en sådan analys.</P>
<P class="p134 ft13">Nationella utvärderingsstudier</P>
<P class="p53 ft10">Nationella utvärderingsstudier genomförs som nämnts ovan av olika myndigheter och andra aktörer. I många fall kan regeringens val av myndighet för ett uppdrag förklaras av myndigheternas skilda uppdrag.</P>
<P class="p109 ft11">Skolverkets utvärdering av skolan</P>
<P class="p168 ft40">Skolverket genomför utvärderingar både på regeringens uppdrag och på eget initiativ. Utrymmet för egeninitierade studier har dock minskat över tid och är nu starkt begränsat på grund av att verkets resurser i hög grad upptas av uppdrag givna av regeringen.</P>
<P class="p291 ft40">Skolverkets utvärderingsstudier varierar till sin karaktär. Fler- talet genomförs på uppdrag av regeringen och kan handla om att utvärdera satsningar av olika slag, t.ex. kompetensutvecklings- eller skolutvecklingssatsningar. Skolverkets utvärdering bidrar till en gener- aliserbar bild av läget i den svenska skolan, exempelvis genom register- studier. Skolverket genomför emellertid även kvalitativa utvärderings- studier med små urval av skolor, som kan bidra med fördjupad kunskap om exempelvis skolans arbetssätt och processer. Liksom för Skolinspektionens kvalitetsgranskningar (se nedan) är då generaliser- barheten mer begränsad.</P>
<P class="p177 ft45">Över tid finns också exempel på nationella utvärderingsstudier inriktade på att mäta kunskaperna i den svenska skolan, i vissa fall med ambitionen att det ska vara möjligt att följa trender, och/eller att bidra med systemkunskap. Senaste exemplet på en mer omfatt- ande sådan satsning gäller den nationella utvärderingen av grund- skolan från 2003 (NU 03). Denna typ av utvärderingar har hittills genomförts inom ramen för myndighetens uppdrag som det är</P>
<P class="p292 ft18">70</P>
</DIV>
<DIV id="page_69">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31269x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td56"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td57"><P class="p22 ft38">Dagens utvärderingssystem</P></TD>
</TR>
</TABLE>
<P class="p293 ft10">formulerat i Skolverkets instruktion<SPAN class="ft55">16 </SPAN>och inte till följd av särskilda uppdrag från regeringen. Dessa utvärderingar bör karaktäriseras som utvärdering av skolsystemets funktionssätt (systemutvärdering), snarare än som reformutvärdering.</P>
<P class="p117 ft39">Skolverket upphandlar både hela utvärderingar och mer avgränsade insatser av externa utvärderare, främst universitet och högskolor. Det kan ske på initiativ av regeringen eller på eget initiativ. Orsaken kan vara att kompetensen inte finns inom verket. I många fall handlar det dock om att utvärderingarna eller uppföljningarna avser verkets egna insatser, t.ex. i samband med implementeringen av en reform. Implementeringen av mål och nationella prov i årskurs 3 samt implementeringen av Lgr11 är sådana exempel. Myndigheten bör inte utvärdera den egna verksamheten varför det i sådana samman- hang är lämpligt med extern utvärdering.</P>
<P class="p294 ft11">IFAU:s utvärdering av skolan</P>
<P class="p228 ft10">Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU) har sedan februari 2012 enligt sin instruktion<SPAN class="ft55">17 </SPAN>i uppdrag att bland annat utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet. Med utvärdering avses enligt instruk- tionen både effektutvärdering och processutvärdering. Före 2012 var verksamheten mer renodlat fokuserad på arbetsmarknadspo- litiska frågor och kopplingen till utbildningsväsendet handlade om utvärdering av effekterna på arbetsmarknaden av åtgärder inom utbildningsväsendet. IFAU:s analyser kännetecknas av en hög metod- kompetens inom det kvantitativa området.</P>
<P class="p124 ft9">Sedan IFAU:s uppdrag utvidgats till att också omfatta effekter av reformer och åtgärder inom utbildningsväsendet har institutet fått ett särskilt uppdrag<SPAN class="ft28">18 </SPAN>av regeringen att utvärdera de senaste årens stora reformer på skolområdet, mer specifikt för grundskolan och gymnasieskolan. Det framgår av direktiven att uppdraget avser de reformer som genomfördes under <NOBR>1990-talet.</NOBR> Där framgår att det finns ”anledning att utvärdera vilka effekter de stora refor- merna, som genomfördes under <NOBR>1990-talet,</NOBR> fick för skolväsendets utveckling”. Samtidigt slår regeringen fast att genom detta uppdrag har Riksdagens tillkännagivande från 2011 till regeringen om att</P>
<P class="p295 ft53"><SPAN class="ft51">16</SPAN><SPAN class="ft52">Förordning (2011:555) med instruktion för Statens skolverk.</SPAN></P>
<P class="p296 ft59"><SPAN class="ft51">17</SPAN><SPAN class="ft70">Förordning (2012:16) med instruktion för Institutet för arbetsmarknads- och utbildnings- politisk utvärdering.</SPAN></P>
<P class="p126 ft31"><SPAN class="ft51">18</SPAN><SPAN class="ft54">U2012/7283/S, U2011/2269/S.</SPAN></P>
<P class="p50 ft18">71</P>
</DIV>
<DIV id="page_70">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31270x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Dagens utvärderingssystem</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">tillsätta en utredning med uppdrag att analysera de senaste årens skolreformer – kommunaliseringen, det fria skolvalet och friståen- de skolors etablering – slutligen omhändertagits. De stora reformer som genomförts sedan 2007, t.ex. Lgr11 och betyg från årskurs 6, omfattas dock inte av detta särskilda uppdrag. Myndigheten kan naturligtvis i mån av resurser själv ta initiativ till sådana utvärde- ringar inom ramen för sin instruktion.</P>
<P class="p167 ft40">Under hösten 2013 publicerade IFAU rapporten <SPAN class="ft43">Effekter av 1992 års skolvalsreform</SPAN>. En fördjupning av denna analys pågår för närvarande inom projektet <SPAN class="ft43">Skolvalsreformerna och likvärdigheten</SPAN>. Andra exempel på pågående projekt är <SPAN class="ft43">Reformer, resurser och resultat i den svenska skolan: Om decentralisering, skolval och fri- skolor </SPAN>samt projektet <SPAN class="ft43">Hur fördelar kommuner resurser till skolan?</SPAN></P>
<P class="p181 ft10">För närvarande pågår, enligt uppgift, ett fyrtiotal projekt som berör skolan.</P>
<P class="p297 ft11">Statskontorets utvärdering av skolan</P>
<P class="p298 ft10">Statskontoret ska t.ex. enligt sin instruktion<SPAN class="ft55">19 </SPAN>på regeringens upp- drag bistå med utredningar, utvärderingar och uppföljningar av statlig och statligt finansierad verksamhet samt av övergripande frågor om den offentliga förvaltningens funktionssätt. I detta ingår att analysera verksamheter och myndigheter ur ett effektivitets- perspektiv, redovisa effekter av statliga åtgärder samt ge underlag för omprövning och effektivisering.</P>
<P class="p127 ft10">Myndighetens verksamhet styrs av de uppdrag som regeringen lägger på Statskontoret. Departementen och kommittéerna kan också efter överenskommelse anlita Statskontoret för utrednings- insatser. Bredden på de olika utredningar som Statskontoret genomför är stor.</P>
<P class="p167 ft9">Antalet uppdrag från regeringen till Statskontoret att utvärdera frågor som berör grundskolan eller motsvarande skolformer är begränsat. Sedan 2000 handlar det om en handfull uppdrag. I de flesta fall kan Statskontorets roll motiveras med att utvärderingarna avser insatser där Skolverket haft en roll vid genomförandet, och således inte kan anses vara oberoende som utvärderare. Det gäller t.ex. uppdraget att utvärdera Lärarlyftet och nyligen ett uppdrag att utvärdera jämställdhetsinsatser inom skolväsendet. För några år sedan genomförde Statskontoret ett uppdrag från regeringen att</P>
<P class="p158 ft31"><SPAN class="ft30">19 </SPAN>Förordning (2007:827) med instruktion för Statskontoret.</P>
<P class="p144 ft18">72</P>
</DIV>
<DIV id="page_71">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31271x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td56"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td57"><P class="p22 ft38">Dagens utvärderingssystem</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">utreda frågor om ersättning för elever i specialskolan och gym- nasieskolan för elever med funktionsnedsättning. Även i början av <NOBR>2000-talet</NOBR> gavs myndigheten uppdrag som mer utgick från dess kompetensprofil, t.ex. att utvärdera försöksverksamheten med lokala styrelser eller satsningen på IT i skolan. Längre tillbaka har Statskontoret t.ex. biträtt med analys av styrningsfrågor inom skol- området.</P>
<P class="p193 ft11">Det offentliga utredningsväsendet</P>
<P class="p65 ft40">I ett historiskt perspektiv har mycket av utvärdering/motsvarande skett inom ramen för det offentliga utredningsväsendet. Det finns fortfarande exempel där en offentlig utredning genomför egna utvärderingar eller lägger ut uppdrag på andra aktörer, t.ex. fors- kare, myndigheter, konsulter, etc. Som olika källor<SPAN class="ft77">20 </SPAN>visar har det dock blivit successivt allt mer ovanligt att offentliga utredningar ges uppdrag som förutsätter att utvärdering genomförs. Uppdragen är ofta avgränsade och förhållandevis styrda. Ofta saknas också tid och resurser att genomföra mer omfattande utvärdering.</P>
<P class="p299 ft13"><SPAN class="ft13">4.1.2</SPAN><SPAN class="ft69">Inspektion och revision</SPAN></P>
<P class="p172 ft39">Det internationella utvärderingsbegrepp (evaluation) som OECD använder är som tidigare nämnts brett och omfattar även inspek- tion och revision. Det är emellertid inte självklart att räkna in inspektion och revision i ett nationellt uppföljnings- och utvärderings- system. Vi har tagit med detta i vår modell, men menar att långt ifrån all nationell inspektion och revision hör hemma inom uppfölj- nings- och utvärderingssystemet. Det kan dock ha ett värde att här redovisa hur inspektion och granskning förhåller sig till uppfölj- nings- och utvärderingssystemet. Inte minst gäller detta för den del av inspektionsverksamheten som gränsar till utvärdering.</P>
<P class="p300 ft62"><SPAN class="ft76">20 </SPAN>Se t.ex. Statskontoret (2000) Redovisning av uppdrag att genomföra en kartläggning av det samlade utvärderingsarbetet inom de olika utgiftsområdena och Amnå, Erik (2013) <SPAN class="ft63">”Speak Truth to Power” Statsvetarna och kommittéväsendet</SPAN>. Statsvetenskaplig Tidskrift 112 (5).</P>
<P class="p301 ft18">73</P>
</DIV>
<DIV id="page_72">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31272x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Dagens utvärderingssystem</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft13">Inspektion</P>
<P class="p73 ft9">Statens skolinspektions ansvar för tillsyn och kvalitetsgranskning är reglerat i skollagen<SPAN class="ft28">21</SPAN>. Med <SPAN class="ft12">tillsyn </SPAN>avses enligt denna bestämmelse en självständig granskning som har till syfte att kontrollera om den verksamhet som granskas uppfyller de krav som följer av lagar och andra föreskrifter. I tillsynen ingår att fatta de beslut om åtgärder som kan behövas för att den huvudman som bedriver verksamheten ska rätta fel som upptäckts vid granskningen.</P>
<P class="p54 ft10">Skolinspektionen ska även genom <SPAN class="ft11">kvalitetsgranskning </SPAN>granska kvaliteten i sådan utbildning och annan verksamhet som står under dess tillsyn eller under tillsyn av en kommun. Granskningen ska avse den granskade utbildningens eller verksamhetens kvalitet i för- hållande till mål och andra riktlinjer.</P>
<P class="p167 ft40">Skolinspektionen har således inte i uppdrag att följa upp och utvärdera utan att, genom tillsyn och kvalitetsgranskning, granska de verksamheter som står under myndighetens tillsyn. Som under- lag för den regelbundna tillsynen genomför dock inspektionen varje år en enkätundersökning som riktar sig till elever, föräldrar och pedagogisk personal på de skolor som ska inspekteras.</P>
<P class="p108 ft10">Myndigheten ska också sammanfatta och publicera resultaten av sitt arbete med tillsyn och kvalitetsgranskning. Det sker dels i en årlig rapport till regeringen samt i övergripande rapporter från t.ex. genomförda kvalitetsgranskningar.</P>
<P class="p167 ft10">Analysen av Skolinspektionens tillsynsbeslut resulterar i statis- tik över vanliga bristområden, uppgifter som kan betraktas som en form av uppföljningsdata. Det bör dock uppmärksammas att det inte handlar om statistiskt säkerställda urval, utan om sammanställ- ningar av de tillsyner som genomförts ett visst år. Eftersom det handlar om tillsyn av cirka tjugo procent av alla skolor per år bör dock underlagen kunna tillskrivas viss trovärdighet vad gäller de frågor tillsynen inriktats mot. Det bör dock noteras att tillsynen aldrig kan vara fullständig, utan att den endast tar upp områden som Skolinspektionen granskat.</P>
<P class="p177 ft45">När det gäller kvalitetsgranskningarna är gränsdragningen till bland annat Skolverkets utvärdering inte helt tydlig. Utvärdering kan användas som metod för att genomföra kvalitetsgranskning. Litteraturstudier ingår alltid som utgångspunkt för granskningarna. Syftet skiljer sig dock åt. Skolinspektionens kvalitetsgranskning syftar i första hand till att genom återföring påverka verksamheten</P>
<P class="p302 ft31"><SPAN class="ft30">21 </SPAN>26 kap. skollagen (2010:800).</P>
<P class="p144 ft18">74</P>
</DIV>
<DIV id="page_73">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td56"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td57"><P class="p22 ft38">Dagens utvärderingssystem</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">vid de skolor som granskas. De sammanfattande rapporterna bidrar samtidigt till bilden av läget i den svenska skolan, utan att de för den skull har kravet på sig att vara generaliserbara.</P>
<P class="p63 ft40">Skolinspektionen har inte något explicit uppdrag i instruktionen att granska reformer på skolans område. Myndigheten har inte heller getts några sådana uppdrag av regeringen i samband med de reformer som genomförts sedan 2007, varken i regleringsbrev eller som särskilda uppdrag. I vissa fall inriktas dock tillsynen särskilt mot att kontrollera att nya eller ändrade bestämmelser följs. Det är dock inte samma sak som att exempelvis granska hur skolhuvud- männen tar ansvar för genomförandet av en större reform eller hur inslagen i reformen påverkat undervisningen.</P>
<P class="p193 ft13">Revision</P>
<P class="p65 ft9">Riksrevisionen har ett kraftfullt granskningsmandat som möjliggör en sammanhållen och heltäckande granskning av den statliga verk- samheten. Riksrevisionen kan som enda myndighet granska hela den statliga beslutskedjan – riksdag, regering och myndigheter.</P>
<P class="p117 ft40">Effektivitetsrevisionen är den av Riksrevisionens verksamheter som metodmässigt ligger närmast utvärdering. Den innebär en gransk- ning av hur effektiv den statliga verksamheten är. Riksrevisionen beslutar självständigt vad som ska granskas genom effektivitets- revision och hur granskningen ska genomföras. Granskningarna utgår från riksdagens beslut och omfattar regeringens genom- förande, styrning, uppföljning och rapportering till riksdagen samt myndigheternas genomförande och rapportering till regeringen. När det gäller reformer på skolområdet kan revisionen, med sitt fokus på statens agerande, i första hand granska hur effektiva regeringens och skolmyndigheternas insatser är för att genomföra förändringarna.</P>
<P class="p137 ft40">Inom utbildningsområdet har Riksrevisionen sedan sin tillkomst 2003 lagt tyngdpunkten i sina granskningar på styrningen av den högre utbildningen. Endast ett fåtal granskningar inom effektivi- tetsrevisionen har genomförts med inriktning på statens styrning av skolan. Statens styrning av betyg och betygssättning har dock granskats vid två tillfällen. Under de senaste åren har även Skol- inspektionens verksamhet satts i fokus, med två granskningar. Under 2013 publicerades dessutom en granskning av statens främjande av kunskapsspridning inom skolan.</P>
<P class="p71 ft18">75</P>
</DIV>
<DIV id="page_74">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Dagens utvärderingssystem</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p250 ft45">Riksrevisionens verksamhet har, genom sin uppgift och sitt obe- roende från regeringen, inte någon roll i det som vi valt att kalla uppföljnings- och utvärderingssystemet. Det hindrar inte att revisionens rapporter kan bidra med kunskap som i sin tur påverkar beslutsfattandet genom att peka på behov av förändring.</P>
<P class="p251 ft13"><SPAN class="ft13">4.1.3</SPAN><SPAN class="ft69">Forskning</SPAN></P>
<P class="p73 ft39">Utöver ovan nämnda myndigheter kan även forskare vid universitet och högskolor genomföra vad vi i kapitel 3 benämnt forsknings- baserade utvärderingar av olika reformer och satsningar inom skol- området. Detta kan ske på uppdrag av regeringen. På skolans område sker det dock i de flesta fall på uppdrag av en myndighet, i första hand Skolverket, eller en offentlig utredning som i sin tur har fått uppdraget från regeringen. Till skillnad från den oberoende forskningen genomför forskarna i detta fall uppdrag där beställaren styr vad forskaren ska utvärdera. I vilken utsträckning beställningen också styr hur utvärderingen ska genomföras varierar, men det är inte ovanligt att metodval ingår i de avtal som upprättas mellan bestäl- lare och utförare.</P>
<P class="p303 ft9">Det finns exempel på uppdrag till forskare inom universitet eller högskolor att utvärdera åtgärder eller insatser som regeringen har initierat. Flertalet har Skolverket som beställare och ingår som del av större uppdrag från regeringen till Skolverket att svara för insat- ser och samtidigt utvärdera dem. Att utvärderingen inte genomförs av Skolverket kan, som nämnts ovan, bero på att Skolverket i så fall skulle komma att utvärdera sina egna insatser. Det kan dock även vara en resurs- eller kompetensfråga. Uppdragen kan exempelvis handla om att utvärdera Skolverkets insatser för att stödja imple- menteringen av en viss reform eller att utvärdera ett program för att stödja utvecklingen av undervisningen i ett visst ämne och där Skolverket har en roll. Att denna typ av utvärderingar ska genom- föras av en extern aktör fastställs ofta redan i regeringens uppdrag till Skolverket, men beslutet kan också vara verkets eget.</P>
<P class="p141 ft45">På motsvarande sätt som uppdrag kan läggas på forskare inom universitet och högskolor kan uppdrag också läggas ut på andra externa utvärderare, t.ex. på konsultföretag som inriktat sig på utredning och utvärdering inom offentlig sektor. Utvärderarna kan även i dessa fall ha en forskarutbildning, men behöver inte ha det. Konsultföretag har dessutom ofta specifika modeller för hur de</P>
<P class="p304 ft18">76</P>
</DIV>
<DIV id="page_75">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31275x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td56"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td57"><P class="p22 ft38">Dagens utvärderingssystem</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">lägger upp och genomför utvärdering och analys, modeller som i skiftande grad ansluter till forskningsbaserade modeller och meto- der.</P>
<P class="p63 ft40">Den oberoende forskningen har inte som sin primära uppgift att vara policyrelevant på det sätt som det förutsätts att uppdrags- forskning eller rapporteringen från ett nationellt utvärderings- system ska vara, och är det oftast inte heller. Genom att systema- tiskt sammanställa resultat från forskning kan dock även den oberoende forskningen bidra till ett evidensinformerat besluts- fattande och, inte minst, till en evidensinformerad praktik.</P>
<P class="p100 ft9">Det finns också exempel på oberoende forskning som i hög grad är policyrelevant. Exempel på detta är den forskning som bedrivits, bland annat vid IFAU, om friskolereformens effekter på studie- resultaten<SPAN class="ft28">22</SPAN>, om betygssättningens effekter på studieresultaten<SPAN class="ft28">23 </SPAN>samt om långsiktiga effekter av ökad lärartäthet<SPAN class="ft28">24</SPAN>. Merparten av denna forskning utgörs av kvantitativt inriktade effektstudier. Dessa forskningsinsatser kan inte på egen hand fylla det behov av utvärdering av skolan som utredningen pekat på, men de visar att det finns både kapacitet och kompetens att genomföra forsknings- baserad utvärdering av reformer på skolans område i Sverige, även om de inte ingår i något nationellt utvärderingsprogram.</P>
<P class="p124 ft40">Vetenskapsrådet (VR) har som huvuduppgift att fördela medel till forskning. VR stödjer grundforskning inom utbildningsveten- skap, dvs. forskning om bildning, utbildning, undervisning och lärande. Bland de projekt som får stöd från VR finns forskning som avser effekter av reformer. Det handlar dock inte om någon full- ständig reformutvärdering utan om utvärdering av avgränsade inslag i reformer. VR arbetar även med att göra forskningsresultat tillgängliga. Som ett led i detta arbete sammanställer rådet årligen under namnet <SPAN class="ft43">Resultatdialog </SPAN>kunskapsöversikter över olika områ- den och redogör för den senaste forskningen inom utbildnings-</P>
<P class="p305 ft59"><SPAN class="ft51">22</SPAN><SPAN class="ft70">Se t.ex. Hartman, Laura (red.), Anders Anell, Eva Mörk, Jonas Vlachos, m.fl. (2011) </SPAN><SPAN class="ft58">Kon- kurrensens konsekvenser – vad händer med svenskt välfärd? </SPAN>SNS Förlag. Anders Böhlmark och Helena Holmlund (2012) <SPAN class="ft58">Lika möjligheter? Familjebakgrund och skolprestationer 1998- 2010</SPAN>. IFAU, rapport 2012:14. Anders Böhlmark och Mikael Lindahl (2012) <SPAN class="ft58">Har den växande friskolesektorn varit bra för elevernas utbildningsresultat på kort och lång sikt? </SPAN>IFAU, rapport 2012:17.</P>
<P class="p306 ft63"><SPAN class="ft51">23</SPAN><SPAN class="ft73">Se t.ex. Sjögren, Anna (2010) </SPAN>Betygssatta barn – spelar det någon roll i längden<SPAN class="ft62">? IFAU, rapport 2010:8 och Christina Cliffordson (2004) </SPAN>De målrelaterade gymnasiebetygens prognos- förmåga<SPAN class="ft62">. Pedagogisk Forskning i Sverige, 9(2) samt Christina Cliffordson (2004). </SPAN>Betygs- inflation i de målrelaterade gymnasiebetygen. <SPAN class="ft62">Pedagogisk Forskning i Sverige, 9(1).</SPAN></P>
<P class="p196 ft31"><SPAN class="ft51">24</SPAN><SPAN class="ft54">Fredriksson, Peter, Björn Öckert och Hester Oosterbeek (2012</SPAN><SPAN class="ft74">) Långsiktiga effekter av mindre klasser</SPAN>. IFAU, rapport 2012:4.</P>
<P class="p197 ft18">77</P>
</DIV>
<DIV id="page_76">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31276x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Dagens utvärderingssystem</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p256 ft10">vetenskap. Det gemensamma för de redovisade projekten är att de alla har finansierats av Vetenskapsrådet.<SPAN class="ft55">25</SPAN></P>
<P class="p257 ft13"><SPAN class="ft13">4.1.4</SPAN><SPAN class="ft69">Hur kommer reformutvärderingen in?</SPAN></P>
<P class="p307 ft10">Som nämnts inledningsvis kan reformer utvärderas inom ramen för det fortlöpande uppföljnings- och utvärderingssystemet. Det bygger då på att systemet är så heltäckande och har sådana kvaliteteter att svaren på de frågor man har anledning att ställa så att säga faller ut av sig själva, dvs. att de utvecklingstendenser man kan se kan här- ledas till en specifik reform. Det är dock sannolikt ett önske- tänkande att systemet skulle ge en så kvalificerad kunskap att det inte finns behov av att genomföra särskilda utvärderingar av en reform eller ett reformskede.</P>
<P class="p308 ft40">I de flesta fall behövs också särskilda utvärderingar. Utvärderingen av en reform handlar ju inte bara om huruvida utvecklingen av resultaten på de internationella studierna går i rätt riktning eller inte, utan även om denna utveckling faktiskt kan härledas till själva reformen. Utvärderingen av en reform kan behöva fokusera på om de mekanismer som reformen bygger på verkligen fungerar som förväntat. Om de inte gör det kan utvärderingen behöva svara på varför de inte gör det och vad som kan göras för att få detta att inträffa, etc. Det vanligaste är kanske att något fungerar, men inte fullt ut och/eller med stora variationer. Det finns alltså ofta utrymme för förbättringar. För att i sådana fall kunna bidra till förbättringar av systemets prestationer räcker det inte med att känna till utfallet, det krävs även kunskap och förståelse för hur systemet fungerar och varför resultaten varierar.</P>
<P class="p141 ft39">Även med ett väl fungerande fortlöpande uppföljnings- och utvärderingssystem kommer därför särskilda reformutvärderingar att behöva genomföras. Sådana särskilda utvärderingsprojekt är att betrakta som utvärderingsstudier i modellen ovan. Sådana särskilda utvärderingsstudier kan hämta empiriskt underlag från hela eller delar av uppföljnings- och utvärderingssystemet, men också ta fram egna underlag. De kan genomföras av en myndighet eller av fors- kare på uppdrag av regeringen eller av en myndighet.</P>
<P class="p203 ft31"><SPAN class="ft30">25 </SPAN>Vetenskapsrådets webbplats.</P>
<P class="p144 ft18">78</P>
</DIV>
<DIV id="page_77">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td56"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td57"><P class="p22 ft38">Dagens utvärderingssystem</P></TD>
</TR>
</TABLE>
<P class="p145 ft32"><SPAN class="ft32">4.2</SPAN><SPAN class="ft50">Sammanfattande bedömning</SPAN></P>
<P class="p212 ft40">Det utvidgade uppföljnings- och utvärderingssystem som redo- gjorts för ovan har, med dess kvaliteter och utvecklingsbehov, stor betydelse för möjligheterna att utvärdera reformer. Det består i dag av ett stort antal olika aktiviteter som i vissa fall kompletterar varandra. I andra fall är gränsdragningen mellan olika aktiviteter inte helt tydlig. Det gäller t.ex. mellan Skolverkets utvärdering och Skolinspektionens kvalitetsgranskning. Det finns också exempel där de syften som tillskrivs ett specifikt instrument knappast är möjliga att infria med ett och samma instrument. Det gäller för de natio- nella proven. Slutligen har systemet luckor, dvs. det finns frågor som det inte kan besvara på ett tillfredsställande sätt. Det gäller t.ex. hur skolans resultat och måluppfyllelse utvecklas över tid. De internationella studiernas trendanalyser behöver enligt vår uppfatt- ning kompletteras med nationella trendanalyser. Vi återkommer till detta i kapitel 9.</P>
<P class="p289 ft40">Vid sidan om det nationella utvärderingssystemet finns ett stort antal andra aktörer som genomför studier och utvärderingar som avser skolan, t.ex. organisationer som t.ex. Sveriges Kommuner och Landsting (SKL), lärar- och skolledarorganisationer, Studieför- bundet Näringsliv och Samhälle (SNS), etc. Även Expertgruppen för Studier i Offentlig ekonomi (ESO) genomför i vissa fall studier med koppling till skolan.</P>
<P class="p309 ft18">79</P>
</DIV>
<DIV id="page_78">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31278x1.jpg" id="img1">
</DIV>
<P class="p310 ft66"><SPAN class="ft8">5</SPAN><SPAN class="ft65">Reformutvärdering – historik och nuläge</SPAN></P>
<P class="p311 ft10">I detta kapitel görs inledningsvis en historisk tillbakablick över reformutvärdering i Sverige på skolans område och framför allt över den diskussion som förts om reformutvärdering. Därefter redogör vi för dagens situation vad gäller reformutvärdering och för vissa övriga iakttagelser vi gjort avseende dagens nationella utvärdering av skolan.</P>
<P class="p312 ft32"><SPAN class="ft32">5.1</SPAN><SPAN class="ft50">En historisk tillbakablick</SPAN></P>
<P class="p313 ft10">Av bilaga 3<SPAN class="ft55">1 </SPAN>framgår att utvärdering, initierad av regering och riks- dag, av olika reformers utfall historiskt har varit mycket ovanlig i Sverige. Vi har samtidigt kunnat konstatera att frågan om utvär- deringens roll och utvärdering av reformer på skolområdet åter- kommande har diskuterats i olika sammanhang.</P>
<P class="p314 ft13"><SPAN class="ft13">5.1.1</SPAN><NOBR><SPAN class="ft69">1900-talets</SPAN></NOBR> mitt – en period av stora utredningar<SPAN class="ft97">2</SPAN></P>
<P class="p91 ft10">1962 års grundskolereform var slutet på en lång process som startade med 1940 års skolutredning, följd av 1946 års skolkom- mission. Ett viktigt steg var 1950 års beslut om ett försök med en nioårig enhetsskola, ett försök som under <NOBR>1950-talet</NOBR> följdes av Skolöverstyrelsen (SÖ). Slutligen utvärderades försöket politiskt av 1957 års skolberedning, som också lämnade förslag till inrät- tande av grundskolan. Grundskolan infördes rullande och SÖ fick återigen uppdraget att följa reformen.</P>
<P class="p315 ft58"><SPAN class="ft51">1</SPAN><SPAN class="ft70">Björnsson, Mats (2013) </SPAN>Kunskap och skolreform. En studie om underlag för och utvärdering av reformer på skolområdet.</P>
<P class="p88 ft31"><SPAN class="ft51">2</SPAN><SPAN class="ft54">Avsnittet baseras på bilaga 3.</SPAN></P>
<P class="p50 ft18">81</P>
</DIV>
<DIV id="page_79">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31279x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – historik och nuläge</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p250 ft40">Karaktäristiskt för <NOBR>1900-talets</NOBR> mitt är att reformer förbereddes noggrant med offentliga utredningar som var omfattande i både tid och betänkandenas omfång. Till flera av betänkandena hörde ett stort antal bilagor av bl.a. forskare och andra experter. Försöks- verksamhet genomfördes och utvärderades. Hela processen präg- lades av ett formativt förhållningssätt och den tidens mest avan- cerade pedagogiska forskning användes i reformarbetet.</P>
<P class="p140 ft9">Utformningen av reformerna måste således anses vara baserade på evidens. Det formativa inslaget var också påtagligt under den successiva utformningen av det som kom att bli grundskolan. Man kan däremot inte påstå att det togs några initiativ från regering eller riksdag till att utvärdera utfallet av grundskolans införande. Fokus låg på att så långt som möjligt i förväg säkra de beslut som fattades och att justera under väg, inte att utvärdera i efterhand. Långt senare har forskare visat att reformen bidrog till en högre utbildningsnivå samt att den hade en klassutjämnande effekt<SPAN class="ft28">3</SPAN>.</P>
<P class="p316 ft13"><SPAN class="ft13">5.1.2</SPAN><SPAN class="ft69">En bild från </SPAN><NOBR>1970-talet</NOBR></P>
<P class="p53 ft10">Frånvaron av reformutvärdering har sedan uppmärksammats åter- kommande. I början av <NOBR>1970-talet</NOBR> konstaterade t.ex. professorn i pedagogik Urban Dahllöf att:</P>
<P class="p317 ft14">Systematiska undersökningar som syftar till att följa upp och utvärdera skolreformer lyser ännu med sin frånvaro. Det går i dagens läge inte att få någon samlad bild av läget vare sig på kunskapssidan eller i andra avseenden. <SPAN class="ft98">4</SPAN></P>
<P class="p190 ft40">Dahllöf argumenterade samtidigt för att utvärderingen av skolan inte fick utformas alltför snävt. Han underströk att utvärderingen påverkas av att skolan har både ett kunskapsmål och ett demokrati- mål, och att den därtill ska fungera socialt utjämnande. Utvärde- ringen av skolan måste därför, utöver elevernas resultat, även omfatta de organisatoriska <SPAN class="ft43">ramar </SPAN>som omger skolverksamheten (studievägar, timplaner, klassindelningar, lokaler, läromedel m.m.) samt de <SPAN class="ft43">processer </SPAN>som försiggår där (undervisnings- och arbets- former, den tid som i praktiken tas i anspråk för olika kunskaps- och färdighetsmoment m.m.).</P>
<P class="p318 ft59"><SPAN class="ft56">3</SPAN><SPAN class="ft57">Meghir, Costa och Mårten Palme (2004) </SPAN><SPAN class="ft58">Education reform, ability and family background</SPAN>. IFS Working Papers, W04/10, Institute for Fiscal Studies.</P>
<P class="p288 ft31"><SPAN class="ft56">4</SPAN><SPAN class="ft60">Dahllöf, Urban (1971) </SPAN><SPAN class="ft74">Svensk utbildningsplanering under 25 år</SPAN>. Studentlitteratur. Lund.</P>
<P class="p144 ft18">82</P>
</DIV>
<DIV id="page_80">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31280x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td58"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td59"><P class="p22 ft99">Reformutvärdering – historik och nuläge</P></TD>
</TR>
</TABLE>
<P class="p319 ft40">Dahllöf konstaterade att ett och samma system beroende på olika faktorer kan ha olika <SPAN class="ft43">verkningsgrad </SPAN>och att det därför är vik- tigt att försöka förstå samspelet mellan mål, ramar, processer och resultat. Han menade att sådana analyser bör användas vid upp- följning och utvärdering av reformer i skolan och genomföras rela- tivt snart efter en reform. Detta för att kunna tjäna som vägledning när det gäller beslut om vilka (kompletterande) åtgärder som i första hand måste sättas in för att få det nya systemet att fungera enligt intentionerna. Dahllöf menade att inriktningen bör vara att studera undervisningsprocessen och dess relation till de yttre orga- nisatoriska ramarna och slutresultaten.</P>
<P class="p124 ft40">Enligt Dahllöf behövdes en breddning av utvärderingsprogram- met från resultattestningar – redan de sällsynta – till studier i syfte att förstå hela sambandet mellan utgångsläge, undervisningsprocess och resultat i relation till uppställda mål.</P>
<P class="p100 ft9">Utvärderingen borde enligt Dahllöf vara allsidig och täcka olika ämnen såväl som olika aspekter av skolans mål. Den borde läggas upp för att ge underlag för beslut om vilken åtgärd, eller vilken kombina- tion av åtgärder som är de mest adekvata i varje enskilt fall.</P>
<P class="p320 ft100">Vi (behöver) inte bara veta att skolan fungerar mer eller mindre väl i olika sammanhang utan också varför. Vi behöver få ett betydligt bättre grepp om de olika mekanismerna i undervisningsprocessen, vilken roll som olika metoder och yttre ramar spelar för vad som faktiskt händer i skolarbetet både från den effektiva inlärningens och den sociala fostrans synpunkt. Här gäller om någonsin satsen att ingenting är så praktiskt som en god teori.</P>
<P class="p321 ft14">En bättre förståelse av hur skolsystemet faktiskt fungerar i sitt inre arbete gentemot de givna målen blir också av stor betydelse då det är dags att göra en storrevision som innefattar en omprövning av målen.<SPAN class="ft98">5</SPAN></P>
<P class="p322 ft13"><SPAN class="ft13">5.1.3</SPAN><SPAN class="ft69">Den fortsatta debatten om den nationella utvärderingen</SPAN></P>
<P class="p123 ft10">Under <NOBR>1980-talet</NOBR> pågick således ett arbete med att forma en natio- nell utvärdering av skolan inom SÖ. 1989 genomfördes en första studie, som omfattade elever i årskurs 2 och 5 i grundskolan. Resul- taten publicerades 1991 en kort tid innan myndigheten lades ned. Skolverket har sedan genomfört resultatmätningar med varierande inriktning och omfattning 1992, 1995, 1998 och 2003. Se vidare kapitel 4 samt bilaga 3.</P>
<P class="p222 ft31"><SPAN class="ft30">5 </SPAN>Dahllöf, Urban (1971) a.a.</P>
<P class="p50 ft18">83</P>
</DIV>
<DIV id="page_81">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31281x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – historik och nuläge</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p323 ft40">Den form som SÖ gav utvärderingen kritiserades i en skrift av fem professorer i pedagogik.<SPAN class="ft77">6 </SPAN>Man menade att resultatmätningarna på elevnivå tilldelats alltför stor tyngd i förhållande till kunskaper om undervisningens ramar och processer och att det i SÖ:s pro- gram knappast klargjordes hur data skulle analyseras och tolkas, samt hur och till vad de skulle användas. Man menade att de redo- visade syftena var otydliga och att intresset för hur resultaten skulle återkopplas till lokal nivå var ytterst svagt.</P>
<P class="p324 ft10">Till exempel hänvisade Dahllöf till att en rad pedagogikforskare</P>
<P class="p325 ft40">”ställt sig öppet kritiska inte mot kunskapsprövningar som sådana” utan till att ”testprogrammet blivit överdimensionerat och felbalan- serat”. Man menade att en bättre balans mellan resultatinformation samt information om vad undervisningen innehållit och med vilka metoder den bedrivits i olika skolmiljöer och för skilda elevgrupper skulle göra det betydligt lättare att förklara bakgrunden till even- tuella brister. ”Ju bättre förklaringar man kan ge till starka och svaga sidor i undervisningen, desto lättare blir det att genomföra ett åtgärdsprogram i syfte att förbättra den på sikt.”</P>
<P class="p54 ft10">Dahllöf menade vidare att SÖ aldrig hade tagit något samlat grepp över utvärderingsfrågan. Han hävdade att en nationell utvär- dering inte endast kan begränsa sig till att ange vad som är bra och dåligt. Den måste även kunna svara på frågor om <SPAN class="ft11">varför </SPAN>och om <SPAN class="ft11">vilka åtgärder som bör vidtas </SPAN>och att detta ställer krav på olika former av utvärdering.</P>
<P class="p107 ft10">Sigbrit Franke menade att man måste fråga sig vilket huvud- syftet med det nationella utvärderingsprogrammet var och borde vara. Var det kontroll/styrning eller förändring/förbättring?</P>
<P class="p108 ft10">Ulf P. Lundgren menade att förändringen mot ett alltmer decentraliserat skolsystem ställde specifika krav på hur utvärde- ringen skulle utformas centralt, regionalt och lokalt. De metoder och modeller som används påverkar styrningen av skolan, såväl vad gäller balansen mellan politisk och professionell styrning som vad gäller balansen mellan central och lokal styrning, och möjliggör utvecklandet av kunskap om skolan.</P>
<P class="p167 ft45">Kritiken mot skolan byggde dock enligt Lundgren sällan på kunskap om vad den producerade och till vilket pris. Utvärderingen av skolan måste därför bl.a. ske utifrån ett brett samhällsteoretiskt perspektiv. Det innebär att tolkningarna av utvärderingen enligt</P>
<P class="p326 ft31"><SPAN class="ft30">6 </SPAN><NOBR>Franke-Wikberg,</NOBR> Sigbrit (red.), Urban Dahllöf, Daniel Kallos, Ulf P. Lundgren och Erik Wallin (1989) <SPAN class="ft74">Skolan och utvärderingen. Fem professorer tar ordet</SPAN>. HLS Förlag.</P>
<P class="p134 ft18">84</P>
</DIV>
<DIV id="page_82">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31282x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td58"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td59"><P class="p22 ft99">Reformutvärdering – historik och nuläge</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">Lundgren borde ske med hänsyn till övergripande kunskap om relationer mellan utbildning, produktion och samhällsliv.</P>
<P class="p117 ft45">Lundgren menade vidare att förändringar av skolan krävde fort- bildning såväl av lärare som av den centrala skoladministrationen. I en vidgad kompetens ligger en vidgad förmåga att ta tillvara kun- skap och erfarenheter, att föra en öppen diskussion, att lyssna till kritik och att bygga upp ett eget minne.</P>
<P class="p327 ft101">Det är inte uppgiften att genomföra ett nationellt utvärderingsprogram jag sett som problemet, utan förmågan att se detta program i ett samman- hang och att kunna bygga det stegvis, så att det skapar en användbar och tillgänglig kunskap. Detta är en utmaning som ett nationellt utvärd- eringsprogram ställer i en administrativ struktur med rötter i central kontroll och där makt i bland förväxlas med kunskap.<SPAN class="ft98">7</SPAN></P>
<P class="p328 ft13"><SPAN class="ft13">5.1.4</SPAN><SPAN class="ft69">Övergången till mål- och resultatstyrning i början av </SPAN><NOBR>1990-talet</NOBR></P>
<P class="p77 ft45">Den övergång till mål- och resultatstyrning av den svenska skolan som skedde i början av <NOBR>1990-talet</NOBR> ingick i en mer omfattande för- ändring av den statliga styrningen generellt. För skolans del skedde övergången som en följd av riksdagens beslut om två propositio- ner – propositionen om skolans utveckling och styrning samt pro- positionen om ansvaret för skolan.</P>
<P class="p329 ft13">Propositionen om skolans utveckling och styrning</P>
<P class="p182 ft9">I propositionen om skolans utveckling och styrning<SPAN class="ft28">8 </SPAN>konstaterades att traditionen att utvärdera verksamheten varit svag i svensk skola</P>
<P class="p196 ft10">”om man med utvärdering menar att verksamhetens resultat ställs i relation till målen”. Vidare konstaterades att målstyrning förut- sätter att läroplanens mål närmare preciseras i det lokala planerings- arbetet. Ett styrsystem som i större utsträckning skulle bygga på målstyrning förutsatte, enligt regeringen, kraftigt utökade insatser för utvärdering på alla nivåer av skolväsendet.</P>
<P class="p92 ft39">Enligt regeringen borde uppgiften att välja undervisningsmetod och att prioritera vid urval av stoff, både av principiella och prak- tiska skäl, alltjämt förbehållas lärarna och eleverna, så som läropla-</P>
<P class="p330 ft59"><SPAN class="ft51">7</SPAN><NOBR><SPAN class="ft70">Franke-Wikberg,</SPAN></NOBR> Sigbrit (red.), Urban Dahllöf, Daniel Kallos, Ulf P. Lundgren och Erik Wallin (1989) <SPAN class="ft58">Skolan och utvärderingen. Fem professorer tar ordet</SPAN>. HLS Förlag.</P>
<P class="p88 ft74"><SPAN class="ft51">8</SPAN><SPAN class="ft54">Prop. 1988/89:4 </SPAN>Skolans utveckling och styrning<SPAN class="ft31">.</SPAN></P>
<P class="p50 ft18">85</P>
</DIV>
<DIV id="page_83">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – historik och nuläge</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">nerna föreskrev. Den centrala skolmyndigheten förväntades dock noga följa och låta utvärdera undervisningens resultat och vid behov kräva förändringar och förbättringar.</P>
<P class="p74 ft10">De ökade kraven på utvärdering gällde såväl undervisningens resultat i relation till uppsatta mål och riktlinjer som hela den genom- förandeprocess, varigenom målen och intentionerna skulle förverk- ligas. Regeringen menade att de skolpolitiskt ansvariga måste få kunskap om hur deras intentioner förverkligas, och i vilken grad de mål som de angett verkligen uppnås, för att med detta som utgångspunkt effektivt kunna styra skolans utveckling i önskad rikt- ning. På alla nivåer torde särskilt den mer <SPAN class="ft11">kvalitativt </SPAN>betonade utvärderingen behöva förbättras.</P>
<P class="p169 ft40">Regeringen omnämnde i propositionen det arbete som vid den- na tidpunkt pågick inom SÖ med att utveckla innehåll och former för en nationell utvärdering av skola och vuxenutbildning. Detta var enligt regeringen en naturlig arbetsuppgift för SÖ, men den all- männa inriktningen av en sådan utvärdering borde dock avgöras av riksdag och regering. Att SÖ tilldelades ett ansvar för utvärde- ringen hindrade inte, enligt regeringen, att också vetenskapliga institutioner eller andra organ kunde komma ifråga för särskilda utvär- deringsuppdrag initierade av riksdagen eller regeringen.</P>
<P class="p169 ft9">Regeringen menade att det var angeläget att utvärderingskompe- tensen hos SÖ förstärktes. Som ett led i denna förstärkning och för att få en bredare vetenskaplig förankring föreslogs att SÖ skulle knyta en <SPAN class="ft12">referensgrupp </SPAN>eller <SPAN class="ft12">rådgivargrupp </SPAN>av <SPAN class="ft12">vetenskaplig expert- karaktär </SPAN>till det särskilda nationella utvärderingsprogram, som SÖ efter principbeslut av riksdagen och regeringen vid denna tidpunkt arbetade med att utveckla. Gruppens uppgift skulle vara att biträda vid utformningen av programmet, vid värderingen av de data som insamlats för utvärderingen samt vid bedömningen av vilka delar av programmet som borde ägnas särskild uppmärksamhet. SÖ och läns- skolnämnderna föreslogs regelbundet publicera sammanställningar av de resultat som de centrala och regionala uppföljningarna och utvärderingarna gav.</P>
<P class="p331 ft39">Med utvecklingen av informationsteknologin skapades vid denna tidpunkt nya möjligheter att få tillgång till data om skolan och att länka olika data och utvärderingar till varandra. Regeringen menade därför att en utredning borde genomföras om behovet och utformningen av ett bättre informationssystem för skolan och vuxenutbildningen. Utöver en genomgång av tillgången till infor- mation genom den befintliga forskningen och utvärderingen, och av</P>
<P class="p332 ft18">86</P>
</DIV>
<DIV id="page_84">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31284x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td58"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td59"><P class="p22 ft99">Reformutvärdering – historik och nuläge</P></TD>
</TR>
</TABLE>
<P class="p201 ft9">den existerande informationen i övrigt, skulle analyseras vilket behov av information som övergången till en ökad målstyrning medförde.</P>
<P class="p63 ft9">I det föreslagna utredningsarbetet föreslogs också ingå att utfor- ma bättre modeller för uppföljning och utvärdering på olika nivåer. Därvid skulle möjligheterna att effektivisera den mer kvalitativt betonade utvärderingen särskilt uppmärksammas. Även möjlighe- terna att bedöma effekterna av den förda utbildningspolitiken och den förändrade styrningen och ansvarsfördelningen skulle upp- märksammas, liksom effekterna av att använda utvärdering som kontroll- och förändringsinstrument.</P>
<P class="p15 ft10">Någon utredning av det slag som föreslogs blev aldrig tillsatt. Regeringen återkom i stället till frågan i den s.k. ansvarsproposi- tionen och i det interna beredningsarbete som följde på denna.</P>
<P class="p222 ft13">Ansvarspropositionen</P>
<P class="p182 ft40">I den s.k. ansvarspropositionen<SPAN class="ft77">9 </SPAN>konstaterade regeringen återigen att uppföljning och utvärdering skulle bedrivas såväl i den enskilda skolan som på kommunal och nationell nivå. De av riksdagen och regeringen fastställda målen måste kunna följas upp och utvärderas nationellt. Avsikten var att riksdagen och regeringen regelbundet skulle få en bild av tillståndet i skolan genom rapporter och utvär- deringar. Den då befintliga uppföljningen och utvärderingen av verksamheten i skolan betraktades som osystematisk och fragmen- tarisk. Det var svårt att få en helhetsbild, samtidigt som det sak- nades uppgifter om hur olika kommuner drev sin verksamhet och vilka resultat som uppnåddes.</P>
<P class="p185 ft10">I anslutning till arbetet med att utforma riktlinjerna för det kom- mande läroplansarbetet pågick också ett arbete med att ta fram rikt- linjer för den nationella utvärderingen av undervisningsresultat. Regeringen menade att denna utvärdering måste kompletteras av en nationell uppföljning som ger möjligheter till att mer systematiskt mellan kommunerna jämföra prestations- och kostnadsutveckling- en i de olika skolformerna, för de samlade statliga och kommunala resurserna.</P>
<P class="p204 ft39">Det nationella utvärderingsprogram som SÖ påbörjat skulle enligt regeringen komma att utvecklas successivt. En viktig uppgift förväntades bli att planera och samordna arbetet så att en samlad bild av skolans verksamhet skulle kunna presenteras, som underlag</P>
<P class="p7 ft74"><SPAN class="ft30">9 </SPAN><SPAN class="ft31">Prop. 1990/91:18 </SPAN>Ansvaret för skolan<SPAN class="ft31">.</SPAN></P>
<P class="p50 ft18">87</P>
</DIV>
<DIV id="page_85">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31285x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – historik och nuläge</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">för ställningstaganden i fråga om skolans framtida styrning och utveckling. Det borde, enligt propositionen, ankomma på rege- ringen att ge riktlinjer för det fortsatta arbetet.</P>
<P class="p297 ft13">Vad hände?</P>
<P class="p199 ft40">Som nämnts ovan tillsattes aldrig den utredning om ett informa- tionssystem för skolan och vuxenutbildningen som regeringen avi- serade i styrpropositionen. Inte heller fullföljdes SÖ:s nationella utvärderingsprogram. Ansvaret för utvärderingen kom i stället att föras till Skolverket när detta inrättades 1991 samtidigt som SÖ lades ned. Skolverket fick ansvaret för uppföljning och utvärdering. Inför inrättandet av Skolverket genomfördes ett internt arbete med att utforma uppföljningssystemet inom Utbildningsdepartementet.</P>
<P class="p226 ft10">Skolverket har sedan sin tillkomst på eget initiativ genomfört flera nationella utvärderingar av grundskolan. Den senaste stora utvär- deringen genomfördes 2003 (NU 03)<SPAN class="ft55">10</SPAN>. Några riktlinjer för det fortsatta arbetet med att utforma ett nationellt utvärderings- program för skolan, på det sätt ansvarspropositionen aviserar, har inte getts av regeringen.</P>
<P class="p239 ft13"><SPAN class="ft13">5.1.5</SPAN><SPAN class="ft69">Sammantaget – ingen reformutvärdering att tala om</SPAN></P>
<P class="p53 ft10">Sammantaget kan konstateras att det från <NOBR>1900-talets</NOBR> mitt fram till <NOBR>1990-talets</NOBR> början inte finns några exempel på summativa reform- utvärderingar på skolans område som initierats av regering eller riksdag. Införandet av grundskolan föregicks dock av omfattande utredningar och försöksverksamheter som utvärderades. Det fanns således i det fallet ett starkt formativt inslag, där den bästa kunska- pen togs tillvara.</P>
<P class="p96 ft10">Utvärdering diskuterades dock livligt under perioden, av såväl regering som forskare. Endast i begränsad omfattning har denna debatt gällt explicit reformutvärdering. I högre grad har de ambi- tioner som uttryckts gällt uppföljnings- och utvärderingssystemet generellt, dvs. handlat om hur en ökad kunskap om skolan och sko- lans prestationer ska kunna etableras.</P>
<P class="p333 ft31"><SPAN class="ft30">10 </SPAN>Om de nationella utvärderingarna av grundskolan se bl.a. bilaga 3.</P>
<P class="p144 ft18">88</P>
</DIV>
<DIV id="page_86">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31286x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td58"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td59"><P class="p22 ft99">Reformutvärdering – historik och nuläge</P></TD>
</TR>
</TABLE>
<P class="p145 ft32"><SPAN class="ft32">5.2</SPAN><SPAN class="ft50">Var står vi i dag?</SPAN></P>
<P class="p146 ft10">Ser man tillbaka på perioden fram till början av <NOBR>1990-talet</NOBR> och jäm- för med perioden därefter kan man konstatera att mycket känns igen och att inte mycket har hänt, åtminstone inte när det gäller reformutvärdering. När det gäller uppföljnings- och utvärderings- systemet har en utveckling skett, men det kvarstår också ambi- tioner att infria.</P>
<P class="p135 ft13"><SPAN class="ft13">5.2.1</SPAN><SPAN class="ft69">Reformutvärdering fortfarande ovanlig</SPAN></P>
<P class="p65 ft10">Om vi med reformutvärdering menar utvärdering i anslutning till, eller av, större reformer går det snabbt att sammanfatta de initiativ som under de senaste <NOBR>20-25</NOBR> åren tagits från central politisk nivå för att utvärdera reformer på skolans område: Tills helt nyligen har de varit helt obefintliga. Med reform avser vi här förändring av bär- ande delar av skolsystemet som är reglerade i lag eller förordning. Den nationella utvärderingen av grundskolan (NU 03), som Skol- verket genomförde på eget initiativ, fick funktionen av en reform- utvärdering av bl.a. införandet av Lpo 94, trots att den i grunden när en systemutvärdering.</P>
<P class="p13 ft10">Till skillnad från vad som gällde vid mitten av <NOBR>1900-talet</NOBR> har större reformer som t.ex. kommunaliseringen av skolan respektive införandet av mål- och resultatstyrning av skolan genomförts utan föregående utredning eller försök. Införande av nya läroplaner har föregåtts av utredningar, däremot inte av några försök. Försöks- verksamheter har dock genomförts inom vissa andra mer avgrän- sade områden (se vidare kapitel 8).</P>
<P class="p204 ft39">Några politiskt initierade beslut att utvärdera <NOBR>1990-talets</NOBR> refor- mer togs inte inför eller i samband med att de genomfördes. Tjugo år senare har regeringen, som nämnts i föregående kapitel, sedan februari 2012 gett Institutet för arbetsmarknads- och utbild- ningspolitisk utvärdering (IFAU) som en instruktionsenlig uppgift att bl.a. utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet<SPAN class="ft75">11</SPAN>. Efter riksdagens tillkännagivande 2011 om att tillsätta en utredning med uppdrag att analysera de senaste årens skolreformer<SPAN class="ft75">12 </SPAN>– kommunaliseringen, det fria skolvalet och fristå-</P>
<P class="p334 ft59"><SPAN class="ft51">11</SPAN><SPAN class="ft70">Förordning (2012:16) med instruktion för Institutet för arbetsmarknads- och utbildnings- politisk utvärdering.</SPAN></P>
<P class="p237 ft31"><SPAN class="ft51">12</SPAN><SPAN class="ft54">Observera att med de senaste årens skolreformer avses här de stora reformer som genom- fördes på </SPAN><NOBR>1990-talet,</NOBR> inte de reformer som genomförts sedan 2006.</P>
<P class="p197 ft18">89</P>
</DIV>
<DIV id="page_87">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31287x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – historik och nuläge</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p256 ft10">ende skolors etablering – har regeringen dessutom tagit initiativ till två utredningar avseende dessa <NOBR>1990-talsreformer:</NOBR></P>
<P class="p335 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft37">I augusti 2012 tillkallade regeringen en särskild utredare med uppdrag</SPAN><SPAN class="ft55">13 </SPAN>att utvärdera eventuella kausala effekter av kommuna- liseringen på elevernas studieresultat, läraryrkets status, lärarnas och rektorernas arbetsuppgifter, samt likvärdigheten i skolvä- sendet. Utredningen redovisade sina resultat i början av februari 2014<SPAN class="ft55">14</SPAN>.</P>
<P class="p336 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft37">I december 2012 fick IFAU ett särskilt uppdrag</SPAN><SPAN class="ft55">15 </SPAN>av regeringen att utvärdera de stora reformer på skolområdet som genomför- des under <NOBR>1990-talet.</NOBR> Uppdraget är begränsat till grundskolan och gymnasieskolan. IFAU ska särskilt beakta aspekter som betygsresultat och fullföljande av utbildning, liksom kön, utländsk bakgrund och tid i Sverige. Uppdraget ska redovisas senast den 15 december 2014.</P>
<P class="p60 ft10">Än så länge finns inga beslut om utvärdering av de reformer som genomförts under perioden från 2006. Det handlar om så viktiga reformer som t.ex. införandet av Lgr11 med nya kursplaner komp- letterade med kunskapskrav, införandet av skriftliga omdömen som får vara betygsliknande från årskurs 1, betyg från årskurs 6 samt nationella prov i fler ämnen. Däremot har regeringen initierat mer avgränsade utvärderingar (se nedan).</P>
<P class="p239 ft13"><SPAN class="ft13">5.2.2</SPAN><SPAN class="ft69">Skolverkets utvärderingsuppdrag</SPAN></P>
<P class="p230 ft10">Som redovisats ovan har Skolverket som ett centralt uppdrag att följa upp och utvärdera skolan. Detta sker genom den fortlöpande uppföljningen och utvärderingen samt genom särskilda regerings- uppdrag.</P>
<P class="p140 ft45">Den fortlöpande uppföljningen och utvärderingen som har redo- visats i föregående kapitel utgör en viktig grund för möjligheterna att utvärdera reformer. Det bygger på det system som initierades när Skolverket bildades i början på <NOBR>1990-talet</NOBR> och består av bl.a. statistik och de internationella kunskapsmätningarna. Systemet har natur- ligtvis utvecklats och anpassats över tid.</P>
<P class="p337 ft53"><SPAN class="ft51">13</SPAN><SPAN class="ft52">Dir. 2012:84.</SPAN></P>
<P class="p151 ft72"><SPAN class="ft51">14</SPAN><SPAN class="ft52">SOU 2014:5 </SPAN>Staten får inte abdikera – om kommunaliseringen av den svenska skolan<SPAN class="ft53">.</SPAN></P>
<P class="p151 ft31"><SPAN class="ft51">15</SPAN><SPAN class="ft54">U2012/7283/S, U2011/2269/S.</SPAN></P>
<P class="p144 ft18">90</P>
</DIV>
<DIV id="page_88">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31288x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td58"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td59"><P class="p22 ft99">Reformutvärdering – historik och nuläge</P></TD>
</TR>
</TABLE>
<P class="p338 ft9">Utredningen har valt att gå igenom regeringens särskilda utvär- deringsuppdrag till Skolverket och Skolverkets återrapporteringar av dessa för perioden <NOBR>2002–2013<SPAN class="ft28">16</SPAN>.</NOBR> Vi har fokuserat bl.a. på vilken typ av utvärderingsuppdrag Skolverket har fått av regeringen. Vi har vidare bedömt om uppdragen avsett utvärdering av reformer och hur vanligt det är med sådana särskilda utvärderingsuppdrag.</P>
<P class="p92 ft45">Vi har granskat uppdrag givna såväl i Skolverkets regleringsbrev som i särskild ordning samt i viss mån även krav på utvärdering som formuleras i förordningar. Vi bedömer att granskningen om- fattar merparten av de uppdrag som under perioden innehållit krav på utvärdering, eller något som motsvarar utvärdering. Samman- taget rör det sig om drygt 25 uppdrag.</P>
<P class="p90 ft13">Uppdragen handlar inte om reformutvärdering</P>
<P class="p65 ft9">Det enkla svaret på frågan om vilken typ av utvärderingsuppdrag Skolverket får är att regeringens uppdrag inte avser utvärdering av reformer. De avser i stället ofta mer avgränsade frågeställningar eller är kopplade till olika satsningar, t.ex. statsbidrag.</P>
<P class="p63 ft9">Exempel på uppdrag om utvärdering av <SPAN class="ft12">särskilda satsningar </SPAN>är statsbidrag för åtgärder som syftar till att stärka arbetet med basfärdigheterna läsa, skriva och räkna (2009), utbildningsinsatser för lärare, utvecklingsinsatser inom områdena naturvetenskap och teknik (2012) samt statsbidrag till personalförstärkningar i skola och fritidshem (2003). I dessa uppdrag anger regeringen ofta att man vill att verket ska visa effekter av åtgärderna. Av redovisningen av uppdraget om personalförstärkningar framgår att Skolverket låtit forskare vid Uppsala universitet göra en kvantitativ effekt- studie. Denna visar inga signifikanta effekter av lärartäthet på den genomsnittliga elevens studieresultat, men ökade resurser har för- bättrat studieresultaten för elever med lågutbildade föräldrar. I de båda övriga utvärderingarna diskuteras effekter mer kvalitativt med utgångspunkt i lärares bedömningar i enkätsvar.</P>
<P class="p183 ft39">Regeringens uppdrag om utvärdering kopplas även till pågående <SPAN class="ft81">försöksverksamheter</SPAN>, t.ex. försöksverksamhet med riksrekryterande gymnasial spetsutbildning (2013), försöksverksamhet med ökad undervisningstid i svenska eller svenska som andraspråk för nyan- lända elever i grundskolan (2013). Om de utvärderingar som rege-</P>
<P class="p194 ft74"><SPAN class="ft30">16 </SPAN><SPAN class="ft31">Ett urval av dessa ingår i bilaga 3 </SPAN>Exempel på uppföljningar och utvärderingar genomförda av Skolverket på regeringens uppdrag åren 2002 – 2013<SPAN class="ft31">.</SPAN></P>
<P class="p197 ft18">91</P>
</DIV>
<DIV id="page_89">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31289x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – historik och nuläge</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft9">ringen efterfrågat i anknytning till dessa båda försöksverksamheter läggs till grund för beslut om det fortsatta reformarbetet kan dessa processer sägas utgöra exempel på ett evidensinformerat arbetssätt.</P>
<P class="p106 ft40">De uppdrag om utvärdering som berör reformer begränsar sig till utvärdering av Skolverkets <SPAN class="ft43">insatser </SPAN>och handlar inte om refor- merna <SPAN class="ft43">i sig</SPAN>. Skolverket har t.ex. haft i uppdrag<SPAN class="ft77">17 </SPAN>att initiera extern utvärdering av verkets insatser i samband med implementeringen av Lgr11. Ett annat exempel på detta är uppdraget<SPAN class="ft77">18 </SPAN>att stödja infö- randet av en förändrad individuell utvecklingsplan med skriftliga omdömen. Här efterfrågade regeringen en redogörelse för genom- förda åtgärder och kostnader samt en utvärdering av insatserna, däremot inte av själva reformen.</P>
<P class="p55 ft13">Oklara uppdrag påverkar genomförande och rapportering</P>
<P class="p56 ft10">Utöver att visa att de särskilda uppföljnings- och utvärderingsupp- dragen inte avser reformutvärdering visar utredningens genomgång även att det finns ett behov att utveckla det sätt på vilket uppdrag till Skolverket formuleras.</P>
<P class="p109 ft11">Oklar begreppsanvändning i uppdragen …</P>
<P class="p56 ft10">Utredningen har kunnat konstatera att det inte är alldeles oproble- matiskt att avgöra när regeringen förväntar sig en utvärdering och när den inte gör det. En enkel utgångspunkt är att alltid förutsätta att regeringen beställer en utvärdering när den explicit begagnar sig av detta begrepp – annars inte. Det är dock inte självklart att så är fallet. Förutom uttrycken ”utvärdering” och ”utvärdera” använder regeringen en rad andra uttryckssätt<SPAN class="ft55">19</SPAN>.</P>
<P class="p339 ft72"><SPAN class="ft51">17</SPAN><SPAN class="ft52">U2010/259/S </SPAN>Uppdrag till Statens skolverk om implementering av skolreformer.</P>
<P class="p180 ft58"><SPAN class="ft51">18</SPAN><SPAN class="ft70">2008/4180/S </SPAN>Uppdrag om implementeringsinsatser rörande en förändrad individuell utveck- lingsplan med skriftliga omdömen.</P>
<P class="p232 ft79"><SPAN class="ft51">19</SPAN><SPAN class="ft102">Bedömningen ska innehålla en fördjupad analys…; Genomföra en fördjupad studie…; Pe- ka på utvecklingsområden…; Följa upp…; Av redovisningen av verksamheten ska framgå resultatet, samt hur (xxx) bidragit till uppföljningen och utvecklingen av kvaliteten i…; Lö- pande följa upp och analysera…; Undersöka hur…; Av redovisningen ska bland annat fram- gå hur arbetet med satsningen fortskrider…; Kartlägga omfattningen av problemet samt föreslå…; Erfarenheterna av genomförandet av uppdraget ska redovisas…; Återrapportera utvecklingen av…; Informera RK (Utbildningsdepartementet) om uppdragets genom- förande…; Redovisa och analysera utvecklingen av verksamheten…; Göra en register- studie…; Kartlägga och analysera…; Genom fältstudier undersöka hur…; Utvärderingen ska ske i formen av en uppföljande analys…</SPAN></P>
<P class="p340 ft18">92</P>
</DIV>
<DIV id="page_90">
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td58"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td59"><P class="p22 ft99">Reformutvärdering – historik och nuläge</P></TD>
</TR>
</TABLE>
<P class="p341 ft9">Om det endast står att verket ska <SPAN class="ft12">redovisa </SPAN>något, <SPAN class="ft12">följa upp </SPAN>något eller genomföra en <SPAN class="ft12">kartläggning </SPAN>bör man kunna utgå från att det inte förväntas en utvärdering genomförd med utvärderingsmetodik. När Skolverket ska <SPAN class="ft12">följa upp och analysera </SPAN>eller <SPAN class="ft12">kartlägga och analysera</SPAN></P>
<P class="p342 ft9">är detta mer oklart, liksom när verket ska genomföra en <SPAN class="ft12">fördjupad studie </SPAN>eller <SPAN class="ft12">undersöka hur</SPAN>, eller slutligen när verket ska genomföra en <SPAN class="ft12">utvärdering i formen av en uppföljande analys</SPAN>. Varken uppdrag givna i regleringsbrev eller uppdrag givna genom separata regerings- beslut är således alltid tydliga med vad regeringen förväntar sig. Handlar det om en utvärdering som kräver en utvecklad metod och som förväntas utmynna i en värdering av utvärderingsobjektet och kanske även innehålla en rekommendation? Eller handlar det om en enklare kartläggning utan förväntan på analys och bedömning?</P>
<P class="p243 ft11">… bidrar till svag styrning av genomförande och rapportering</P>
<P class="p228 ft9">Enligt vår bedömning har det sätt som uppdragen formulerats över tid fått återverkningar på det sätt som Skolverket redovisar upp- dragen – mer eller mindre likartat oavsett hur beställningen formul- eras. Redovisningarna bygger oftast på kvantitativa data hämtade ur uppföljningssystemet och kvalitativa data från enkäter, intervjuer och fallstudier. Redovisningarna kan även innehålla olika former av slutsatser, bedömningar, rekommendationer eller åtgärdsförslag. Det gäller oavsett om beställningen formulerats som en uppfölj- ning, en utvärdering, en kartläggning eller en fördjupad studie.</P>
<P class="p249 ft10">I flera fall benämner myndigheten sin återrapportering för ut- värdering trots att regeringen i sitt uppdrag inte uttryckligen efter- frågat en sådan. Detta kan tolkas som att Skolverket inom ramen för sitt instruktionsenliga uppdrag valt en ambitiösare ansats än vad det aktuella uppdraget kräver, som ett led i behovet att bygga upp kunskap om den aktuella frågeställningen för egna och omgiv- ningens behov (för normering, tillsyn och utvecklingsinsatser). Det kan emellertid även vara uttryck för en osäkerhet om vad regeringen egentligen efterfrågat. I vissa fall kan det även ha förekommit en uppdragsdialog mellan Skolverket och departementet som klargjort detta.</P>
<P class="p124 ft40">Det är även möjligt att uppdrag där regeringen efterfrågat en utvärdering visat sig ha en sådan begränsad karaktär att det fram- stått som oförsvarligt att genomföra en resurskrävande och meto- disk avancerad utvärdering, och att myndigheten därför inte</P>
<P class="p343 ft18">93</P>
</DIV>
<DIV id="page_91">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – historik och nuläge</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft40">redovisat en sådan. Vidare kan det finnas exempel där frågan varit av den arten att den inte låtit sig utvärderas med en acceptabel metod. Även i dessa fall kan det ha förekommit en uppdragsdialog.</P>
<P class="p108 ft10">Att Skolverkets metodval är så likartat oberoende av hur upp- draget har formulerats kan således, enligt vår uppfattning, i viss mån härledas till att uppdragen är otydligt formulerade. Bland annat därför skapas också en osäkerhet om huruvida beställaren faktiskt använder ett begrepp i den betydelse det ges inom utvär- deringsteorin eller om begreppet används i en allmännare mening. Bland annat begreppet effekter kan ibland användas på ett sätt så att det är oklart om det används i en mer vardaglig mening eller om det är en effektstudie som avses.</P>
<P class="p169 ft9">Vi har dessutom kunnat konstatera att de utvärderingar vi gått igenom inte innehåller någon egentlig diskussion om utvärderings- design och möjliga utvärderingsmetoder. Det man oftast avser när man talar om metod är i själva verket olika tekniker för datainsam- ling (enkät, data från uppföljningssystemet, dokumentstudie, observa- tion, fallstudie, etc.), dvs. myndigheten redovisar/förklarar det sätt som den aktuella studien faktiskt genomförts på. Enligt Skolverket utesluter inte detta att t.ex. översikter har gjorts och att program- teoretiska resonemang eller genomgångar av verksamhetslogiker har genomförts och att dessa redovisats i projektens arbetsplaner. Att de inte redovisas i verkets externa rapporter beror, enligt ver- ket, på att dessa ska vara målgruppsanpassade.</P>
<P class="p177 ft9">Utredningen har inte, bland de utvärderingar Skolverket genom- fört eller låtit genomföra på regeringens uppdrag, funnit något exempel där en effektstudie med randomiserad kontrollgrupp genomförts, eller någon studie med en programteoretisk ansats. I ett fall, där ett konsultföretag genomfört en utvärdering på Skolverkets uppdrag, förs ett inledande resonemang med programteoretiska utgångspunkter. I några fall har myndigheten låtit forskare ta fram underlag för sin rapportering. Dessa har huvudsakligen haft en nationalekonomisk utgångspunkt för metodval och val av fråge- ställningar. I flera av rapporterna återkommer verket till svårig- heterna med att mäta effekter.</P>
<P class="p344 ft18">94</P>
</DIV>
<DIV id="page_92">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31292x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td58"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td59"><P class="p22 ft99">Reformutvärdering – historik och nuläge</P></TD>
</TR>
</TABLE>
<P class="p145 ft32"><SPAN class="ft32">5.3</SPAN><SPAN class="ft50">En internationell utblick</SPAN></P>
<P class="p123 ft10">Utredningen har studerat ett antal <NOBR>OECD-länders</NOBR> arbete med reformer och framför allt utvärdering. Genomgången visar att länderna har delvis olika strategier för utvärderingar av reformer, delvis som en konsekvens av att länderna har olika reformstrate- gier.</P>
<P class="p13 ft10">I flera länder har t.ex. fokus flyttat från utvärdering av reformer i form av särskilda forskningsbaserade studier till att i högre grad söka utveckla utvärderingssystem som löpande tillhandahåller data som grund för bedömningar av hur skolan utvecklas. Denna för- skjutning har i vissa fall varit kopplad till att man har lämnat strategin att genomföra stora strukturreformer till förmån för mer partiella reformer och satsningar på att förstärka den lokala för- mågan till skolutveckling (capacity building). Detta innebär dock inte att länderna helt har slutat att vid behov genomföra utvär- deringar av skolpolitiska reformer. Det finns också exempel på länder som har genomfört större skolreformer och där särskilda forskningsbaserade studier har getts en mer framskjuten roll vid utvärderingen av dessa.</P>
<P class="p345 ft9">Vi har även funnit att de system för kunskapsförsörjning som byggs upp i andra länder oftast sätter utvecklingsperspektivet främst. System för utvärdering och andra former av kunskaps- inhämtande syftar främst till att stödja den lokala utvecklingen. Det innebär att även de beslut som fattas på nationell politisk nivå har denna inriktning, dvs. utvecklingen förefaller gå mot en utveck- lingsstrategi som lägger störst vikt vid att bygga upp den lokala kapaciteten att själv ta ansvar för sin utveckling och sina prestationer. Centralt planerade reformer utformas med detta för ögonen.</P>
<P class="p15 ft10">Denna trend är inte rätlinjig och tar sig inte samma väg i alla länder, men vi anser ändå att en sådan trend kan urskiljas. En sådan trend kan under senare år även avläsas i England, dvs. ett av de län- der som tidigare haft det tydligaste kontroll- och styrningspers- pektivet i synen på utvärderingens roll och syfte inom utbildnings- systemet. Under senare år har till exempel skolornas förmåga till egen utveckling betonats allt kraftigare i de engelska regeringarnas policydokument.<SPAN class="ft55">20</SPAN></P>
<P class="p346 ft62"><SPAN class="ft76">20 </SPAN>Se till exempel dokumenten <SPAN class="ft63">A new Relationship with Schools</SPAN>. Department for education and skills tillsammans med Office for standards in education (2004) och <SPAN class="ft63">The Importance of Teaching. The schools White Paper 2010</SPAN>. Department for Education (2010).</P>
<P class="p301 ft18">95</P>
</DIV>
<DIV id="page_93">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31293x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – historik och nuläge</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft10">Det engelska utbildningsministeriets utvärderingar är av olika om- fattning och inriktning – särskilda satsningar och utbildningspro- gram hör till det som utvärderas oftast – och genomförs av olika forskargrupper eller av enskilda konsultföretag<SPAN class="ft55">21</SPAN>. Man har även avtal med olika forskningsinstitutioner som bidrar med veten- skapliga underlag inom sina respektive kunskapsområden<SPAN class="ft55">22</SPAN>.</P>
<P class="p167 ft40">För att utvärdera nationella reformer och strategier beställer utbildningsministeriet i Nya Zeeland oberoende utvärderingar från externa akademiker och forskare och/eller samlar information från ett stort antal källor (t.ex. granskningen och utvärderingen av den nationella standarden). Sådana utvärderingar används både för sum- mativa syften (bedömningar av effektiviteten och värdet av policies och program) och för formativa syften (för anpassning, modifie- ring och förbättring av pågående reformer och program). Ett exempel på detta slags utvärderingar är den utvärdering av den nya zeeländska läroplanen och de nationella standarderna (ungefär motsvarande de svenska kunskapskraven) som pågår för närvarande inom projektet The National Standards: School Sample Monitoring and Evaluation Project. Projektet genomförs av ett kontrakterat utvärderingsteam och samlar in data från ett urval av skolor under perioden <NOBR>2009-2013<SPAN class="ft77">23</SPAN>.</NOBR></P>
<P class="p82 ft10">Danmark har under senare år arbetat intensivt med att stärka utvärderingskulturen i skolan. Ett viktigt inslag i detta arbete har varit beslutet om att införa ett nationellt provsystem i folkesko- len<SPAN class="ft55">24</SPAN>. I samband med detta beslutades även om att det nya systemet skulle utvärderas. Det nationella provsystemet började tillämpas i full skala 2010 och en första utvärdering av systemet genomfördes av det fristående konsultföretaget Ramböll under perioden novem- ber 2012 till september 2013<SPAN class="ft55">25</SPAN>.</P>
<P class="p169 ft45">I Norge har under de senaste decennierna stora forsknings- baserade utvärderingsstudier genomförts i samband med att de stora skolreformerna Reform 94, Reform 97 och Kunskapslyftet (2006) genomförts. Utvärderingen av Kunskapslyftet var omfattan- de. Enligt uppgift satsades totalt 60 miljoner norska kronor. Under 2009 mottog Utdanningsdirektoratet, utöver ett stort antal delrap-</P>
<P class="p347 ft53"><SPAN class="ft51">21</SPAN><SPAN class="ft52">Se </SPAN><NOBR>www.gov.uk/contracts-finder</NOBR></P>
<P class="p180 ft59"><SPAN class="ft51">22</SPAN><SPAN class="ft57">Centre for Analysis of Youth Transitions, Centre for Understanding Behaviour Change och The Childhood Wellbeing Research Centre. Se DfE:s hemsida.</SPAN></P>
<P class="p232 ft62"><SPAN class="ft51">23</SPAN><SPAN class="ft61">Uppgifterna om Nya Zeeland är hämtade från det underlag som lämnats av Nya Zealand i New Zealand Country Background Report (2010) Denna rapport utgör ett av underlagen för OECD:s Review of Evaluation and Assessment in education. New Zealand (2012).</SPAN></P>
<P class="p151 ft53"><SPAN class="ft51">24</SPAN><SPAN class="ft52">En mer utförlig redovisning av de initiativ som tagits i Danmark finns i bilaga 5.</SPAN></P>
<P class="p151 ft74"><SPAN class="ft51">25</SPAN><SPAN class="ft54">Ramböll (2013) </SPAN>Evaluering af de nationella test i folkeskolen<SPAN class="ft31">.</SPAN></P>
<P class="p144 ft18">96</P>
</DIV>
<DIV id="page_94">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31294x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td58"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td59"><P class="p22 ft99">Reformutvärdering – historik och nuläge</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">porter, femton slutrapporter från olika forsknings- och utvärderings- projekt. Projektet resulterade i en nära koppling mellan forskning och policyutformning. Forskningen har haft betydelse dels för att stärka styrningen av skolsektorn (och den har påverkat dess struktur och kultur), dels för att stärka lärarnas och elevernas arbete och lärande, dvs. skolans praxis. Det senare har dock skett i mindre utsträckning än det förra.<SPAN class="ft55">26</SPAN></P>
<P class="p348 ft32"><SPAN class="ft32">5.4</SPAN><SPAN class="ft50">Sammanfattande bedömning</SPAN></P>
<P class="p136 ft40">Karaktäristiskt för reformarbetet i Sverige vid <NOBR>1900-talets</NOBR> mitt var på skolans område att större reformer förbereddes genom omfat- tande utredningar. Reformer som genomförts under de senaste decennierna har ofta föregåtts av utredningar med ett mer begrän- sat utrymme för att på ett mer djuplodande sätt utreda den aktuella frågeställningen, t.ex. genom att initiera utvärdering och forskning eller genom att i förväg pröva tänkta lösningar genom försök eller stegvis införande. Detta innebär inte att det helt saknats utred- ningsinsatser inför reformer eller att det inte genomförts några försöksverksamheter alls. Det finns emellertid också exempel på större reformer från början på <NOBR>1990-talet</NOBR> som genomfördes utan föregående utredning (se bilaga 3).</P>
<P class="p233 ft10">Under de senaste decennierna har det offentliga utrednings- väsendet generellt sett getts en delvis annan roll än det hade tidigare. Utredningstiderna har förkortats och ger inte i samma utsträckning som förr utrymme för att initiera egna utvärderingar eller separata studier av t.ex. forskare. Det är i dag vanligt med direktiv som tydligt anger inriktningen av arbetet. Dessa för- hållanden får ses som en konsekvens av en allt snabbare föränd- ringstakt och krav på snabbare beredningsprocesser<SPAN class="ft55">27</SPAN>.</P>
<P class="p204 ft39">Samtidigt har ambitionen om att de politiska besluten ska vara evidensinformerade förstärkts. Utredningen menar att skolpoli- tiska reformer har mycket att vinna på att utformas i processer där evidens och utvärdering ges en mer central roll än under de senaste decennierna. För att en sådan ambition ska kunna infrias behöver förutsättningarna för att ta tillvara systematiskt uppbyggd kunskap</P>
<P class="p312 ft53"><SPAN class="ft51">26</SPAN><SPAN class="ft52">En mer utförlig redovisning av de initiativ som tagits i Norge finns i bilaga 5.</SPAN></P>
<P class="p196 ft74"><SPAN class="ft51">27</SPAN><SPAN class="ft103">Se t.ex. Amnå, Erik (2013) </SPAN>Speak truth to Power. Statsvetarna och kommittéväsendet. <SPAN class="ft31">Stats- vetenskaplig Tidskrift 112 (5).</SPAN></P>
<P class="p197 ft18">97</P>
</DIV>
<DIV id="page_95">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – historik och nuläge</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">i beslutsprocesserna förbättras. Det kan innebära att dessa behöver ges mer tid än i dag.</P>
<P class="p108 ft10">Det är dock knappast realistiskt, eller ens önskvärt, att åter- vända till situationen vid <NOBR>1900-talets</NOBR> mitt där beredningsproces- serna kunde sträcka sig över mer än ett decennium. Större krav måste därför också ställas på den kunskap som kan fås ur såväl det löpande uppföljnings- och utvärderingssystemet som från annan utvärdering, t.ex. av redan genomförda reformer. Frågan om hur politikens behov av evidens kan matchas med produktionen av forsknings- och utvärderingsresultat har blivit kritisk. Kunskapen måste i hög utsträckning redan finnas på plats när de politiska besluten ska fattas.</P>
<P class="p349 ft40">Det är mot denna bakgrund slående hur litet som hänt över tid när det gäller utvärdering av reformer på skolans område i Sverige. I hög grad gäller fortfarande Urban Dahllöfs konstaterande från början av <NOBR>1970-talet,</NOBR> att det saknas systematiska undersökningar som syftar till att följa upp och utvärdera skolreformer. Förutom de båda utredningar som nyligen tillsatts, och som avser att utvärdera förändringar som skedde för 20 år sedan, har regering och riksdag inte tagit initiativ till någon systematisk utvärdering av de reformer som genomförts under senare år. Stora reformer i Sverige har således genomförts, och genomförs fortfarande, utan att bli föremål för en från början planerad utvärdering, utöver den som sker av informationsinsatserna i implementeringens första fas.</P>
<P class="p54 ft10">Behovet av ett väl fungerande uppföljnings- och utvärderings- system har diskuterats återkommande under åren från <NOBR>1990-talets</NOBR> mitt och framåt, av både forskare och av regeringen. Frågor som aktualiserats handlar om vad systemet ska kunna ge svar på, balansen mellan kvantitativt och kvalitativt inriktad utvärdering, olika nivåers behov av utvärderingsinformation, etc. Det nationella uppföljningssystem som Skolverket svarar för innebär mot denna bakgrund en viktig utveckling jämfört med tidigare, även om det fortfarande finns utrymme för att förstärka systemet, något vi återkommer till i flera av de följande kapitlen.</P>
<P class="p177 ft10">Det uppdrag som IFAU fick 2012 att utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet innebär att det tillkommit en aktör med en specialiserad kompetens för just denna typ av utvärdering. Det är värdefullt, men innebär enligt vår bedömning inte att behovet av reformutvärdering är täckt. För utvärdering av reformer behövs enligt vår uppfattning en bredd</P>
<P class="p61 ft18">98</P>
</DIV>
<DIV id="page_96">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31296x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td58"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td59"><P class="p22 ft99">Reformutvärdering – historik och nuläge</P></TD>
</TR>
</TABLE>
<P class="p350 ft10">både vad gäller utvärderingsdesign och vad gäller de forsknings- discipliner som företräds. Det handlar om både kvantitativt och kvalitativt inriktad utvärdering.</P>
<P class="p171 ft10">När det gäller utvärderingen av skolan och av reformer på sko- lans område finns således, enligt vår uppfattning, fortfarande ett stort utrymme för utveckling som främst har att göra med vilken typ av utvärdering som efterfrågas, men också på hur beställning- arna av utvärdering utformas.</P>
<P class="p223 ft9">Genomgången av regeringens utvärderingsuppdrag till Skolverket visar både på en frånvaro av mer omfattande utvärderingsuppdrag från regeringens sida och på att verket i begränsad omfattning har förutsättningar att ta egna initiativ till större utvärderingar, t.ex. utvärderingar av reformer<SPAN class="ft28">28</SPAN>. Genomgången visar även att det finns ett behov av ökad tydlighet från regeringens sida när uppdrag ges. Formuleringarna bör vara mer konsistenta och metodiskt med- vetna, så att utföraren inte behöver tveka om huruvida det är en utvärdering som efterfrågas, med de krav det ställer på metod, eller om det är en enklare kartläggning. Att formulera beställningar kräver således en grundläggande metodisk medvetenhet. Det gäller bland annat att formulera utvärderingsbara frågeställningar, utan att för den skull detaljstyra genomförandet.</P>
<P class="p351 ft10">I en internationell belysning kan vi konstatera att Sverige i flera avseenden befinner sig väl framme. Vi har till exempel länge haft ett omfattande uppföljningssystem som försett såväl den centrala nivån som skolhuvudmännen med grundläggande data om kun- skapsresultat och andra prestationer, kostnader samt socioekono- miska bakgrundsdata.</P>
<P class="p249 ft10">I andra avseenden riskerar dock Sverige att hamna på efter- kälken, till exempel vad gäller i vilken utsträckning som olika refor- mer och andra insatser utvärderas och i vilken utsträckning evidens läggs till grund för beslut om reformer och andra förändringar. Medan utvecklingen i många länder har gått mot att sätta utveck- lingsperspektivet främst har tendensen i Sverige under senare år varit att i allt högre utsträckning stärka kontroll- och styrnings- perspektivet.</P>
<P class="p352 ft62"><SPAN class="ft76">28 </SPAN>Ett undantag från detta gäller utvärderingen av förskolereformen från 1998 som genom- fördes på Skolverkets initiativ. Utvärderingen redovisades i två rapporter: Skolverkets Rapport 239 (2004) <SPAN class="ft63">Förskola i brytningstid. Nationell utvärdering av förskolan </SPAN>och Skolverkets rapport 318 (2008) <SPAN class="ft63">Tio år efter förskolereformen. Nationell utvärdering av förskolan.</SPAN></P>
<P class="p301 ft18">99</P>
</DIV>
<DIV id="page_97">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31297x1.jpg" id="img1">
</DIV>
<P class="p353 ft66"><SPAN class="ft8">6</SPAN><SPAN class="ft65">Reformutvärdering – strategi för framtiden</SPAN></P>
<P class="p354 ft10">I detta kapitel diskuteras mer ingående en av de centrala frågorna i utredningens uppdrag, dvs. den om hur reformer på skolområdet bör genomföras för att underlätta utvärdering. En utgångspunkt är iakttagelserna från föregående kapitel, dels att det i dag ofta ges ett begränsat utrymme för ett evidensinformerat beslutsfattande inför att beslut om reformer fattas, dels att det, med några få undantag, inte under överskådlig tid getts några uppdrag att utvärdera de reformer som beslutats. En annan utgångspunkt är att förutsätt- ningarna för, och genomförandet av, reformutvärdering behöver förbättras.</P>
<P class="p299 ft32"><SPAN class="ft32">6.1</SPAN><SPAN class="ft50">Reformutvärdering och implementering</SPAN></P>
<P class="p123 ft10">Utredningen konstaterade i kapitel 3 att utvärdering är ett mång- facetterat begrepp. Om man dessutom kopplar utvärdering till reformer, på det sätt som görs i vårt uppdrag, finns anledning att betrakta utvärderingen i relation till implementeringen av reformer. I vårt föregående betänkande<SPAN class="ft55">1 </SPAN>presenterades en modell för imple- mentering av reformer, som i sin tur bygger på en rad forskares olika modeller.</P>
<P class="p185 ft39">Modellen består sammanfattningsvis av följande faser: (1) <SPAN class="ft81">Poli- tikformuleringsfasen </SPAN>som bl.a. omfattar problemformulering och beslut om <NOBR>reform-,</NOBR> implementerings- och utvärderingsstrategi, (2) <SPAN class="ft81">Processimplementeringsfasen </SPAN>som bl.a. omfattar initiala implemente- ringsinsatser och formativ utvärdering, och (3) <SPAN class="ft81">Institutionaliserings- fasen, </SPAN>dvs. den fas då reformen implementerats fullständigt och kommer att utgöra en integrerad del i verksamheterna.</P>
<P class="p355 ft74"><SPAN class="ft30">1 </SPAN><SPAN class="ft31">SOU 2013:30 </SPAN>Det tar tid – om effekter av skolpolitiska reformer<SPAN class="ft31">.</SPAN></P>
<P class="p356 ft18">101</P>
</DIV>
<DIV id="page_98">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B31298x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – strategi för framtiden</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p323 ft40">Med detta synsätt inleds således implementeringen av reformer redan när problem identifieras och politiken utformas. Implemen- teringen fortgår sedan under hela processimplementeringsfasen och fullföljs när reformerna institutionaliseras. Sammantaget handlar detta om en långvarig process<SPAN class="ft77">2</SPAN>. När det gäller större skolreformer som till exempel införandet av en ny läroplan kan det handla om från fem till mer än femton år innan en reform kan sägas vara insti- tutionaliserad<SPAN class="ft77">3</SPAN>.</P>
<P class="p167 ft9">Detta sätt att beskriva en implementering i olika faser kan upp- fattas som självklar när det handlar om politiska reformer beslutade på nationell nivå. Det är dock lätt att förledas att tro att reformer som beslutas i ett <NOBR>”top-down-perspektiv”</NOBR> enkelt kan ”hällas genom systemet” och kommer att genomföras i verksamheten på det sätt som det var avsett. Detta är naturligtvis inte fallet. Reformers</P>
<P class="p287 ft10">”avdrift” är ett välkänt fenomen, dvs. varje realiserad reform kom- mer att avvika från intentionerna i större eller mindre utsträckning. Denna avdrift är i själva verket ofta betydande. Att genomföra politiskt beslutade intentioner i en mångfacetterad och komplex verksamhet, som står under korstryck från flera olika håll, är således inte någon enkel och fullt rationell process. Den stora utmaningen för politiska beslutsfattare ligger därför i att försöka påverka det man ytterst vill påverka.</P>
<P class="p83 ft13">Reformutvärdering – före, under och efter</P>
<P class="p81 ft9">Reformutvärdering kan ses i såväl ett <NOBR>före-,</NOBR> under- som efterpers- pektiv. Inför beslut om genomförande av en reform krävs en ordentlig problemanalys och en kvalificerad analys av hur de olika åtgärderna kan förväntas påverka de problem som ska lösas, dvs. en policy- analys eller programteoretisk analys. Det är genom en sådan analys som beslutet om en reform kan sägas bli evidensinformerat.</P>
<P class="p167 ft39"><SPAN class="ft81">Före </SPAN>ett reformbeslut handlar det således om att utgå från utvär- deringar som gjorts av tidigare genomförda reformer, från forsk- ning och särskilda utvärderingsstudier samt från den kunskap som hämtas ur det befintliga utvärderingssystemet. Dessa olika underlag kan ge utgångspunkter för att formulera målsättningar för refor- men samt vägledning om vilka åtgärder som kan förväntas fungera eller inte, vilka oavsedda effekter som kan förväntas uppkomma</P>
<P class="p357 ft53"><SPAN class="ft56">2</SPAN><SPAN class="ft71">Se vidare SOU 2013:30.</SPAN></P>
<P class="p143 ft74"><SPAN class="ft56">3</SPAN><SPAN class="ft60">Åsén, Gunnar Bilaga 2 till SOU 2013:30 </SPAN>Det tar tid – om effekter av skolpolitiska reformer<SPAN class="ft31">.</SPAN></P>
<P class="p144 ft18">102</P>
</DIV>
<DIV id="page_99">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td60"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td61"><P class="p22 ft38">Reformutvärdering – strategi för framtiden</P></TD>
</TR>
</TABLE>
<P class="p350 ft10">etc. Tillsammans med andra underlag kan de bidra till ett evidens- informerat beslutsfattande. Till detta kan även analyser som bygger på olika metoder för att i förväg göra prognoser om kommande utfall bidra, liksom att reformer och reformstrategier testas i förväg genom försöksverksamheter. Utredningen återkommer till frågan om försöksverksamheter i kapitel 8.</P>
<P class="p92 ft10"><SPAN class="ft11">Under </SPAN>implementeringsprocessen kan olika former av formativ utvärdering genomföras. Resultatet av denna utvärdering kan användas för att vid behov genomföra justeringar i reformen eller för att påverka processer som inte fungerar som det varit tänkt. Beroende på reformstrategi kan det under denna fas också vara aktuellt att, på lokal verksamhetsnivå, arbeta med utvecklings- stödjande utvärdering. Under implementeringsprocessen kan också datainsamling genomföras för olika former av summativ utvärde- ring.</P>
<P class="p100 ft9"><SPAN class="ft12">Efter </SPAN>det att en reform implementerats, dvs. när reformen slut- ligen har institutionaliserats, kan en summativ utvärdering ge svar på om reformen gett de resultat som den förväntades att ge. Den kan även bidra med kunskaper om hur verksamheten påverkats, varför det uppstått variationer och avvikelser etc. Detta är kunskaper som behövs inför utformningen av en eventuell ny reform. Summativ utvärdering är med andra ord på nationell nivå ett betydelsefullt sätt att få underlag eller ”ingångsvärden” inför framtida reformer.</P>
<P class="p204 ft45">Vid stora reformer som tar lång tid att institutionalisera, t.ex. läroplansreformer, kan det många gånger vara svårt att genom en summativ utvärdering isolera effekterna av reformen från andra förändringar som skett över tid. Ju längre effektkedjan, eller mål- medelkedjan är, desto svårare är det att fastställa en slutlig effekt eller att mer precist svara på varför vissa effekter har uppstått.</P>
<P class="p329 ft13">Utvärderingen bör planeras i tid</P>
<P class="p182 ft45">Oavsett vilken form av utvärdering det handlar om bör utvärde- ringsinsatserna planeras i tid för att kunna genomföras med god kvalitet för att ge den information som efterfrågas. Enligt betänk- andet <SPAN class="ft67">Att nå ut och nå ända fram </SPAN>(SOU 2009:94) är en helt avgör- ande förutsättning för effektmätning att det finns en planering redan när en reform sjösätts. Utredningen delar i princip denna uppfattning även om det numera finns avancerade metoder som i vissa fall kan göra det möjligt att initiera en utvärdering i efterhand.</P>
<P class="p358 ft18">103</P>
</DIV>
<DIV id="page_100">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312100x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – strategi för framtiden</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">Att avstå från att från början planera för utvärderingen är dock inte att rekommendera. Dessutom har det sätt på vilket en reform genomförs stor betydelse för hur den kan utvärderas, vilket vi återkommer till längre fram.</P>
<P class="p106 ft39">Det finns dessutom andra typer av utvärderingar som definitivt inte kan initieras i efterhand. Det gäller exempelvis formativ utvär- dering som ska genomföras under implementeringen. Vill man basera utvärdering på t.ex. observationer av hur arbetet i klassrum- met påverkas av en reform kan detta inte heller göras i efterhand. Det kan behövas observationer såväl inför, under som efter refor- men. För att veta hur en viss praxis påverkats av en reform behöver man veta hur denna praxis såg ut innan reformen trädde i kraft.</P>
<P class="p134 ft13">Det behövs ett systemperspektiv</P>
<P class="p199 ft40">I kapitel 3 bedömde utredningen att skolans utvärderingssystem behöver kunna hantera komplexitet och därför bör utvärderas med en mångfald av metoder. Utredningen konstaterar att utvärdering av reformer även förutsätter ett systemperspektiv, dvs. en helhets- syn på systemets olika delar och hur de samverkar.</P>
<P class="p167 ft40">I en amerikansk rapport konstateras att politiska interventioner äger rum i stora, komplexa, dynamiska sociala system. Ett system- perspektiv hjälper beslutsfattare och forskare att tänka brett kring de många effekter som en policy kan skapa och om de sätt som en planerad social intervention interagerar med andra redan existe- rande interventioner och institutionella praktiker. Det är sällan, menar forskarna, som studiet av enskilda komponenter i ett system kan leda till en fullständig förståelse av systemet.”<SPAN class="ft77">4</SPAN></P>
<P class="p359 ft10">Innovationsrådet är inne på likartade tankar och menar i sitt slutbetänkande<SPAN class="ft55">5 </SPAN>att det krävs en <SPAN class="ft11">systemansats </SPAN>för att hantera komp- lexa samhällsproblem. En sådan ansats kännetecknas enligt rådet av följande:</P>
<P class="p360 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">Kontinuerligt lärande av vad som fungerar (snarare än att ange mål för vad som ska uppnås)</SPAN></P>
<P class="p361 ft59"><SPAN class="ft56">4</SPAN><SPAN class="ft57">Prewitt, Kenneth, Thomas A. Schwandt and Miron L. Straf. (2012) </SPAN><SPAN class="ft58">Using Science as Evidence i Public Policy</SPAN>. Committee on the Use of Social Science Knowledge in Public Policy. National Research Council of the National Academies. The National Academies Press. Washington, D.C.</P>
<P class="p362 ft74"><SPAN class="ft56">5</SPAN><SPAN class="ft60">SOU 2013:40 </SPAN>Att tänka nytt för att göra nytta<SPAN class="ft31">.</SPAN></P>
<P class="p144 ft18">104</P>
</DIV>
<DIV id="page_101">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td60"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td61"><P class="p22 ft38">Reformutvärdering – strategi för framtiden</P></TD>
</TR>
</TABLE>
<P class="p363 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">Förbättra hela systemets resultat utifrån vad slutanvändarna av systemet anser om utfallet (inte bara vad uppdragsgivare och de som arbetar i systemet anser om resultatet)</SPAN></P>
<P class="p364 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">En politisk beslutsprocess som fokuserar på att förbättra själva systemet och dess verksamhetsprocess (snarare än kontroll av enskilda myndigheter och funktioner)</SPAN></P>
<P class="p364 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">Ett lyssnande förhållningssätt och involvering av brukare och andra intressenter (i stället för att instruera)</SPAN></P>
<P class="p365 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft27">Att hitta innovativa lösningar för att lösa grundproblemen (snarare än att agera på symptomen)</SPAN></P>
<P class="p69 ft10">Utredningen menar mot denna bakgrund att ett utvärderings- program som utformas ur ett brett systemperspektiv kan bidra till att begränsa det slags stuprörsseende som gärna blir följden när endast en fråga eller delkomponent belyses i taget. En systemansats ökar möjligheterna att belysa relationerna mellan de olika kompo- nenterna, identifiera motsägelsefullheter och konflikter, förklara hur olika aktörers ageranden samspelar och vilka konsekvenser det kan få, samt bidrar till förståelse för varför beslut som kan förefalla rimliga i stället kan motverka syftet.</P>
<P class="p204 ft9">Detta synsätt ligger nära den breda utvärdering av skolan som Dahllöf m.fl. förespråkade redan på <NOBR>1980-talet</NOBR> och som utred- ningen redovisat i kapitel 5. Han pekade bl.a. på att en alltför ensidigt inriktad resultatutvärdering innebär att alltför många vik- tiga frågor kommer att falla utanför det som studeras och värderas.</P>
<P class="p16 ft10">Dahllöf menade att det inte räcker med att studera resultaten (elevernas kunskaper) eller det som äger rum i undervisningen</P>
<P class="p224 ft39">(”den svarta lådan”) var för sig. Utvärderingen behöver också inrik- tas på att granska relationerna mellan det som händer i klassrum- met och de olika slags ramar som finns för verksamheten. Genom att utvärdera reformer i ett sådant systemperspektiv kan en sådan kunskap om systemet och dess funktionssätt uppnås som gör att de ansvariga på olika nivåer med ökad säkerhet kan avgöra vilka för- ändringar som bör göras i vilken situation och vilka avsedda och oavsedda effekter som kan förväntas av den ena eller andra åtgärden.</P>
<P class="p366 ft18">105</P>
</DIV>
<DIV id="page_102">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – strategi för framtiden</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p150 ft32"><SPAN class="ft32">6.2</SPAN><SPAN class="ft50">Reformstrategier och utvärdering</SPAN></P>
<P class="p215 ft10">Vid reformering bör således utvärderingen av en reform designas redan när strategin för själva reformen utformas. I kapitel 2 kons- tateras att evidensinformerad politik kan bedrivas ur såväl ett styr- ningsperspektiv som ett utvecklingsperspektiv. I kapitel 3 har redo- gjorts för olika utvärderingsansatser. Här söker vi knyta ihop detta och närma oss frågan om sambandet mellan reformstrategi och utvärderingsansats.</P>
<P class="p55 ft13">Om reformstrategier</P>
<P class="p199 ft40">En reformstrategi handlar om vilka slags åtgärder man tror kom- mer att påverka en verksamhet i önskad riktning och om de mekanismer man tror kommer att vara verksamma för att åstad- komma denna påverkan. Sådana strategier växer fram utifrån olika föreställningar om vad som gynnar förändring och utveckling och om vilka metoder för statlig styrning som är effektiva.</P>
<P class="p367 ft10">En typ av reformstrategi utgår från uppfattningen att staten genom reformer direkt kan påverka den lokala verksamheten. En förändring ses då som något som sker rationellt, närmast med auto- matik, som en följd av att ett beslut har fattats. Detta är – eller har åtminstone varit – en vanlig utgångspunkt vid statlig styrning. Denna strategi sammanfaller i hög grad med klassisk <NOBR>top-down-inriktad</NOBR> implementering, där utvärderingens roll i första hand blir att bekräfta eller motsäga att den förväntade effekten uppstått samt eventuellt också förklara varför detta skett, så att justeringar av reformen kan genomföras. Utvärderingen förväntas däremot inte ha någon direkt utvecklingsstödjande funktion. Ett stort antal forsk- ningsstudier och utvärderingar runt om i världen har funnit att reformstrategier som vilar på sådana rationella föreställningar har haft begränsade framgångar, särskilt inom komplexa verksamheter som t.ex. utbildning.</P>
<P class="p141 ft39">En annan typ av reformstrategi utgår från uppfattningen att det är svårt att påverka den operativa verksamheten enbart genom t.ex. förändrade styrdokument, dvs. med lagar, förordningar m.m. För- ändring ses här som något som präglas av irrationalitet, intresse- motsättningar, framsteg och misslyckanden i en mer eller mindre oförutsägbar blandning. Staten bör i denna situation inrikta sina initiativ och insatser på åtgärder som har potential att stödja lokala</P>
<P class="p368 ft18">106</P>
</DIV>
<DIV id="page_103">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312103x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td60"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td61"><P class="p22 ft38">Reformutvärdering – strategi för framtiden</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">utvecklingsprocesser. Styrningen blir då mer indirekt och inriktad på att försöka påverka de grundförutsättningar och villkor som gäller där verksamheten faktiskt bedrivs. Med denna reformstrategi kommer utvärderingens formativa funktion att betonas och, åtmin- stone på verksamhetsnivå, utvärderingen också ges en mer utveck- lingsstödjande funktion.</P>
<P class="p222 ft13">Olika reformstrategier – i Sverige och i omvärlden</P>
<P class="p369 ft10">OECD:s olika granskningar och översikter<SPAN class="ft55">6 </SPAN>visar att regeringarna i flera länder – däribland Nederländerna och Storbritannien – under senare decennier mer och mer övergivit strategin att försöka påver- ka skolans inre arbete med storskaliga, nationella reformer. I stället arbetar man allt mer med att försöka förstärka den lokala nivåns förmåga att själv ta ansvar för sin egen utveckling och prestations- förbättring.</P>
<P class="p171 ft10">Detta byte av reformstrategi kan ses som ett led i övergången från <SPAN class="ft11">government </SPAN>till <SPAN class="ft11">governance</SPAN>, en övergång som innebär att poli- tikutvecklingen inte längre enbart utformas av regeringen och riks- dagen – även om det givetvis fortfarande är där som de nationella politiska besluten fattas. Enligt teorin om governance utformas den faktiska politiken i stället i olika nätverk, dvs. av fler aktörer (före- tagare, konsumenter, brukare, verksamhetsföreträdare, etc.). Inslaget av governance anses vara särskilt framträdande i de lokala besluts- processerna.</P>
<P class="p370 ft10">Även Innovationsrådet<SPAN class="ft55">7 </SPAN>konstaterar att mycket tyder på att en hierarkisk och auktoritativ styrning håller på att ersättas av hori- sontella, nätverksliknande och mer egalitära styrmekanismer.</P>
<P class="p371 ft14">Det tycks råda enighet om att samhällsstyrningen har blivit allt mer komplicerad, vilket borde medföra ändrade förutsättningar för, och krav på politikens roll i styrningen.<SPAN class="ft98">8</SPAN></P>
<P class="p136 ft39">Utredningen kan konstatera att den statliga styrningen av den svenska skolan har förändrats drastiskt under senare decennier. Från att ha haft ett centraliserat skolväsende med ett starkt inslag av <SPAN class="ft81">regelstyrning </SPAN>övergick staten i början av <NOBR>1990-talet</NOBR> till en decent- raliserad styrning som skulle bygga på en <SPAN class="ft81">mål- och resultatstyrning</SPAN>.</P>
<P class="p372 ft53"><SPAN class="ft51">6</SPAN><SPAN class="ft52">Se t.ex. OECD (2013) a.a.</SPAN></P>
<P class="p187 ft72"><SPAN class="ft51">7</SPAN><SPAN class="ft52">SOU 2013:40 </SPAN>Att tänka nytt för att göra nytta – om perspektivskiften i offentlig verksamhet<SPAN class="ft53">.</SPAN></P>
<P class="p187 ft31"><SPAN class="ft51">8</SPAN><SPAN class="ft54">SOU 2013:40 a.a.</SPAN></P>
<P class="p356 ft18">107</P>
</DIV>
<DIV id="page_104">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – strategi för framtiden</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft40">Man kan i efterhand konstatera att denna mål- och resultatstyrning inledningsvis handlade mest om målstyrning för att under senare år få ett ökat fokus på resultatstyrning. Det senare har skapat ten- denser till en recentralisering som skett parallellt med en viss åter- reglering av skolan. Samtidigt har konkurrens mellan skolor införts vilket skapat inslag av en <SPAN class="ft43">marknadsstyrning. </SPAN>De yrkesverksammas friutrymme genom <SPAN class="ft43">professionsstyrning </SPAN>har enligt många bedömare minskat. Förändrade styrningsstrategier får givetvis följder för vil- ken slags utvärderingsinsatser som behövs.</P>
<P class="p54 ft10">Utvecklingen har lett till att styrningen av skolan i dag karak- täriseras av att många av dessa styrningslogiker lever ett parallellt och i vissa fall kanske ett konfliktfyllt liv. Det ligger dock inte inom vårt uppdrag att utreda konsekvenserna av denna situation annat än utifrån vilka konsekvenser detta har för utvärderingen av skolan.</P>
<P class="p373 ft13">Olika slags reformstrategier samverkar med olika slags reformutvärdering och utvärderingssystem</P>
<P class="p81 ft9">Vilken slags utvärdering som framstår som meningsfull att genom- föra beror givetvis på det konkreta innehållet i den reform som genomförs. Den valda reformstrategin har konsekvenser för vad man behöver få veta om de förändringar som genomförs, vilka data och processer man behöver ha kännedom om, vilka utvärderings- metoder som bör väljas osv. Reformstrategin har även betydelse för valet av implementeringsstrategi. Det är till exempel stor skillnad på implementeringen av en strukturreform och implementeringen av en insats för att stödja lokal skolutveckling.</P>
<P class="p169 ft9">Valet av reformstrategi har dessutom betydelse för vilka slags frågor som kommer att ställas till uppföljnings- och utvärderings- systemet och som detta kommer att förväntas kunna besvara. Utvär- deringssystemet bör därför å ena sidan vara anpassat till aktuella styrningsmodeller och rådande övergripande nationella reformstra- tegier, å andra sidan bör det inte vara konserverande utan kunna följa, och till och med bidra till, utvecklingen av dessa modeller och strategier. Utvärderingssystemets utformning är också beroende av antalet nivåer och aktörer som finns inom skolsystemet.</P>
<P class="p374 ft39">Sammantaget kännetecknas det svenska skolsystemet i dag av många olika typer av aktörer på olika nivåer – offentliga och privata</P>
<P class="p375 ft18">108</P>
</DIV>
<DIV id="page_105">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td60"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td61"><P class="p22 ft38">Reformutvärdering – strategi för framtiden</P></TD>
</TR>
</TABLE>
<P class="p192 ft10">– och av att det förekommer sinsemellan olika och delvis mot- stridiga styrningslogiker (se ovan). Detta förhållande har betydelse både för vilken slags utvärderingssystem som behöver utvecklas och för vilket slags frågor som utvärderingarna bör kunna besvara. Utvärderingssystemet måste t.ex. ha kapacitet att samla in data, granska, analysera och värdera/bedöma den variation som ett sådant decentraliserat och pluralistiskt system skapar vad gäller eko- nomiska och rättsliga förutsättningar, olikheter i ansvarsförhål- landen och samverkansformer etc.</P>
<P class="p185 ft10">De huvudinriktningar inom utvärdering som redovisats i kapitel 3, dvs. effektutvärdering och teoribaserad utvärdering, men även de ansatser som utvecklats särskilt för utvärdering av komplexa system, lämpar sig olika väl för att ge svar på olika slags frågor. För att förstå vad som händer i en komplex situation behöver, som tidigare understrukits, utvärderingssystemet ge utrymme för en mång- fald av perspektiv och utvärderingsmetoder. Inte minst bör så kallade <SPAN class="ft11">mixed methods</SPAN>, där både kvantitativa och kvalitativa metoder utnyttjas, komma till användning.</P>
<P class="p193 ft13">Utvärdering kan främja utveckling</P>
<P class="p91 ft10">Utvärdering kan även användas för att mer explicit främja imple- mentering. Genomförande av en reform gynnas av att det finns en genomtänkt och långsiktig implementeringsstrategi som sträcker sig längre än till den centrala skolmyndighetens initiala imple- menteringsinsatser och som kännetecknas av dialog med den lokala nivån. Ett sätt att skapa dialog är att besluta om en tidig utvärde- ringsinsats som utformas så att den pågår parallellt med den initiala implementeringen och ger de operativt verksamma en möjlighet att bidra med sina erfarenheter dels med avseende på vad som bör beaktas vid utvärderingen, dels i samband med den empiri som samlas in.</P>
<P class="p124 ft39">Ett annat sätt att stärka utvärdering och användning av utvärde- ringsresultat är att utforma en implementeringsstrategi som är inriktad på kapacitetsbyggande insatser såväl på huvudmannanivå som på verksamhetsnivå (skolan) vad gäller att följa, dokumentera och utvärdera sitt eget arbete med implementeringen av reformen. En sådan strategi kan bidra till att öka huvudmännens och de ope- rativt ansvarigas intresse för den nationella utvärderingen. Detta ökar i sin tur förutsättningarna för att resultaten av utvärderingen</P>
<P class="p358 ft18">109</P>
</DIV>
<DIV id="page_106">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312106x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – strategi för framtiden</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p376 ft10">ska tas om hand lokalt. David Gough<SPAN class="ft55">9</SPAN>, ledande forskare vid EPPI- Centre vid London University, menar t.ex. att det behövs fler efterfrågestyrda utvärderingar, dvs. utvärderingar som svarar mot verksamhetens behov, för att öka sannolikheten för att utvärde- ringarna ska komma till användning.</P>
<P class="p107 ft29">Ytterligare sätt att stödja utveckling genom utvärdering är att initiera utvärderingar som är utformade som följeutvärdering eller aktionsforskning.</P>
<P class="p339 ft32"><SPAN class="ft32">6.3</SPAN><SPAN class="ft50">Regeringens och Regeringskansliets arbete</SPAN></P>
<P class="p168 ft45">För att stärka ett evidensinformerat arbetssätt i politikutvecklingen och i styrningen av hur reformer utvärderas behöver arbetsformer- na inom Regeringskansliet utvecklas. Regeringen har det yttersta ansvaret för att efterfråga såväl evidens inför beslut om reformer som utvärdering av genomförda reformer. Regeringen har även ansvaret för att arbetsformer etableras inom Regeringskansliet som bidrar till ett sådant evidensinformerat beslutsfattande och till att uppdrag om kvalificerad utvärdering kommer till stånd.</P>
<P class="p240 ft13"><SPAN class="ft13">6.3.1</SPAN><SPAN class="ft69">OECD om det centrala regeringsarbetet i Sverige</SPAN></P>
<P class="p377 ft10">OECD har inom ramen för projektet <SPAN class="ft11">Value for Money in Govern- ment </SPAN>genomfört en studie av det centrala regeringsarbetet i Sverige<SPAN class="ft55">10</SPAN>. Rapporten innehåller bland annat en analys av den roll som utvär- dering spelar i det svenska regeringsarbetet.</P>
<P class="p108 ft10">Det finns enligt OECD en generell tendens att man på tjänste- mannanivå försvarar existerande program, varför det är viktigt att ministrar själva använder sig av möjligheten att genomföra kritiska utvärderingar. Det primära ansvaret för politiska reformer och pro- gram bör ligga på ansvarig minister snarare än på de verkställande myndigheterna, även om dessa bör vara delaktiga under hela pro- cessen. OECD noterar vidare att Sverige har många utvärderings- myndigheter.</P>
<P class="p54 ft10">OECD konstaterar att såväl Kanada som Storbritannien infört utvärdering som en central aktivitet för hela det departementala</P>
<P class="p53 ft58"><SPAN class="ft56">9</SPAN><SPAN class="ft57">Gough, David (2007) Artikeln </SPAN>The Evidence for Policy and Practice Information and Coordination (EPPI) Centre, United Kingdom <SPAN class="ft59">i OECD & CERI (2007) </SPAN>Knowledge Manage- ment. Evidence in Education: Linking Research and Policy.</P>
<P class="p362 ft74"><SPAN class="ft51">10</SPAN><SPAN class="ft54">OECD (2013 </SPAN>Value for Money in Government. Sweden<SPAN class="ft31">.</SPAN></P>
<P class="p144 ft18">110</P>
</DIV>
<DIV id="page_107">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312107x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td60"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td61"><P class="p22 ft38">Reformutvärdering – strategi för framtiden</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">regeringsarbetet i syfte att stärka kvaliteten i besluten och att skapa incitament till att genomföra policyutvärdering som är relevant och rigorös. OECD rekommenderar att Sverige låter sig inspireras av dessa båda länder. Bland annat bör en utvärderingsmetodologisk standard etableras.</P>
<P class="p92 ft10">För svenskt vidkommande har OECD gjort iakttagelsen att det svenska regeringskansliets kapacitet vad gäller policyutveckling är svagare än i flera andra länder. Som en följd av den svenska ansvars- fördelningen mellan departement och myndigheter har det departe- mentala arbetet i Sverige enligt OECD kommit att fokusera på styrningens juridiska och ekonomiska aspekter.<SPAN class="ft55">11</SPAN></P>
<P class="p378 ft16"><SPAN class="ft13">6.3.2</SPAN><SPAN class="ft104">Kopplingen mellan reformstrategier och reformutvärdering i Regeringskansliets arbete</SPAN></P>
<P class="p212 ft40">De svenska fackdepartementen ingår i ett gemensamt regerings- kansli som förbereder regeringens beslut om såväl reformer som om utvärdering av desamma. Många skäl talar för att arbetsformer och rutiner i stor utsträckning ska vara gemensamma inom Regerings- kansliet. Regeringens och Regeringskansliets arbetsformer måste också ses ur ett övergripande demokratiskt perspektiv. Bered- ningen av en enskild reform eller åtgärd kan många gånger kompli- ceras av olika faktorer, som t.ex. pressade tidsplaner, kopplingar till andra beslut, finansiering, meningsskiljaktigheter av mer politisk karaktär, etc. Att ytterligare komplicera beredningen genom att tydligare föra in frågan om reformutvärdering kan uppfattas som försvårande.</P>
<P class="p137 ft9">Enligt vår uppfattning är det ändå nödvändigt, inte minst mot bak- grund av den frågeställning som direktiven lyfter om hur reformer bör genomföras för att bättre kunna utvärderas. Regeringskansliet (Utbildningsdepartement) kan genom sina arbetsformer och beslut bidra till att underlätta utvärdering av reformer. Det handlar bland annat om hur utvärderingsfrågorna prioriteras i det departementala arbetet och om hur inslagen av evidensinformerad politikutveckling</P>
<P class="p121 ft10">– som ju hör nära samman med utvärdering – kan förstärkas i de interna arbetsprocesserna.</P>
<P class="p379 ft74"><SPAN class="ft30">11 </SPAN><SPAN class="ft31">OECD (2013) </SPAN>Value for Money in Government: Sweden<SPAN class="ft31">.</SPAN></P>
<P class="p356 ft18">111</P>
</DIV>
<DIV id="page_108">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312108x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – strategi för framtiden</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p380 ft13">Internationella erfarenheter visar att inslaget av evidens i politikutvecklingen kan stärkas</P>
<P class="p381 ft10">Utredningen konstaterar att intresset för evidensinformerad policy ökat inom många <NOBR>OECD-länder.<SPAN class="ft55">12</SPAN></NOBR><SPAN class="ft55"> </SPAN>Storbritannien hör, som nämnts ovan, till de länder som arbetat mest intensivt med detta. Man har t.ex. infört en utvärderingsstandard för hela det centrala, departe- mentala regeringsarbetet i syfte att stärka kvaliteten och att skapa incitament för att genomföra policyutvärdering. Redan 2003 utgavs en s.k. grönbok om hur utvärdering kan användas inom den centrala styrningen.<SPAN class="ft55">13 </SPAN>Syftet med grönboken är att säkra att ingen policy, inget program eller projekt ska antas utan att frågor ställs om huruvida det finns ett bättre sätt att nå ett utpekat mål eller om det finns en bättre användning av dessa resurser. Men syftet är inte enbart fiskalt. Det handlar också om att bedöma den strategiska påverkan som beslutet (om en intervention eller ett stöd eller något annat dylikt) kan antas få och om realismen i beslutet, dvs. möjlig- heterna att uppnå målen.</P>
<P class="p141 ft10">Vidare har en omfattande vägledning eller handbok tagits fram, <SPAN class="ft11">The Magenta Book</SPAN>, som på ett både brett och fördjupat sätt redo- gör för vilken slags utvärdering som bör genomföras.<SPAN class="ft55">14</SPAN></P>
<P class="p167 ft45">Inom det brittiska utbildningsdepartementet (DfE) har också olika insatser gjorts för att stärka departementet som kunskaps- organisation. Det har bl.a. handlat om insatser för att förstärka departementets analytiska förmåga. Insatserna har gjorts med utgångspunkt i en övertygelse om att om kunskapsstyrning ska få genomslag på alla nivåer inom verksamhetsområdet så måste depar- tementet självt visa ledarskap och gå före och visa vägen.<SPAN class="ft68">15</SPAN></P>
<P class="p382 ft59"><SPAN class="ft51">12</SPAN><SPAN class="ft57">OECD (2007) Knowledge Management. Evidence in Education. Linking research and policy.</SPAN></P>
<P class="p180 ft58"><SPAN class="ft51">13</SPAN><SPAN class="ft57">HM Treasury (2011) </SPAN>The Green Book. Appraisal and Evaluation in Central Government<SPAN class="ft59">. Treasury Guidance. London:TSO. Reviderad 2011.</SPAN></P>
<P class="p180 ft58"><SPAN class="ft51">14</SPAN><SPAN class="ft57">HM Treasury (2011) </SPAN>The Magenta Book. Guidance for evaluation<SPAN class="ft59">. Utöver huvuddoku- mentet har ett antal bakgrundsdokument publicerats i </SPAN>The Magenta Book: guidance notes for policy evaluation and analysis. Magenta Book Background Papers<SPAN class="ft59">. Government Social Research Unit. HM Treasury (2003, updated 2007). Ytterligare två dokument har publicerats som behandlar olika sidor av kvantitativa och kvalitativa utvärderingsmetoder: </SPAN>Quality in policy impact evaluation: understanding the effects of policy from other influences <SPAN class="ft59">(supplementary Magenta Book guidance). HM Treasury (2012) samt </SPAN>Quality in qualitative evaluation: a framework for assessing research evidence <SPAN class="ft59">(supplementary Magenta Book guidance). HM Treasury (2012).</SPAN></P>
<P class="p210 ft31"><SPAN class="ft51">15</SPAN><SPAN class="ft60">Department for Education (2013) </SPAN><SPAN class="ft74">Analytical Review</SPAN>. The Department (By Steering Group).</P>
<P class="p134 ft18">112</P>
</DIV>
<DIV id="page_109">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312109x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td60"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td61"><P class="p22 ft38">Reformutvärdering – strategi för framtiden</P></TD>
</TR>
</TABLE>
<P class="p383 ft10">Ett annat exempel gäller Norge där intresset för evidens- informerade arbetssätt varit växande under de senaste regerings- konstellationerna.<SPAN class="ft55">16</SPAN></P>
<P class="p384 ft13">Utvärdering av reformer</P>
<P class="p182 ft9">Frågan om hur reformer bör genomföras för att underlätta utvärde- ring handlar i stor utsträckning om att utvärderingsfrågorna behö- ver få en mer framskjuten roll i det departementala arbetet. Det handlar t.ex. om att öka användningen av utvärderingar av tidigare reformer, att klargöra vilken programteori som reformer och åtgär- der bygger på, dvs. att explicit beskriva hur en viss åtgärd förväntas bidra till måluppfyllelsen och vilka mekanismer som är tänkta att verka för att de avsedda resultaten ska uppstå.</P>
<P class="p15 ft10">Förbättrade förutsättningar för utvärdering av reformer handlar inte minst om att faktiskt prioritera utvärderingsfrågorna i sam- band med <SPAN class="ft11">planeringen </SPAN>av reformer och andra mer genomgripande åtgärder. Som vi visat i föregående kapitel ingår det inte i den svenska traditionen att på skolans område planera för utvärdering inför att reformer beslutas.</P>
<P class="p193 ft11">Strategiska frågor som regeringen har att ta ställning till</P>
<P class="p228 ft10">Vi har redan understrukit betydelsen av att reformutvärdering planeras parallellt med att reformstrategin formas. Detta har dock inte endast att göra med det tämligen självklara att förutsätt- ningarna för att genomföra vissa typer av utvärdering, t.ex. effekt- studier, är bättre om de planeras från början. Framför allt finns ett starkt samband mellan reformstrategi och utvärderingsstrategi. Valet av reformstrategi styr valet av utvärderingsansats. Omvänt kan utvärdering bidra till genomförandet av en reformstrategi dels genom att fungera formativt i förhållande till den nationella besluts- nivån, dels genom att fungera utvecklingsstödjande på den lokala nivån, i verksamheten.</P>
<P class="p124 ft45">Att utforma reformstrategin och utvärderingsstrategin så att de samverkar på detta sätt måste, som vi ser det, vara ett ansvar för regeringen och Regeringskansliet. Detta är emellertid inte någon</P>
<P class="p219 ft31"><SPAN class="ft30">16 </SPAN>Uppgifterna har lämnats av företrädare för Kunskapsdepartementet som utredningen varit i kontakt med och bedömningen gäller för tiden fram till och med våren 2013.</P>
<P class="p385 ft18">113</P>
</DIV>
<DIV id="page_110">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312110x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – strategi för framtiden</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft10">enkel uppgift, varför utformning och utvärdering av reformer kan vinna på att planeras efter samråd med forskare eller andra utvärd- erare. Detta bör i så fall ske i ett tidigt stadium av en berednings- process. Forskare kan t.ex. bidra med synpunkter på hur en reform eller annan åtgärd bör utformas och implementeras för att den ska vara möjlig att utvärdera med en forskningsbaserad design. Utveck- lade och tillitsfulla relationer mellan Regeringskansliet och de institutioner som äger utvärderingskompetens, dvs. myndigheter, universitet, högskolor, särskilda statliga eller privata institut, under- lättar givetvis ett sådant samrådsförfarande. Vi återkommer till hur en samverkan kring utvärderingsfrågorna kan organiseras i kapitel 11.</P>
<P class="p82 ft10">En form av reformstrategi som måste beslutas initialt och som skapar sina speciella förutsättningar för utvärdering är att genom- föra försöksverksamheter eller använda sig av stegvis införande. I t.ex. Storbritannien ingår pilotstudier och försöksverksamheter som ett led i de initiativ som tagits för att stärka inslaget av evidens- informerad politikutveckling. Man menar där att inga reformer bör införas i full skala innan man på olika sätt övertygat sig om att reformen fungerar så som det varit tänkt.<SPAN class="ft55">17 </SPAN>Även om det ur ett utvärderingsperspektiv är fördelaktigt om det går att genomföra en försöksverksamhet eller att stegvist införa en reform, finns det också situationer där detta inte låter sig göras. Vi återkommer till detta i kapitel 8.</P>
<P class="p82 ft10">Ytterligare en aspekt av planering handlar om antalet reformer som genomförs samtidigt. Självfallet beror den slutliga utform- ningen av ett reformpaket på en kombination av olika sakför- hållanden och politiska bedömningar. Det måste dock framhållas att antalet reformer som implementeras samtidigt påverkar förut- sättningarna för utvärdering. Ju fler reformer som genomförs sam, desto svårare är det att fastställa vilka åtgärder som bidragit till vilka förändringar och med vilken styrka. Detta konstaterades även i samband med Kunskapslyftet, dvs. det senaste stora skolpolitiska reformpaketet i Norge.</P>
<P class="p96 ft39">Att efterhand göra successiva förändringar i beslutade reformer, t.ex. i syfte att förbättra reformens funktionssätt, är en vanlig imple- menteringsstrategi. För en utvärdering som nära följer genom- förandet av en reform är det därför ofta ett huvudsyfte att tidigt identifiera sådana delar av en reform som kan behöva justeras (real-</P>
<P class="p262 ft85"><SPAN class="ft84">17 </SPAN><SPAN class="ft86">Se t.ex. Cabinet Office (2003) </SPAN>Trying It Out. The Role of ’Pilots’ in <NOBR>Policy-Making<SPAN class="ft86">.</SPAN></NOBR><SPAN class="ft86"> Report of a Review of Government Pilots. Government Chief Social Researcher´s Office.</SPAN></P>
<P class="p144 ft18">114</P>
</DIV>
<DIV id="page_111">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312111x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td60"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td61"><P class="p22 ft38">Reformutvärdering – strategi för framtiden</P></TD>
</TR>
</TABLE>
<P class="p85 ft40">time evaluation). Samtidigt kan sådana förändringar bli ett problem för en mer summativt inriktad utvärdering. Det kan t.ex. bli svårt att uppskatta vilken av förändringarna som bidragit till vilken av de olika effekter som uppstått och med vilken styrka de gjort detta.</P>
<P class="p63 ft39">Detta innebär inte att den centrala nivån bör avstå från att besluta om förändringar som man anser är nödvändiga. Ett sådant ”reformstopp” i syfte att förbättra utvärderingsbarheten vore orimligt. Man måste dock vara medveten om att möjligheterna att utvärdera försvåras om reformer förändras med korta intervall. Möjligen är det också ett argument till varför reformer bör stå på en god empirisk grund och vara väl genomtänkta innan de beslutas.</P>
<P class="p211 ft32"><SPAN class="ft32">6.4</SPAN><SPAN class="ft50">Reformutvärderingens roll bör stärkas</SPAN></P>
<P class="p386 ft40"><SPAN class="ft105">Utredningens bedömning: </SPAN>Utformningen av reformer och utvärderingen av dessa står i ett ömsesidigt förhållande till var- andra. Beslut om reformstrategi påverkar förutsättningarna för utvärdering. Samtidigt kan beslut om utvärdering, om det fattas tidigt inför genomförandet av en reform, påverka såväl utform- ningen som implementeringen av denna. Frågan om reform- utvärdering bör därför prioriteras redan i samband med plane- ringen av reformer och andra mer genomgripande åtgärder.</P>
<P class="p387 ft10">Utvärderingen kan bidra till genomförandet av reformstrate- gin genom att fungera formativt i förhållande till den nationella beslutsnivån och utvecklingsstödjande på verksamhetsnivån.</P>
<P class="p219 ft10">En planerad och systematisk utvärdering av reformer är enligt utredningens uppfattning nödvändig för att säkerställa en både bred och djup systemkunskap om skolan. Inte minst är det viktigt för det politiska ansvarsutkrävandet att det går att få veta om den förda politiken har avsedda effekter och om de allmänna medlen allokeras på ett effektivt sätt. Utvärdering av reformer ger också kunskap som kan bidra till att öka genomslaget för reformen respektive signalera om något håller på att gå fel. Slutligen kan reformutvärdering bidra med kunskap inför kommande reformer.</P>
<P class="p388 ft39">Reformutvärdering har en nära relation till implementeringen av reformer, och dess olika faser. Till att börja med bör resultat från forskning och utvärdering av rådande förhållanden utgöra underlag</P>
<P class="p389 ft18">115</P>
</DIV>
<DIV id="page_112">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312112x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Reformutvärdering – strategi för framtiden</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft40">för att beslutet om att genomföra en reform ska kunna sägas vara evidensinformerat. Under processimplementeringen av reformen kan utvärdering fylla en funktion genom att fungera formativt och utvecklingsstödjande. När reformen slutligen institutionaliserats kan resultat från den summativa utvärderingen ge kunskap om hur verksamheten påverkats, varför det uppstått variationer etc. På nationell nivå kan sedan denna summativa utvärdering utgöra</P>
<P class="p390 ft10">”ingångsvärden” inför eventuella framtida reformer.</P>
<P class="p108 ft10">Reformutvärdering har således centrala och viktiga roller vid reformering av offentlig verksamhet, i det här fallet av skolan. Samtidigt har vi i föregående kapitel visat att det är, och har varit, ovanligt med nationellt initierad reformutvärdering på skolans område. Under de senaste åren har dock vissa initiativ tagits till att utvärdera de reformer som genomfördes under <NOBR>1990-talet.</NOBR> Dessa initiativ har dock tagits först efter tjugo år.</P>
<P class="p54 ft10">För att reformutvärderingen ska kunna ges den centrala roll den enligt vår uppfattning bör ha, behöver frågan prioriteras på ett helt annat sätt än i dag redan i samband med planeringen av reformer och andra mer genomgripande åtgärder. Det är först när plane- ringen av reformer, reformimplementeringen och reformutvär- deringen sker integrerat som utvärderingens fulla potential kan tas till vara. De beslut om utvärdering som fattas tidigt, inför genom- förandet av en reform, kan komma att påverka både utformning och genomförande av reformen.</P>
<P class="p374 ft39">Arbetet med detta betänkande och utredningens delbetänkande<SPAN class="ft75">18 </SPAN>har stärkt oss i uppfattningen att det är långt ifrån enkelt att för- ändra skolan genom strukturella reformer. Det tar tid innan effekter uppstår så att de kan bli mätbara på nationell nivå. Dess- utom är de effekter man kan förvänta sig ofta inte så stora som man kanske önskat. Detta innebär inte att man kan avstå från att för- söka att förbättra förutsättningarna för skolan. Det understryker dock behovet av att beslut om reformer vilar på en ordentlig kun- skapsgrund. Det bör för varje åtgärd som vidtas framgå tydligt på vilket sätt åtgärden är tänkt att påverka skolan, och vad som styrker denna slutsats. Forskning och utvärdering har här en central roll både inför att reformer ska utformas och vid utvärderingen av dem. Utvärdering av reformer kan i sin tur resultera i kunskap som kan</P>
<P class="p261 ft74"><SPAN class="ft30">18 </SPAN><SPAN class="ft31">SOU 2013:30 </SPAN>Det tar tid – om effekter av skolpolitiska reformer<SPAN class="ft31">.</SPAN></P>
<P class="p144 ft18">116</P>
</DIV>
<DIV id="page_113">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td60"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td61"><P class="p22 ft38">Reformutvärdering – strategi för framtiden</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">ligga till grund för evidensinformerade beslut inför eventuella fram- tida reformer.</P>
<P class="p16 ft10">Enligt vår uppfattning finns följaktligen starka argument för att tydligare föra in frågan om reformutvärdering i regeringens och Utbildningsdepartementets arbete med att utforma reformer och andra mer genomgripande förändringar. Vi har i det ovanstående pekat på några frågor som är viktiga att ta ställning till i detta sam- manhang samt på behovet av att i högre grad använda kvalificerad utvärderingskompetens vid utformningen av utvärderingsstrategier i samband med beslut om reformer.</P>
<P class="p204 ft40">Med denna utgångspunkt kommer vi i det följande fördjupa oss i vissa för utvärderingen av reformer viktiga frågor. Det handlar om</P>
<P class="p391 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">hur en överblick över utvärderingslandskapet kan förbättra för- utsättningarna för att styra utvärderingen av skolan (kapitel 7),</SPAN></P>
<P class="p392 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">möjligheterna med att använda försöksverksamhet och stegvis införande vid reformeringen av skolan (kapitel 8),</SPAN></P>
<P class="p393 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">behovet av bättre underlag för att följa kunskapsresultaten (kapitel 9),</SPAN></P>
<P class="p126 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">behovet av data för att utvärdera reformer (kapitel 10), samt</SPAN></P>
<P class="p394 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">hur utvärdering av skolan kan organiseras på ett mer ändamåls- enligt sätt än i dag (kapitel 11).</SPAN></P>
<P class="p395 ft18">117</P>
</DIV>
<DIV id="page_114">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312114x1.jpg" id="img1">
</DIV>
<P class="p396 ft66"><SPAN class="ft8">7</SPAN><SPAN class="ft65">Ramverk för utvärdering av skolan – för bättre överblick och styrning</SPAN></P>
<P class="p397 ft10">Av kapitel 4 framgår att det svenska uppföljnings- och utvärde- ringssystemet består av ett stort antal komponenter och många olika aktörer är involverade. I detta kapitel närmar vi oss därför den fråga om ett nationellt ramverk för utvärdering som aktualiserats av OECD.</P>
<P class="p398 ft88"><SPAN class="ft32">7.1</SPAN><SPAN class="ft87">OECD om behovet av ramverk för utvärdering av utbildningen</SPAN></P>
<P class="p399 ft40">I en <NOBR>OECD-rapport<SPAN class="ft77">1</SPAN></NOBR><SPAN class="ft77"> </SPAN>om utvärdering och bedömning av utbildning konstateras att många länder nu tar initiativ till att utveckla och stärka kapaciteten för att utvärdera sina utbildningssystem. Utvär- dering och uppföljning av elevresultat ses i många länder som en motor för den framtida reformagendan. Den fulla potentialen av detta kommer dock, enligt OECD, inte att förverkligas om inte ländernas ramverk för utvärdering av utbildningen utvecklas till fullt sammanhängande helheter. Synergier mellan olika delkom- ponenter i systemet bör tas till vara, dubblering av procedurer bör undvikas och motsägelser mellan olika målsättningar förhindras. OECD pläderar starkt för att det arbete som inletts i många länder med att utveckla sådana ramverk bör fortsätta.</P>
<P class="p400 ft74"><SPAN class="ft30">1 </SPAN><SPAN class="ft31">OECD (2013) </SPAN>Synergies for Better Learning: International Perspective on Evaluation and Assessment<SPAN class="ft31">. OECD Reviews of Evaluation and Assessment in Education.</SPAN></P>
<P class="p401 ft18">119</P>
</DIV>
<DIV id="page_115">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312115x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Ramverk för utvärdering av skolan – för bättre överblick och styrning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft13">Vad menar OECD med ramverk?</P>
<P class="p98 ft10">Att utarbeta ett strategiskt dokument som beskriver ett ramverk för utvärdering kan enligt OECD vara en god idé. Ett sådant dokument ska tydliggöra syftet med ett utvärderingssystem samt hur det är länkat till utbildningssystemet som helhet, till andra förändringar och till förbättrade elevresultat. Dokumentet bör även ange hur informationen i systemet ska rapporteras och beskriva hur olika komponenter i systemet kan producera resultat som är använd- bara för klassrumspraktiken och för olika skolutvecklings- aktiviteter.</P>
<P class="p54 ft10">Uppföljning och utvärdering har enligt OECD inget värde om det inte leder till förbättringar i klassrumspraktiken. OECD lägger därför stor vikt vid att utvärderingssystemet på ett tillförlitligt och relevant sätt fångar upp målen för utbildningen på skol- och elev- nivå. Annars förfelas hela idén med systemet, menar man. Inte minst undergrävs dess legitimitet bland de professionella. Särskild uppmärksamhet bör därför riktas mot att identifiera oavsedda effekter eftersom uppföljning och utvärdering har en betydande potential att påverka beteendet hos skolans aktörer.</P>
<P class="p54 ft10">Ramverket bör även bidra till att klargöra ansvarsfördelningen mellan olika aktörer vad gäller de olika delarna i systemet och främja nätverkande och samverkan mellan de personer som arbetar med olika utvärderings- och uppföljningsaktiviteter.</P>
<P class="p109 ft13">OECD om Sverige</P>
<P class="p199 ft39">OECD:s rapport baseras på granskningsrapporter från ett stort antal länder<SPAN class="ft75">2</SPAN>. I Sverigerapporten<SPAN class="ft75">3 </SPAN>konstateras att utvärdering och bedömning har stor betydelse i vårt land på grund av att vi har ett starkt decentraliserat utbildningssystem. De yrkesverksamma behöver få information och feedback i syfte att utveckla kvaliteten på sitt arbete samtidigt som regeringen behöver kunna följa upp om nationella mål för kvalitet och likvärdighet i utbildningen uppnås. Det svenska förhållningssättet kombinerar enligt OECD nationellt uppsatta mål och standarder samt central provutveckling med en hög</P>
<P class="p402 ft59"><SPAN class="ft56">2</SPAN><SPAN class="ft57">De länder som ingått i studien är Australien, Belgien (den flamländska delen), Chile, Danmark, Luxemburg, Mexiko, Nederländerna, Norge, Nya Zeeland, Portugal, Slovakien, Sverige, Tjeckien och Storbritannien (Nordirland).</SPAN></P>
<P class="p362 ft74"><SPAN class="ft56">3</SPAN><SPAN class="ft60">OECD (2011) </SPAN>Reviews of Evaluation and Assessment in Education. Sweden<SPAN class="ft31">.</SPAN></P>
<P class="p144 ft18">120</P>
</DIV>
<DIV id="page_116">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td62"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td63"><P class="p22 ft38">Ramverk för utvärdering av skolan – för bättre överblick och styrning</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">grad av förtroende för skolans personal att själva utföra utvärdering och bedömning.</P>
<P class="p63 ft40">Enligt OECD har Sverige många delar i ett uppföljningssystem på plats. De olika delarna är väl utformade, men man menar att det saknas en strategisk plan eller ett nationellt ramverk för utvärdering och bedömning. En sådan plan eller ett sådant ramverk skulle enligt OECD kunna säkerställa konsekvens och helhetssyn samt bidra till att optimera anpassningen mellan de olika komponenterna, ge en överblickbarhet och utgöra en referens för aktörer som arbetar med utvärdering och bedömning inom utbildningssektorn, reda ut kraven på och villkoren för utvärdering och bedömning på olika nivåer i systemet, förtydliga ansvarsfördelningen och kartlägga utbudet av de verktyg som finns för att årstadkomma optimal praxis. Ramverket bör enligt OECD bland annat kompletteras med beskrivningar av den kompetens som de som ansvarar för utvär- dering bör ha.</P>
<P class="p289 ft39">OECD pekar vidare på olika möjligheter för att få fram mer pålitliga verktyg för systemuppföljning. Frågor som enligt rappor- ten bör utredas gäller bland annat de nationella proven, stickprovs- baserad kartläggning av studieresultat över tid samt användningen av de internationella studierna. Utredningen återkommer till dessa frågor i det följande. Enligt OECD bör Sverige dessutom främja en ökad användning av de data och den information som redan finns. Man menar vidare att tillförlitligheten vid rättningen av nationella prov behöver förbättras samt att den externa utvärderingen i större utsträckning bör grundas på intern självutvärdering.</P>
<P class="p294 ft13">Hur ser det ut i andra länder?</P>
<P class="p182 ft40">I de flesta länderrapporter som ingår i OECD:s studie återkommer man till behovet av att utveckla utvärderingssystemen och stärka de enskilda delarna i dessa samt till behovet av att skapa ett tydligare ramverk för utvärdering och/eller att tydliggöra kopplingen mellan olika komponenter i systemet. Det gäller även för länder som, liksom Sverige, anses ha kommit en god bit på väg i att etablera ett fungerande utvärderingssystem.</P>
<P class="p204 ft9">OECD menat t.ex. att Danmark har vidtagit flera åtgärder för att stärka utvärderingskulturen, men förordar ändå att landet ska ta fram en strategisk utvecklingsplan för att slutföra arbetet med att skapa ett utvärderingsramverk. Norges utvärderingsramverk behöver</P>
<P class="p389 ft18">121</P>
</DIV>
<DIV id="page_117">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312117x1.jpg" id="img1">
</DIV>
<P class="p0 ft19">Ramverk för utvärdering av skolan – för bättre överblick och styrning SOU 2014:12</P>
<P class="p105 ft10">enligt OECD kompletteras och kopplingen mellan de olika komponenterna behöver förstärkas. Etc.</P>
<P class="p106 ft9">Genom kompletterande litteraturstudier av bland annat forsk- ningslitteratur, och i några fall genom besök i länderna, har utred- ningen sökt fördjupa bilden av uppföljnings- och utvärderings- systemen i några länder och systemens roll i samband med genom- förandet av reformer<SPAN class="ft28">4</SPAN>. Det närmaste vi kommit ett dokumenterat ramverk för utvärdering är i Finland, dvs. ett land som inte deltog i OECD:s studie. I januari 2012 beslutade det dåvarande Utbild- nings- och kulturministeriet om en nationell utvärderingsplan för <NOBR>2012-2015<SPAN class="ft28">5</SPAN>.</NOBR> Denna innehåller vissa utgångspunkter för utvärde- ringen, organiseringen av utvärderingsverksamheten, riktlinjer för inriktningen av utvärderingen, finansieringen av utvärderingen samt för hur utvärderingsplanen ska följas upp. Även om planen har en övergripande karaktär närmar den sig vad som skulle kunna kallas för ett ramverk.</P>
<P class="p333 ft13">Vår bedömning</P>
<P class="p81 ft40">Det är slående att de rekommendationer som OECD lämnar är så pass lika mellan länder som i övrigt är förhållandevis olika. Obero- ende av var länderna står i utvecklingen av sina uppföljnings- och utvärderingssystem är huvudrekommendationen att de bör ta fram eller utveckla ett ramverk för utvärdering. OECD anser uppenbar- ligen att ett sådant dokumenterat ramverk saknas i de flesta länder och att det på ett kraftfullt sätt skulle kunna bidra till utveckling av uppföljningen och utvärderingen av skolans prestationer och ytterst av klassrumspraktiken.</P>
<P class="p96 ft9">Utredningen finner att OECD:s ambitioner när det gäller ram- verk för utvärdering på många sätt är vällovliga. Vi menar dock att det finns en tendens att utvärdering i OECD:s tappning ges en så central roll i styrningen av skolan att den nästan av egen kraft för- väntas driva utvecklingen av skolverksamheten. Ramverket begränsas därmed inte till att utgöra underlag för politiska beslut och till att fungera som utgångspunkt för professionens utveckling av verk- samheten, utan blir ett kraftfullt nationellt styrinstrument i sig. Vi noterar också att OECD:s utvärderingsbegrepp är smalare än det</P>
<P class="p403 ft79"><SPAN class="ft51">4</SPAN><SPAN class="ft102">Vi har besökt Danmark, Finland, Norge och Skottland. Därutöver har vi genom dokument- studier tittat särskilt på även Canada, England, Nederländerna, Nya Zeeland och USA.</SPAN></P>
<P class="p181 ft31"><SPAN class="ft56">5</SPAN><SPAN class="ft103">Undervisnings- och kulturministeriet (2012:15) </SPAN><SPAN class="ft74">Utvärderingsplan för utbildningen 2012- 2015</SPAN>.</P>
<P class="p134 ft18">122</P>
</DIV>
<DIV id="page_118">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312118x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t12">
<TR>
<TD class="tr17 td62"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td63"><P class="p22 ft38">Ramverk för utvärdering av skolan – för bättre överblick och styrning</P></TD>
</TR>
</TABLE>
<P class="p404 ft10">uppföljning- och utvärderingsbegrepp vi använder i detta betänk- ande, genom att mer avgränsat avse kunskapsresultat.</P>
<P class="p405 ft88"><SPAN class="ft32">7.2</SPAN><SPAN class="ft87">Förslag om ett nationellt ramverk för utvärdering av skolan</SPAN></P>
<P class="p406 ft10"><SPAN class="ft13">Utredningens förslag: </SPAN>Ett nationellt ramverk för utvärdering av skolan fastställs av regeringen, t.ex. i form av en skrivelse till riksdagen, och kompletteras med regelbundna planer för utvär- dering av skolan. Av dessa planer bör framgå regeringens över- gripande prioritering för utvärderingen av skolan för en överblick- bar period, t.ex. tre år. Förslaget avser skolväsendet i sin helhet, dvs. även förskola och fritidshem.</P>
<P class="p407 ft45"><SPAN class="ft106">Utredningens bedömning: </SPAN>Ett nationellt ramverk för utvärdering av den svenska skolan bör tydliggöra det övergripande syftet med uppföljningen och utvärderingen av skolan samt</P>
<P class="p408 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">vilka delar systemet består av för att följa upp, utvärdera, grans- ka och beforska skolan,</SPAN></P>
<P class="p409 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">vilka syften systemets olika delar har och vad de förväntas ge svar på,</SPAN></P>
<P class="p410 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">hur dessa olika delar förhåller sig till varandra, samt</SPAN></P>
<P class="p411 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">vilka aktörer som har ansvar för de olika delarna och hur dessa förväntas samverka.</SPAN></P>
<P class="p412 ft10">Av ramverket bör också framgå vilken roll utvärderingen har i sam- band med större reformer. Ett sådant nationellt ramverk bör beslutas av regeringen och utgöra en över tid stabil grund utifrån vilken den svenska skolan långsiktigt kan utvärderas.</P>
<P class="p413 ft10">Utredningen konstaterar, liksom OECD, att Sverige har ett väl utvecklat system för uppföljning och utvärdering av den svenska skolan, om man med det menar att vi har ett väl utbyggt upp- följningsystem. Vi delar samtidigt bedömningen att det behövs ett tydligare nationellt ramverk för utvärdering av skolan, även om vi inte lägger riktigt samma innebörd i detta begrepp som OECD. Vi föreslår att ett sådant ramverk tas fram.</P>
<P class="p414 ft10">Ett sådant ramverk bör, som vi ser det, tydliggöra det över- gripande syftet med uppföljningen och utvärderingen av skolan. Vidare skulle det tydliggöra dels vilka delar systemet består av för</P>
<P class="p415 ft18">123</P>
</DIV>
<DIV id="page_119">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312119x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Ramverk för utvärdering av skolan – för bättre överblick och styrning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p416 ft9">att följa upp och utvärdera, granska och beforska<SPAN class="ft28">6 </SPAN>skolan, dels vilka syften dessa olika delar av systemet har och vad de förväntas ge svar på och dels hur de förhåller sig till varandra. Utredningens uppdrag avser utvärderingen av grundskolan och motsvarande skolformer. Vi anser dock att ett förslag som detta måste avse skolväsendet i sin helhet. Det innebär att t.ex. även förskolan ska ingå.</P>
<P class="p54 ft10">Ett nationellt ramverk för utvärdering ska enligt vår uppfattning beskriva förhållanden på nationell nivå. Det ska omfatta den nationellt insamlade statistiken, annan information från myndig- heter etc. Det finns dock i många fall en relation mellan den nationella nivån och verksamhetsnivån som bör framgå. Ett sådant exempel är de nationella proven som har syften som verkar på olika nivåer i systemet. Ramverket bör därför även belysa relationen mellan å ena sidan det nationella systemet för uppföljning och utvärdering och å andra sidan den lokala nivån respektive verk- samhetsnivån</P>
<P class="p96 ft40">Utöver att tydliggöra utvärderingssystemets olika delar och deras syften bör ramverket också tydliggöra vilka myndigheter och andra aktörer som har ansvar för systemets olika delar. Det kan synas självklart var ansvaret ligger när vi har stora centrala skol- myndigheter, som Skolverket och Skolinspektionen. I dag finns det dock flera ytterligare aktörer på den svenska utvärderingsscenen med uppdrag om utvärdering som berör skolan. På nationell nivå handlar det om Institutet för arbetsmarknads- och utbildnings- politisk utvärdering (IFAU), Statskontoret, Vetenskapsrådet samt universitet och högskolor. Vidare står Statistiska Centralbyrån (SCB) för insamling av statistik från huvudmän och skolor. SCB publicerar dessutom regelbundet statistik om skolan samt svarar för de s.k. elevpanelerna. Slutligen genomför även andra aktörer, exempelvis Sveriges kommuner och landsting (SKL), viss uppgifts- insamling och publicerar vissa nyckeltal.</P>
<P class="p141 ft39">Utredningen menar att det av ett nationellt ramverk bör framgå vilken roll utvärderingen har i samband med större reformer, dvs. såväl inför, under och efter en reform, samt hur sådan utvärdering kan organiseras. Den konkreta utvärderingen av en specifik reform måste dock utformas i förhållande till just den aktuella reformen. Syftet med ramverket är därför att utgöra en infrastruktur för</P>
<P class="p417 ft31"><SPAN class="ft30">6 </SPAN>Observera att forskningen kan vara oberoende eller genomföras på uppdrag. Att forsk- ningen tas med som en aktivitet i ett ramverk inskränker inte på något vis den oberoende forskningens oberoende.</P>
<P class="p216 ft18">124</P>
</DIV>
<DIV id="page_120">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td62"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td63"><P class="p22 ft38">Ramverk för utvärdering av skolan – för bättre överblick och styrning</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">utformningen av en sådan utvärdering, inte att vara en handbok om hur den ska genomföras i det specifika fallet.</P>
<P class="p63 ft39">Vi föreslår även att ramverket kompletteras med regelbundet återkommande planer för utvärdering av skolan, t.ex. vart tredje år. Av dessa bör framgå regeringens övergripande prioritering för ut- värderingen av skolan för den aktuella perioden. Enligt vår uppfatt- ning skulle sådana planer kunna bidra till att utvärderingen av skolan blir mer långsiktig och i högre grad kommer att baseras på en analys av de verkliga kunskapsbehoven. I en reformfas kommer en sådan plan i stor utsträckning att präglas av reformutvärdering.</P>
<P class="p90 ft13">Ramverket och planen bör beslutas på politisk nivå</P>
<P class="p91 ft10">Som redovisats ovan finns bara på statlig nivå många aktörer med ansvar för olika delar i ett tänkt ramverk för utvärdering. Vi före- slår därför att det nationella ramverket för utvärdering ska fast- ställas av regeringen, förslagsvis i form av en skrivelse till riksdagen. I arbetet med ramverket skulle ansvarsfördelningen mellan myn- digheter och andra aktörer tydliggöras och eventuella luckor i systemet identifieras. Ett nationellt ramverk skulle därmed bidra till överblick och ett bättre helhetsgrepp.</P>
<P class="p15 ft10">Enligt vår uppfattning är det dessutom viktigt att ramverket utarbetas i former som tar hänsyn till den samlade kunskap som olika parter inom skolans område har, dvs. lärare, skolledare, kom- muner, myndigheter, forskare, etc. Vi återkommer till hur detta inflytande skulle kunna organiseras i kapitel 11 om organisation och ansvarsfördelning.</P>
<P class="p92 ft40">Utredningen vill dessutom understryka värdet av långsiktighet när det gäller utvärderingen av skolan. Det är centralt såväl med hänsyn till användbarhet och kvalitet som ur ett demokratiperspek- tiv. Elever och föräldrar, lärare, rektorer, politiker, media, allmän- het – dvs. alla – ska kunna förvänta sig en kontinuitet när det gäller informationen om den svenska skolan, oavsett om denna beskriver en positiv eller negativ utveckling. När det gäller utformningen av ramverket vore det därför önskvärt med en bred politisk överens- kommelse som kan säkerställa att det får fortleva under en längre tid. Ett nationellt ramverk bör på så vis kunna bidra till att etablera en stabilitet och förutsägbarhet över tid när det gäller t.ex. inter- nationella och nationella kunskapsmätningar.</P>
<P class="p418 ft18">125</P>
</DIV>
<DIV id="page_121">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Ramverk för utvärdering av skolan – för bättre överblick och styrning</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p419 ft9">Ett ramverk som beslutas på regeringsnivå måste samtidigt hållas på en övergripande nivå, dvs. handla om principer och de stora dragen, snarare än om detaljer. Annars försvåras berörda myndigheters och andra aktörers arbete med att ge det ett konkret innehåll. Avsikten bör därför vara att ge berörda myndigheter och andra aktörer tyd- liga förutsättningar för att genomföra sina uppdrag. Ramverket bör även utformas så att det medger viss flexibilitet och anpassning i förhållande till framtida förändringar utan att behöva revideras. Även detta talar för att det inte bör utformas alltför detaljerat.</P>
<P class="p55 ft13">Arbetet med att utforma ett ramverk kan leda till omprövning</P>
<P class="p53 ft10">Arbetet med att utforma ett nationellt ramverk för utvärdering av skolan skulle tydliggöra vad Sverige faktiskt har i form av underlag för att utvärdera skolan. Samtidigt skulle utarbetandet av ramverket identifiera vad som saknas, vilka frågor som <SPAN class="ft11">inte </SPAN>kan besvaras med nuvarande system samt vad som är otydligt med avseende på gräns- dragning mellan olika aktiviteter och aktörer. Ett sådant arbete skulle med allra största sannolikhet leda till en omprövning av vissa delar av systemets utformning.</P>
<P class="p96 ft45">Utredningen har inte sett som sin uppgift att lämna förslag till ett färdigt ramverk för utvärdering av den svenska skolan. Vårt arbete kan dock ses som starten på en process mot ett sådant ram- verk. Vissa frågor som skulle aktualiseras i samband med ett sådant arbete kommer vi dessutom att ta upp i de följande kapitlen.</P>
<P class="p420 ft18">126</P>
</DIV>
<DIV id="page_122">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312122x1.jpg" id="img1">
</DIV>
<P class="p421 ft66"><SPAN class="ft8">8</SPAN><SPAN class="ft65">Försöksverksamhet </SPAN><SPAN class="ft107">– </SPAN>för ökad evidens vid reformer</P>
<P class="p311 ft10">Användningen av försöksverksamhet i samband med reformer eller andra förändringar har nära koppling till utvärdering. Själva poäng- en med en försöksverksamhet är ju att den ska utvärderas innan beslut fattas om huruvida försöket ska permanentas eller avslutas. Även stegvis införande av en reform kan betraktas som en form av försöksverksamhet.</P>
<P class="p92 ft10">Det finns flera fördelar med att genomföra försöksverksamhet inför en reform eller större förändring. Genom att pröva i liten skala kan man undvika misstag i full skala. Försök kan därför lämpa sig i de fall utfallet av en åtgärd inte i förväg kan förutses genom resultat från tidigare forskning och utvärdering. I ett försök är det också möjligt att lära av de erfarenheter försöket ger och vid behov göra justeringar innan reformen eventuellt permanentas. Genom att försöksverksamhet ger förutsättningar för att skapa en kontroll- grupp möjliggörs dessutom användningen av utvärderingsdesigner som annars kan vara svåra att få till stånd. Det bör dock under strykas att det finns andra metoder att skapa kontrollgrupper än genom försök (se vidare kapitel 3). Dessutom måste hänsyn tas till effekterna för berörda elever, vilket vi återkommer till i det följande.</P>
<P class="p422 ft32"><SPAN class="ft32">8.1</SPAN><SPAN class="ft50">Användningen av försöksverksamhet</SPAN></P>
<P class="p136 ft45">Försöksverksamhet är inte någon okänd reform- eller utvecklings- strategi inom svensk skolpolitik. Användningen av försöksverk- samhet är dock en tradition som försvagats i Sverige.<SPAN class="ft68">1 </SPAN>Ett skäl till detta är sannolikt att tempot i politiken har ökat över tid. Bered-</P>
<P class="p276 ft31"><SPAN class="ft30">1 </SPAN>Se bilaga 3.</P>
<P class="p356 ft18">127</P>
</DIV>
<DIV id="page_123">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312123x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">ningstiderna i regeringskansliet är långa, samtidigt som mandatpe- rioderna kan uppfattas som korta.</P>
<P class="p285 ft39">Utredningen har låtit göra en historisk genomgång av utvär- deringens roll i samband med svenska skolreformer (se bilaga 3). Av denna framgår att försöksverksamhet användes i betydande omfattning i samband med parallellskolans avveckling och enhets- skolans införande.<SPAN class="ft75">2 </SPAN>Även inom ramen för <NOBR>SIA-utredningen</NOBR> genom- fördes viss försöksverksamhet.<SPAN class="ft75">3 </SPAN>Mellan åren 1988 och 1993 genom- fördes senare de s.k. <NOBR>ÖGY-försöken</NOBR> i regi av Kommittén för Över- syn av den Gymnasiala Yrkesutbildningen. Försöken handlade om en förlängning av gymnasieskolans yrkesutbildningar och ett ökat inslag av teoretiska ämnen.<SPAN class="ft75">4 </SPAN>Vidare beslutade riksdagen 1999 om Timplaneförsöket, en från början femårig försöksverksamhet som innebar att grundskolor i högst 80 kommuner, inom ramen för det totalt garanterade antalet timmar för grundskolan, fick bedriva utbildning utan att tillämpa timplanens bestämmelser om antalet timmar per ämne eller ämnesgrupp i grundskolan. <SPAN class="ft75">5</SPAN></P>
<P class="p423 ft29">Förutom dessa mer omfattande försöksverksamheter har det även förekommit, och förekommer, försök som rört mer avgrän- sade frågeställningar, nämligen</P>
<P class="p424 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">försöken med föräldrastyrelser i grundskolan och elevstyrelser i gymnasieskolan,</SPAN></P>
<P class="p156 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">försöksverksamhet med möjlighet för föräldrar att välja att pla- cera barn med utvecklingsstörning i grundskolan i stället för i särskolan,</SPAN></P>
<P class="p151 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">försöksverksamhet med lärlingsutbildning,</SPAN></P>
<P class="p156 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">försöksverksamhet med undervisning på engelska i grundskolan, samt</SPAN></P>
<P class="p143 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">försöksverksamhet med spetsutbildning.</SPAN></P>
<P class="p425 ft59"><SPAN class="ft56">2</SPAN><SPAN class="ft57">Se även Marklund, Sixten (1981) </SPAN><SPAN class="ft58">Skolsverige </SPAN><NOBR><SPAN class="ft58">1950-1975.</SPAN></NOBR><SPAN class="ft58"> Del .3 Försöksverksamheten</SPAN>. Utbild- ningsförlaget.</P>
<P class="p426 ft53"><SPAN class="ft56">3</SPAN><SPAN class="ft71">Bilaga 3. Reformutvärdering i Sverige – Historisk tillbakablick.</SPAN></P>
<P class="p180 ft58"><SPAN class="ft56">4</SPAN><SPAN class="ft57">Se t.ex. Hall, Caroline (2009) </SPAN>Förlängningen av yrkesutbildningarna på gymnasiet: effekter på utbildningsavhopp, utbildningsnivå och inkomster<SPAN class="ft59">. IFAU, rapport 2009:7.</SPAN></P>
<P class="p325 ft86"><SPAN class="ft51">5</SPAN><SPAN class="ft108">Försöket bedrevs med stöd av förordningen (1999:903) om försöksverksamhet med utbild- ning utan timplan i grundskolan. Denna kom senare att förlängas i omgångar fram till den nya skollagen (2010:800) trädde i kraft. Timplanedelegationen (dir. 1990:90 och 2003:173) hade uppdraget att förbereda, leda, stödja och utvärdera försöksverksamheten.</SPAN></P>
<P class="p134 ft18">128</P>
</DIV>
<DIV id="page_124">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312124x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td64"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td65"><P class="p22 ft38">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
</TR>
</TABLE>
<P class="p64 ft13">Varierande grad av utvärdering</P>
<P class="p182 ft10">Flera av dessa försöksverksamheter har pågått under lång tid och förlängts genom nya beslut. Det gäller bl.a. Timplaneförsöket som förlängdes tills den nya skollagen (2010:800) trädde i kraft och försöken med föräldrastyrelser i grundskolan respektive elevstyrel- ser i gymnasieskolan samt försöket att välja skolform för elever med utvecklingsstörning. Försöksverksamheten har i vissa fall varit utformad som ett stegvis genomförande, t.ex. i samband med över- gången till enhetsskolan.</P>
<P class="p185 ft9">Några exempel på utvärderingar av försöksverksamhet utgörs av Skolverkets rapporter från 1999 och 2002 om försöket med möjlig- het för föräldrar att välja skolform för elever med utvecklings- störning<SPAN class="ft28">6</SPAN>, Statskontorets rapport från 2002 av försöket med för- äldrastyrelser<SPAN class="ft28">7</SPAN>, Skolverkets utvärdering från 2010 av försöket med undervisning på engelska i grundskolan<SPAN class="ft28">8 </SPAN>och Skolverkets rapport från 2013 om spetsutbildning<SPAN class="ft28">9</SPAN>. Försöket med lärlingsutbildning var organiserat som en offentlig utredning och har rapporterats i tre betänkanden från Lärlingskommittén<SPAN class="ft28">10</SPAN>. Skolverket har senare redo- visat en rapport om den gymnasiala lärlingsutbildningens tre första år.<SPAN class="ft28">11 </SPAN>Inom ramen för <NOBR>ÖGY-försöken</NOBR> pågick en viss utvärdering, men i det fallet genomfördes reformeringen av gymnasieskolan innan slutrapporten från försöksverksamheten hann framläggas.</P>
<P class="p233 ft10">Flertalet av ovan nämnda rapporter har karaktären av kartlägg- ningar genom intervjuer och enkäter. Ibland utmynnar de i bedöm- ningar. Man kan således inte säga att de har utvärderats enligt någon vedertagen definition av begreppet utvärdering, dvs. en systematiskt utförd undersökning av om försöket varit fram- gångsrikt eller inte (i förhållande till uppsatta mål eller förvänt- ningar om positiv verksamhetsutveckling).</P>
<P class="p194 ft58"><SPAN class="ft51">6</SPAN><SPAN class="ft70">Skolverket (1999) </SPAN>Uppföljning och utvärdering av försöksverksamheten med ökat föräldra- inflytande över val av skolform för utvecklingsstörda barn – Slutrapport – <SPAN class="ft59">(dnr. 96:565) och Skolverket (2002) </SPAN>I särskola eller grundskola? <SPAN class="ft59">(dnr. 103404).</SPAN></P>
<P class="p121 ft58"><SPAN class="ft51">7</SPAN><SPAN class="ft70">Statskontoret (2002) </SPAN>Regeringsuppdrag att göra en utvärdering av försöksverksamheten med lokala styrelser <SPAN class="ft59">(dnr. </SPAN><NOBR><SPAN class="ft59">2001/320-5).</SPAN></NOBR></P>
<P class="p175 ft58"><SPAN class="ft51">8</SPAN><SPAN class="ft70">Skolverkets rapport 351 (2010) </SPAN>Undervisning på engelska Utvärdering av en försöksverksam- het i grundskolan.</P>
<P class="p224 ft80"><SPAN class="ft51">9</SPAN><SPAN class="ft78">Skolverket (2013) </SPAN>Redovisning av uppdrag enligt förordning (2011:355) avseende omfattning och utvärdering av försöksverksamhet med riksrekryterande spetsutbildning i grundskolans högre årskurser läsåret 2012/13 <SPAN class="ft79">(dnr. </SPAN><NOBR><SPAN class="ft79">69-2013:00527).</SPAN></NOBR></P>
<P class="p427 ft80"><SPAN class="ft51">10</SPAN><SPAN class="ft78">SOU 2009:85 </SPAN>Gymnasial lärlingsutbildning – Hur blev det? Erfarenheter från första försöksåret, <SPAN class="ft79">SOU 2010:75 </SPAN>Gymnasial lärlingsutbildning – Utbildning för jobb Erfarenheter efter två års försök med lärlingsutbildning <SPAN class="ft79">och SOU 2011:72 </SPAN>Gymnasial lärlingsutbildning – med fokus på kvalitet – Hur stärker vi kvaliteten i gymnasial lärlingsutbildning<SPAN class="ft79">.</SPAN></P>
<P class="p428 ft74"><SPAN class="ft51">11</SPAN><SPAN class="ft54">Skolverkets rapport 373 (2012) </SPAN>Gymnasial lärlingsutbildning de tre första åren <NOBR>2008–2011.</NOBR></P>
<P class="p356 ft18">129</P>
</DIV>
<DIV id="page_125">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312125x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p419 ft9">Timplaneförsöket skiljer ut sig genom det sätt på vilket det till försöket knöts omfattande resurser för både forskning och utvär- dering. Det resulterade i sammantaget tio forsknings- och utvärde- ringsprojekt, varav några använde metodik med kontrollgrupp. Fler- talet av studierna byggde på små urval och kvalitativa studier, i några fall med klassrumsobservationer. Det genomfördes dock även statistiskt säkerställda kvantitativa analyser. Utredningen genom- förde dessutom sådana statistiska analyser av t.ex. underlaget till Skolverkets nationella utvärdering av grundskolan (NU 03). Tim- planedelegationen sammanfattade resultaten i två betänkanden och publicerade en forsknings- och utvärderingsantologi.<SPAN class="ft28">12</SPAN></P>
<P class="p83 ft13">Få metodologiska ställningstaganden i exemplen ovan</P>
<P class="p73 ft10">Det finns flera viktiga överväganden som behöver göras om en försöksverksamhet ska bli utvärderingsbar, och inte bara framstå som ett successivt införande av karaktären <NOBR>”trial-and-error”.</NOBR></P>
<P class="p181 ft10">Framför allt behöver man tydligt formulera vad det är försöket ska pröva – vad är det man vill veta? – och hur det ska utvärderas. Man bör också ta ställning till hur urvalet ska göras av de individer eller verksamheter som ska ingå i försöket och av de som ska utgöra kontrollgrupp. Ska man t.ex. göra ett representativt urval? Eller ska det vara frivilligt att delta i försöket, och vilka konsekvenser får i så fall det för utvärderingen?</P>
<P class="p107 ft10">För flertalet av de försök som redovisats ovan har inte denna typ av överväganden gjorts, eller gjorts i liten utsträckning, vilket påverkat förutsättningarna för att utvärdera försöken. Typiskt är att deltagandet i försöken byggt på frivillighet. Uppdrag om att utvärdera försöken har i vissa fall lämnats efter att dessa pågått en viss tid. Man kan säga att fokus har legat på vad som skulle prövas, inte på hur det sedan skulle vara möjligt att dra några säkra slut- satser av försöken.</P>
<P class="p96 ft39">När det gäller Timplaneförsöket fördes en kortfattad diskussion om förutsättningarna för utvärdering i den proposition som före- gick försöket. Regeringen resonerade där om att det omfattande urvalet (80 kommuner) skulle göra det möjligt att i ett nästa steg göra lämpliga urval för utvärdering, och att detta skulle skapa goda förutsättningar för utvärdering av god kvalitet. Man förde däremot</P>
<P class="p429 ft74"><SPAN class="ft30">12 </SPAN><SPAN class="ft31">SOU 2004:35 </SPAN>Utan timplan – med målen i sikte<SPAN class="ft31">, SOU 2005:101 </SPAN>Utan timplan – för mål- nriktat lärande <SPAN class="ft31">och SOU 2005:102 </SPAN>Utan timplan – forskning och utvärdering.</P>
<P class="p134 ft18">130</P>
</DIV>
<DIV id="page_126">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312126x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td64"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td65"><P class="p22 ft38">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
</TR>
</TABLE>
<P class="p85 ft40">ingen diskussion om konsekvenserna för utvärderingens validitet av att det var frivilligt att delta i försöket samt att det dessutom ställdes kvalitetskrav på kommunerna för att få delta. Regeringens beslut föregicks dock av en departemental utredning<SPAN class="ft77">13</SPAN>.</P>
<P class="p135 ft32"><SPAN class="ft32">8.2</SPAN><SPAN class="ft50">Försöksverksamhet som strategi i andra länder</SPAN></P>
<P class="p146 ft10">Utredningen konstaterar att det finns länder som har som strategi att använda antingen försöksverksamhet inför att reformer ska genomföras eller stegvis införande av reformer.</P>
<P class="p17 ft10">I exempelvis England har försöksverksamheter getts en allt viktigare roll. De brittiska regeringar som suttit vid makten under de två senaste decennierna har målmedvetet drivit på en utveckling i riktning mot evidensinformerade arbetsformer i regeringsarbetet. I en rapport från Cabinet Office<SPAN class="ft55">14 </SPAN>heter det t.ex. att det fullskaliga införandet av nya reformer, och de mekanismer för implementering som man avser att använda, om möjligt alltid bör föregås av nog- grant kontrollerade försöksverksamheter. Man menar att ett inför- ande som sker stegvis inte bara bidrar till att informera de som berörs av implementeringen, utan även gör det möjligt att identi- fiera och förebygga oavsedda konsekvenser. Ett försök ses som ett viktigt första steg i en reguljär, långsiktig granskning och utvär- dering av reformer. Att försöksverksamhet är förenat med kost- nader i form av tid och resurser och kan medföra vissa politiska risker balanseras, enligt rapporten, av den större risken att bädda in brister i den slutliga reformen, som med ett försök hade kunnat undvikas.</P>
<P class="p430 ft45">Samtidigt ska konstateras att utvecklingen tar sig olika vägar i olika länder. Exempelvis har Nederländerna från och med 1980- talet gått från att genomföra utvärdering av försöksverksamheter utförda av olika kommittéer, till att i stället mer kontinuerligt följa utvecklingen genom ett nationellt uppföljningssystem och genom inspektionsverksamhet.<SPAN class="ft68">15 </SPAN>Detta ska dock förstås som en följd av att landet bytt reform- och utvecklingsstrategi och gått från strategier som byggde på centralt initierade nationella reformer till en mer stegvis inriktad strategi. Den nuvarande nederländska utvecklings-</P>
<P class="p431 ft72"><SPAN class="ft51">13</SPAN><SPAN class="ft52">Ds 1999:1 </SPAN>Utan timplan – med oförändrat uppdrag<SPAN class="ft53">.</SPAN></P>
<P class="p175 ft58"><SPAN class="ft51">14</SPAN><SPAN class="ft70">Cabinet Office (2003) </SPAN>Trying it out. The Role of ‘Pilots’ in <NOBR>Policy-Making.</NOBR> <SPAN class="ft59">Report of a Review of Government Pilots. Government Chief Social Researcher´s Office.</SPAN></P>
<P class="p196 ft74"><SPAN class="ft51">15</SPAN><SPAN class="ft54">OECD (2012) </SPAN>Country Background Report for the Netherlands. <SPAN class="ft31">OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes.</SPAN></P>
<P class="p385 ft18">131</P>
</DIV>
<DIV id="page_127">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312127x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">strategin kan därför betecknas som en kontinuerligt pågående, småskalig strategi som har många kännetecken gemensamma med just försöksverksamhet.</P>
<P class="p108 ft10">Slutligen kan konstateras att behovet av försöksverksamheter med kontrollgrupper varierar mellan olika länder. I en federalt upp- byggd stat som till exempel USA beslutas merparten av skol- politiken på delstatsnivå. Exakt samma förändringar införs sällan samtidigt i alla delstater. Det innebär att det uppstår vad man skulle kunna kalla naturliga kontrollgrupper. När en reform eller ett sär- skilt program införs i skolorna i en delstat kan elever i en annan delstat utgöra kontrollgrupp.<SPAN class="ft55">16</SPAN></P>
<P class="p432 ft88"><SPAN class="ft32">8.3</SPAN><SPAN class="ft87">Försöksverksamhet stärker förutsättningarna för reformutvärdering</SPAN></P>
<P class="p56 ft10">Försöksverksamhet kan bidra till både formativ och summativ utvärdering av en reform. Genom en försöksverksamhet kan före- ställningar testas, om på vilket sätt en åtgärd kommer att påverka ett visst problem respektive om den kommer att åstadkomma ett visst förväntat resultat.</P>
<P class="p107 ft10">Utöver att ge svar på vilka resultat en försöksverksamhet ger upphov till kan den också ge svar på om det föreligger stor varia- tion i hur reformen genomförs. Utvärdering av försöksverksamhet kan vidare ge svar på om reformen ger upphov till oavsedda negativa effekter, bedöma i vilken omfattning de förekommer och vilka konsekvenser de riskerar att få. I bästa fall kan utvärderingen även bidra med förklaringar till varför variationer och negativa effekter uppkommer och ge rekommendationer om vad som kan göras för att förhindra dem.</P>
<P class="p96 ft39">Utvärdering av en försöksverksamhet kan även leda till att man avstår från att införa en reform. Det gäller t.ex. där det är oklart hur reformen skulle fungera och risken för ett misslyckande bedöms vara överhängande. Att i förväg testa och utvärdera en tilltänkt reform genom ett försök kan vara särskilt viktigt i de fall reformen i någon mening är innovativ, dvs. inte har prövats tidigare, är</P>
<P class="p433 ft31"><SPAN class="ft30">16 </SPAN>Denna skillnad i förutsättningarna för försöksverksamhet i olika länder uppmärksammas även i det brittiska dokumentet <SPAN class="ft74">Trying it Out. The Role of ’Pilots’ in Policymaking</SPAN>. Cabinet Office, 2003.</P>
<P class="p216 ft18">132</P>
</DIV>
<DIV id="page_128">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312128x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td64"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td65"><P class="p22 ft38">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
</TR>
</TABLE>
<P class="p434 ft10">experimentell till sin natur eller av något annat skäl är förenad med en hög grad av osäkerhet.<SPAN class="ft55">17</SPAN></P>
<P class="p435 ft88"><SPAN class="ft32">8.4</SPAN><SPAN class="ft87">Etiska överväganden i samband med försöksverksamhet</SPAN></P>
<P class="p65 ft40">En förutsättning för att genomföra en försöksverksamhet är att enskilda individer, i vårt fall elever, utsätts för olika behandling. Vissa omfattas av försöket medan andra utgör kontrollgrupp. Om en utvärdering ska ske med experimentella metoder finns det olika tekniker att skapa kontrollgrupper. Även om en utvärdering inte är utformad med kontrollgrupper innebär försöksverksamhet i de flesta fall att vissa elever blir föremål för en intervention av något slag, medan andra elever inte blir det. Det kan gälla även vid steg- visa införanden av förändringar, men behöver inte göra det.</P>
<P class="p15 ft10">Invändningar av etisk karaktär har i olika sammanhang fram- förts mot att elever behandlas olika på grund av försöksverksamhet. Om en åtgärd leder till positiva resultat för den grupp som omfat- tas av åtgärden kan det anses som ”orättvist” att övriga elever inte omfattas av åtgärden. Om en åtgärd i stället leder till negativa resul- tat kan det anses att en orättvisa har begåtts mot dem som omfat- tats av åtgärden.</P>
<P class="p351 ft10">Denna typ av etiska överväganden görs dagligen av forskare inom olika discipliner i samband med forskning eller utvärdering som bygger på experimentella ansatser. Det råder därför ingen brist på forskarreferenser om ämnet.</P>
<P class="p63 ft9">Clarke<SPAN class="ft28">18 </SPAN>menar t.ex. att en grundläggande princip vid experi- mentell forskning är att experiment endast ska vidtas när för- hållandena är sådana att det råder osäkerhet kring effekterna av en specifik intervention. I sådana fall uppkommer inte de etiska pro- blemen som annars sammanhänger med skapandet av slumpvisa kontrollgrupper. Där det inte finns någon kunskap om huruvida en åtgärd fungerar utgör det faktum att kontrollgruppen inte berörs av åtgärden inte nödvändigtvis ett etiskt problem. Vid varje enskilt utvärderingstillfälle – och en försöksverksamhet kan här uppfattas</P>
<P class="p436 ft72"><SPAN class="ft51">17</SPAN><SPAN class="ft52">HM Treasury (2011) </SPAN>The Magenta Book. Guidance for evaluation<SPAN class="ft53">.</SPAN></P>
<P class="p437 ft74"><SPAN class="ft51">18</SPAN><SPAN class="ft54">Clarke, Alan (2007) </SPAN><NOBR>Evidence-based</NOBR> evaluation in different professional domains: similarities, differences and challanges <SPAN class="ft31">i Shaw, Ian F. m. fl. (red.) The Sage Handbook of Evaluation. Sage Publications.</SPAN></P>
<P class="p438 ft18">133</P>
</DIV>
<DIV id="page_129">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312129x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">som ett utvärderingstillfälle – ligger ansvaret enligt Clarke på utvär- deraren att redogöra för möjligheten att anlägga ett experimentellt förhållningssätt och visa på vilket sätt fördelarna med slumpvisa experiment väger tyngre än att inte göra det.</P>
<P class="p439 ft10">Andra forskare går längre. Weisburd<SPAN class="ft55">19 </SPAN>menar att man snarare bör börja med att fråga sig varför en experimentell design inte ska användas. Det ansvar som bör åligga forskaren är att förklara varför en mindre valid metod skulle läggas till grund för slutsatser om åtgärder och praxis. Weisburd menar att det etiska problemet består i att valet av <NOBR>icke-experimentella</NOBR> metoder kan komma att inkräkta på forskarens grundläggande professionella skyldighet att erbjuda de mest valida svar som forskaren kan få på frågor som han/hon har blivit ombedd att besvara.</P>
<P class="p245 ft10">Clarke<SPAN class="ft55">20 </SPAN>menar att undersökningar av hur patienter, sjukvårds- personal och andra berörda ställer sig till experiment med slumpvis utvalda kontrollgrupper, visar att dessa i mycket mindre omfatt- ning uttrycker motstånd mot detta slags experiment än en del sam- hällsforskare gör. En slutsats som kan dras från dessa undersök- ningar är enligt Clarke att man i samband med experiment med slumpvis utvalda kontrollgrupper behöver lägga både tid och enga- gemang på att klarlägga varför en sådan forskningsdesign behöver användas.</P>
<P class="p440 ft10">Utredningen konstaterar att etiska överväganden alltid måste göras innan en försöksverksamhet inleds. När det finns starka etiska invändningar ska en försöksverksamhet givetvis inte initieras. All försöksverksamhet, som kan komma ifråga på skolans område, har dock inte samma etiska problematik. I många fall bör denna kunna hanteras på ett ansvarsfullt sätt.</P>
<P class="p96 ft45">Om exempelvis en försöksverksamhet snabbt visar så stora positiva effekter att det kan uppfattas som oförsvarligt att endast låta försöksgruppen omfattas av dem, är det inget som hindrar att man beslutar att tidigarelägga genomförandet av reformen för samtliga elever. I det fall en försöksverksamhet i stället visar starka oförutsedda negativa effekter kan försöket naturligtvis avbrytas i förtid eller justeras så att de negativa effekterna inte uppstår. Eftersom det gäller ett försök handlar det om ett begränsat och</P>
<P class="p153 ft58"><SPAN class="ft51">19</SPAN><SPAN class="ft57">Weisburd, David (2003) </SPAN>Ethical practice and evaluation of interventions in crime and justice: the moral imperative for randomized trials<SPAN class="ft59">. Evaluation Review, 27(3). Här citerad efter Clarke, Alan (2007) a.a.</SPAN></P>
<P class="p362 ft31"><SPAN class="ft51">20</SPAN><SPAN class="ft54">Clarke, Alan (2007) a.a.</SPAN></P>
<P class="p144 ft18">134</P>
</DIV>
<DIV id="page_130">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312130x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td64"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td65"><P class="p22 ft38">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">kontrollerbart antal berörda elever. Det bör därför vara möjligt att kompensera de elever som har deltagit i försöket för eventuella negativa effekter.</P>
<P class="p16 ft10">Det är inte lika enkelt att på detta sätt kompensera elever om det visar sig uppstå negativa effekter vid en intervention i full skala. Vi menar därför att de etiska övervägandena ofta är lika viktiga när en reform ska genomföras i full skala utan föregående försök, som i samband med en försöksverksamhet. I det första fallet drabbas samtliga elever av de negativa effekterna av en inte tillräckligt väl förberedd reform.</P>
<P class="p441 ft88"><SPAN class="ft32">8.5</SPAN><SPAN class="ft87">Förutsättningarna för försöksverksamhet i skollagen</SPAN></P>
<P class="p442 ft13">Utgör kraven på likvärdighet och rättssäkerhet hinder för försöksverksamhet?</P>
<P class="p103 ft10">Likvärdighet och rättssäkerhet är två centrala begrepp inom skolan. Av skollagen framgår att alla elever ska ha lika tillgång till utbild- ning och att utbildningen inom skolväsendet ska vara likvärdig inom varje skolform och inom fritidshemmet oavsett var i landet den anordnas.<SPAN class="ft55">21</SPAN></P>
<P class="p63 ft9">Vad som ska avses med likvärdighet inom skolan har diskuterats i många sammanhang.<SPAN class="ft28">22 </SPAN>Skolverket menar att likvärdighetsbegrep- pet kan delas upp i tre grundläggande aspekter; lika tillgång till utbildning, lika kvalitet på utbildningen och att utbildningen ska vara kompenserande.<SPAN class="ft28">23 </SPAN>Verket hänvisar till formuleringar i den nya skollagen (2010:800) och läroplanen (Lgr 11) men konstaterar att motsvarande formuleringar fanns även tidigare.</P>
<P class="p15 ft10">Av författningskommentaren till propositionen om den nya skollagen framgår följande:</P>
<P class="p443 ft15">Begreppet ”likvärdig” innebär inte att utbildningen ska vara likformig i betydelsen likadan utan att kvaliteten i verksamheten ska vara så hög att de fastställda målen kan uppnås oavsett var i landet verksamheten bedrivs. Hur verksamheten ska utformas för att nå de fastställda målen</P>
<P class="p225 ft53"><SPAN class="ft51">21</SPAN><SPAN class="ft52">1 kap. 8 och 9 §§ skollagen (2010:800).</SPAN></P>
<P class="p188 ft63"><SPAN class="ft51">22</SPAN><SPAN class="ft73">Se t.ex. Skolverket (2012) </SPAN>Likvärdig utbildning i svensk grundskola? En kvantitativ analys av likvärdighet över tid <SPAN class="ft62">(Rapport 374) och Ingegerd Tallberg Broman, Lena Rubinstein Reich och Jeanette Hägerström (2002) </SPAN>Likvärdighet i en skola för alla. Historisk bakgrund och kritisk granskning <SPAN class="ft62">(Skolverket) samt Skolverket (1995) </SPAN>Likvärdighet i skolan – en antologi<SPAN class="ft62">.</SPAN></P>
<P class="p196 ft74"><SPAN class="ft51">23</SPAN><SPAN class="ft54">Skolverket (2012</SPAN>) Likvärdig utbildning i svensk grundskola? En kvantitativ analys av lik- värdighet över tid. <SPAN class="ft31">Rapport 374.</SPAN></P>
<P class="p385 ft18">135</P>
</DIV>
<DIV id="page_131">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312131x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p444 ft101">kan variera beroende på lokala behov och förutsättningar. Det finns olika vägar att nå de fastställda målen. Hänsyn ska tas till barnens och elevernas olika förutsättningar och behov. Det finns utrymme för anpassningar av undervisningen och organisationen av utbildningen till behoven hos olika barn och elever, så länge de tillförsäkras lika tillgång till likvärdig utbildning.<SPAN class="ft98">24</SPAN></P>
<P class="p429 ft10">Skolan ska enligt skollagen även ta hänsyn till olika elevers behov och kompensera för ogynnsamma hemförhållanden och andra olikartade förutsättningar:</P>
<P class="p317 ft14">I utbildningen ska hänsyn tas till barns och elevers olika behov. Barn och elever ska ges stöd och stimulans så att de utvecklas så långt som möjligt. En strävan ska vara att uppväga skillnader i barnens och elevernas förutsättningar att tillgodogöra sig utbildningen.<SPAN class="ft98">25</SPAN></P>
<P class="p230 ft10">Det likvärdighetsbegrepp som skollagen ger uttryck för ställer krav på verksamhetens kvalitet men ger också utrymme för att verksam- heten kan utformas på olika sätt så länge den strävar efter att nå de fastställda målen. Utredningen slutsats är att likvärdighets- begreppet därigenom inte lägger hinder i vägen för försöksverk- samhet.</P>
<P class="p54 ft10">De rättsäkerhetsfrågor som aktualiseras i samband med försöks- verksamhet rör myndighetsutövning mot enskild. Det är t.ex. tvek- samt om en försöksverksamhet skulle kunna anordnas när det gäller antagning till gymnasieskolan. Det bör dock vara fullt möj- ligt att anordna försöksverksamhet vad gäller olika aspekter av betygssystemet i de årskurser där betygen inte ligger till grund för antagning, t.ex. i årskurserna 6 och 7. Det skulle i så fall göra det möjligt att, i det fall frågan är aktuell, göra kontrollerade experi- ment med olika former av standards för exempelvis antalet betygs- steg i betygsskalan, utformningen av kunskapskraven, etc. Man kan också inom detta område kunna tänka sig ett stegvis införande av förändringar, där exempelvis vissa kommuners skolor får utgöra piloter.</P>
<P class="p445 ft53"><SPAN class="ft51">24</SPAN><SPAN class="ft52">Prop. 2009/10:165</SPAN></P>
<P class="p143 ft31"><SPAN class="ft51">25</SPAN><SPAN class="ft54">1 kap. 4 § skollagen (2010:800).</SPAN></P>
<P class="p144 ft18">136</P>
</DIV>
<DIV id="page_132">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312132x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td64"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td65"><P class="p22 ft38">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
</TR>
</TABLE>
<P class="p64 ft13">Hur ska skollagens bestämmelse om försöksverksamhet tolkas?</P>
<P class="p172 ft40">I skollagen (2010:800) bemyndigas regeringen eller den myndighet som regeringen bestämmer att få meddela föreskrifter om försöks- verksamhet inom skolväsendet. I sådana föreskrifter får undantag göras från <SPAN class="ft43">organisatoriska </SPAN>bestämmelser i skollagen. Vidare får undan- tag göras även från andra bestämmelser i skollagen för att möjliggöra en försöksverksamhet med sådan utbildning i gymnasieskolan som inte utgörs av utbildning på nationella program eller introduktions- program.<SPAN class="ft77">26</SPAN></P>
<P class="p204 ft40">Vad som avses med organisatoriska bestämmelser är dock inte tydligt. Propositionen <SPAN class="ft43">Den nya skollagen – för kunskap, valfrihet och trygghet </SPAN>(prop. 2009/1:165) ger ingen annan vägledning än att det finns en bestämmelse<SPAN class="ft77">27 </SPAN>i 1985 års skollag med i stort sett identiskt innehåll. De enda förändringarna som gjorts i den nya skollagen är en anpassning till den nya skollagens begrepp; förändringarna påverkar inte det som diskuteras här.</P>
<P class="p100 ft40">I prop. 1985/86:10, som föregick 1985 års skollag, motiveras bestämmelsen med att försöksverksamhet spelar en stor roll inom det offentliga skolväsendet. För viss försöksverksamhet föreligger behov av att kunna göra avsteg från föreskrifter som annars gäller i <SPAN class="ft43">pedagogiskt och organisatoriskt avseende</SPAN>. I det flesta fall handlar det om avsteg från föreskrifter i t.ex. skolförordningen eller någon läro- plan, men det kan uppkomma behov även av undantag från organisa- toriska bestämmelser i skollagen.</P>
<P class="p15 ft10">I de fall riksdagen bemyndigat regeringen att utfärda en för- ordning inom ett område, så har regeringen enligt denna tolkning, möjlighet att initiera försöksverksamhet och besluta om undantags- bestämmelser på förordningsnivå, oberoende av om det rör sig om avsteg som är av organisatorisk eller pedagogisk karaktär. Det gäller så länge det inte krävs ett undantag även från bestämmelser i skollagen.</P>
<P class="p13 ft10">Bestämmelserna i 1985 års skollag bör bedömas mot bakgrund av att denna lag initialt innehöll en mer omfattande reglering av den kommunala organisationen på skolområdet, medan föreskrifter om t.ex. undervisningens innehåll fanns på lägre nivå i hierarkin med bestämmelser.</P>
<P class="p446 ft53"><SPAN class="ft51">26</SPAN><SPAN class="ft52">29 kap. 23 § skollagen (2010:800).</SPAN></P>
<P class="p126 ft31"><SPAN class="ft51">27</SPAN><SPAN class="ft54">15 kap. 4 § skollagen (1985:1100).</SPAN></P>
<P class="p356 ft18">137</P>
</DIV>
<DIV id="page_133">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p447 ft10">Utredningens slutsats är att med stöd av 1985 års skollag skulle försöksverksamhet ha kunnat initieras vid långt fler tillfällen än vad som faktiskt skett under en lång rad av år.</P>
<P class="p297 ft11">Effekter av den nya skollagen</P>
<P class="p56 ft10">2010 års skollag har emellertid påverkat förutsättningarna för att genomföra försöksverksamhet. I skollagen återfinns nu bestäm- melser som med 1985 års skollag var placerade på förordningsnivå. Det framgår av prop. 2009/10:165 att det har varit en medveten strategi att binda fler bestämmelser i lagen.</P>
<P class="p107 ft10">Detta måste enligt vår tolkning innebära att förutsättningarna för regeringen att besluta om försöksverksamhet som inte avser organisatoriska bestämmelser har begränsats. Den omreglering som skett mellan lag och förordning kan alltså ha fått till följd att möj- ligheterna att bedriva försöksverksamhet har minskat utan att detta varit avsikten.</P>
<P class="p55 ft11">Oklart med vad som menas med en organisatorisk bestämmelse</P>
<P class="p199 ft9">Samtidigt som utredningen bedömer att det redan i dag finns ett större utrymme för försöksverksamhet än vad som faktiskt tagits i anspråk, menar vi att innebörden i det i skollagen centrala uttrycket</P>
<P class="p448 ft10">”organisatorisk bestämmelse” är oklar.</P>
<P class="p208 ft10">Att uttrycket ”organisatorisk” syftar på något som har med organisation att göra, dvs. med en planlagd indelning av en verk- samhet, är uppenbart. Men hur långt kan tolkningen tänjas? Det finns många inslag i en skolverksamhet som <SPAN class="ft11">också </SPAN>har en orga- nisatorisk aspekt. Medger skollagen då att själva sakfrågan kan beröras av undantag – och därmed bli föremål för försöksverksam- het – eller är det endast den organisatoriska aspekten som kan beröras av undantag?</P>
<P class="p96 ft39">Hur svårt det kan vara att fånga innebörden i begreppet kan illustreras med den förordning som låg till grund för det s.k. tim- planeförsöket. Enligt <SPAN class="ft81">Förordning om försöksverksamhet med utbild- ning utan timplan i grundskolan </SPAN>(1999:903) fick en skola bedriva undervisning inom ramen för det totala garanterade antalet timmar utan att tillämpa föreskrifterna om antalet timmar för ämnen och ämnesgrupper i bilaga 3 till skollagen (1985:1100). Eftersom tim-</P>
<P class="p292 ft18">138</P>
</DIV>
<DIV id="page_134">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td64"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td65"><P class="p22 ft38">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">planen utgjorde en bilaga även till 1985 års skollag måste alltså tim- planen ha betraktats som en organisatorisk fråga. I annat fall hade en försöksverksamhet inte kunnat äga rum inom detta område. Timplanen påverkar dock planeringen av undervisningen, varför tolkningen av begreppet organisatorisk i detta fall måste anses som förhållandevis vid.</P>
<P class="p92 ft40">Det finns överhuvudtaget många bestämmelser i skollagen som måste anses ha en eller annan organisatorisk aspekt. Så till exempel kan även ämnena i grundskolan anses utgöra en planlagd indelning av verksamheten i skolan. Samma sak gäller skolans indelning i års- kurser, läsår och terminer. Frågan är dock om det är denna typ av bestämmelser som är mest meningsfullt att göra undantag från i syfte att bedriva försöksverksamhet.</P>
<P class="p223 ft40">Utredningen är tveksam till om begreppet ”organisatorisk bestäm- melse” är tillräckligt tydligt. I fråga om försöksverksamhet är det å ena sidan viktigt att skollagens bestämmelse skyddar det som verk- ligen behöver skyddas från experiment, å andra sidan ger utrymme för försök som bidrar till kunskap om och utveckling av skolan. Enligt vår uppfattning handlar skyddsbehovet i första hand om företeelser som innebär att enskilda elevers rättssäkerhet skulle inskränkas eller försök som allvarligt skulle hota likvärdigheten. Det är t.ex. inte rimligt att tänka sig skillnader i myndighetsutöv- ningen gentemot elever i och utanför ett försök som får konse- kvenser för eleven, t.ex. betygssättning i årskurs 9.</P>
<P class="p124 ft39">När det gäller likvärdigheten vill vi samtidigt påminna om att likvärdighet inte nödvändigtvis innebär att allt ska vara likadant för alla elever, däremot att elever ska erbjudas en likvärdig kvalitet. Samtidigt som begreppet ”organisatoriska bestämmelser” möjliggör vida tolkningar, ser vi en risk för att bestämmelsen också begränsar möjligheten till försök som skulle vara till stor nytta, särskilt inför reformer och större förändringar i styrningen av skolan.</P>
<P class="p449 ft18">139</P>
</DIV>
<DIV id="page_135">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312135x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p450 ft88"><SPAN class="ft32">8.6</SPAN><SPAN class="ft87">Möjligheterna att bedriva försöksverksamhet bör tillvaratas</SPAN></P>
<P class="p451 ft10"><SPAN class="ft13">Utredningens bedömning: </SPAN>Försöksverksamhet är ett sätt att underlätta utvärdering av reformer som i ökad utsträckning bör tillvaratas. Kunskaper och erfarenheter som vinns genom för- söksverksamhet kan bidra till att lägga en grund för långsiktigt bärkraftiga beslut.</P>
<P class="p452 ft45">Nuvarande bestämmelse i skollagen om försöksverksamhet är oklar varför det är angeläget att frågan utreds. En fråga är vad som avses med organisatoriska bestämmelser, en annan är vilken typ av bestämmelser i skollagen regeringen faktiskt ska få besluta om undantag för genom att inrätta försök.</P>
<P class="p453 ft9">Fördelarna med försöksverksamhet framstår på många sätt som uppenbara. Innovationsrådet<SPAN class="ft28">28 </SPAN>menar t.ex. att verkligheten är så komplex och föränderlig att det är svårt att till fullo förutsäga vad olika förändringar får för konsekvenser och hur människor reagerar på en viss åtgärd eller reform. Genom att förslag prövas på riktigt inom ramen för försöksverksamheter ges värdefull information inför beslut om ett permanent och nationellt införande av ett visst förslag. Rådet föreslår därför att instrumentet försöksförfattningar ska användas mer systematiskt för att pröva nya lösningar.</P>
<P class="p82 ft10">Utredningen menar att den dagliga verksamheten i skolan lång- siktigt har mycket att vinna på att skolpolitiska reformer beslutas efter en noggrann prövning och i bred politisk enighet. Brist på kunskap leder till att frågor som till sin karaktär i grunden är empiriska i stället ideologiseras. Kunskaper och erfarenheter som vinns genom försöksverksamhet kan bidra till att i stället lägga en grund för långsiktigt bärkraftiga beslut. Användning av försöks- verksamhet är därför ett sätt att underlätta utvärdering av reformer som bör tillvaratas. Regering och riksdag bör, enligt vår uppfatt- ning, i högre grad utnyttja möjligheten att genomföra försöksverk- samheter inför reformer.</P>
<P class="p177 ft45">Regeringen har möjlighet att fatta beslut om försöksverksamhet när det gäller frågor där riksdagen har bemyndigat regeringen att besluta om bestämmelser. I praktiken innebär det att regeringen kan besluta om försök inom en rad viktiga områden, naturligtvis under förutsättning att försöket inte innebär att enskilda elevers</P>
<P class="p454 ft74"><SPAN class="ft30">28 </SPAN><SPAN class="ft31">SOU 2013:40 </SPAN>Att tänka nytt för att göra nytta – om perspektivskiften i offentlig verksamhet.</P>
<P class="p144 ft18">140</P>
</DIV>
<DIV id="page_136">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td64"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td65"><P class="p22 ft38">Försöksverksamhet – för ökad evidens vid reformer</P></TD>
</TR>
</TABLE>
<P class="p192 ft40">rättssäkerhet påverkas negativt eller att försöket allvarligt skulle påverka likvärdigheten. En försöksverksamhet i samband med att grundskolans kunskapskrav utformades inför Lgr11 hade exempel- vis kunnat komplettera de utprovningar som genomfördes och gett viktiga erfarenheter som i sin tur kunnat påverka den slutliga utform- ningen av kraven. Självklart hade inte ett sådant försök kunnat genomföras för årskurs 9, eftersom eleverna ska söka till gymnasie- skolan på sina betyg från denna årskurs. Man hade i stället fått välja t.ex. årskurs 7 i ett urval skolor eller ett stegvis införande, med möjlighet till justeringar innan betyg skulle sättas för elever i års- kurs 9. Ett sådant förfaringssätt hade dock krävt något mer tid för att nå fram till den slutliga utformningen.</P>
<P class="p233 ft10">För frågor som regleras i skollagen bör enligt vår uppfattning huvudalternativet vara att det är riksdagen som på regeringens förslag ska besluta om en försöksverksamhet. Vi menar att det är fullt möjligt att tänka sig sådana försök.</P>
<P class="p206 ft9">Vad utredningen uppfattar som problematiskt med nuvarande regelverk gäller dagens bestämmelse i skollagen om att regeringen eller den myndighet som regeringen bestämmer får meddela före- skrifter om försöksverksamhet inom skolväsendet och att regeringen därvid får besluta om undantag från <SPAN class="ft12">organisatoriska </SPAN>bestämmelser i skollagen. Vi konstaterar att det är högst oklart vad bestämmelsen egentligen syftar till. En fråga är vad som avses med organisatoriska bestämmelser, en annan lika viktig fråga är vilken typ av bestäm- melser i skollagen som regeringen faktiskt ska få besluta om undan- tag för genom att inrätta försök.</P>
<P class="p233 ft29">Utredningen har inte haft möjlighet att närmare utreda de juridiska och etiska förutsättningarna för detta, men anser att det är angeläget att frågan utreds.</P>
<P class="p455 ft18">141</P>
</DIV>
<DIV id="page_137">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312137x1.jpg" id="img1">
</DIV>
<P class="p456 ft111"><SPAN class="ft8">9</SPAN><SPAN class="ft109">Systemet för att följa kunskaps- resultat </SPAN><SPAN class="ft110">– </SPAN>utvecklingsbehov</P>
<P class="p457 ft45">I detta kapitel fokuserar vi i första hand på hur förutsättningarna för att följa kunskapsutvecklingen i den svenska skolan kan för- bättras, dvs. för att följa trender. Trendmått av god kvalitet utgör ett viktigt underlag, bland andra underlag, för att det ska vara möjligt att följa resultatet av skolreformer. Det bör dock under- strykas att trendmått av detta slag inte utgör en förutsättning för exempelvis effektutvärdering. För sådan utvärdering ställs i stället andra kvalitativa krav på data som vi återkommer till i kapitel 10.</P>
<P class="p458 ft88"><SPAN class="ft32">9.1</SPAN><SPAN class="ft87">Dagens nationella system för kunskaps- bedömning</SPAN></P>
<P class="p65 ft10">Att ha tillgång till statistik som belyser utvecklingen av skolans kunskapsresultat, dvs. om skolans prestationer förbättras eller för- sämras mellan olika år, är central vid uppföljningen av skolpolitiska reformer. Det visar inte minst intresset för resultaten på de inter- nationella studierna. Uppföljning av kunskapsresultat i den svenska skolan sker genom betygssystemet, genom de nationella proven och genom deltagandet i internationella studier.</P>
<P class="p185 ft39">Utredningen har redan i sitt delbetänkande<SPAN class="ft75">1 </SPAN>konstaterat att det är tveksamt att använda betyg eller mått som baseras på betyg för att mäta trender. Det nationella provsystemet har visserligen många syften, men är inte heller det utformat på ett sådant sätt att det möjliggör trendmätning. I dag är det därför endast de internatio- nella studierna som har en sådan utformning och kvalitet att de kan utgöra underlag för att följa kunskapsutvecklingen över tid i den svenska skolan, dvs. att följa trender. Vi menar att detta är ett problem</P>
<P class="p3 ft74"><SPAN class="ft30">1 </SPAN><SPAN class="ft31">SOU 2013:30 </SPAN>Det tar tid – om effekter av skolpolitiska reformer<SPAN class="ft31">.</SPAN></P>
<P class="p356 ft18">143</P>
</DIV>
<DIV id="page_138">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312138x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Systemet för att följa kunskapsresultat <SPAN class="ft112">– </SPAN>utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">eftersom de internationella studierna endast mäter utvecklingen i vissa ämnen och endast täcker vissa av de mål som återfinns i de svenska styrdokumenten.</P>
<P class="p459 ft13"><SPAN class="ft13">9.1.1</SPAN><SPAN class="ft69">Nationella prov och betyg </SPAN><SPAN class="ft22">– </SPAN>lämpar sig inte som grund för trendmätning</P>
<P class="p53 ft10">Här redogör vi inledningsvis för varför vi anser att betyg och natio- nella prov med nuvarande utformning <SPAN class="ft11">inte </SPAN>lämpar sig som underlag för trendmätning.</P>
<P class="p109 ft13">De nationella proven</P>
<P class="p199 ft45">I kapitel 4 redogörs för huvuddragen i det nationella provsyste- met<SPAN class="ft68">2 </SPAN>– eller med den benämning Skolverket använder, det natio- nella systemet för kunskapsbedömning – och konstaterar att detta utformats för att tillgodose en rad olika syften<SPAN class="ft68">3</SPAN>. Systemet ska</P>
<P class="p460 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">bidra till ökad måluppfyllelse för eleverna,</SPAN></P>
<P class="p143 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">förtydliga målen och visa på elevers starka och svaga sidor,</SPAN></P>
<P class="p151 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">konkretisera kursmål och betygskriterier,</SPAN></P>
<P class="p155 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">stödja en likvärdig och rättvis bedömning och betygssättning och</SPAN></P>
<P class="p461 ft40"><SPAN class="ft64">-</SPAN><SPAN class="ft113">ge underlag för en analys av i vilken utsträckning kunskapsmå- len nås på skolnivå, på huvudmannanivå och på nationell nivå.</SPAN></P>
<P class="p152 ft10">Skolverket poängterar numera, på sin websida och i kontakt med de institutioner som utvecklar de nationella proven, att de båda sista strecksatserna utgör huvudsyftena för just de nationella proven, men att proven även kan bidra till att de övriga syftena uppfylls. För dessa övriga syften hänvisar man samtidigt till systemets övriga bedömningsstödjande inslag.</P>
<P class="p140 ft9">I trendmätningssammanhang är det den sista punkten som har relevans, dvs. att de nationella proven ska ge underlag för analys på olika nivåer i systemet. Det bör observeras att det inte ursprungli- gen har angetts som syfte för provsystemet att det ska bidra till trend-</P>
<P class="p402 ft59"><SPAN class="ft56">2</SPAN><SPAN class="ft57">Utredningen har även redovisat omfattningen av det nationella provsystemet och effekter av olika slags prov i delbetänkandet </SPAN><SPAN class="ft58">Det tar tid – om effekter av skolpolitiska reformer </SPAN>(SOU 2013:30).</P>
<P class="p362 ft31"><SPAN class="ft56">3</SPAN><SPAN class="ft60">U2004/5293/S, U2005/8381/G, U2006/8951/S, U2008/1045/SV och U2008/2645/S.</SPAN></P>
<P class="p144 ft18">144</P>
</DIV>
<DIV id="page_139">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312139x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td66"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td67"><P class="p22 ft38">Systemet för att följa kunskapsresultat <SPAN class="ft114">– </SPAN>utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p293 ft10">analys. Regeringen konstaterar också i november 2011 i ett uppdrag<SPAN class="ft55">4 </SPAN>till Skolverket att de nationella proven inte i nuläget är utformade för att mäta kunskapsutvecklingen över tid. Av uppdraget framgår dock att det är något som nu förväntas. Enligt vår bedömning kräver dock en sådan förväntan mer genomgripande förändringar av systemet än vad regeringens uppdrag ger vid handen, vilket vi åter- kommer till längre fram.</P>
<P class="p283 ft10">Frågan om trendmätning är statistiskt komplicerad och har belysts mer på djupet av andra författare än vi kan göra här<SPAN class="ft55">5</SPAN>. Några fakto- rer bör dock lyftas fram.</P>
<P class="p13 ft10">Ett grundläggande krav på varje prov måste vara att <SPAN class="ft11">proven har både god validitet och god reliabilitet</SPAN>. Det gäller oberoende av om de ska ligga till grund för trendmätning eller inte. Med validitet avses giltigheten i det mått som används, dvs. hur väl måttet mäter det som det avser att mäta<SPAN class="ft55">6</SPAN>. Med reliabilitet avses tillförlitligheten hos mätningen, dvs. att upprepade mätningar ger samma resultat, obe- roende av vem som genomför mätningen.</P>
<P class="p15 ft10">För att därutöver kunna utgöra grund för just trendmätning krävs bl.a.</P>
<P class="p462 ft40"><SPAN class="ft41">-</SPAN><SPAN class="ft42">att proven är stabila över tid, dvs. att varje nytt prov innehåller ett antal uppgifter som ingått i tidigare prov, s.k. ankaruppgifter,</SPAN></P>
<P class="p79 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">att antalet frågor räcker för att få en tillräcklig täckning av det aktuella ämnets innehåll, samt</SPAN></P>
<P class="p463 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">att innehållet i kursplaner och utformningen av betygssystemet i huvudsak är stabila över tid, så att det är samma kunskaper och kunskapsnivåer som jämförs.</SPAN></P>
<P class="p464 ft9">Dagens nationella prov svarar inte mot samtliga dessa krav, helt enkelt för att de inte i första hand är utformade med trendmätning för ögonen. Flera av faktorerna ovan står dessutom i konflikt med vissa av det nationella provsystemets nuvarande syften. Bland annat</P>
<P class="p312 ft53"><SPAN class="ft51">4</SPAN><SPAN class="ft52">Skolverket (dnr. 2011/6543/S) </SPAN><SPAN class="ft72">Uppdrag om nationella prov</SPAN>.</P>
<P class="p296 ft58"><SPAN class="ft51">5</SPAN><SPAN class="ft70">Se t.ex. Gustafsson, </SPAN><NOBR><SPAN class="ft59">Jan-Eric</SPAN></NOBR><SPAN class="ft59"> (2006) </SPAN>Ramverk för ett system för uppföljning av kunskaps- utvecklingen i grundskolan<SPAN class="ft59">, Underlag utarbetat på uppdrag av Skolverket </SPAN><NOBR><SPAN class="ft59">2006-05-06,</SPAN></NOBR><SPAN class="ft59"> Skolverkets rapport 286 (2006) </SPAN>Rullande stickprovsbaserat system för kunskapsutvärdering av grundskolans ämnen <SPAN class="ft59">samt Gustafsson, </SPAN><NOBR><SPAN class="ft59">Jan-Eric,</SPAN></NOBR><SPAN class="ft59"> Christina Cliffordson och Gudrun Ericson (2014) </SPAN>Likvärdig kunskapsbedömning i och av den svenska skolan – problem och möjligheter<SPAN class="ft59">. SNS Förlag.</SPAN></P>
<P class="p196 ft31"><SPAN class="ft51">6</SPAN><SPAN class="ft54">Man talar t.ex. om att det föreligger god innehållsvaliditet om ett prov på ett bra sätt åter- speglar den kunskap som eleven ska ha tillägnat sig enligt kursplanen.</SPAN></P>
<P class="p385 ft18">145</P>
</DIV>
<DIV id="page_140">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312140x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Systemet för att följa kunskapsresultat <SPAN class="ft112">– </SPAN>utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p465 ft10">Skolverket har vid flera tillfällen<SPAN class="ft55">7 </SPAN>framhållit svårigheterna att möta alla dessa syften med ett enskilt instrument på grund av de inbygg- da konflikter som finns mellan dessa olika syften.</P>
<P class="p297 ft11">Ankaruppgifter kan inte vara offentliga</P>
<P class="p215 ft10">Den första punkten, att systemen ska innehålla ankaruppgifter som kan återanvändas och därmed bidra till att resultaten blir jäm- förbara över tid, är kanske det viktigaste. Den står dock i konflikt med andra syften för provsystemet.</P>
<P class="p466 ft10">Skolverket pekar t.ex. i en rapport till regeringen<SPAN class="ft55">8 </SPAN>på att det finns en konflikt mellan den öppna publicering av provuppgifterna som krävs för att proven ska kunna fungera förebildligt för lärarna och det hemlighållande av provuppgifterna som krävs för att kunna mäta trender. Verket menar att ett bedömningssystem som präglas av stor öppenhet uppmuntrar till dialog och reflektion i undervis- ningssituationen mellan elever samt mellan lärare och elever. Man menar att fler öppet tillgängliga delar i bedömningssystemet på ett bättre sätt än i dag skulle bidra till att föräldrarna blir delaktiga i sina barns lärande.</P>
<P class="p96 ft9">Samtidigt måste enligt Skolverket delar av systemet av kostnads- skäl vara behörighetsskyddat, dvs. ha begränsad tillgänglighet, för att kunna återanvändas. Till de delar av systemet som därför måste vara behörighetsskyddat hör ”de som har det uttalade syftet att vara summerande eller betygsstödjande, dvs. de nationella proven”.</P>
<P class="p467 ft45">Konsekvensen av detta är att de nationella proven inte kan fylla den förebildliga och konkretiserande roll i förhållande till lärare och elever som sedan länge varit ett av syftena med provsystemet.</P>
<P class="p332 ft11">De nationella proven har för få frågor</P>
<P class="p199 ft9">Det svenska provsystemet kännetecknas av att varje prov görs av samtliga elever i den aktuella årskullen. Det kan låta motsägelsefullt att dessa prov inte kan utgöra underlag för trendmätningar, utan att stickprovsundersökningar i stället är att föredra.</P>
<P class="p167 ft39">För att det ska vara möjligt att använda proven för trendmätning ställs emellertid särskilt stora krav på att proven vid varje tillfälle</P>
<P class="p337 ft53"><SPAN class="ft56">7</SPAN><SPAN class="ft71">Skolverket </SPAN><NOBR>2009-04-27(dnr.</NOBR> 2009:337) och <NOBR>2012-10-19</NOBR> (dnr. 2011:1242).</P>
<P class="p143 ft31"><SPAN class="ft56">8</SPAN><SPAN class="ft60">Skolverket </SPAN><NOBR>2009-04-27(dnr.</NOBR> 2009:337).</P>
<P class="p144 ft18">146</P>
</DIV>
<DIV id="page_141">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312141x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td66"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td67"><P class="p22 ft38">Systemet för att följa kunskapsresultat <SPAN class="ft114">– </SPAN>utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p192 ft40">har en god täckning av målen i det aktuella ämnet. Annars riskerar man att resultaten på proven varierar mellan olika år, inte på grund av att elevernas kunskaper varierar, utan på grund av att proven haft olika fokus olika år. I praktiken visar sig detta redan i dag, genom att resultaten på nationella prov varierar mellan olika år, väsentligt mer än betygsresultaten. För att det ska vara möjligt att genomföra trendmätningar krävs därför att proven omfattar ett stort antal frågor som täcker väsentliga delar av kursplanernas centrala innehåll och kunskapskvaliteter. Det handlar om avsevärt fler frågor än en och samma elev kan besvara på ett prov.</P>
<P class="p204 ft10">Många länder, liksom de internationella studierna, har löst detta genom att utforma sina nationella prov som randomiserade stick- provsundersökningar, där olika elever löser olika uppgifter sam- tidigt som den samlade bilden blir tillförlitlig. En studie kan då totalt sett omfatta många uppgifter, medan varje elev bara behöver besvara ett mindre antal. I ett sådant stickprovsbaserat system kan sedan resultatet, genom s.k. matrissampling<SPAN class="ft55">9</SPAN>, vägas samman till ett statistiskt representativt mått som kan användas för att följa tren- der. I ett nationellt provsystem som det svenska, utformat utifrån andra syften, är detta inte möjligt.</P>
<P class="p243 ft11">Styrdokumenten och bedömningssystemet är inte stabila över tid</P>
<P class="p65 ft10">Om man ska mäta trender är det vidare betydelsefullt att objektet för mätningen är stabilt, dvs. ”<SPAN class="ft11">när man vill mäta förändring, för- ändra inte måttstocken”.</SPAN><SPAN class="ft55">10 </SPAN>I Sverige är betyg ett mått på hur väl eleverna nått målen i styrdokumenten. Förändras måttet, eller det som måtten refererar till, bryts jämförbarheten över tid. Det är således en fördel ur ett utvärderingsperspektiv om styrdokumen- ten, dvs. läroplaner och kursplaner, samt betygssystemet är stabila över tid. Detta är dock förhållanden som inte kan påverkas inom ramen för hur provsystemet utformas.</P>
<P class="p468 ft59"><SPAN class="ft51">9</SPAN><SPAN class="ft70">Uppgifterna i testet upp i olika versioner av testformuläret på ett sådant sätt att olika elever besvarar delvis olika uppgifter samtidigt som det görs en viss överlappning mellan de upp- gifter som erbjuds olika elever. Balanced Incomplete Block (BIB) är en design för detta som beskrivs i rapporten </SPAN><SPAN class="ft58">Ramverk för ett system för uppföljning av kunskapsutvecklingen i grund- skolan </SPAN>(2006) av <NOBR>Jan-Eric</NOBR> Gustafsson.</P>
<P class="p88 ft53"><SPAN class="ft51">10</SPAN><SPAN class="ft52">”When measuring change, do not change the measure”. Påpekandet formulerades av</SPAN></P>
<P class="p175 ft72"><SPAN class="ft53">Beaton och Zwick i artikeln </SPAN>Disentangling the NAEP <NOBR>1985-86</NOBR> reading anomaly <SPAN class="ft53">(NAEP Rep. No. </SPAN><NOBR><SPAN class="ft53">17-TR-21)</SPAN></NOBR><SPAN class="ft53"> Princeton NJ: Educational testing service. 1990. Här citerad efter </SPAN><NOBR><SPAN class="ft53">Jan-Eric</SPAN></NOBR><SPAN class="ft53"> Gustafsson (2006) </SPAN>Ramverk för ett system för uppföljning av kunskapsutvecklingen i grund- skol<SPAN class="ft53">an.</SPAN></P>
<P class="p469 ft18">147</P>
</DIV>
<DIV id="page_142">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312142x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Systemet för att följa kunskapsresultat <SPAN class="ft112">– </SPAN>utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft13">Betyg</P>
<P class="p470 ft10">Som nämnts ovan är på nationell nivå de genomsnittliga betygs- resultaten mer stabila över tid än de genomsnittliga resultaten från de nationella proven. Hur stora variationerna är varierar för olika ämnen, men förhållandet indikerar att de genomsnittliga betygs- resultaten sannolikt är mer rättvisande än resultaten från de nationella proven. Orsaken till detta kan bl.a. vara att prov vid ett enstaka tillfälle mäter en mer begränsad del av ett ämnes kunskapsinnehåll än den bedömning som läraren gör. Lärarens bedömning fångar elevens kunskaper bredare och tar dessutom hänsyn till elevens prestationer över tid.</P>
<P class="p169 ft9">Detta innebär dock inte att betygen fungerar tillräckligt bra för att mäta trender. Ett problem är den betygsinflation som forskare pekar på <SPAN class="ft28">11</SPAN>. Även Skolverket konstaterade våren 2012 att det empi- riska underlaget ger tydliga indikationer på att betygsinflation har förekommit i både grundskolan och gymnasieskolan sedan slutbe- tyg började utfärdas enligt det målrelaterade betygssystemet i slutet av <NOBR>1990-talet.</NOBR> I grundskolan var den starkast under de första åren efter 1998, för att sedan minska över tid. Minst var betygsinfla- tionen i ämnen där det förekommer nationella prov.<SPAN class="ft28">12</SPAN></P>
<P class="p54 ft10">Det bör observeras att denna analys avser perioden innan den nya betygsskalan infördes hösten 2011. Erfarenheten från 1990- talet pekar på att det nu finns en risk för att lärare initialt är för- siktiga med sin betygssättning, för att sedan successivt utnyttja hela betygsskolan. Detta kan nu återigen komma att leda till en kraftigare betygsinflation. Det kan dock även finnas andra orsaker till betygsinflation, exempelvis konkurrensen om elever till följd av det fria skolvalet och allt starkare påtryckningar från elever och föräldrar.</P>
<P class="p96 ft10">Utredningen bedömer sammantaget att det faktum att betygsys- temet inte är stabilt över tid, samt att det av olika orsaker finns risk för betygsinflation, innebär att betyg inte lämpar sig som underlag för att studera trender. Betygresultat kan dock användas för andra analyser, t.ex. prognosticerar de bättre för kommande studiefram- gångar än de nationella proven.</P>
<P class="p96 ft39">Som utredningen pekat på redan i delbetänkandet är det för när- varande särskilt olämpligt att använda betygsresultat för att följa</P>
<P class="p190 ft62"><SPAN class="ft51">11</SPAN><SPAN class="ft61">Gustafsson, </SPAN><NOBR>Jan-Eric,</NOBR> Christina Cliffordson och Gudrun Ericson (2014) <SPAN class="ft63">Likvärdig kunskaps- bedömning i och av den svenska skolan – problem och möjligheter</SPAN>. SNS Förlag.</P>
<P class="p247 ft74"><SPAN class="ft51">12</SPAN><SPAN class="ft115">Skolverket (2012) </SPAN>Betygsinflation – betygen och den faktiska kunskapsutvecklingen <SPAN class="ft31">(dnr. 2012:387).</SPAN></P>
<P class="p134 ft18">148</P>
</DIV>
<DIV id="page_143">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td66"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td67"><P class="p22 ft38">Systemet för att följa kunskapsresultat <SPAN class="ft114">– </SPAN>utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p85 ft39">trender. Anledningen till detta är att betygssättningen påverkas av de reformer som nyligen genomförts och som gör att såväl kurs- planer och kunskapskrav som betygsskalan är nya. Erfarenheten visar att det tar tid innan nya bedömningssystem sätter sig och innan lärare använder hela betygsskalan på det sätt som är avsett.</P>
<P class="p329 ft13">Sammantaget</P>
<P class="p182 ft9">Varken de genomsnittliga betygsresultaten eller resultaten från de nationella proven lämpar sig för att ligga till grund för trend- mätning. Betygen har visserligen en lägre volatilitet än provresul- taten, men är ändå behäftade med problem vad gäller likvärdigheten mellan olika grupper och skolor samt med betygsinflation.</P>
<P class="p117 ft10">Flera av de syften som är knutna till de nationella proven gör att dessa genomförs av samtliga elever i årskullen. Ett sådant prov, utformat lika för samtliga elever, kan inte omfatta ett tillräckligt stort antal frågor för att ge tillräckligt god validitet för trendmät- ning. De nationella proven är helt enkelt utformade för andra syften än att ligga till grund för trendmätning och har därför ett begränsat värde i samband med utvärdering av reformer.</P>
<P class="p15 ft10">Det bör samtidigt understrykas att både betyg och nationella prov har andra viktiga funktioner vid olika former av utvärdering, t.ex. effektutvärdering. Både betyg och nationella provresultat kan t.ex. ligga till grund för olika former av tvärsnittsanalyser och för longitudinella studier (se vidare kapitel 10). Betygen är också den bästa indikatorn vi har på elevers framtida yrkesframgång. Det betyg och nationella provresultat inte duger till är att uttala sig om hur kunskapsnivån utvecklas på nationell nivå över tid.</P>
<P class="p471 ft13"><SPAN class="ft13">9.1.2</SPAN><SPAN class="ft69">Internationella studier – de enda instrument som i dag kan mäta kunskapsresultat över tid</SPAN></P>
<P class="p103 ft10">Utredningen har i kapitel 4 redovisat Sveriges deltagande i olika internationella studier. Som ett resultat av en ständigt pågående metodutveckling bygger de internationella studierna i dag på en avancerad statistisk modellering. De internationella studierna har ett gott anseende bland experter, bl.a. beroende på att proven hela tiden debatteras och till följd av det utvecklas.</P>
<P class="p472 ft18">149</P>
</DIV>
<DIV id="page_144">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312144x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Systemet för att följa kunskapsresultat <SPAN class="ft112">– </SPAN>utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p250 ft9">Debatten handlar bland annat om vad de mäter och inte mäter, hur resultaten presenteras och hur de kan förstås. En vanlig invänd- ning är att proven är konstruerade utifrån ett ramverk som ”definierar huvudstrukturen av kunskaper och färdigheter inom ett område, anger vilka typer av uppgifter som skall användas, hur stor andel av det totala antalet uppgifter en viss uppgiftstyp skall utgöra osv.”<SPAN class="ft28">13</SPAN></P>
<P class="p181 ft10">Detta ramverk överensstämmer mer eller mindre väl med de del- tagande ländernas nationella läro- och kursplaner.<SPAN class="ft55">14 </SPAN>Skolverket har dock analyserat överensstämmelsen mellan de internationella studierna och de svenska kursplanerna och funnit att den överlag är god.<SPAN class="ft55">15 </SPAN>Där överensstämmelsen inte är perfekt kompletterar dess- utom PISA och TIMSS varandra.<SPAN class="ft55">16</SPAN></P>
<P class="p106 ft40">Ett problem med de internationella studierna är att de omfattar ett begränsat antal ämnen, fokuserar ett begränsat kunskaps- innehåll och genomförs med olika periodicitet och i olika årskurser under grundskoletiden. PIRLS fokuserar på läsförmågan i årskurs 4 och genomförs vart femte år. TIMSS fokuserar matematik och naturvetenskap i årskurs 4 och årskurs 8 och genomförs vart fjärde år. PISA mäter <NOBR>15-åringars</NOBR> kunskaper (årskurs 9) i läsning, mate- matik och naturvetenskap och genomförs vart tredje år.</P>
<P class="p107 ft10">Det finns dessutom risk för både missförstånd och övertolk- ningar eftersom de internationella studierna i dag bygger på så avancerade statistiska metoder att de inte ens behärskas av alla fors- kare och att resultaten presenteras i former som kan vara svåra att tillgodogöra sig även för dem som arbetar inom utbildnings- området.<SPAN class="ft55">17</SPAN></P>
<P class="p54 ft10">Trots att invändningar av olika slag alltså har rests mot de inter- nationella studierna drar utredningen ändå slutsatsen att de i dag utgör den enda källan för bedömning av hur den svenska skolans kunskapsresultat utvecklas över tid. De ger dock en bild av svenska elevers kunskaper som är begränsad till vissa ämnen och förmågor, vilket aktualiserar frågan om hur ett framtida nationellt system bör utformas.</P>
<P class="p473 ft53"><SPAN class="ft51">13</SPAN><SPAN class="ft52">Gustafsson, </SPAN><NOBR>Jan-Eric</NOBR> (2006) a.a.</P>
<P class="p151 ft72"><SPAN class="ft51">14</SPAN><SPAN class="ft52">Skolverket (2004) </SPAN>Internationella studier under 40 år. Svenska resultat och erfarenheter<SPAN class="ft53">.</SPAN></P>
<P class="p232 ft62"><SPAN class="ft51">15</SPAN><SPAN class="ft61">Skolverket (2006b). Med fokus på läsförståelse – En analys av skillnader och likheter mellan internationella jämförande studier och nationella kursplaner. Skolverkets aktuella analyser 2006. Stockholm: Skolverket och Skolverket (2006c). Med fokus på matematik och naturvetenskap – En analys av skillnader och likheter mellan internationella jämförande studier och nationella kursplaner. Skolverkets aktuella analyser 2006. Stockholm: Skolverket.</SPAN></P>
<P class="p232 ft79"><SPAN class="ft51">16</SPAN><SPAN class="ft116">Gustafsson, </SPAN><NOBR>Jan-Eric,</NOBR> Christina Cliffordson och Gudrun Ericson (2014) <SPAN class="ft80">Likvärdig kun- skapsbedömning i och av den svenska skolan – problem och möjligheter</SPAN>. SNS Förlag.</P>
<P class="p151 ft31"><SPAN class="ft51">17</SPAN><SPAN class="ft54">Gustafsson, </SPAN><NOBR>Jan-Eric</NOBR> (2006) a.a.</P>
<P class="p144 ft18">150</P>
</DIV>
<DIV id="page_145">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td66"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td67"><P class="p22 ft38">Systemet för att följa kunskapsresultat <SPAN class="ft114">– </SPAN>utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p145 ft32"><SPAN class="ft32">9.2</SPAN><SPAN class="ft50">Användningen av nationella prov i andra länder</SPAN></P>
<P class="p228 ft9">Utredningen har besökt Danmark, Finland, Norge och Skottland och diskuterat hur man i dessa länder arbetar med att samla in och bearbeta information om elevers kunskapsresultat som ett led i län- dernas utvärdering av skolans resultat. Samtliga dessa länder deltar i någon eller i flera av de internationella studierna, vilket ger viss information om trender. Flera länder har också examensprov, vilka dock knappast ger underlag för att följa kunskapsutvecklingen över tid. Liksom de nationella proven i Sverige kan examensproven inte täcka ett ämnes samtliga mål. Vi har därför uppehållit oss särskilt vid de olika ländernas nationella prov eller tester, vilka kan utgöra komplement till de internationella studierna.</P>
<P class="p474 ft10">En skillnad mellan länderna gäller om de nationella proven eller testerna liksom i Sverige omfattar samtliga elever i berörda års- kurser, eller om testerna baseras på stickprov. I Finland och Skottland baseras de på stickprov. Orsaken är att syftet med dessa prov i första hand är att ge en nationell bild av kunskapsläget. I Finland åter- rapporteras resultaten från proven till kommunen och skolan, men endast på skolnivå och inte för enskilda elever. Varje skola får en sådan återkoppling om läget i förhållande till riket minst vart femte år. I Skottland görs ingen sådan återkoppling till den enskilda deltagande skolan.</P>
<P class="p137 ft9">I Danmark och Norge genomförs de nationella proven eller testerna för samtliga elever i berörd årskurs. I båda länderna är det primära syftet med proven att fungera som ett pedagogiskt verktyg för läraren samt att vara en utgångspunkt för skolans kvalitets- arbete. I Danmark sammanställs dock en nationell prestationsprofil som publiceras en gång varje år. 2013 redogörs för utvecklingen från året innan. I Norge publiceras resultat från de nationella proven på nationell nivå, men man understryker samtidigt att proven inte är avsedda för att beskriva utvecklingen över tid. Trendmätande prov har dock nyligen introducerats i matematik och engelska.</P>
<P class="p204 ft39">Gemensamt för länderna är att proven genomförs för ett stra- tegiskt urval av ämnen samt att provuppgifterna inte publiceras och därmed kan återanvändas. Gemensamt är också att proven inte är av <NOBR>”high-stakeskaraktär”,</NOBR> dvs. resultaten har ingen omedelbar bety- delse för deltagande skolor, lärare och elever vad gäller t.ex. resurs- fördelning eller betyg. I flera av länderna finns dock, som nämnts ovan, examensprov som är av <NOBR>”high-stakeskaraktär”.</NOBR></P>
<P class="p475 ft18">151</P>
</DIV>
<DIV id="page_146">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312146x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Systemet för att följa kunskapsresultat <SPAN class="ft112">– </SPAN>utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p476 ft118"><SPAN class="ft32">9.3</SPAN><SPAN class="ft117">Tidigare förslag om rullande stickprovsbaserad utvärdering av elevernas kunskapsresultat</SPAN></P>
<P class="p81 ft10">Skolverket har redan 2006 i en rapport med anledning av ett rege- ringsuppdrag redovisat ett förslag till ett framtida nationellt stick- provsbaserat system för kunskapsutvärdering av grundskolans ämnen.<SPAN class="ft55">18 </SPAN><NOBR>Jan-Eric</NOBR> Gustafssons rapport <SPAN class="ft11">Ramverk för ett system för upp- följning av kunskapsutvecklingen i grundskolan</SPAN><SPAN class="ft55">19 </SPAN>utgjorde ett underlag för denna rapport från Skolverket.</P>
<P class="p140 ft10">Gustafssons rapport är den grundligaste genomgång av förut- sättningarna för ett system för mätning av kunskapsutvecklingen över tid (trendmätning) som gjorts i Sverige. Gustafsson redogör bland annat för hur extern kunskapsbedömning och mätning, dvs. bedömning som initieras och genomförs av andra än av den under- visande läraren, vuxit fram med USA som föregångsland och hur de landvinningar som gjorts inom statistisk modellering och psykometri utnyttjats vid utformningen av den återkommande utvärderingen av amerikanska skolbarns kunskaper (National Assessment of Educa- tional Progress, NAEP) och därifrån förts vidare till de olika inter- nationella studier som utvecklats av IEA (TIMSS och PIRLS) och OECD (PISA).</P>
<P class="p96 ft40">En av Gustafssons slutsatser är att det tycks vara nödvändigt att använda sig av flera olika utvärderingsformer samtidigt vid kun- skapsbedömning. För att mäta trender föreslår Gustafsson att ett stickprovsbaserat system för kunskapsbedömning på nationell nivå införs. Stickprovsbaserade prov har, enligt Gustafsson, flera för- delar jämfört med prov där samtliga elever i en årskurs deltar: de kan utformas så att de har hög validitet i förhållande till läroplanens samlade kunskapsmål utan att de samtidigt blir alltför omfattande för varje enskild elev, de minskar risken för allmän provtrötthet och de eliminerar risken för att lärarna börjar anpassa sin under- visning till proven <NOBR>(teach–to</NOBR> <NOBR>the–test).</NOBR></P>
<P class="p177 ft81"><SPAN class="ft39">I rapporten </SPAN>Rullande stickprovsbaserat system för kunskapsutvär- dering av grundskolans ämnen<SPAN class="ft75">20 </SPAN><SPAN class="ft39">menade Skolverket att det förslag som Gustafsson lämnat skulle bli alltför kostsamt för ett litet land som Sverige, både i uppbyggnadsskedet och i en tänkt mer regel-</SPAN></P>
<P class="p215 ft58"><SPAN class="ft51">18</SPAN><SPAN class="ft57">Skolverket (2006) </SPAN>Rullande stickprovsbaserat system för kunskapsutvärdering i grundskolans ämnen. <SPAN class="ft59">Rapport 286.</SPAN></P>
<P class="p477 ft62"><SPAN class="ft51">19</SPAN><SPAN class="ft61">Denna rapport är publicerad som appendix till Skolverkets rapport </SPAN><SPAN class="ft63">Ett rullande stickprovs- baserat system för kunskapsutvärdering av grundskolans ämnen</SPAN>. Rapport 286. Skolverket 2006.</P>
<P class="p247 ft31"><SPAN class="ft51">20</SPAN><SPAN class="ft60">Skolverket (2006). Rapport 286. Rapporten utgjorde en bilaga till Skolverkets redovisning av ett regeringsuppdrag avseende resultatinformation givet </SPAN><NOBR>2004-12-22.</NOBR></P>
<P class="p134 ft18">152</P>
</DIV>
<DIV id="page_147">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312147x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td66"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td67"><P class="p22 ft38">Systemet för att följa kunskapsresultat <SPAN class="ft114">– </SPAN>utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p478 ft9">bunden driftssituation. Skolverket föreslog i stället att de interna- tionella kunskapsmätningarna ska integreras i en nationell strategi och helt eller delvis ersätta nationella mätningar inom de kunskaps- eller ämnesområden de mäter. I de fall en internationell studie står i rimlig överensstämmelse med intentioner och ambitioner i de nationella måldokumenten, skulle således de internationella studierna ersätta nationella mätningar och nationella stickprovsundersök- ningar genomföras endast som komplement till de internationella studierna. Skolverket ansåg att sådana nationella undersökningar borde göras i ett fåtal strategiskt valda ämnen där det nationella kunskapsbehovet inte täcks av internationella studier eller av andra skäl bedöms som särskilt angeläget. En förutsättning för Skolverkets förslag är att Sverige fattar ett långsiktigt beslut om att delta i de internationella studierna och inte som nu förutsättningslöst prövar deltagandet inför varje enskilt tillfälle. Regeringen har inte reagerat på Skolverkets förslag, vilket innebär att något särskilt uppdrag att genomföra denna typ av stickprovsundersökningar inte har lämnats.</P>
<P class="p479 ft9">Det bör i sammanhanget uppmärksammas att det är möjligt för ett land att i samband med en internationell studie utöka urvalet av elever för att möjliggöra mer fördjupade analyser av resultaten, t.ex. för olika elevgrupper eller olika kommuntyper etc. Det är också möjligt att lägga till egna frågor utöver dem som ingår i den inter- nationella undersökningen för att få en mer nationellt anpassad belysning av ämnet ifråga. I båda fallen är detta förknippat med kostnader. Att tillföra extra frågor kan dessutom påverka elevernas motivation att lösa uppgifterna i negativ riktning. Att proven inte redovisas tillbaka till skolan eller eleverna riskerar att påverka både elevernas och lärarnas engagemang för proven negativt.</P>
<P class="p480 ft88"><SPAN class="ft32">9.4</SPAN><SPAN class="ft87">Förslag till utveckling av systemet för att mäta trender</SPAN></P>
<P class="p481 ft106">Utredningens förslag: <SPAN class="ft45">Ett system införs med stickprovsbaserade undersökningar för trendmätning, som kompletterar de internatio- nella studierna. Ett sådant system skulle förbättra möjligheterna att följa kunskapsutvecklingen i den svenska skolan. Systemet bör ha en bredd med avseende på både de ämnen och de kun- skapskvaliteter som mäts.</SPAN></P>
<P class="p482 ft18">153</P>
</DIV>
<DIV id="page_148">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312148x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Systemet för att följa kunskapsresultat <SPAN class="ft112">– </SPAN>utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p483 ft10">En utredning föreslås med uppdrag att i ett sammanhang utforma ett system för trendmätning genom stickprovsunder- sökningar och att utreda det framtida systemet för utvärdering av kunskapsresultat i sin helhet. Arbetet bör i den senare delen inriktas på vilka syften som kan och ska knytas till systemet, vilka instrument som bör knytas till respektive syfte och vilka aktörers informationsbehov de olika instrumenten ska svara mot.</P>
<P class="p484 ft10">I det föregående har olika aspekter av det nuvarande systemet för kunskapsuppföljning beskrivits. Av genomgången ovan framgår att dagens svenska system för kunskapsuppföljning inte förmår att tillhandahålla den slags information som är nödvändig för att följa kunskapsutvecklingen i skolan över tid. Varken betygssystemet eller det nationella provsystemet lämpar sig för trendmätning. Det bör understrykas att det inte är nödvändigt med den typ av absolut kunskapsmätning som trendstudier representerar för att det ska vara möjligt att utvärdera reformer, genom exempelvis effektstu- dier. Utredningen bedömer dock att det behövs mått av god kvali- tet, som belyser hur skolan utvecklas över tid. Systemet bör ha en bredd med avseende på både de ämnen och de kunskapskvaliteter som mäts.</P>
<P class="p177 ft39">Till det svenska nationella bedömningssystemet har under årens lopp knutits allt fler mer eller mindre förenliga syften, ett för- hållande som Sverige inte är ensamt om. Som exempel kan nämnas att Newton<SPAN class="ft75">21 </SPAN>för Englands vidkommande har identifierat inte mindre än arton olika syften kopplade till bedömning (assessment)<SPAN class="ft75">22</SPAN>. I likhet med Skolverket<SPAN class="ft75">23 </SPAN>konstaterar Newton att det är nödvändigt att hålla isär olika typer av syften för bedömning. Eftersom de har uppenbara återverkningar på utformningen av ett system för kun-</P>
<P class="p417 ft58"><SPAN class="ft51">21</SPAN><SPAN class="ft57">Paul E. Newton (2002) </SPAN>Clarifying the perpose of educational assessment<SPAN class="ft59">. Assessment in education, Vol. 14, No. 2. Newton var vid tidpunkten för artikelns publicering chef för Assessment research, regulation and Standards Division vid Qualifications and Currculum Authority i England. Han är i dag professor vid utbildningsvetenskapliga institutionen vid University of London.</SPAN></P>
<P class="p180 ft59"><SPAN class="ft51">22</SPAN><SPAN class="ft57">De 18 olika syftena är: social utvärdering, formativ, elevuppföljning, uppflyttning, place- ring, diagnostik, vägledning, utfärdande av en kvalifikation, urval, licensiering, val av skola, institutionell granskning, fördelning av resurser, grund för intervention i en organisation, utvärdering av en åtgärd, uppföljning på systemnivå, jämförelse och nationellt ansvarsutkrä- vande.</SPAN></P>
<P class="p133 ft31"><SPAN class="ft51">23</SPAN><SPAN class="ft60">Se t.ex. Skolverket </SPAN><NOBR>2009-04-27(dnr.</NOBR> 2009:337) med anledning av regeringsuppdrag givet i regleringsbrev för 2009.</P>
<P class="p134 ft18">154</P>
</DIV>
<DIV id="page_149">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312149x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td66"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td67"><P class="p22 ft38">Systemet för att följa kunskapsresultat <SPAN class="ft114">– </SPAN>utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">skapsbedömning behöver vart och ett av syftena enligt Newton tas om hand för sig.</P>
<P class="p171 ft10">Kraven på att det nationella systemet för kunskapsbedömning ska kunna beskriva kunskapsutvecklingen över tid har stärkts un- der hand. Som redan nämnts gav t.ex. regeringen 2011 Skolverket i uppdrag<SPAN class="ft55">24 </SPAN>att kvalitetssäkra ämnes- och kursproven så att de bättre än i dag kan användas för att bedöma kunskapsutvecklingen över tid. Skolverket konstaterade dock i sin redovisning<SPAN class="ft55">25 </SPAN>att de nuvarande nationella proven är utformade för att stödja en likvärdig och rätt- vis bedömning och betygssättning, och att det inte är rimligt att använda dem för att också göra årliga trendanalyser av olika kun- skapsområden.</P>
<P class="p185 ft9">För att kunna utgöra grund för trendmätning krävs enligt Skolverket att proven är stabila över tid, dvs. att varje nytt prov inne- håller ett antal uppgifter som ingått i tidigare prov. Vidare krävs att innehållet i kursplaner och utformningen av betygssystemet inte förändras. Vi har dessutom i det ovanstående visat att det, för att få en god täckning av ett ämne, även krävs att varje undersökning omfattar ett så stort antal frågor att det inte är rimligt att förvänta sig att en elev vid ett och samma tillfälle ska kunna besvara dem.</P>
<P class="p249 ft10">Skolverket förordar att de nationella provens nuvarande syften bibehålls och inte utökas till att också omfatta trendmätning. Om kunskapsutvecklingen inom olika kunskapsområden med stor säker- het ska kunna följas över tid är det enligt verket mer motiverat att undersöka möjligheten att ta fram ett särskilt mätinstrument för just det ändamålet.</P>
<P class="p223 ft40">Utredningen konstaterar att det nuvarande systemet för kunskaps- bedömning har vuxit fram genom successiva förändringar under mer än tjugo års tid. Detta har inte bara medfört att förväntning- arna på vad systemet ska bidra till har blivit allt fler utan att det också skapats spänningar mellan de olika förväntningarna. Dess- utom har den successiva framväxten lett till att prov i olika ämnen är utformade på olika sätt, vilket försvårar för de lärare som under- visar i flera ämnen för vilka det genomförs prov.</P>
<P class="p204 ft45">Utredningen delar uppfattningen att det inte är rimligt att för- vänta sig att den typ av nationellt provsystem som vi har i Sverige ska kunna användas för att följa trender och föreslår därför att ett system med stickprovsbaserade undersökningar för trendmätning</P>
<P class="p485 ft53"><SPAN class="ft51">24</SPAN><SPAN class="ft52">U2011/6543/S.</SPAN></P>
<P class="p126 ft31"><SPAN class="ft51">25</SPAN><SPAN class="ft54">Skolverket </SPAN><NOBR>2012-10-19</NOBR> (dnr. 2011:1242).</P>
<P class="p356 ft18">155</P>
</DIV>
<DIV id="page_150">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Systemet för att följa kunskapsresultat <SPAN class="ft112">– </SPAN>utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p198 ft10">som kompletterar de internationella studierna ska införas för detta syfte. Ett sådant system skulle förbättra möjligheterna att följa kunskapsutvecklingen i den svenska skolan och därmed även för- bättra förutsättningarna för att utvärdera reformer och andra ini- tiativ på skolans område. Det bör understrykas att behovet att komplettera de internationella undersökningarna inte endast avser andra ämnen och mål i läroplanen än de som ingår i dessa. Även för de ämnen för vilka det genomförs internationella mätningar kan det finnas behov av komplettering.</P>
<P class="p54 ft10">Utöver de fördelar med ett stickprovsbaserat system som redo- gjorts för ovan – hög validitet i förhållande till läroplanens samlade kunskapsmål, få frågor per elev, låg risk för provtrötthet, minskad risk för ”teaching to the test” – ger ett stickprovsbaserat system även goda möjligheter att analysera variation, t.ex. mellan elever med olika kön eller socioekonomisk bakgrund. Det bör också kunna utformas för att möjliggöra kvalificerade analyser av vilka inslag i olika ämnen som svenska elever lyckas väl med och vilka de lyckas mindre väl med, dvs. kunna ligga till grund för olika nationella åtgärdsprogram.</P>
<P class="p96 ft10">Erfarenheten från de internationella studierna visar dock att det kan finnas problem med stickprovsundersökningar, som bl.a. har att göra med motovationen, då proven inte har någon avgörande betydelse för eleven eller skolan. Detta bör dock gå att hantera, t.ex. genom att anpassa antalet elever i urvalet så att varje elev inte behöver besvara mer än ett begränsat antal frågor.</P>
<P class="p142 ft9">Vi bedömer emellertid att det inte är lämpligt att nu endast lägga till ytterligare ett instrument i form av stickprovsundersökningar till ett redan hårt belastat system utan att samtidigt utreda konsekvenserna av detta för övriga delar av systemet. Det bör få konsekvenser för övriga delar av det nationella systemet för kunskapsbedömning om behovet av trendmätning tillgodoses via ett stickprovsbaserat system. Det gäller framför allt för de nationella proven som i dag bl.a. har till syfte att bidra med underlag för en analys av i vilken utsträckning kunskapsmålen nås på nationell nivå.</P>
<P class="p177 ft39">Den successiva framväxten av systemet för kunskapsbedömning har enligt vår uppfattning nu lett fram till en punkt där systemets olika syften behöver övervägas på nytt. Hela systemet behöver enligt vår uppfattning utredas från grunden för att klargöra dels vilka syften som kan och ska knytas till systemet, dels vilka instru- ment som bör knytas till respektive syfte och dels vilka aktörers</P>
<P class="p340 ft18">156</P>
</DIV>
<DIV id="page_151">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312151x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td66"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td67"><P class="p22 ft38">Systemet för att följa kunskapsresultat <SPAN class="ft114">– </SPAN>utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p85 ft40">informationsbehov de olika instrumenten ska svara mot. Det bör därvid observeras att även betyg och resultat från nationella prov utgör viktiga underlag för olika former av utvärdering, t.ex. effekt- utvärdering. Vi föreslår att en utredning tillsätts med uppdrag att utreda det framtida systemet för kunskapsbedömning med avse- ende på dessa faktorer. En ambition bör vara att de nationella prov som ska finnas i framtiden utformas på ett mer likartat sätt för olika ämnen. Frågan om att utforma stickprovsundersökningar för att kunna följa kunskapsutvecklingen i den svenska skolan föreslås ingå i uppdraget.</P>
<P class="p204 ft9">Liknande rekommendationer lämnas i dagarna i en <NOBR>SNS-rap-</NOBR> port<SPAN class="ft28">26</SPAN>. I denna rekommenderas bl.a. en försöksverksamhet med ett rullande, stickprovsbaserat, nationellt kunskapsbedömningssystem för grund- och gymnasieskolan inom ett par ämnen. Vidare redovi- sas tankar om hur ett sådant nationellt kunskapsbedömningssystem kan kopplas samman med det nationella provsystemet, genom en gemensam uppgiftsbank, i syfte att de nationella proven bättre ska kunna stödja en likvärdig och över tid stabil betygssättning. Detta innebär dock inte att författarna menar att det går att konstruera ett enskilt instrument som svarar mot samtliga olika syften. Utred- ningen bedömer att rapportens bedömningar kan bidra med värde- fulla utgångspunkter för den utredning vi här föreslår.</P>
<P class="p233 ft10">En sådan utredning bör slutligen ses i perspektivet av vad vi redovisat i föregående avsnitt om behovet av ett utvärderings- ramverk. Systemet för kunskapsbedömning utgör en central del av ett sådant ramverk. Förändringar bör göras för att systemets olika delar ska kunna bidra optimalt till helheten samtidigt som varje del kan utformas på ett stabilt och funktionellt sätt.</P>
<P class="p486 ft86"><SPAN class="ft84">26 </SPAN>Gustafsson, <NOBR>Jan-Eric,</NOBR> Christina Cliffordson och Gudrun Ericson (2014) <SPAN class="ft85">Likvärdig kun- skapsbedömning i och av den svenska skolan – problem och möjligheter</SPAN>. SNS Förlag.</P>
<P class="p356 ft18">157</P>
</DIV>
<DIV id="page_152">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312152x1.jpg" id="img1">
</DIV>
<P class="p487 ft66"><SPAN class="ft8">10</SPAN><SPAN class="ft119">Data för utvärdering – utvecklingsbehov</SPAN></P>
<P class="p488 ft9">Utredningen ska enligt direktiven utreda vilka data som behövs för att i ökad utsträckning kunna utvärdera reformer inom skolan samt, om det behövs, lämna författnings- eller andra förslag för att öka tillgången till sådana data. I det föregående kapitlet fördjupade vi oss specifikt i frågan om hur utvecklingen av kunskapsresultaten i skolan kan följas över tid, dvs. hur trender kan mätas. I detta kapi- tel redovisar vi huvuddragen i det nuvarande statistiksystemet samt översiktligt den omfattande lagstiftning som finns inom området. Mot denna bakgrund analyseras dels vilka ytterligare data, förutom de som beskriver kunskapsutvecklingen över tid, som behövs för att förbättra möjligheterna för utvärdering av skolpolitiska reformer, dels förutsättningarna för att samla in dessa data.</P>
<P class="p489 ft88"><SPAN class="ft32">10.1</SPAN><SPAN class="ft120">Den nationella statistiken om skolan – en infrastruktur för systemförståelse</SPAN></P>
<P class="p65 ft45">Liksom för andra samhällsområdet utgör statistiksystemet för sko- lan en form av infrastruktur för förståelse av skolan och skolans utveckling. Begreppet statistik definieras inte i något regelverk. Av statistiklagen<SPAN class="ft68">1 </SPAN>framgår dock att officiell statistik (SOS) ska finnas för allmän information, utredningsverksamhet och forskning.</P>
<P class="p322 ft13"><SPAN class="ft13">10.1.1</SPAN><SPAN class="ft121">Kort om skolstatistikens framväxt</SPAN></P>
<P class="p182 ft39">Den enda utbildningsstatistik som fanns i Sverige under <NOBR>1900-talets</NOBR> första årtionden var den statistik som Skolöverstyrelsen (SÖ) förde över folkskolor och läroverk. Ännu så sent som 1970 omfattade</P>
<P class="p272 ft31"><SPAN class="ft30">1 </SPAN>Lag (2001:99) om den officiella statistiken.</P>
<P class="p356 ft18">159</P>
</DIV>
<DIV id="page_153">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312153x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">grundskolestatistiken endast uppgifter om antalet elever och deras ålder.<SPAN class="ft55">2</SPAN></P>
<P class="p285 ft9">1968 inrättade Statistiska Centralbyrån (SCB) i samarbete med Skolöverstyrelsen ett lärarregister. Registret innehåller uppgifter om alla lärare, även vikarier, som är i tjänst hela eller delar av en viss vecka på hösten. Uppgifterna samlas in från alla skolor, både grund- skolan och de frivilliga skolformerna. Lärarregistret ingår numera, liksom elevregistret, i Skolverkets nationella uppföljningssystem och benämns Registret över pedagogisk personal. Registret inne- håller identifikationsuppgifter och uppgifter bl.a. om befattning, utbildning och tjänstgöringstidens omfattning.<SPAN class="ft28">3</SPAN></P>
<P class="p82 ft10">1978 gav SCB för första gången ut <SPAN class="ft11">Utbildningsstatistisk årsbok</SPAN>. Denna publikation har därefter utgetts årligen.<SPAN class="ft55">4</SPAN></P>
<P class="p208 ft10">1988 började SCB publicera statistik om slutbetyg för grund- skolan. Inledningsvis redovisades endast rikssiffror. Så småningom redovisades uppgifterna även på kommunnivå, vilket bidrog till att intresset för statistiken ökade.<SPAN class="ft55">5</SPAN></P>
<P class="p367 ft10">Fram till och med budgetåret 1991/92 bestod statistiken över utbildningskostnader endast av en sammanställning av statsbudge- tens kostnader. Därefter har kostnadsuppgifter samlats in från kom- munerna och de fristående huvudmännen för olika skol- och verk- samhetsformer.</P>
<P class="p108 ft10">Från och med 1998 överfördes ansvaret för statistiken för för- skoleverksamheten och skolbarnsomsorgen från Socialstyrelsen till Skolverket, till följd av att bestämmelserna om dessa verksamheter fördes från socialtjänstlagen till skollagen.</P>
<P class="p167 ft9">Särskilda datainsamlingar utgörs av de longitudinella uppgifts- insamlingarna som genomförs av SCB respektive projektet UGU vid Göteborgs universitet. SCB svarar för de s.k. <SPAN class="ft12">elevpanelerna </SPAN>som ingår i den officiella statistiken, men också utgör underlag för <NOBR>UGU-projektet.</NOBR> Det senare genomför dessutom ytterligare datain- samling. Elevpanelerna utgör underlag för att beskriva elevström- mar inom skolväsendet. Alltsedan <NOBR>1980-talet</NOBR> har SCB samlat in och redovisat uppgifter som beskriver elevers vägar genom utbildnings- systemet för olika kohorter. SCB ansvarar för urvalsdragningar, driften av panelerna, sammanställning av bakgrundsdata och insam- ling av elevdata från skolorna medan Pedagogiska institutionen</P>
<P class="p490 ft53"><SPAN class="ft56">2</SPAN><SPAN class="ft71">Jorner, Ulf (2008) </SPAN><SPAN class="ft72">Summa summarum. SCB:s första 150 år</SPAN>. Statistiska centralbyrån.</P>
<P class="p151 ft53"><SPAN class="ft56">3</SPAN><SPAN class="ft71">Jorner, Ulf (2008) a.a.</SPAN></P>
<P class="p151 ft59"><SPAN class="ft56">4</SPAN><SPAN class="ft57">Jorner, Ulf (2008) a.a.</SPAN></P>
<P class="p151 ft31"><SPAN class="ft56">5</SPAN><SPAN class="ft60">Jorner, Ulf (2008) a.a.</SPAN></P>
<P class="p144 ft18">160</P>
</DIV>
<DIV id="page_154">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312154x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">bearbetar och analyserar uppgifter som samlas in direkt från elever, föräldrar och lärare.<SPAN class="ft55">6</SPAN></P>
<P class="p16 ft10">Det framgår att ansvarig myndighet för statistiken om skolan har varierat över tid. Fram till 1960 ansvarade SÖ för skolstatisti- ken. Från detta år tog SCB över ansvaret.<SPAN class="ft55">7 </SPAN>I samband med en senare statistikreform<SPAN class="ft55">8 </SPAN>blev 1994 Skolverket ansvarig för den officiella sta- tistiken om skoläsendet.<SPAN class="ft55">9 </SPAN>SCB kvarstår dock som den myndighet som på Skolverkets uppdrag svarar för själva datainsamlingen och för de s.k. elevpanelerna.</P>
<P class="p312 ft13"><SPAN class="ft13">10.1.2</SPAN><SPAN class="ft121">Några grundläggande begrepp</SPAN></P>
<P class="p228 ft9">Statistikutredningen 2012<SPAN class="ft28">10 </SPAN>konstaterar att begreppet statistik inte kan sägas ha någon helt entydig definition. Det kan enligt statistik- utredningen avse en viss form av information, nämligen sifferupp- gifter som beskriver en företeelse eller en verksamhet. Statistik kan också avse metoder för att samla in, bearbeta och analysera statis- tiska material. Statistik är därtill benämningen på en vetenskaplig disciplin. Statistikutredningen 2012 använder begreppet som beteck- ning för ”<SPAN class="ft12">numeriska sammanställningar av elementära observationer som kan hänföras till händelser, flöden eller tillstånd</SPAN>”.</P>
<P class="p92 ft40">Statistikutredningen 2012 konstaterar vidare att uppbyggnaden av ett statistiskt system kräver tre olika typer av data:</P>
<P class="p14 ft10"><SPAN class="ft11">Makrodata</SPAN>: Det som vi kallar ”statistik” i dagligt tal, dvs. aggre- gerade data om populationer och klasser av objekt, t.ex. summor, frekvenser och medelvärden.</P>
<P class="p16 ft10"><SPAN class="ft11">Mikrodata</SPAN>: Data om enskilda objekt. t.ex. företag, individer och händelser, som ligger till grund för statistik, och som kan aggrege- ras till statistik på ett flexibelt sätt.</P>
<P class="p92 ft10"><SPAN class="ft11">Metadata</SPAN>: ”Data om data” eller information om data, dvs. data som definierar och beskriver mikro- och makrodata. Det kan röra</P>
<P class="p491 ft59"><SPAN class="ft51">6</SPAN><SPAN class="ft70">Att elevpanelerna inte ingår i Skolverkets statistikansvar för den officiella statistiken har sannolikt att göra med att undersökningen är longitudinell och redan pågick när Skolverket bildades. Ett annat skäl kan vara att elevpanelerna innehöll tidsseriedata med personnummer och bedömdes passa bättre inom SCB:s ansvar då Skolverket vid sin tillkomst saknade möj- lighet att hantera hopkopplingsbara registerdata.</SPAN></P>
<P class="p296 ft58"><SPAN class="ft51">7</SPAN><SPAN class="ft70">Murray, Mac (2011) </SPAN>Projektet som utredning- och beslutsunderlag <SPAN class="ft59">i Allan Svensson (red.) </SPAN>Utvärdering Genom Uppföljning. Longitudinell individforskning under ett halvsekel<SPAN class="ft59">. Gothenburg Studies in Educational Sciences 305. Göteborgs universitet.</SPAN></P>
<P class="p88 ft53"><SPAN class="ft51">8</SPAN><SPAN class="ft52">Statistikreformen berörde inte endast skolstatistiken, utan ett stort antal samhällssektorer.</SPAN></P>
<P class="p187 ft53"><SPAN class="ft51">9</SPAN><SPAN class="ft52">Förordningen (2001:100) om den officiella statistiken.</SPAN></P>
<P class="p187 ft74"><SPAN class="ft51">10</SPAN><SPAN class="ft54">SOU 2012:36 </SPAN>Vad är officiell statistik? En översyn av statistiksystemet och SCB<SPAN class="ft31">.</SPAN></P>
<P class="p356 ft18">161</P>
</DIV>
<DIV id="page_155">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312155x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">sig om beskrivningar av innehållet i och/eller strukturen för en viss datainsamling.</P>
<P class="p208 ft10">Med utgångspunkt i denna terminologi handlar detta kapitel i huvudsak om tillgången på mikrodata för olika typer av bearbet- ning och om möjligheterna att öka tillgången på sådana data.</P>
<P class="p106 ft9">Distinktionen mellan <SPAN class="ft12">registerdata </SPAN>och <SPAN class="ft12">direktinsamlade data </SPAN>är central för de resonemang som förs i detta kapitel. Med register- data menar vi data som samlas in via befintliga lokala administrativa system, som i flertalet fall upprättats för andra ändamål än natio- nella uppföljningsbehov<SPAN class="ft28">11</SPAN>. Med direktinsamlade data menar vi data som samlas in genom olika enkäter, t.ex. till huvudmän och skolor.</P>
<P class="p54 ft10">Utvärdering kan slutligen genomföras på många olika sätt och varje utvärderingsdesign har sina särskilda behov av data och krav på hur dessa ska vara tillgängliga. <SPAN class="ft11">Longitudinella studier </SPAN>innebär exempelvis att man följer ett antal individer över tid och gör upp- repade mätningar för samma individ. <SPAN class="ft11">Tvärsnittsstudier, </SPAN>där jäm- förelser görs för en eller flera variabler vid en viss tidpunkt, kräver oftast att det är möjligt att samköra register från olika samhälls- områden. I många fall handlar det även här om uppgifter på individ- nivå.</P>
<P class="p316 ft13"><SPAN class="ft13">10.1.3</SPAN><SPAN class="ft121">Skolverkets statistikansvar</SPAN></P>
<P class="p53 ft10">Regeringen beslutar om vilka myndigheter som ska vara statistik- ansvariga för Sveriges officiella statistik (SOS) samt om vilka ämnes- och statistikområden som statistikansvaret ska omfatta. Vilken myndighet som är statistikansvarig inom olika områden framgår av bilagan till statistikförordningen. Den statistikansvariga myndighe- ten beslutar därefter om statistikens innehåll och omfattning inom sitt statistikområde.<SPAN class="ft55">12</SPAN></P>
<P class="p96 ft45">Enligt förordningen om den officiella statistiken är Skolverket ansvarig myndighet för den officiella statistiken inom skolväsendet och barnomsorgen<SPAN class="ft68">13</SPAN>. Vidare har verket enligt skollagen<SPAN class="ft68">14 </SPAN>och sin instruktion<SPAN class="ft68">15 </SPAN>ansvar för att följa upp och utvärdera skolväsendet samt vissa övriga utbildningar och annan pedagogisk verksamhet.</P>
<P class="p492 ft59"><SPAN class="ft51">11</SPAN><SPAN class="ft57">Enligt SOU 2012:36 baseras den officiella statistiken till mer än 95 procent på administra- tiva data, vilka ursprungligen har samlats in för andra ändamål än statistik.</SPAN></P>
<P class="p426 ft53"><SPAN class="ft51">12</SPAN><SPAN class="ft52">Förordningen (2001:100) om den officiella statistiken.</SPAN></P>
<P class="p180 ft59"><SPAN class="ft51">13</SPAN><SPAN class="ft57">Barnomsorgsbegreppet är borttaget i skollagen (2010:800), men någon följändring i för- ordningen har ännu inte gjorts.</SPAN></P>
<P class="p151 ft53"><SPAN class="ft51">14</SPAN><SPAN class="ft52">SFS 2010:800.</SPAN></P>
<P class="p151 ft31"><SPAN class="ft51">15</SPAN><SPAN class="ft54">Förordning (2011:555) med instruktion för Statens skolverk.</SPAN></P>
<P class="p144 ft18">162</P>
</DIV>
<DIV id="page_156">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312156x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p341 ft9">Enligt verkets instruktion ska uppföljningen och utvärderingen öka kunskapen om hur utbildningarna och verksamheterna har ut- vecklats i förhållande till de nationella målen för utbildningen. Skolverket ges stor frihet att avgöra hur man bäst går till väga för att öka kunskapen om skolan, ett friutrymme som i praktiken begränsas av det stora antal uppdrag som ges i de årliga reglerings- breven och i form av regeringsuppdrag som ges i särskild ordning.</P>
<P class="p47 ft10">Skolverkets arbete med uppföljningssystemet är inriktat på för- valtning och vidareutveckling av de stora informationssystem som ska ge faktabaserat underlag för diskussion och beslut om förskola, fritidshem, skola och vuxenutbildning. Man kan säga att statistik- systemet erbjuder en infrastruktur för systemförståelse och system- analys.</P>
<P class="p193 ft13">Skolverket beslutar i praktiken om innehållet i skolstatistiken</P>
<P class="p91 ft10">De ämnes- och statistikområden som anges i bilagan till statistik- förordningen – för Skolverkets del skolväsende och barnomsorg – är övergripande. Det innebär att det är den statistikansvariga myndigheten som i praktiken definierar variabler och objekt och beslutar vilken eller vilka metoder som ska användas för att samla önskad statistik till önskad kvalitet. Den statistikansvariga myn- digheten avgör slutligen vilka ”skattningar av statistiska storheter” som utgör den officiella statistiken, dvs. vilka mått som ska redo- visas.<SPAN class="ft55">16</SPAN></P>
<P class="p204 ft40">Det råd för den officiella statistiken som är inrättat vid SCB har dock beslutat om riktlinjer för beslut om innehåll och omfattning av SOS<SPAN class="ft77">17</SPAN>. Av riktlinjerna framgår bland annat att SOS i regel bör vara av löpande karaktär så att man kan följa utvecklingen över tid, men engångsundersökningar och periodiskt återkommande (inter- mittenta) undersökningar kan också vara officiell statistik. De elev- paneler som SCB svarar för i samarbete med Pedagogiska institu- tionen vid Göteborgs universitet är exempel på detta.</P>
<P class="p204 ft45">Den statistikansvariga myndigheten bör enligt rådet anpassa sta- tistikens innehåll och omfattning till samhällsutvecklingen och basera denna anpassning på omvärldsbevakning, inklusive dialog</P>
<P class="p493 ft59"><SPAN class="ft51">16</SPAN><SPAN class="ft70">Rådet för den officiella statistiken (2012</SPAN><SPAN class="ft58">) Riktlinjer för beslut om innehåll och omfattning av den officiella statistiken.</SPAN></P>
<P class="p88 ft31"><SPAN class="ft51">17</SPAN><SPAN class="ft54">Rådet för den officiella statistiken (2012</SPAN><SPAN class="ft74">)a.a.</SPAN></P>
<P class="p356 ft18">163</P>
</DIV>
<DIV id="page_157">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312157x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">med användarna. Myndigheten bör även samråda med organisa- tioner som företräder uppgiftslämnarna.</P>
<P class="p106 ft45">Statistikansvarig myndighet avgör om statistikens kvalitet är till- räckligt god i relation till hur den är avsedd att användas. I kva- litetskravet ingår att beakta aktualitet kontra t.ex. precision. Myn- digheten kan även besluta att en undersökning som inte ingår i SOS från en viss tidpunkt ska definieras om till att ingå i systemet.</P>
<P class="p150 ft13"><SPAN class="ft13">10.1.4</SPAN><SPAN class="ft121">Dagens statistiksystem</SPAN></P>
<P class="p73 ft9">Inom ramen för Skolverkets ansvar för Sveriges officiella statistik (SOS) om förskola, fritidshem, skola, vuxenutbildning och annan pedagogisk verksamhet samlas varje år in uppgifter om barn, elever, personal, kostnader och utbildningsresultat. Uppgifterna samman- ställs till statistik per verksamhetsform och skolform. Statistiken presenteras som SOS på riksnivå. Uppgifterna presenteras dess- utom av Skolverket på huvudmannanivå eller skolnivå.</P>
<P class="p167 ft9">Den övervägande delen av Skolverkets uppgifter om elever sam- las in på individnivå, vilket möjliggör redovisningar uppdelat på kön, socioekonomisk bakgrund och eventuell utländsk bakgrund. Uppgifter som samlas in aggregerat samlas alltid in uppdelat på kön. Det är SCB som står för den databas där den insamlade infor- mationen lagras. Det Skolverket har tillgång till är utdrag ur data- basen där de enskilda individerna avidentifierats. Av detta följer att om en forskare avser att göra en registerbaserad studie och even- tuellt samköra olika register, så är det SCB som tillhandahåller data.</P>
<P class="p308 ft39">Skolverket redovisar en del av statistiken i den årliga publikatio- nen <SPAN class="ft81">Beskrivande data</SPAN>. Den statistik som ingår i SOS presenteras i de tre årliga rapporterna <SPAN class="ft81">Utbildningsresultat</SPAN>, <SPAN class="ft81">Barn elever och perso- nal</SPAN>, samt <SPAN class="ft81">Kostnader</SPAN>. De uppgifter som Skolverket samlar in är även i sin helhet tillgänglig på verkets webbplats, bl.a. i databaserna Jäm- förelsetal, SIRIS och SALSA. För en mer omfattande presentation av innehållet i det nationella uppföljningssystemet hänvisas till kapitel 4 samt till Skolverkets föreskrifter om uppgiftslämning<SPAN class="ft75">18</SPAN>.</P>
<P class="p494 ft31"><SPAN class="ft30">18 </SPAN>Se t.ex. SKOLFS 2012:91 och SKOLFS 2014:1.</P>
<P class="p144 ft18">164</P>
</DIV>
<DIV id="page_158">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312158x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p64 ft13">Krav på statistiksystemet</P>
<P class="p103 ft10">Den nationella statistiken ska ge information om resurser, orga- nisation och resultat och utvecklingen ska kunna följas över tid. Det är därför väsentligt att systemet är <SPAN class="ft11">långsiktigt </SPAN>och stabilt över tid. Det är särskilt viktigt för den officiella statistiken som enligt lagen (2001:99) om den officiella statistiken ska finnas för allmän information, utredningsverksamhet och forskning och som ska vara objektiv och allmänt tillgänglig.</P>
<P class="p15 ft10">För den officiella statistiken anges kvalitetskriterier i lagen om den officiella statistiken<SPAN class="ft55">19 </SPAN>avseende följande punkter:</P>
<P class="p495 ft10"><SPAN class="ft14">1.</SPAN><SPAN class="ft122">Relevans </SPAN>(i vilken grad statistiken tillgodoser användarnas nuvar- ande och potentiella behov)</P>
<P class="p463 ft10"><SPAN class="ft14">2.</SPAN><SPAN class="ft122">Noggrannhet </SPAN>(överensstämmelse mellan skattning och det skatt- ningen avser att mäta)</P>
<P class="p79 ft10"><SPAN class="ft14">3.</SPAN><SPAN class="ft122">Aktualitet </SPAN>(tiden mellan att de uppgifterna finns tillgängliga och den aktuella händelsen/företeelsen som uppgiften avser)</P>
<P class="p496 ft45"><SPAN class="ft14">4.</SPAN><SPAN class="ft123">Punktlighet </SPAN>(den tid det tar för statistikansvarig myndighet att göra uppgifter tillgängliga efter det datum de ska ha lämnats in)</P>
<P class="p87 ft10"><SPAN class="ft14">5.</SPAN><SPAN class="ft122">Tillgänglighet och tydlighet </SPAN>(hur användarna kan få tillgång till, använda och tolka uppgifter)</P>
<P class="p79 ft10"><SPAN class="ft124">6.</SPAN><SPAN class="ft122">Jämförbarhet </SPAN>(för statistik från olika geografiska områden eller sektorsområden eller från olika tidsperioder)</P>
<P class="p463 ft10"><SPAN class="ft14">7.</SPAN><SPAN class="ft122">Samstämmighet </SPAN>(i vilken utsträckning uppgifterna med tillför- litlighet kan kombineras på olika sätt och för olika ändamål)</P>
<P class="p194 ft10">Generellt gäller att data blir värdefull för utvärdering och forskning om den har samlats in systematiskt under lång tid. Med systema- tiskt menas här att det handlar om samma data som samlas in på samma sätt. Det handlar bl.a. om</P>
<P class="p86 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">med vilka intervall som datainsamlingen görs, t.ex. varje eller vart femte år,</SPAN></P>
<P class="p394 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">att urvalet görs på samma sätt vid varje mättillfälle, t.ex. samtliga i en ålderskohort eller varje årskurs 3 eller 6,</SPAN></P>
<P class="p392 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft47">att det är samma information som samlas in vid de olika mät- tillfällena (tidsseriedata),</SPAN></P>
<P class="p497 ft31"><SPAN class="ft30">19 </SPAN>§ 3 a lag (2001:99) om den officiella statistiken.</P>
<P class="p356 ft18">165</P>
</DIV>
<DIV id="page_159">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p498 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">att informationen samlas in på ett enhetligt sätt vid de olika mättillfällena, dvs. med samma metoder, begrepp, definitioner, mått, frågor etc.</SPAN></P>
<P class="p499 ft9">Datainsamlingen bör således vara regelbunden och systemet måste bygga på enhetliga definitioner, indelningar och tidsperioder som gör det möjligt att aggregera data till nationell nivå och göra jäm- förelser mellan huvudmän och verksamhetsområden och över tid. Uppföljningen ska spegla verksamhetsformernas särart, samtidigt som det är viktigt att statistiken presenteras på ett likartat sätt.</P>
<P class="p107 ft10">Den befintliga statistiken om skolan bedöms generellt hålla en hög kvalitet. Det finns dock en kritik vad gäller tillförlitligheten avseende vissa data, bland annat inom ett så central område som likvärdigheten i betygssättning respektive bedömning av de natio- nella proven. Det handlar dock mer om hur dessa system är utfor- made än om statistiksystemets funktionssätt.</P>
<P class="p109 ft13">Långsiktighet och stabilitet påverkas av förändringar</P>
<P class="p81 ft9">Samtidigt som statistiksystemet måste värna om långsiktighet för- väntas det svara mot behovet av snabb styrinformation och ett flertal andra, delvis motsägelsefulla, behov. En svårighet för alla longitudi- nella databaser är att de är känsliga för förändringar, till exempel av lagar och andra bestämmelser, som kan innebära att informationen inte förblir jämförbar över tid. Politiskt beslutade förändringar, som t.ex. förändringar i betygssystemet, kan därför leda till att tids- serier bryts. Sådana brott är ofrånkomliga – om än beklagliga för statistiker, forskare och andra användare av statistiken. Andra aktu- ella exempel som påverkat uppgiftsinsamlingen är införandet av betyg i årskurs 6 samt förändringar av i vilken årskurs och i vilka ämnen de nationella proven ges. Även förändringar i omvärlden kan föranleda behov av att utveckla uppgiftsinsamlingen och statistiken, t.ex. tillkomsten av enskilda huvudmän.</P>
<P class="p119 ft10">För att en förändring av uppgiftsinsamlingen ska kunna träda i kraft måste den beredas och aviseras i god tid för att de administra- tiva systemen och insamlingsrutinerna hos både uppgiftslämnarna och myndigheten ska kunna ses över.</P>
<P class="p500 ft18">166</P>
</DIV>
<DIV id="page_160">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p64 ft13">Registerdata hämtas ur skolornas administrativa system</P>
<P class="p91 ft10">Skolornas <NOBR>IT-baserade</NOBR> administrativa system är konstruerade för att tillgodose både nationella krav och lokala behov. De nationella kraven består dels av krav på dokumentation som ställs i styrdo- kumenten, dels av Skolverkets krav på uppgifter till det nationella uppföljningssystemet.</P>
<P class="p13 ft10">De lokala administrativa systemen är uppbyggda kring eleven, även om vissa uppgifter om ansvarig lärare också ingår. Schema- läggningsmoduler används av många skolor, dock främst i grund- skolans högre årskurser och i gymnasieskolan. Lärarna kan även för varje genomförd lektion registrera närvaro och giltig eller oanmäld frånvaro respektive sen ankomst.</P>
<P class="p100 ft40">Den faktiska användningen av skolornas administrativa system avgörs lokalt. Detta får till följd att uppgifter inte alltid registreras även om funktionaliteten finns. Det är inte heller säkert att uppgif- terna om genomförda lektioner avser den lärare som faktiskt under- visade. Om en vikarie undervisar under en kortare tid ändras i all- mänhet inte lärarens namn i systemet och lektionen registreras som om den ordinarie läraren hade varit där. Inte heller då en lärare slutar och ersätts med en ny lärare under läsåret är det säkert att skolan ändrar lärarens namn i systemet.</P>
<P class="p15 ft10">Enligt Skolverket prioriterar de största leverantörerna av skolor- nas administrativa system registreringen av betyg och att uppgif- terna hanteras rättsäkert i systemen med kontroll av behörigheter och versionshantering. Uppgiften om vilken lärare som har satt vil- ket betyg bedöms därmed ha god kvalitet. Registrering av resultat på nationella prov bedöms däremot ha lägre prioritet på skolorna. Eftersom provens utformning varierar mellan åren ökar risken för felregistrering och systemet blir inte heller lika användbart lokalt då det inte redovisas vilka olika förmågor som provuppgifterna prövar i de olika delproven.</P>
<P class="p249 ft10">Skolverket konstaterar att de administrativa systemen nu byggs ut för att ge stöd för lärarnas pedagogiska dokumentation. Man menar att då allt fler lärare har tillgång till egen dator, kan de administrativa systemen på sikt komma att få en ökad betydelse för statens möj- ligheter att implementera reformer men även ge ökade möjligheter att samla in nya uppgifter.</P>
<P class="p92 ft39">Att införa förändringar i skolornas administrativa system kräver dock enligt Skolverket lång förberedelsetid, ibland upp till två år. Dels ska systemleverantörerna bygga om systemen och sprida den</P>
<P class="p501 ft18">167</P>
</DIV>
<DIV id="page_161">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312161x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">nya versionen till sina användare, dels ska skolorna uppdatera till den nya systemversionen och ändra sina arbetsrutiner kring de uppgifter som ska läggas in. Om systemen inte hinner uppgraderas innan en förändring träder i kraft försvåras huvudmännens upp- giftslämnande.</P>
<P class="p109 ft13">Behov av utveckling och modernisering</P>
<P class="p81 ft39">Intresset för deltagande i enkätundersökningar minskar. Skolverkets erfarenheter av detta bekräftas av Statistikutredningen 2012<SPAN class="ft75">20</SPAN>. Det innebär att behovet av registerdata ökar. Vidare ställs allt större krav på statistikens innehåll och systemens användarvänlighet. Att parallellt med den årliga datainsamlingen tekniskt modernisera uppföljningssystemet kommer enligt Skolverkets bedömning att utgöra en stor och resurskrävande utmaning under de närmaste åren. Utredningen återkommer till denna fråga i slutet av kapitlet.</P>
<P class="p213 ft13"><SPAN class="ft13">10.1.5</SPAN><SPAN class="ft121">Uppgiftslämnarbördan</SPAN></P>
<P class="p199 ft40">Skolverket samlar sedan lång tid tillbaka in en mycket stor mängd uppgifter från skolhuvudmän och verksamheter för den nationella uppföljningen, vilket innebär en belastning för uppgiftslämnarna.</P>
<P class="p106 ft40">Utredningen har försökt få fram uppgifter om vilka kostnaderna är för uppgiftslämnandet. Detta har visat sig vara svårt eftersom det inte finns någon enhetlig definition för vilka kostnader som ska räknas in. En stor del av de uppgifter som finns i det nuvarande uppföljningssystemet består dock av data som huvudmännen själva behöver för sin administration av verksamheten, dvs. uppgifter som de skulle behöva samla in oavsett om de efterfrågades för den nationella uppföljningen eller inte.</P>
<P class="p96 ft45">SCB har uppskattat tidsåtgången och kostnaderna för det sam- lade uppgiftslämnande som krävs för Sveriges officiella statistik (SOS), dvs. den statistik som de statistikansvariga myndigheterna har beslutat ska vara officiell. Kostnaden för uppgiftslämnandet har beräknats till 46 miljoner kronor för kommuner och landsting.<SPAN class="ft68">21 </SPAN>Det framgår inte hur stor andel av detta belopp som avser skolan.</P>
<P class="p502 ft72"><SPAN class="ft51">20</SPAN><SPAN class="ft52">SOU 2012:83 </SPAN>Vad är officiell statistik? En översyn av statistiksystemet och SCB<SPAN class="ft53">.</SPAN></P>
<P class="p247 ft74"><SPAN class="ft51">21</SPAN><SPAN class="ft60">Statistiska centralbyrån (2013) </SPAN>Sveriges officiella statistik – årlig rapport för 2012<SPAN class="ft31">. Rådet för den officiella statistiken.</SPAN></P>
<P class="p134 ft18">168</P>
</DIV>
<DIV id="page_162">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312162x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p503 ft40">Dessa kostnader hänför sig dock endast till själva arbetet med att ta fram de uppgifter som SCB efterfrågar vid datainsamlingen. Det innebär att t.ex. kostnader för att anskaffa och underhålla de administrativa systemen inte är medräknade, inte heller kostnader- na för den lokala uppgiftsinsamlingen. De samlade kostnaderna för uppgiftslämnarbördan är sannolikt betydligt högre än den SCB uppgivit. Skolverket uppger att verkets kostnad för arbetet med den officiella statistiken var 36 miljoner kronor 2012<SPAN class="ft77">22</SPAN>.</P>
<P class="p100 ft9">Enligt Skolverket deltar uppskattningsvis 10 000 personer hos huvudmännen i arbetet med att lämna uppgifter till SCB, varav var- je år omkring 1 000 bedöms vara nya. Antalet involverade och anta- let oerfarna uppgiftslämnare påverkar sannolikt tillförlitligheten i data. Arbetsinsatsen uppskattas till cirka 70 årsarbetskrafter (samt- liga huvudmän inom tretton skolformer). Ett annat mått på komplexi- teten i uppgiftsinsamlingen är att SCB, enligt uppgift från Skolverket, tar emot elevuppgifter via 33 olika administrativa program som utvecklats av olika <NOBR>it-företag</NOBR> och i vissa fall av enskilda kommuner.</P>
<P class="p233 ft10">Utredningen har inte haft möjlighet att närmare undersöka vad detta betyder för kvaliteten i de insamlade uppgifterna. Det är dock sannolikt att en mer ändamålsenlig organisation av uppgiftslämnan- det dels skulle innebära tidsbesparingar för både de som lämnar uppgifterna som de som tar emot dem, dels förbättra kvaliteten i de data som samlas in.</P>
<P class="p351 ft10">Skolverket har vid kontakter med utredningen kraftigt understrukit att utrymmet för att öka kraven på skolhuvudmännens uppgifts- lämnande är starkt begränsat.</P>
<P class="p63 ft40">Enligt förordningen om den officiella statistiken<SPAN class="ft77">23 </SPAN>ska uppgifter för denna samlas in på ett sådant sätt att uppgiftslämnandet blir så enkelt som möjligt, står i proportion till användarnas behov, och är en rimlig arbetsbörda för uppgiftslämnarna. De statistikansvariga myndigheterna ska vid framställning av officiell statistik i så stor utsträckning som möjligt använda uppgifter ur befintliga register.</P>
<P class="p92 ft10">Skolverket har dock påpekat att förutsättningarna att hantera uppgiftslämnandet skiljer sig mycket åt mellan olika huvudmän. Det finns fortfarande mindre skolor och huvudmän som inte har något administrativt system alls. Uppgiftsinsamlingen får då ske genom direktinsamling via enkäter. Den administrativa bördan för</P>
<P class="p145 ft53"><SPAN class="ft51">22</SPAN><SPAN class="ft52">Statistiska centralbyrån (2013) a.a.</SPAN></P>
<P class="p126 ft31"><SPAN class="ft51">23</SPAN><SPAN class="ft54">Förordning (2001:100) om den officiella statistiken.</SPAN></P>
<P class="p356 ft18">169</P>
</DIV>
<DIV id="page_163">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312163x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">dessa skolor kan bli oproportionerligt tung vid förändringar och då nya data ska samlas in.</P>
<P class="p285 ft40">Skolverket samråder med Sveriges kommuner och landsting kring nya uppgiftsinsamlingar i enlighet med den samrådsrutin som anges i förordning om statliga myndigheters inhämtande av uppgif- ter från näringsidkare och kommuner<SPAN class="ft77">24</SPAN>. Samrådet omfattar bl.a. vil- ka uppgifter som ingår i undersökningen, tidpunkt för genomför- andet, urvalets storlek och kostnader för uppgiftslämnarna.</P>
<P class="p96 ft9">Även om möjligheten finns att registrera uppgifter i skolornas administrativa system krävs uppgiftsskyldighet för att säkerställa att uppgifterna faktiskt läggs in i systemen och för att systemleve- rantörerna ska utveckla tekniska lösningar. Vid förändringar är det därför viktigt att beakta helheten av den uppgiftsbörda som riktas mot huvudmännen. Kostnadsaspekter men även krav på kvalitet i data medför begränsningar för vad det är möjligt att samla in inom ramen för det nationella uppföljningssystemet. Eftersom kvaliteten i de lämnade uppgifterna ytterst är beroende av uppgiftslämnarna är det angeläget att upprätthålla förståelse och engagemang hos dessa.</P>
<P class="p316 ft32"><SPAN class="ft32">10.2</SPAN><SPAN class="ft125">Regelverket för hantering av data</SPAN></P>
<P class="p215 ft10">Det finns en omfattande lagstiftning på statistikområdet. För när- varande finns dessutom flera utredningar som ser över delar av regelverket. Utredningen bedömer att resultatet av dessa utred- ningar kommer att få betydelse för hur flera av de datafrågor bör hanteras som direktiven till föreliggande utredning reser.</P>
<P class="p239 ft13"><SPAN class="ft13">10.2.1</SPAN><SPAN class="ft121">En omfattande lagstiftning</SPAN></P>
<P class="p504 ft10">Följande lagar gäller för produktion, lagring och användning av data och statistik:</P>
<P class="p505 ft43"><SPAN class="ft64">-</SPAN><SPAN class="ft126">Lagen om den officiella statistiken </SPAN><SPAN class="ft40">(2001:99) anger syftet med den officiella statistiken samt behandlar frågor om krav på den- na, t.ex. kvalitetskriterier, uppgiftsskydd, uppgiftsskyldighet, utlämnande av uppgifter i vissa fall, gallring m.m.</SPAN></P>
<P class="p203 ft31"><SPAN class="ft30">24 </SPAN>SFS 1982:668.</P>
<P class="p144 ft18">170</P>
</DIV>
<DIV id="page_164">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312164x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p506 ft11"><SPAN class="ft41">-</SPAN><SPAN class="ft127">Förordningen om den officiella statistiken </SPAN><SPAN class="ft10">(2009:100) innehåller bland annat den bilaga där de statistikansvariga myndigheterna anges.</SPAN></P>
<P class="p507 ft11"><SPAN class="ft41">-</SPAN><SPAN class="ft128">Offentlighets- och sekretesslagen </SPAN><SPAN class="ft10">(2009:400) innehåller bland annat bestämmelser om sekretess till skydd för uppgift om enskilds per- sonliga eller ekonomiska förhållanden, samt särskilda bestäm- melser om sekretess hos vissa organ.</SPAN></P>
<P class="p508 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft127">Personuppgiftslagen </SPAN>(1998:204) innehåller bestämmelser som syf- tar till att skydda människor mot att deras personliga integritet kränks genom behandling av personuppgifter.</P>
<P class="p88 ft11"><SPAN class="ft41">-</SPAN><SPAN class="ft128">Lagen om etikprövning av forskning som avser människor</SPAN></P>
<P class="p509 ft10">(2003:460) reglerar forskningens användning av data och statis- tik.</P>
<P class="p510 ft10">Även tryckfrihetsförordningen<SPAN class="ft55">25 </SPAN>är till vissa delar tillämplig. Det gäller kapitel 2 om allmänna handlingars offentlighet. Dessutom finns förordningar om statliga myndigheters inhämtande av upp- gifter från näringsidkare och kommuner<SPAN class="ft55">26</SPAN>, om konsekvensutred- ning vid regelgivning<SPAN class="ft55">27</SPAN>, samt om myndigheters inhämtande av yttrande från Regelrådet<SPAN class="ft55">28</SPAN>.</P>
<P class="p16 ft10">Vidare finns ett stort antal s.k. registerförfattningar som inne- håller särregleringar på olika områden i förhållande till personupp- giftslagen (PUL). Patientdatalagen<SPAN class="ft55">29</SPAN>, polisdatalagen<SPAN class="ft55">30 </SPAN>och lagen om behandling av personuppgifter vid Institutet för arbetsmarknads- och utbildningspolitisk utvärdering<SPAN class="ft55">31 </SPAN>är exempel på sådana register- författningar.</P>
<P class="p100 ft39">Även Europeiska unionen har på unionsrättslig nivå reglerat behandlingen av personuppgifter genom det s.k. dataskyddsdirekti- vet<SPAN class="ft75">32</SPAN>. Inom ramen för Europarådet har den s.k. dataskyddskon- ventionen antagits<SPAN class="ft75">33</SPAN>. Till det kan läggas europaparlamentets och rådets förordning om framställning och utveckling av statistik om utbildning och livslångt lärande, som reglerar vilken data inom utbild-</P>
<P class="p511 ft53"><SPAN class="ft51">25</SPAN><SPAN class="ft52">Tryckfrihetsförordning (1949:105).</SPAN></P>
<P class="p296 ft59"><SPAN class="ft51">26</SPAN><SPAN class="ft70">Förordning (1982:668) om statliga myndigheters inhämtande av uppgifter från näringsid- kare och kommuner.</SPAN></P>
<P class="p187 ft53"><SPAN class="ft51">27</SPAN><SPAN class="ft52">Förordning (2007:1244) om konsekvensutredning vid regelgivning.</SPAN></P>
<P class="p187 ft59"><SPAN class="ft51">28</SPAN><SPAN class="ft70">Förordning (2011:118) om myndigheters inhämtande av yttrande från Regelrådet.</SPAN></P>
<P class="p187 ft59"><SPAN class="ft51">29</SPAN><SPAN class="ft70">Patientdatalagen (2008:355).</SPAN></P>
<P class="p187 ft59"><SPAN class="ft51">30</SPAN><SPAN class="ft70">Polisdatalagen (2010:361).</SPAN></P>
<P class="p296 ft59"><SPAN class="ft51">31</SPAN><SPAN class="ft70">Lagen (2012:274) om behandling av personuppgifter vid Institutet för arbetsmarknads- och utbildningspolitisk utvärdering.</SPAN></P>
<P class="p187 ft59"><SPAN class="ft51">32</SPAN><SPAN class="ft70">Europaparlamentets och rådet direktiv 95/46/EG.</SPAN></P>
<P class="p187 ft31"><SPAN class="ft51">33</SPAN><SPAN class="ft54">CETS 108.</SPAN></P>
<P class="p356 ft18">171</P>
</DIV>
<DIV id="page_165">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312165x1.jpg" id="img1">
</DIV>
<P class="p0 ft19">Data för utvärdering – utvecklingsbehov SOU 2014:12</P>
<P class="p94 ft10">ningområdet som medlemsländerna är skyldiga att samla in och leverera till Eurostat<SPAN class="ft55">34</SPAN>.</P>
<P class="p512 ft129">Myndighetens samrådsskyldighet och uppgiftslämnarnas skyldighet att medverka vid datainsamling</P>
<P class="p230 ft10">En statistikansvarig myndighet är enligt förordningen om statliga myndigheters inhämtande av uppgifter från näringsidkare och kom- muner skyldig att samråda med organisation eller annan som kan anses företräda de näringsidkare och kommuner som ska lämna uppgifterna<SPAN class="ft55">35</SPAN>.</P>
<P class="p140 ft9">När insamlade uppgifter ingår i SOS omfattas uppgiftlämnarna (näringsidkare, kommuner, ideella föreningar etc.) av uppgiftsskyl- dighet<SPAN class="ft28">36</SPAN>. Uppgiftskyldigheten gäller dock inte enskilda individer. Det innebär olika förutsättningar vid insamling av registerdata och andra data som samlas in direkt från enskilda, t.ex. genom enkäter. I det senare fallet behöver den enskilde inte besvara enkäten. Bort- fallet riskerar alltså att bli större i samband med direktinsamlad information än vid insamling av administrativa registerdata.</P>
<P class="p96 ft10">Vid enkätundersökningar är myndigheten i enlighet med statis- tikförordningen skyldig att uppge att deltagandet i undersökningen är frivilligt. I sådana fall räknas det förhållandet att personen skick- ar in ett enkätsvar som samtycke, dvs. det krävs inte någon separat undertecknad bekräftelse på samtycket.</P>
<P class="p109 ft13">Användning av registerdata för forskningsändamål – vad krävs?</P>
<P class="p56 ft10">Hur data får insamlas och lagras i en databas eller hämtas från olika register och lagras i ett nytt register för forskningsändamål kring- gärdas av omsorgsfullt reglerade processer. Några begrepp är cen- trala för förståelsen av dessa processer.</P>
<P class="p106 ft39"><SPAN class="ft81">Sambearbetning </SPAN>av registeruppgifter innebär att uppgifter om en specifik person hämtas från olika register och sammankopplas. I de fall samtliga registeruppgifter finns hos en och samma myndighet, t.ex. SCB, kan sambearbetningen ske inom denna myndighet. Fors- karna får då tillgång endast till oidentifierade uppgifter. När regis-</P>
<P class="p357 ft53"><SPAN class="ft51">34</SPAN><SPAN class="ft52">EG förordning nr 452/2008 av den 23 april 2008.</SPAN></P>
<P class="p180 ft59"><SPAN class="ft51">35</SPAN><SPAN class="ft57">Förordning (1982:668) om statliga myndigheters inhämtande av uppgifter från närings- idkare och kommuner.</SPAN></P>
<P class="p143 ft31"><SPAN class="ft51">36</SPAN><SPAN class="ft54">7 § SFS 2001:99.</SPAN></P>
<P class="p144 ft18">172</P>
</DIV>
<DIV id="page_166">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312166x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">teruppgifterna finns hos olika myndigheter uppstår en annan situa- tion. För att det ska vara möjligt att koppla uppgifterna kan de då inte vara helt oidentifierbara.<SPAN class="ft55">37</SPAN></P>
<P class="p14 ft10">Ett sätt att lösa detta på är att avidentifiera (avkoda) de data som lämnar SCB genom att personnummer ersätts med löpnummer<SPAN class="ft55">38</SPAN>. Ingen information kan då hänföras direkt till en enskild individ hos den myndighet till vilken uppgifterna lämnas. SCB har dock kvar en nyckel mellan dessa löpnummer och individernas personnum- mer. Hela eller delar av registret kan därför på nytt hänföras till en individ och länkas till andra register efter behov från myndigheter, utredare eller forskare.<SPAN class="ft55">39</SPAN></P>
<P class="p185 ft10">I personuppgiftslagen (PUL) görs en distinktion mellan person- uppgifter och <SPAN class="ft11">känsliga </SPAN>personuppgifter. Med personuppgift avses all information som direkt eller indirekt kan hänföras till en sär- skild person som är i livet. Känsliga personuppgifter är sådana som avslöjar ras eller etniskt ursprung, politiska åsikter, religiös eller filosofisk övertygelse eller medlemskap i fackförening samt person- uppgifter som rör hälsa och sexualliv. För behandling av sådana känsliga uppgifter gäller särskilda restriktioner. Enligt PUL<SPAN class="ft55">40 </SPAN>får känsliga personuppgifter endast behandlas för forskningsändamål om behandlingen <SPAN class="ft11">etikprövats</SPAN>, dvs. godkänts av en etikprövnings- nämnd enligt etikprövningslagen<SPAN class="ft55">41</SPAN>.</P>
<P class="p124 ft40">Om en uppgift kan lämnas ut ska även prövas mot offentlighets- och sekretesslagen (OSL)<SPAN class="ft77">42</SPAN>. Prövningen ska avse dels om uppgiften utgör en s.k. <SPAN class="ft43">allmän handling</SPAN>, dels om uppgiften omfattas av <SPAN class="ft43">sekre- tess </SPAN>eller inte. Någon allmän bestämmelse i OSL om utlämnade av uppgifter för forskningsändamål finns inte.</P>
<P class="p92 ft9">I PUL föreskrivs vidare att personuppgifter inte får behandlas för något ändamål som är oförenligt med det för vilket uppgifterna ursprungligen samlades in, den s.k. <SPAN class="ft12">finalitetsprincipen</SPAN>. I det fall en tänkt behandling inte omfattas av de ursprungliga ändamålen måste det alltså prövas om det nya ändamålet är förenligt med det ursprung- liga ändamålet för behandlingen. Av PUL följer vidare att behand- lingen av personuppgifter för historiska, statistiska eller vetenskap-</P>
<P class="p513 ft72"><SPAN class="ft51">37</SPAN><SPAN class="ft52">Dir. 2013:8 </SPAN>Förutsättningar för registerbaserad forskning<SPAN class="ft53">.</SPAN></P>
<P class="p187 ft53"><SPAN class="ft51">38</SPAN><SPAN class="ft52">16 § lagen (2001:99) om den offentliga statistiken.</SPAN></P>
<P class="p175 ft58"><SPAN class="ft51">39</SPAN><SPAN class="ft70">Prop. 2011/12:176 </SPAN>Behandling av personuppgifter vid Institutet för arbetsmarknads- och utbildningspolitisk utvärdering<SPAN class="ft59">.</SPAN></P>
<P class="p187 ft59"><SPAN class="ft51">40</SPAN><SPAN class="ft70">19 § personuppgiftslagen (1998:204).</SPAN></P>
<P class="p187 ft59"><SPAN class="ft51">41</SPAN><SPAN class="ft70">Lag (2003:460) om etikprövning av forskning som avser människor.</SPAN></P>
<P class="p187 ft31"><SPAN class="ft51">42</SPAN><SPAN class="ft54">Offentlighets- och sekretesslag (2009:400).</SPAN></P>
<P class="p356 ft18">173</P>
</DIV>
<DIV id="page_167">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312167x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">liga ändamål inte ska anses som oförenliga med de ändamål för vilka uppgifterna ursprungligen samlades in.<SPAN class="ft55">43</SPAN></P>
<P class="p297 ft13">Vad gäller för data som inte ingår i den officiella statistiken?</P>
<P class="p199 ft40">En statistikansvarig myndighet har rent formellt möjlighet att sam- la in uppgifter som inte ingår i den officiella statistiken (SOS) och presentera dessa på olika sätt, t.ex. i en publikation eller på sin webbplats. En anledning till detta kan vara att undersökningen varken genomförs årligen eller är periodiskt återkommande, eller att den inte fullt ut möter de kvalitetskrav som ställs upp i statistik- lagen. En annan kan vara att insamlingen avser nya uppgifter som på sikt, om de har tillräcklig kvalitet, kan komma att ingå i SOS. Detta är ett sätt som Skolverket använder sig av när verket intro- ducerar nya uppgiftsinsamlingar.</P>
<P class="p82 ft10">Utredningen har inte haft möjlighet att närmare granska i vilken omfattning olika myndigheter samlar in uppgifter och presenterar statistik vid sidan om SOS. En bedömning är dock att detta sker endast i begränsad omfattning. Skolverket har hittills valt att inte samla in registerdata utanför SOS annat än vid utvecklingen av ny uppgiftsinsamling. Trots att Skolverkets insamling av data sker inom ramen för SOS presenteras dock statistiken i vissa fall som SOS, i andra fall vid sidan om SOS. Orsakerna till detta är av mer historisk karaktär.</P>
<P class="p169 ft9">Det är enligt medarbetare på Skolverket svårt att motivera insam- ling av registerdata om inte avsikten är att den ska ingå i SOS. Man kan exempelvis inte räkna med att det ska komma in uppgifter i till- räcklig omfattning om insamlingen är frivillig. Om insamlingen inte sker inom ramen för SOS skulle därför uppgiftsskyldigheten behöva regleras på annat sätt, vilket ter sig ganska poänglöst när skyldigheten redan är reglerad inom ramen för SOS.</P>
<P class="p239 ft13"><SPAN class="ft13">10.2.2</SPAN><SPAN class="ft121">Pågående utredningar</SPAN></P>
<P class="p514 ft43"><SPAN class="ft40">Regeringen har i propositionen </SPAN>Ett lyft för forskning och innova- tion<SPAN class="ft130">44 </SPAN><SPAN class="ft40">tydliggjort sin ambition att stärka förutsättningarna för den forskning som utnyttjar de svenska befolkningsbaserade registren.</SPAN></P>
<P class="p473 ft53"><SPAN class="ft51">43</SPAN><SPAN class="ft52">9 § personuppgiftslagen (1998:204).</SPAN></P>
<P class="p143 ft74"><SPAN class="ft51">44</SPAN><SPAN class="ft54">Prop. 2008/09:50 </SPAN>Ett lyft för forskning och innovation<SPAN class="ft31">.</SPAN></P>
<P class="p144 ft18">174</P>
</DIV>
<DIV id="page_168">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312168x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p85 ft9">För närvarande pågår två utredningar som har relevans i samman- hanget. Den ena behandlar frågor om hur registerförfattningar ska utformas i framtiden, den andra frågor om hur de olika lagverken inom området ska bringas i bättre samklang med varandra.</P>
<P class="p222 ft13">Utredning om registerbaserad forskning</P>
<P class="p172 ft9">Regeringen har uppmärksammat att i den lagstiftning som finns kan två samhälleliga intressen komma att stå i konflikt med varandra. Det gäller å ena sidan intresset av att bedriva forskning som ger upphov till ny viktig kunskap och å andra sidan intresset av att skydda den enskildes integritet. Mot denna bakgrund har regeringen gett en särskild utredare i uppdrag att undersöka förutsättningarna för att bedriva s.k. registerbaserad forskning. Utredaren ska lämna författ- ningsförslag och andra förslag i syfte att</P>
<P class="p515 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">registeransvariga myndigheter i större utsträckning ska kunna lämna ut uppgifter för forskningsändamål med hänsyn tagen till skyddet för den enskildes integritet,</SPAN></P>
<P class="p364 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">sambearbetning av registeruppgifter för forskningsändamål ska underlättas, och</SPAN></P>
<P class="p365 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft27">göra det möjligt att på ett integritetssäkert sätt samla in person- uppgifter till register som förs för särskilda och uttryckligt angivna forskningsändamål samt till longitudinella studier som håller sig inom ramen för sådana ändamål.</SPAN><SPAN class="ft55">45</SPAN></P>
<P class="p516 ft10">Uppdraget ska slutredovisas den 30 juni 2014.</P>
<P class="p384 ft13">Utredning om registerlagstiftningen m.m.</P>
<P class="p91 ft10">Känsliga personuppgifter från myndigheter kan lämnas ut om det finns en särskild registerförfattning för det register inom vilket personuppgifterna ingår. Det finns mer än hundra sådana författ- ningar som kompletterar personuppgiftslagen och som innehåller bestämmelser om behandling av personuppgifter, och som därför kan kallas för särskilda registerförfattningar.<SPAN class="ft55">46 </SPAN>Någon fullständig kartläggning och överblick finns inte<SPAN class="ft55">47</SPAN>.</P>
<P class="p517 ft72"><SPAN class="ft51">45</SPAN><SPAN class="ft52">Dir. 2013:8 </SPAN>Förutsättningar för registerbaserad forskning<SPAN class="ft53">.</SPAN></P>
<P class="p175 ft59"><SPAN class="ft51">46</SPAN><SPAN class="ft70">Öhman, Sven (2006) </SPAN><SPAN class="ft58">Särskilda registerförfattningar </SPAN>i Cecilia Magnusson Sjöberg och Peter Wahlgren (red.) <SPAN class="ft58">Festskrift till Peter Seipel</SPAN>. Norstedts juridik.</P>
<P class="p126 ft31"><SPAN class="ft51">47</SPAN><SPAN class="ft54">Öhman, Sven (2006) a.a.</SPAN></P>
<P class="p356 ft18">175</P>
</DIV>
<DIV id="page_169">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312169x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p323 ft40">Regeringen gav 2011 en särskild utredare i uppdrag att se över registerlagstiftningen och bland annat göra en översiktlig invente- ring av registerförfattningarna. Utredaren ska närmare analysera hur författningarna fungerar inom tre olika verksamhetsområden och utarbeta en generell modell för reglering av registerfrågor<SPAN class="ft77">48</SPAN>.</P>
<P class="p167 ft40">Enligt direktiven måste ändringar göras i de aktuella registerför- fattningarna nästan varje gång elektronisk informationsöverföring mellan myndigheter ska införas, ändras eller utökas. Vidare måste komplicerade överväganden göras enligt offentlighets- och sekre- tesslagen (OSL). Om dessutom de grundläggande reglerna i tryck- frihetsförordningen<SPAN class="ft77">49 </SPAN>och OSL samt den principiella uppbyggnaden av registerförfattningarna inte är anpassade till varandra blir det svårt att hitta lösningar som är tillfredsställande från <NOBR>integritets-,</NOBR> effektivitets- och öppenhetssynpunkt i lagstiftningsärenden om elektronisk informationsöverföring mellan myndigheter.</P>
<P class="p82 ft10">För att kunna effektivisera förvaltningen med hjälp av modern informationsteknik är det därför enligt regeringen viktigt dels att respektive regelverk är väl genomtänkt och så enkelt som möjligt att tillämpa, dels att dessa regelverk är förenliga med varandra. Det är mot denna bakgrund behovet att göra en samlad översyn av des- sa regelverk i relevanta delar ska ses.</P>
<P class="p518 ft10">Uppdraget ska slutredovisas senast den 1 december 2014.</P>
<P class="p297 ft13">Utredningarna berör även register på skolans område</P>
<P class="p81 ft10">De båda utredningarnas arbete kan komma att påverka förutsätt- ningarna för registerhanteringen på skolans område. Ett exempel på en sådan särskild registerförfattning som nämns ovan är t.ex. lagen (2012:741) om behandling av personuppgifter vid Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU). Enligt denna får vid IFAU personuppgifter endast behandlas om det behövs för att fullgöra institutets uppdrag att främja, stödja och genom forskning genomföra studier, uppföljningar och utvärde- ringar. Att det här är fråga om en så bred ändamålsformulering beror på att den ansluter till IFAU:s uppdrag som det formulerats i myndighetens instruktion (2007:911).</P>
<P class="p519 ft72"><SPAN class="ft51">48</SPAN><SPAN class="ft52">Dir. 2011:86 </SPAN>Integritet, effektivitet och öppenhet i en modern <NOBR>e-förvaltning<SPAN class="ft53">.</SPAN></NOBR></P>
<P class="p143 ft31"><SPAN class="ft51">49</SPAN><SPAN class="ft54">Tryckfrihetsförordningen (1949:105).</SPAN></P>
<P class="p144 ft18">176</P>
</DIV>
<DIV id="page_170">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312170x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t13">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p520 ft132"><SPAN class="ft32">10.3</SPAN><SPAN class="ft131">Förslag och bedömningar om behovet av data för utvärdering och utvärdering av reformer</SPAN></P>
<P class="p521 ft10"><SPAN class="ft13">Utredningens förslag: </SPAN>I enlighet med verkets hemställan ges Skolverket möjlighet att samla in individdata för skolan i sin helhet, dvs. även för modersmålsundervisning och skolgång i specialskola, särskola och sameskola.</P>
<P class="p522 ft10"><SPAN class="ft13">Utredningens bedömning: </SPAN>Utvärdering av reformer kan baseras på data som samlats in till det löpande uppföljnings- systemet och på särskilt insamlad data. Utökade och förbätt- rade registerdata kan underlätta möjligheterna att utvärdera reformer. För utvärdering av reformer behövs dock ofta riktade uppgiftsinsamlingar, med frågeställningar relevanta för den aktuella reformen.</P>
<P class="p523 ft10">Det nationella uppföljningssystemet har en potential att utvecklas vad gäller ny uppgiftsinsamling, utökad analys av befintliga data från uppföljningssystemet och de internatio- nella studierna samt det sätt som informationen presenteras på. Vid utvecklingen bör ställning tas till vilka uppgifter som lämpar sig för att samla i form av registerdata, vilka uppgifter som bör utgöras av direktinsamlade data och ingå i det nationella uppföljningssystemet samt vilken information som inte lämpar sig för att ingå i detta. Detta är bedömningar som bör göras av Skolverket som statistikansvarig myndighet. Det är viktigt att Skolverket inför sina bedömningar samråder med forskare, myndigheter och andra aktörer som använder uppgif- terna i systemet.</P>
<P class="p524 ft9">Det har ingått i utredningens uppdrag att bedöma behovet av data för utvärdering av reformer, varför bedömningar av vissa specifika önskemål om ytterligare data presenteras i det följande.</P>
<P class="p525 ft10">För att det ska vara möjligt att utveckla och modernisera det nationella uppföljningssystemet behöver denna infrastruktur förstärkas finansiellt.</P>
<P class="p525 ft10">Med anledning av att det för närvarande pågår två utred- ningar som arbetar med frågor kopplade till hur förutsätt- ningarna för registerbaserad forskning kan förbättras, lämnas inte här några sådana förslag. Det är emellertid viktigt att regeringen i detta sammanhang bevakar de långsiktiga förut- sättningarna för <NOBR>UGU-databasen.</NOBR></P>
<P class="p526 ft18">177</P>
</DIV>
<DIV id="page_171">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">Generellt gäller att olika data behövs för olika syften och olika sta- tistiska metoder kräver olika typer av data. Detta påpekande grän- sar till det självklara. Utbildning och utbildningsval påverkar en individs sociala situation, yrkesval, sysselsättning, hälsa etc. Sociala bakgrundsfaktorer har ett starkt samband med hur elever lyckas i skolan. Verkningar av skolpolitiska reformer sträcker sig även utan- för själva skolan och kan många gånger avläsas först i vuxen ålder. Det är sammantaget inte enkelt att avgränsa vilken slags informa- tion som behövs för att utvärdera skolan eller att utvärdera skolpo- litiska reformer.</P>
<P class="p96 ft45">De behov av data för utvärdering av skolan och av reformer inom skolan som aktualiserats under utredningens arbete, bl.a. av Skolverket, IFAU och olika forskare, fördelar sig på några huvud- typer. Det handlar om behovet av individdata, uppgifter om under- visningens förutsättningar, genomförande och resultat. Det finns även frågeställningar som har att göra med hur data samlas in. Vi återkommer till dessa behov och frågeställningar i det följande.</P>
<P class="p213 ft13"><SPAN class="ft13">10.3.1</SPAN><SPAN class="ft121">Några utgångspunkter</SPAN></P>
<P class="p73 ft9">Utredningen framhöll redan i kapitel 4 att det löpande nationella uppföljningssystemet har en viktig roll i utvärderingen av skolan. Vi underströk samtidigt att uppföljnings- och utvärderingsystemet knappast på egen hand kan ge en så kvalificerad kunskap att det inte finns behov av att också genomföra särskilda utvärderingar av en reform eller ett reformskede. Ofta behövs också en komplette- rande uppgiftsinsamling. I kapitel 6 framhöll vi att det behövs en mångfald av utvärderingsmetoder, både kvantitativa och kvalitativa, för att utvärdera ett komplext system av det slag som skolan utgör.</P>
<P class="p308 ft9">Utredningen konstaterar vidare att inte minst forskare önskar sig många slags data om skolan, inte endast uppgifter om kunskaps- resultat. Till det man särskilt vill ha mer information om hör olika ramfaktorer för undervisningen och möjligheter att på olika sätt koppla samman lärarna med elever och undervisningsformer för att kunna studera det pedagogiska arbetet i skolan och kopplingarna mellan elevresultat och undervisning. Man vill också kunna följa individer från förskolan och in i arbets- och vuxenlivet.</P>
<P class="p96 ft45">De önskemål om data som olika intressenter uttrycker är i princip utan slut. Ju mer data som är tillgängliga, desto fler möj- ligheter finns det att genomföra olika slags studier och att samköra</P>
<P class="p368 ft18">178</P>
</DIV>
<DIV id="page_172">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">data från olika register. Mot bakgrund av detta faktum är det nödvändigt att peka på ett antal förutsättningar som måste beaktas vid varje diskussion om att utöka uppgiftsinsamlingen inom ramen för det nationella uppföljningssystemet:</P>
<P class="p67 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft27">Insamling, lagring, bearbetning, analys och rapportering av data medför kostnader av olika slag, kostnader som fördelas på skol- huvudmännen och staten. Ökad insamling av data behöver finansieras.</SPAN></P>
<P class="p527 ft9"><SPAN class="ft33"></SPAN><SPAN class="ft133">Uppgiftslämnarbördan är redan stor. När nya data samlas in bör därför alltid övervägas om det samtidigt kan genomföras andra lättnader för uppgiftslämnarna, t.ex. genom att upphöra att samla in andra mindre aktuella data eller på annat sätt under- lätta uppgiftslämnandet. Det senare kan dock vara förknippat med investeringar i systemen, som i så fall måste finansieras.</SPAN></P>
<P class="p364 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">Såväl i Sverige som utomlands tenderar svarsfrekvenserna i sta- tistiska undersökningar (enkäter) att minska. Detta gäller sär- skilt när enkäterna är märkta med personnummer eller löpnum- mer som kan kopplas till personnummer.</SPAN></P>
<P class="p365 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft27">Det finns ett omfattande regelverk att ta hänsyn till såväl när data samlas in som när insamlade data ska användas för olika ändamål, bl.a. forskning.</SPAN></P>
<P class="p528 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft27">Regeringen har på olika sätt markerat att möjligheterna att använda befintliga register för forskningsändamål bör förbättras och den har initierat olika utredningar som bl.a. har till uppgift att belysa hur väl de olika regelverken inom området samspelar med varandra.</SPAN></P>
<P class="p314 ft13"><SPAN class="ft13">10.3.2</SPAN><SPAN class="ft121">Individdata</SPAN></P>
<P class="p182 ft39">Fördelarna med en individbaserad uppgiftsinsamling bygger i grun- den på att alla uppgifter är likvärdiga och att samma uppgifter finns att tillgå för samtliga individer. Individdata ger stor flexibilitet och många möjligheter i samband med de flesta utvärderingsdesigner. Exempelvis behövs individdata kopplade till personnummer för att man ska kunna göra analyser av skolprestationers betydelse för sys- selsättningsgraden senare i livet. Samma sak gäller om man vill konstruera mått som anger vilken betydelse en viss skola har för elevernas resultatutveckling, s.k. <NOBR>value-added-mått.</NOBR></P>
<P class="p529 ft18">179</P>
</DIV>
<DIV id="page_173">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312173x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p250 ft10">Hanteringen av individdata omgärdas av bestämmelser som skyddar individen, vilket framgår ovan. Vid samkörning av register för forskningsändamål finns t.ex. i dag tekniker att avpersonifiera registeruppgifterna, dvs. personnumren tas bort och ersätts av löp- nummer. Endast SCB har tillgång till den s.k. kodnyckel som gör det möjligt att koppla samman individerna i de olika registren. Vidare publiceras inte uppgifter för enskilda individer eller för så små grupper att individer indirekt kan identifieras.</P>
<P class="p55 ft11">Individdata för grundskolan sedan 2008</P>
<P class="p262 ft40">Skolverket beslutade 2007 att samla in individbaserade uppgifter om grundskolans elever i syfte att öka kvaliteten på den officiella statistiken och minska uppgiftslämnarbördan. Beslutet föregicks av en intern utredning där fördelar och nackdelar med en individbase- rad uppgiftsinsamling vägdes mot varandra. Utredningen utmynna- de i bedömningen att fördelarna övervägde, med hänsyn till det samhällsintresse som finns för att behandla uppgifterna och det sekretesskydd som uppgifterna omgärdas av.</P>
<P class="p169 ft10">I samband med utredningen gjorde Skolverket även en utförlig genomgång av hela uppföljningssystemet för att uppmärksamma förekomsten av personuppgifter som i enlighet med personupp- giftslagen kan betraktas som känsliga. De personuppgifter som verket identifierade gällde modersmålsundervisning och skolgång i special- skola, särskola, sameskola samt skolgång i en fristående skola med konfessionell inriktning<SPAN class="ft55">50</SPAN>. Skolverket valde därför att hösten 2008 genomföra den första insamlingen på individnivå i grundskolan med undantag för dessa uppgifter.</P>
<P class="p169 ft45">Eftersom information om eleverna inom flera skolformer faller inom det som i lagstiftningen benämns som känsliga personuppgif- ter krävs en förändring i förordningen om den officiella statistiken för att Skolverket ska kunna samla in data om samtliga elevers skol- gång. Skolverket hemställde därför hösten 2007 hos regeringen om en ändring i förordningen om den officiella statistiken. Skol’verket har på regeringens uppdrag kompletterat hemställan. Regeringen har ännu inte beslutat i frågan.</P>
<P class="p530 ft31"><SPAN class="ft30">50 </SPAN>Skolinspektionen kategorisering av fristående skolor med konfessionell inriktning har upphört. Denna uppgift har därför inte längre någon relevans.</P>
<P class="p134 ft18">180</P>
</DIV>
<DIV id="page_174">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312174x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p64 ft11">Individdata för barn i förskola och pedagogisk omsorg från 2014</P>
<P class="p123 ft10">Det har från forskarhåll länge funnits önskemål om tillgång till data på individnivå avseende barn som deltar i förskola och pedagogisk omsorg, på motsvarande sätt som för elever i grundskolan. Rege- ringen har gett Skolverket i uppdrag<SPAN class="ft55">51 </SPAN>att införa en individbaserad uppgiftsinsamling avseende barn som deltar i förskola och pedago- gisk omsorg. Insamling av uppgifter ska påbörjas från och med 2014 och statistiken ska därefter finnas tillgänglig årligen. Individ- data finns även för gymnasieskolan – med undantag för gymnasie- särskolan.</P>
<P class="p243 ft11">Utredningens bedömning och förslag</P>
<P class="p182 ft9">Det är angeläget att Skolverket, i enlighet med den hemställan som myndigheten gjort hos regeringen, ges möjlighet att samla in indi- viddata för skolan i sin helhet, dvs. även för modersmålsundervis- ning och skolgång i specialskola, särskola och sameskola.</P>
<P class="p13 ft10">Möjligheten att göra detta är angelägen bland annat mot bak- grund av att även för specialskolan och sameskolan finns kunskaps- mål som motsvarar dem som gäller för grundskolan. Det kan därför ses som en fråga om likvärdighet att resultaten kan följas upp och att utbildningens långsiktiga effekter kan analyseras för dessa skol- former på motsvarande sätt som för grundskolan – trots att det här i flera fall handlar om förhållandevis små elevgrupper. Enligt vår uppfattning ger den lagstiftning som omgärdar uppgiftsinsamling och redovisning av statistik ett nödvändigt och tillräckligt skydd för individen.</P>
<P class="p471 ft13"><SPAN class="ft13">10.3.3</SPAN><SPAN class="ft121">Uppgifter om undervisningens förutsättningar och genomförande</SPAN></P>
<P class="p182 ft39">Med undervisningens förutsättningar avses här förhållanden som har att göra med undervisningstiden och dess fördelning på olika årskurser, sammansättningen av elevgrupper, förekomsten av sär- skilt stöd samt lärarnas formella kompetens etc. Med genomföran- de avses t.ex. skolans arbetssätt och användning av läromedel etc.</P>
<P class="p531 ft31"><SPAN class="ft30">51 </SPAN>Skolverkets regleringsbrev för 2013.</P>
<P class="p356 ft18">181</P>
</DIV>
<DIV id="page_175">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312175x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft13">Planerad och faktiskt genomförd undervisningstid</P>
<P class="p53 ft10">Bland annat från forskarhåll har framförts att det är angeläget att kunna utvärdera hur resultaten påverkas av skolornas fördelning av undervisningstiden. Det finns dock inte någon nationellt insamlad information om detta.</P>
<P class="p142 ft40">För grundskolan gäller enligt skollagen<SPAN class="ft77">52 </SPAN>att den totala undervis- ningstiden för varje elev ska vara 6 785 timmar. Därutöver framgår av bilaga till skollagen hur timmarna ska fördelas på olika ämnen eller ämnesgrupper. Både totalt och per ämne eller ämnesgrupp gäl- ler detta för hela grundskolan, dvs. över nio år. Av bilagan framgår också att av det totala antalet får 600 timmar användas för skolans val. Därvid får antalet timmar per ämne eller ämnesgrupp minskas med högst 20 procent. Detta gäller dock inte för svenska eller svenska som andraspråk och för matematik. Enligt skolförordnin- gen<SPAN class="ft77">53 </SPAN>beslutar huvudmannen efter förslag av rektorn om fördelning av undervisningstiden mellan årskurserna.</P>
<P class="p177 ft40">Huvudmannen har således en stor frihet att fördela tiden inom ramen för timplanen. Det gäller särskilt de huvudmän som genom beslut enligt en särskild bestämmelse<SPAN class="ft77">54 </SPAN>är undantagna från skyldig- heten att följa timplanen. Samtliga skolor och huvudmän måste dock ta hänsyn till ämnenas kursplaner vid planeringen av undervis- ningen. Med ett par undantag har samtliga ämnen ett centralt inne- håll angivet i kursplanen för årskurserna <NOBR>1–3,</NOBR> <NOBR>4-6</NOBR> respektive <NOBR>7–9.</NOBR> Hem- och konsumentkunskap och moderna språk saknar centralt innehåll för årskurserna <NOBR>1–3<SPAN class="ft77">55</SPAN>.</NOBR> Det går således inte att helt avstå från att undervisa i ett ämne under de tidigare åren, för att ta igen detta senare.</P>
<P class="p177 ft45">Bestämmelserna om undervisningstiden infördes i denna form huvudsakligen i och med 1994 års läroplan (Lpo 94). Läroplans- kommittén betonade i sitt slutbetänkande vikten av att läroplan, kursplaner och timplan skulle lämna ett friutrymme för professio- nell lokal utveckling av skolan. Regeringen underströk att timpla- nens bestämmelser inte skulle få utgöra ett hinder för pedagogiskt nytänkande och förändring. I och med Lpo 94 kom därför målen</P>
<P class="p213 ft53"><SPAN class="ft51">52</SPAN><SPAN class="ft52">10 kap. 5 § skollagen (2010:800).</SPAN></P>
<P class="p151 ft53"><SPAN class="ft51">53</SPAN><SPAN class="ft52">9 kap. 4 § skolförordningen (2011:185).</SPAN></P>
<P class="p151 ft59"><SPAN class="ft51">54</SPAN><SPAN class="ft70">10 kap. 6 § punkt 4 skollagen (2010:800).</SPAN></P>
<P class="p180 ft31"><SPAN class="ft51">55</SPAN><SPAN class="ft54">Detta gäller dessutom för teckenspråk för hörande, som kan väljas inom språkvalet i års- kurserna </SPAN><NOBR>4–9.</NOBR></P>
<P class="p134 ft18">182</P>
</DIV>
<DIV id="page_176">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">för utbildningen att betonas starkare än undervisningstiden i det enskilda ämnet.</P>
<P class="p63 ft40">Frånvaron av en detaljerad timplan har medfört att det sedan 1994 inte funnits data om fördelningen av undervisningstiden. Det saknas även jämförbar information på huvudmannanivå. Dels sam- lar inte alla huvudmän (kommunala och fristående skolor) in dessa uppgifter, dels är inte principerna för insamling de samma.</P>
<P class="p100 ft10">Hösten 2011 införde dock Skolverket en ny uppgiftsinsamling av grundskolornas <SPAN class="ft11">planerade undervisningstid </SPAN>per ämne och årskurs. Skolorna ska uppge den tid som schemaläggs. Det sker däremot ingen insamling av uppgifter om faktiskt genomförda lektioner. Skolverket har främst använt de insamlade uppgifterna i ett rege- ringsuppdrag om den garanterade undervisningstiden, men ny offi- ciell statistik över den planerade undervisningstiden ska tas fram under 2014. Det kommer enligt Skolverket att göra det möjligt att analysera uppgifterna om skolors planerade undervisningstid i kombination med skolornas resultatuppgifter. Uppgifter om plane- rad undervisningstid samlas dock in per årskurs och inte på individ- nivå.</P>
<P class="p532 ft40"><SPAN class="ft43">Utredningen bedömer </SPAN>att det är angeläget att kunna utvärdera hur skolornas fördelning av undervisningstiden påverkar resultaten. Den insamling som Skolverket nu initierat är värdefull och mot- svarar en rimlig ambition för en löpande insamling. Rapporteringen i skolornas administrativa system gör att det knappast är möjligt att med någon kvalitet löpande samla in uppgifter om faktiskt genom- förda lektioner, vilket annars vore att föredra.</P>
<P class="p92 ft40">För en mer fördjupad analys räcker dock, enligt vår bedömning, inte uppgifter som utgår från en planerad schemaläggning. Insam- ling av uppgifter om faktiskt genomförda lektioner bör i stället genomföras i form av särskilda studier som genomförs vid en speci- fik tidpunkt. Även sådana undersökningar kan genomföras med viss regelbundenhet och därmed också utgöra en del av det natio- nella uppföljningssystemet. Här måste dock nyttan vägas mot kostnaden för en sådan insamling.</P>
<P class="p15 ft29">Frågan om hur uppgifter om undervisningstiden kan samlas in är dessutom beroende av vad som händer med bestämmelserna om grundskolans timplan i framtiden.</P>
<P class="p533 ft18">183</P>
</DIV>
<DIV id="page_177">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft13">Undervisningsgruppens sammansättning</P>
<P class="p199 ft39">Från flera håll har vikten av uppgifter om undervisningsgruppens sammansättning (klasstorlek och vilka klasskamrater som ingår i undervisningsgruppen) betonats då sådana faktorer kan ha betydel- se för elevernas studieresultat. För att bättre kunna studera sam- banden krävs, menar man, bättre och mer heltäckande information om vilka undervisningsgrupper som varje elev tillhör, dvs. möjlig- heter att göra en koppling mellan elev och undervisningsgrupp.</P>
<P class="p56 ft10">Skolverket har tidigare samlat in uppgifter om klasstorlek. Insam- lingen upphörde dock när regelverket ändrades på <NOBR>1990-talet.</NOBR> I den nuvarande insamlingen av uppgifter om elever i grundskolan ska skolorna rapportera klassbeteckning för samtliga elever. Skolorna kan fritt namnge klassbeteckningarna enligt den benämning som används lokalt. Skolverket har hittills bara använt uppgiften som en hjälpvariabel vid återkontakter med skolor om felaktig inrapporte- ring.</P>
<P class="p96 ft40">På grund av kvalitetsbrister i uppgifterna om klassbeteckning har det enligt Skolverket inte gått att publicera uppgifter om klass- storlek. Verket utreder för närvarande vilket sätt som skulle kunna ge kvalitet i uppgiften om klassbeteckning utan att påtagligt påver- ka uppgiftslämnarbördan. Förutom att använda klassbeteckningen för att beräkna klasstorlek kan uppgiften även ge information om hur klasser sätts samman. Klassbeteckningen kan däremot inte ge någon helt korrekt bild av förutsättningarna för undervisningen, eftersom de faktiska undervisningsgrupperna varierar över såväl läs- år, vecka som dag och mellan ämnena.</P>
<P class="p534 ft10"><SPAN class="ft11">Utredningen bedömer </SPAN>att det vore värdefullt om det gick att publi- cera uppgifter om klasstorlek. Detta trots att klass och undervis- ningsgrupp inte är samma sak. Med begreppet klass menas i första hand en administrativ indelning av eleverna som gäller för en längre tid.</P>
<P class="p167 ft9">Vill man studera hur undervisningsgrupperna faktiskt ser ut i skolan krävs dock enligt vår uppfattning andra metoder för upp- giftsinsamlingen, t.ex. olika former av observationsstudier. Detta då en undervisningsgrupp kan skapas av lärarna själva utifrån peda- gogiska överväganden, ha varierande varaktighet och bestå av en del av eleverna i en klass eller av elever från flera olika klasser. Att behöva redovisa alla de pedagogiskt motiverade konstellationer</P>
<P class="p200 ft18">184</P>
</DIV>
<DIV id="page_178">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">som skapas till och från i verksamheten i register skulle medföra ett betydande merarbete för lärarna.</P>
<P class="p384 ft13">Särskilt stöd</P>
<P class="p182 ft45">Omfattningen av det särskilda stöd som skolorna ska ge elever som har svårigheter att nå målen för utbildningen är en fråga som har stort intresse för föräldrar, huvudmän och verksamma i skolan.</P>
<P class="p535 ft10">Hösten 2011 införde Skolverket en ny uppgiftsinsamling av upp- gifter om särskilt stöd i grundskolan på aggregerad nivå per skola, årskurs och kön. Uppgifterna avser förekomst av åtgärdsprogram, särskild undervisningsgrupp, anpassad studiegång och studiehandled- ning på modersmålet. Däremot samlas inte uppgifter in om orsakerna till det särskilda stödet. Den officiella statistik som publicerades hösten 2013 gav endast en översiktlig bild över det särskilda stödet i grundskolan och vilka tänkbara brister som kan finnas på system- nivå.</P>
<P class="p15 ft10">Skolverket planerar att samla in uppgifter på individnivå om sär- skilt stöd. Insamlingen avses ske från hösten 2014 för de elev- grupper där man redan i dag samlar in uppgifter på individnivå för andra variabler.</P>
<P class="p63 ft10">Det bör vidare noteras att uppgifter om stödundervisning även samlas in inom ramen för de s.k. elevpanelerna. Det gäller dock endast för ett urval elever och omfattar inte lika många typer av uppgifter om stöd som den insamling Skolverket planerar.</P>
<P class="p536 ft10"><SPAN class="ft11">Utredningen bedömer </SPAN>att den utveckling som Skolverket för när- varande genomför motsvarar de önskemål som man kan ställa på data över särskilt stöd.</P>
<P class="p384 ft13">Lärarnas formella kompetens</P>
<P class="p123 ft10">Det har påpekats att Skolverkets register över pedagogisk personal (lärarregistret) har haft brister, som begränsat registrets använd- barhet för att göra mer detaljerade analyser.</P>
<P class="p537 ft39">Skolverket har under de senaste åren på regeringens uppdrag utvecklat registret över pedagogisk personal (lärarregistret) i syfte att få fram</P>
<P class="p538 ft18">185</P>
</DIV>
<DIV id="page_179">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312179x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft40">ett mer detaljerat underlag. Målsättningen är, enligt regeringen, att verket ska kunna följa hur stor del av undervisningen som bedrivs av förskollärare respektive lärare som är behöriga för skolformen, årskursen och ämnet. Genom att kombinera uppgifterna från lärar- registret med Skolverkets register över legitimerade lärare kommer det att vara möjligt att följa upp lärarnas formella ämneskompetens nationellt men även på huvudmanna- och skolnivå.</P>
<P class="p227 ft29"><SPAN class="ft49">Utredningen bedömer </SPAN>att den utveckling av lärarregistret som Skolverket genomfört motsvarar de önskemål som framställts i fråga om detta register.</P>
<P class="p332 ft13">Möjlighet att koppla samman lärare och elev</P>
<P class="p53 ft10">Ökade möjligheter att statistiskt koppla samman elever med de lärare som undervisat dem har efterfrågats. Värdet av uppgifter som belyser vad som – förutom den formella utbildningen – karaktäri- serar en bra lärare har framhållits. Man menar att det skulle innebä- ra nya möjligheter att studera lärarnas betydelse för elevernas resultatutveckling och bidra till att ge en ökad förståelse för vilka läraregenskaper som är särskilt viktiga. För att kunna forska om dessa frågor krävs information om vilka lärare som undervisar vilka elever i vilka ämnen.</P>
<P class="p534 ft10">Rent tekniskt skulle det sannolikt, enligt Skolverket, vara möjligt att koppla samman uppgifter om elever med uppgifter om lärare. Det finns dock ett antal svårigheter som riskerar få till följd att uppgifterna skulle få låg kvalitet.</P>
<P class="p108 ft10"><SPAN class="ft11">För det första </SPAN>försvåras kopplingen mellan lärare och elev av att endast elevens personnummer ska registreras i betygskatalogen, inte lärarens. Det är endast den betygsättande lärarens namn och titel som ska registreras<SPAN class="ft55">56</SPAN>. Namn är aldrig en bra identifierare vid koppling av data.</P>
<P class="p167 ft45"><SPAN class="ft67">För det andra </SPAN>kommer inte den undervisande lärarens namn att registreras i betygskatalogen i de fall denne är obehörig. I stället registreras den betygssättande lärarens (eller rektorns) namn<SPAN class="ft68">57</SPAN>.</P>
<P class="p539 ft53"><SPAN class="ft51">56</SPAN><SPAN class="ft52">SKOLFS 2011:123 8 §.</SPAN></P>
<P class="p247 ft31"><SPAN class="ft51">57</SPAN><SPAN class="ft60">Bestämmelserna om att en obehörig lärare inte får sätta betyg trädde i kraft den 1 december 2013.</SPAN></P>
<P class="p134 ft18">186</P>
</DIV>
<DIV id="page_180">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">Detta innebär att det inte är möjligt att analysera betydelsen av om undervisande lärare är behöriga eller inte.</P>
<P class="p14 ft10"><SPAN class="ft11">För det tredje </SPAN>finns det fall där det inte räcker med att identifiera de ämnen lärarna undervisar i för att koppla elev och lärare i ett ämne. Det gäller då flera lärare undervisar i samma ämnen på en skola och då en lärare undervisar i ett flertal ämnen. Det behövs även en koppling som talar om vilket ämne just den eleven blivit undervisad i för just den läraren.</P>
<P class="p204 ft39"><SPAN class="ft81">För det fjärde </SPAN>möter elever som är i behov av särskilt stöd (ca 14 procent av eleverna i grundskolan) andra personalkategorier än sin lärare, både direkt och indirekt. Eleven kan få direkt stöd, t.ex. av resurspersonal eller speciallärare, men den ansvarige läraren kan också få stöd av t.ex. en specialpedagog för att skapa en undervis- ningssituation för eleven som utgår från elevens individuella behov.</P>
<P class="p540 ft10"><SPAN class="ft11">Utredningen bedömer </SPAN>att den efterfrågade möjligheten att koppla samman lärare och elev på registernivå är intressant då den skulle möjliggöra analyser på nationell nivå av vilken betydelse lärares utbildning har för elevers skolframgång och framtida yrkesliv. Det skulle ge möjlighet att analysera betydelsen av att lärare har en lärarutbildning eller betydelsen av att lärare har utbildning i det ämne de undervisar i.</P>
<P class="p13 ft10">Mot bakgrund av de svårigheter som redovisats ovan är det dock svårt att motivera en utökad uppgiftsinsamling av det slag som efterfrågas. Det är helt enkelt svårt att åstadkomma en koppling av data mellan lärare och elev i de administrativa registren som svarar mot de kvalitetskrav som bör ställas för att data ska kunna använ- das vid kvalificerad analys. Det skulle dessutom medföra en kraftigt utökad utgiftsbörda för skolorna samt öka kostnaderna för system- leverantörerna.</P>
<P class="p204 ft9">Framför allt är det svårt att se den verkliga nyttan, givet de pro- blem som registren är behäftade med. Varje elev i registret har under sin skoltid många olika lärare. Vissa av dessa kommer inte att vara möjliga att koppla till eleven. Eftersom kunskapande är en process så räcker det inte att koppla elev och lärare i exempelvis årskurs 9. Hela skoltiden har betydelse för resultaten, varför man åtminstone behöver uppgifter om undervisande lärare vid ett antal tidpunkter under grundskolan, t.ex. årskurserna 3, 6 och 9, och detta per ämne. Det handlar med andra ord om en ansenlig mängd uppgifter som inte registreras i dag. Att betygssättande lärare inte alltid är lika med undervisande lärare är ytterligare ett problem.</P>
<P class="p501 ft18">187</P>
</DIV>
<DIV id="page_181">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p541 ft10">Enligt vår uppfattning är det av olika anledningar knappast rea- listiskt att kraftigt utöka kravet på registrering i de administrativa systemen. En sådan uppgift skulle antingen belasta lärarna själva, i ett läge när ambitionen är att avlasta dem administrativa uppgifter, eller innebära utökade uppgifter för administrativ personal på sko- lorna. Dessutom skulle sannolikt den utökade registreringen och samkörningen av många lärare uppfattas som en långtgående kontroll av deras arbete.</P>
<P class="p54 ft10">Även om vi delar uppfattningen att studier av lärarnas och olika läraregenskapers betydelse för elevernas resultatutveckling är viktiga, anser vi således inte att nyttan av att kunna koppla uppgif- ter om lärare och elev i de administrativa registren uppväger kost- naderna och den belastning detta skulle innebära för skolorna. Frågor om vad som kännetecknar en bra lärare är dessutom komp- lexa till sin natur och kan enligt vår uppfattning bättre studeras med andra metoder.</P>
<P class="p54 ft10">Utredningen konstaterar samtidigt att vissa uppgifter redan finns i skolornas register – även om de i dag inte är sammankopp- lade i systemen och är exporterbara – som kan samlas in i samband med särskilda studier, företrädesvis för ett representativt urval av skolor.</P>
<P class="p109 ft13">Skolans arbetssätt</P>
<P class="p262 ft40">Förutsättningarna för att studera vad som fungerar i klassrummet anses från flera håll i dag vara begränsade. Man noterar att det sak- nas uppgifter om hur rektorer och lärare använder sin tid i skolan och om vilka pedagogiska arbetssätt som tillämpas.</P>
<P class="p106 ft9">Forskare har i olika sammanhang efterfrågat kompletterande uppgifter om hur undervisningen bedrivs, gruppindelningar, åtgär- der för att individualisera undervisningen, pedagogiska metoder, läxor, prov, samverkan med föräldrarna, etc. Man vill bland annat kunna studera hur detta samspelar t.ex. med lärares kunskaper. Sådan information skulle enligt forskarna kunna samlas in genom exempel- vis enkätundersökningar som riktas till ett (roterande) urval av skolor och där enkäterna är utformade så att informationen görs kvantifierbar. Även uppgifter om klassrumsklimat, elevernas motiva- tion, samt hur mycket tid de lägger på sitt skolarbete i skolan och på fritiden, skulle enligt forskarna kunna bidra till ökad kunskap om förutsättningarna för lärandet.</P>
<P class="p542 ft18">188</P>
</DIV>
<DIV id="page_182">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312182x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p85 ft10">Det nationella uppföljningssystemet kan i dag belysa utbildningens förutsättningar och resultat. Däremot innehåller inte systemet någ- ra uppgifter om olika undervisningsprocesser, dvs. om vad som sker i klassrummet, eller hur det upplevs av eleverna. Här aktualise- ras i än högre grad än för uppgifter om undervisningens förutsätt- ningar frågan om vilka uppgifter som bör samlas in som regis- terdata, vad som kan samlas in genom periodiskt återkommande uppföljningar och vad som behöver vara föremål för särskilda stu- dier (ad hoc).</P>
<P class="p15 ft10">Processerna i klassrummet (frågor om arbetssätt, läromedelsan- vändning, klassrumsklimat, elevernas motivation, m.m.) kan bely- sas med olika metodiska ansatser och tekniker.</P>
<P class="p117 ft9">Exempelvis har Skolverket vart tredje år sedan 1993 genomfört en enkätundersökning – <SPAN class="ft12">Attityder till skolan </SPAN>– bland elever i årskurs <NOBR>7–9</NOBR> samt bland lärare i hela grund- och gymnasieskolan<SPAN class="ft28">58</SPAN>. Vissa år har undersökningen kompletterats med en föräldraenkät. Attityd- undersökningen syftar bland annat till att bidra till en fördjupad diskussion om skolan och ge signaler till ytterligare analyser. Under- sökningen innehåller uppgifter om lärares kompetens och skick- lighet, skolans arbetssätt och miljö för lärande, stöd, motivation, trivsel, trygghet, stress och krav i skolan samt kränkningar.</P>
<P class="p204 ft40">Utredningen har övervägt om Skolverkets arbete med <SPAN class="ft43">Attityder till skolan </SPAN>kan utvecklas metodologiskt och i fråga om innehållslig bredd för att möta forskarnas behov. Vi konstaterar dock att atti- tydundersökningen som den hittills varit utformad inte kan utgöra en utgångspunkt för att möta forskarnas efterfrågan på ytterligare data om skolans arbetssätt. Attitydundersökningen görs för det första på ett för litet urval för att det ska vara möjligt att bryta ner data på lägre nivåer, för det andra måste man ange på förhand vilka samkörningar man planerar att göra. Genom att svara på enkäten ger varje individ i urvalet sitt samtycke. Personnummer (löpnum- mer) finns förvisso för de individer som ingår i urvalet och för de enkätsvar som inkommit kan samkörning göras, men när kör- ningen gjorts avkodas uppgifterna, dvs. personnumret gallras bort. Detta medför att uppgifter i attitydundersökningarna därefter inte kan samköras med uppgifter i andra register, vilket begränsar atti- tydundersökningens värde för forskningen.</P>
<P class="p290 ft10">Om Friskolekommitténs förslag om en ”kundundersökning” för skolan realiseras kan detta komma att påverka attitydunder-</P>
<P class="p543 ft31"><SPAN class="ft30">58 </SPAN>Skolverket (2013) <SPAN class="ft74">Attityder till skolan 2012</SPAN>. Rapport nr. 390.</P>
<P class="p356 ft18">189</P>
</DIV>
<DIV id="page_183">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">sökningens utformning. Enligt uppgift från Skolverket kan denna komma att få ett mer avgränsat innehåll jämfört med i dag. Även Skolinspektionens enkätundersökningar till elever, lärare och för- äldrar bör vägas in i detta sammanhang. Syfte med dessa är dock att ge underlag inför tillsyn och enkäterna är anonyma, bl.a. för att hålla uppe svarsfrekvensen.</P>
<P class="p107 ft10">Utöver Skolverkets återkommande attitydundersökning finns också sedan lång tid vissa longitudinella data med koppling till under- visningen i de s.k. elevpanelerna som SCB samlar in i samarbete med bl.a. <NOBR>UGU-projektet</NOBR> vid Göteborgs universitet. Det gäller uppgifter om bl.a. stödundervisning, hemspråksundervisning och språkval. Inom ramen för UGU samlas dessutom uppgifter in om bl.a. inställning till skolan och skolmotivation för elever i årskurs 6 samt genom enkäter till lärare, som undervisar vissa kohorter av elever, personliga uppgifter relaterade till arbetet som lärare, klass- storlek och klassammansättning, undervisningen samt skolans kvalitet.</P>
<P class="p349 ft9"><SPAN class="ft12">Utredningen bedömer </SPAN>att det är viktigt att undersöka olika möjlig- heter för att öka kunskapen om skolans arbetssätt. Det bör vara fullt möjligt att belysa vissa aspekter av skolans arbetsätt genom exempelvis enkätundersökningar som riktas till ett (roterande) urval av skolor och där enkäterna utformats så att svaren är möjliga att omvandla till kvantifierbar information på skolnivå. För att förbättra informationsläget inom detta område krävs att en ny undersökningsdesign utvecklas. För Skolverket som statistikansva- rig myndighet är detta en resursfråga. Myndigheten måste också ta hänsyn till skolhuvudmännens uppgiftslämnarbörda.</P>
<P class="p544 ft40">Vi menar dessutom att det finns anledning att vara försiktig med vilken typ av direktinsamlade uppgifter som registreras i det löp- ande statistiksystemet. Svar på frågor om hur undervisningen organiseras eller genomförs, kan vara känsliga för ”tidens gång”. Sättet att tolka en fråga och att besvara den kan påverkas av att kontexten runt frågan och runt den som besvarar den förändras. Dessutom måste det vägas in att det blivit allt svårare att uppnå en hög svars- frekvens på enkätundersökningar, särskilt om personnummer/löp- nummer registreras.</P>
<P class="p96 ft45">Vår bedömning är att skolans arbetsätt är ett område där det finns anledning för olika aktörer att successivt utveckla nya instru- ment eller att komplettera redan befintlig uppgiftsinsamling. Det gäller inte endast Skolverket. Vill man bygga upp longitudinella</P>
<P class="p297 ft18">190</P>
</DIV>
<DIV id="page_184">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p85 ft45">register med data av detta slag bör även övervägas vilken roll t.ex. UGU kan spela. Även i detta fall blir det en fråga om finansiering.</P>
<P class="p184 ft13">Läromedel</P>
<P class="p91 ft29">Uppgifter om vilka läromedel som används har efterlysts. Uppgif- terna skulle kunna användas för att utvärdera effekterna av lärome- del och arbetssätt.</P>
<P class="p545 ft10"><SPAN class="ft11">Utredningen bedömer </SPAN>att det är av stort värde att kunna följa utveck- lingen på läromedelsområdet. Detta bl.a. mot bakgrund av den stora frihet som skolan och läraren har att välja läromedel och besluta om hur dessa ska används i undervisningen. Denna frihet påverkar sam- tidigt förutsättningarna att studera läromedelsanvändningen i ett statistiksystem. Utredningen konstaterar att Skolverket redan i dag gör en återkommande enkätstudie med <NOBR>it-inriktning.</NOBR> Eventuella ytterligare uppgifter bör ingå i den återkommande enkätundersök- ningen eller i särskilda riktade undersökningar av läromedelsanvänd- ningen.</P>
<P class="p299 ft13"><SPAN class="ft13">10.3.4</SPAN><SPAN class="ft121">Uppgifter om undervisningens resultat</SPAN></P>
<P class="p91 ft10">Frågan om systemet för att följa kunskapsresultaten över tid i den svenska skolan har redan behandlats i föregående kapitel. Här kom- menteras därför endast några specifika frågor om de nationella pro- ven samt frågan om tidiga bedömningar.</P>
<P class="p222 ft13">Mer objektiv rättning av nationella prov</P>
<P class="p182 ft39">Tillgång till goda data för att kunna göra olika slags jämförelser och analyser, t.ex. av orsakssamband, är en fråga som under senare år lyfts fram från flera håll. För att säkra tillgången till goda data krävs, menar man, en mer objektiv rättning av de nationella proven.</P>
<P class="p546 ft39">Utredningen uppfattar inte att det ligger inom ramen för direktiven att lämna förslag när det gäller frågan om behovet av mer objektiv rätt- ning av nationella prov. Frågeställningen rör inte data som behövs utan handlar mer specifikt om kvaliteten på de data som finns. Vi har dessutom i föregående kapitel föreslagit att en utredning till-</P>
<P class="p547 ft18">191</P>
</DIV>
<DIV id="page_185">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">sätts för att se över hela systemet för att följa kunskapsresultaten i den svenska skolan. En sådan utredning bör i så fall även pröva frågan om hur rättningens kvalitet kan förbättras. Några tankar vill vi dock förmedla.</P>
<P class="p106 ft9">Att prov ska rättas så objektivt som möjligt är självklart, hur detta ska gå till är dock mindre självklart. Förmågan att bedöma är central i lärarens profession. Att ta ifrån läraren uppgiften att bedö- ma proven skulle därför kunna uppfattas som en deprofessionalise- ring av lärarkåren. Dessutom skulle provens förebildliga ambition riskera att gå förlorad eller åtminstone minska.</P>
<P class="p167 ft9">Samtidigt är kravet på likvärdig bedömning vid rättningen av de nationella proven viktig. De omrättningar som Skolinspektionen har genomfört visar att proven i hög grad bedöms på samma sätt av elevernas lärare och Skolinspektionens omrättare. I två delprov, nämligen de längre skrivuppgifterna i engelska och svenska i årkurs 9 och gymnasieskolans kursprov i samma ämnen, finner man dock större avvikelser mellan lärarnas ursprungliga bedömning och omrättarens. Det går dock inte att avgöra vilken rättning som är</P>
<P class="p548 ft10">”rätt” eller ”fel”, endast att det finns en spridning i bedömningen.</P>
<P class="p180 ft10">Det är också ett välbekant fenomen att variationen i bedömningen ökar vid frågor som kräver längre självproducerade svar. Iaktta- gelsen ligger i linje med svensk och internationell forskning om bedömarreliabilitet.</P>
<P class="p453 ft10"><SPAN class="ft11">Utredningen bedömer</SPAN>, i likhet med Skolverket, att det finns goda möjligheter att utveckla och, om det behövs, reglera formerna för kollegial bedömning i Sverige. Här finns förebilder att tillgå, t.ex. i England som Skottland. Man talar där om <SPAN class="ft11">modering </SPAN>och har skapat olika institutionella arrangemang för detta. En möjlighet är att utforma ett system där prov från en skola lottas på lärare på en eller flera andra skolor för extern medbedömning.</P>
<P class="p55 ft13">Insamling av provresultat på poängnivå</P>
<P class="p199 ft39">Forskare har efterfrågat att rapporteringen av resultat på nationella prov genomgående borde ske på poängnivå. För vissa årskurser samlas resultaten i dag endast in på betygsnivå. För att kunna ana- lysera elevernas resultat på nationella prov med den precision som krävs för att olika svårigheter – och mönster bakom dessa svårig- heter – ska framträda, vill man kunna fingradera bedömningen mer</P>
<P class="p304 ft18">192</P>
</DIV>
<DIV id="page_186">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312186x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p85 ft45">än vad som är möjligt i ett antal betygssteg. Provbetyg döljer även alla underliggande resultatskillnader för elever med samma betyg.</P>
<P class="p330 ft10">De nationella proven består av ett antal delprov. Betyg sätts på varje delprov. De olika betygen på delproven vägs sedan samman till ett sammanfattande provbetyg. Skolverket samlar in betygen per ämne från de nationella proven i årskurs 6 och 9, både del- provsbetygen och det sammanfattande provbetyget. För årskurs 3 samlas uppgifter om delprovspoäng in, liksom om eleven nått krav- nivån för godtagbara kunskaper eller inte.</P>
<P class="p92 ft10">Innan betyg infördes i årskurs 6, samlades uppgifter in om den poäng eleverna uppnått på respektive delprov både i årskurs 3 och årskurs 6. Syftet med insamlingen var att kunna analysera hur väl eleverna klarade de olika delproven (hur väl de hade förvärvat den förmåga som testades på just det delprovet) samt hur fördelningen såg ut, dvs. hur stor andel av elevresultaten som befann sig i gräns- landet av de mål som skulle uppnås, inte ens var i närheten eller hade uppnått kravnivån med råge.</P>
<P class="p204 ft10">Skolverket har inte några data på uppgiftsnivå. De institutioner som gör proven genomför dock egna insamlingar av fullständiga lösningar av provuppgifterna. Dessa insamlingar baseras emellertid enbart på lösningar från elever som är födda på vissa, fördefiniera- de, datum, vilket möjliggör vissa fördjupade analyser av elevernas provresultat. Vad vi har förstått varierar det sätt som insamlingen sker mellan institutionerna och urvalen kan inte förväntas vara så stora att dessa insamlingar svarar mot forskarnas behov av underlag på poängnivå.</P>
<P class="p15 ft10">Skolverket anser inte att nyttan med poänginsamling står i pari- tet med den uppgiftslämnarbörda den skulle orsaka. Man menar att den insamling som sker av betyg i årskurserna 6 och 9 i grund- skolan och av provbetyg från årskurserna 3, 6 och 9 är tillräcklig för uppföljningens behov. Man menar vidare att den nya betygsskalan med fler steg ger mer preciserade resultat än den tidigare. Insam- lingarna av poäng har enligt verket visat sig vara mycket krävande. Även felrapporteringar är vanligt förekommande när det gäller rapportering av poängnivåer.</P>
<P class="p185 ft39">För en poängrapportering argumenterar bl.a. <NOBR>Jan-Eric</NOBR> Gustafsson m.fl. i en nyligen utkommen <NOBR>SNS-rapport<SPAN class="ft75">59</SPAN>.</NOBR> Författarna konstateras att information från de nationella proven kan förväntas vara av</P>
<P class="p136 ft86"><SPAN class="ft84">59 </SPAN>Gustafsson, <NOBR>Jan-Eric,</NOBR> Christina Cliffordson och Gudrun Ericson (2014) <SPAN class="ft85">Likvärdig kun- skapsbedömning i och av den svenska skolan – problem och möjligheter</SPAN>. SNS Förlag.</P>
<P class="p356 ft18">193</P>
</DIV>
<DIV id="page_187">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312187x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft9">intresse för uppföljnings- och forskningsändamål och att den där- för bör samlas in. Man menar vidare att det är viktigt att insam- lingen av provresultat inte begränsas till det sammanfattande prov- betyget, och inte heller till de olika delbetygen. Det är i stället nödvändigt att göra storskaliga insamlingar även av de poängtal som eleverna når på de olika delproven. Som stöd för sina slutsaster hänvisar författarna till Koretz<SPAN class="ft28">60 </SPAN>som visat att prestationsmått som sammanfattas i så grova kategorier som fyra till sex betygssteg knappast är användbara för uppföljningsändamål, eftersom presta- tionsförändringar i allmänhet är relativt små.</P>
<P class="p374 ft40"><SPAN class="ft43">Utredningen bedömer </SPAN>att det är angeläget att resultaten från de nationella proven samlas in på poängnivå, för att möjliggöra analy- ser med högre precision. Vi inser samtidigt att hindren för en sådan rapportering i dag handlar om såväl de administrativa systemens funktionssätt och hur vissa prov är konstruerade<SPAN class="ft77">61 </SPAN>som de rutiner och tidsplaner som institutionerna som utarbetar proven arbetar med. Det bör emellertid undersökas om det med rimliga insatser går att kortsiktigt komma till rätta med dessa problem. Utred- ningen har samtidigt föreslagit att hela frågan om ett nationellt system för kunskapsbedömning och de nationella proven bör ut- redas i ett sammanhang. Frågan om insamling av resultat på poäng- nivå bör ingå i uppdraget till en sådan utredning.</P>
<P class="p304 ft13">Tidiga bedömningar</P>
<P class="p199 ft39">Forskare<SPAN class="ft75">62 </SPAN>vill kunna utvärdera hur insatser i de lägre åldrarna påverkar elever med olika förutsättningar. För att kunna bedöma effekterna av olika insatser behövs, menar man, mätningar av elev- ernas förmågor och färdigheter så tidigt som möjligt, gärna redan innan de börjar i skolan, dvs. i förskolan. Det har konstaterats att</P>
<P class="p549 ft58"><SPAN class="ft51">60</SPAN><SPAN class="ft57">Koretz, Daniel M. (2008) </SPAN>Measuring Up. What Educational Testing Really Tells Us. <SPAN class="ft59">Har- vard Press. Cambridge, Massachusetts, London, England.</SPAN></P>
<P class="p232 ft59"><SPAN class="ft51">61</SPAN><SPAN class="ft57">Bland annat förekommer det att betyg på delprov inte endast grundas på det samlade antalet poäng på delprovet, utan att eleven också måste ha fått visst antal poäng på delar av delprovet för att betyget ska kunna sättas. Sådana konstruktioner försvårar naturligtvis möjligheterna att låta administrativa system beräkna delprovsbetyget.</SPAN></P>
<P class="p180 ft72"><SPAN class="ft51">62</SPAN><SPAN class="ft71">Se Allan Svensson (red.) (2011) </SPAN>Utvärdering genom Uppföljning. Longitudinell individ- forskning under ett halvsekel<SPAN class="ft53">. Gothenburg Studies in Educational Sciences 305. Göteborgs universitet. Se även Camilo von Greiff, Anna Sjögren och </SPAN><NOBR><SPAN class="ft53">Ing-Marie</SPAN></NOBR><SPAN class="ft53"> Wieselgren (2012) </SPAN>En god start – en <NOBR>ESO-rapport</NOBR> om tidigt stöd i skolan<SPAN class="ft53">. Rapport till Expertgruppen för studier i offentlig ekonomi, 2012:2.</SPAN></P>
<P class="p51 ft18">194</P>
</DIV>
<DIV id="page_188">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">en del huvudmän redan i dag kartlägger t.ex. barns språkutveckling genom olika diagnos- och bedömningsmaterial.</P>
<P class="p283 ft10"><SPAN class="ft11">Utredningen bedömer </SPAN>att denna fråga aktualiserar den grund- läggande frågan om samhällets och forskningens nytta i förhållande till den enskildes integritet.</P>
<P class="p117 ft40">Frågan om insamling av tidiga bedömningar av kognitiv förmåga skiljer sig på flera sätt från de övriga önskemålen om ytterligare data. Utredningen har i ett tidigare avsnitt redovisat den kompli- cerade lagstiftning som gäller inom området. När det gäller exempelvis de tester som görs inom ramen för <NOBR>UGU-databasen</NOBR> krävs den enskildes samtycke till att delta. Sannolikheten för stora bortfall är stor om detta skulle göras i nationell skala. Att genom lagstiftning tvinga föräldrarna att låta sina barn delta i tester av barnens kognitiva förmåga förefaller att gå utöver det rimliga. Enligt vår upp- fattning lämpar sig denna typ av uppgiftsinsamling bättre för den typ av forskningsdatabaser som exempelvis UGU utgör, och där de deltagande har gett sitt medgivande.</P>
<P class="p124 ft10">Även den efterfrågan som finns på insamling av resultat från de olika diagnos- och bedömningsmaterial som ibland används i för- skolan för att framför allt kartlägga barns språkutveckling anser vi problematisk. Det är en sak vad enskilda förskolor och skolor gör lokalt för att diagnosticera barn och elever, t.ex. i samband med planering och genomförande av undervisning. Det är en helt annan sak vad som är lämpligt att samhället samlar in på nationell nivå – särskilt om detta sker på individnivå för hela populationer. Det går knappast att samla in sådana data utan att bli mer eller mindre föreskrivande om att det ska genomföras denna typ av diagnoser och hur de ska genomföras. Att genomföra särskilda studier som utgår från resultaten från befintliga diagnoser bör däremot vara möjligt under förutsättning att föräldrarna har gett sitt godkän- nande till det.</P>
<P class="p422 ft13"><SPAN class="ft13">10.3.5</SPAN><SPAN class="ft121">Kostnader och elevresultat</SPAN></P>
<P class="p182 ft45">Myndigheter och forskare har konstaterat att huvudmännen använ- der sig av olika system för att hämta in uppgifter om elever och lärare och föreslår att dessa system vidareutvecklas för att möjlig- göra nationell insamling av uppgifter om elever och lärare.</P>
<P class="p550 ft18">195</P>
</DIV>
<DIV id="page_189">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312189x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p419 ft40">Forskare har konstaterat att det finns begränsad kunskap om effekterna av kompensatoriska inslag i huvudmännens resursfördel- ning och av hur olika typer av resurser påverkar elevers resultat. Enligt forskare vore det önskvärt att kostnadsdata samlas in på skolnivå, gärna uppdelat på olika utgiftsposter. Man önskar också att få tillgång till information om de principer som ligger bakom kommunernas resursfördelningssystem.</P>
<P class="p453 ft40"><SPAN class="ft43">Utredningen bedömer </SPAN>att det är svårt att göra något åt att kom- munerna använder sig av olika administrativa och ekonomiska sys- tem<SPAN class="ft77">63 </SPAN>med mindre än att staten genom lagstiftning föreskriver ett enhetligt system för samtliga kommuner och landsting, något vi bedömer vara mindre realistiskt. Man har vidare olika system för budgetuppföljning. Det är enligt Skolverket svårt att få in jämför- bara uppgifter. Detta är givetvis problematiskt.</P>
<P class="p107 ft10">Det är dock värt att notera att Norge valt en annan väg. Där inleddes, i samband med övergången till målstyrning under första halvan av <NOBR>1990-talet,</NOBR> ett utvecklingsarbete av statistiken inom kom- munsektorn under rubriken KOSTRA <NOBR>(Kommun-Stat-Rapporte-</NOBR> ring)<SPAN class="ft55">64</SPAN>. Arbetet inriktades på att skapa ett sammanhållet produk- tionssystem för definitionsmässigt enhetlig ekonomisk statistik och verksamhetsstatistik. Från och med 2002 ingår alla kommuner och fylken i KOSTRA.</P>
<P class="p359 ft10">Även OECD<SPAN class="ft55">65 </SPAN>har noterat att de svenska kommunerna har olika system för datainsamling, att de inte är standardiserade och inte kan användas för att göra jämförelser mellan kommunerna. Detta gäller även för de fristående skolorna. Varje utbildningsanordnare samlar in sina egna data och det finns inte någon strävan att harmo- nisera denna datainsamling. Även på skolnivå är datasystemen mycket olika och ojämna och en del skolor saknar system för att hantera data.</P>
<P class="p107 ft10">OECD konstaterar att det inte finns någon nationell plan för att hantera frågan om standardisering av system för datainsamling i syfte att möjliggöra jämförelser av detta slag. OECD konstaterar slutligen att varken Sveriges kommuner och landsting eller Fristående skolors riksförbund har tagit några initiativ för att standardisera eller aggregera data.</P>
<P class="p551 ft59"><SPAN class="ft51">63</SPAN><SPAN class="ft57">När det gäller elevdata arbetar SCB enligt uppgift från Skolverket mot 33 olika system- leverantörer.</SPAN></P>
<P class="p426 ft72"><SPAN class="ft51">64</SPAN><SPAN class="ft52">SOU 2009:25 </SPAN>Samordnad kommunstatistik för styrning och uppföljning<SPAN class="ft53">.</SPAN></P>
<P class="p143 ft31"><SPAN class="ft51">65</SPAN><SPAN class="ft54">OECD (2011) Reviews of Evaluation and Assessment in Education. Sweden.</SPAN></P>
<P class="p144 ft18">196</P>
</DIV>
<DIV id="page_190">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312190x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p503 ft9">När det gäller specifikt analyser av hur resursfördelningen påverkar elevers skolresultat är det samtidigt värt att notera att den stora posten, och sannolikt även den viktigaste, utgörs av under- visande personal. Den går att mäta på annat sätt än i utgiftstermer, varför det ändå bör vara möjligt att genomföra meningsfulla analyser.</P>
<P class="p92 ft39">Frågan om hur kommunernas resursfördelningssystem påverkar elevernas resultat kan med nuvarande redovisningsformer endast studeras genom särskilda studier. Skolverket har i flera rapporter pekat på komplexiteten i att försöka koppla kvantitativa data om ekonomiska resurser till kvaliteten på undervisningen och elevernas studieresultat<SPAN class="ft75">66</SPAN>. Det har också visat sig svårt att identifiera tydliga alternativa resursfördelningssystem. Möjligheterna att belysa detta i ett registerbaserat statistiksystem måste därför anses begränsade.</P>
<P class="p211 ft13"><SPAN class="ft13">10.3.6</SPAN><SPAN class="ft121">Utveckling, modernisering och resurser</SPAN></P>
<P class="p182 ft9">Vid utvecklingen av uppföljningssystemet måste ställning tas till vilken information som lämpar sig för ett nationellt uppföljnings- system och vilken information som bör hanteras vid sidan av detta. Det innebär dock inte att vi utesluter möjligheten att införliva mer data från enkäter (urval eller totalundersökningar) i systemet, under förutsättning att frågor bedöms ha en sådan karaktär att den information de ger upphov till är stabila över tid. Detta är en fråga som bör bedömas av Skolverket som statistikansvarig myndighet.</P>
<P class="p47 ft10">Vi uppfattar att det sammantaget finns olika utvecklingsmöjlig- heter för det nationella uppföljningssystemet. Förutom de föränd- ringar som följer av regeringens reformer finns också ett behov av att modernisera uppföljningssystemet som helhet. Användarna ställer stora krav på såväl statistikens innehåll och aktualitet som användarvänligheten. För att tillgodose användarnas behov behöver Skolverket dels samla ny data och utveckla ny statistik, vilket har diskuterats ovan, dels utveckla en modern, sammanhållen publi- ceringsdatabas med uppgifter om alla verksamhetsformer på alla befintliga redovisningsnivåer (riket, län, kommun, skola, huvud- man).</P>
<P class="p124 ft45">I praktiken måste dock Skolverket i dag i första hand fokusera på driften av det befintliga systemet. Detta är resurskrävande. Vad vi kan bedöma saknas därför tillräckliga resurser för att utveckla och modernisera systemet. Som redan nämnts måste dessutom</P>
<P class="p7 ft74"><SPAN class="ft30">66 </SPAN><SPAN class="ft31">Se t.ex. Skolverkets rapport 391 (2013) </SPAN>Kommunernas resursfördelning till grundskolor<SPAN class="ft31">.</SPAN></P>
<P class="p356 ft18">197</P>
</DIV>
<DIV id="page_191">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">hänsyn tas till huvudmännens uppgiftslämnarbörda, vilket innebär att ny uppgiftsinsamling bör motsvaras av avlastning i någon annan del av systemet.</P>
<P class="p208 ft10">Den infrastruktur som uppföljningssystemet utgör behöver därför enligt vår uppfattning en finansiell förstärkning för att det ska vara möjligt att följa utvecklingen inom hela skolväsendet. Det gäller särskilt efter de senaste årens reformer. Förutom den löpan- de, årliga kostnaden för uppgiftsinsamling och statistikframställ- ning uppstår även initiala kostnader för utveckling och anpassning av de befintliga insamlings- och granskningssystemen samt för att ta fram ny statistik.</P>
<P class="p54 ft10">Skolverket har i dag inget särskilt anslag för insamling av data för statistikändamål, utan resurserna för detta bestäms genom ver- kets interna budgetprioriteringar. Sett i perspektivet av myndig- hetens samlade åtagande kan knappast förväntas några större omfördelningar mellan olika verksamhetsområden till förmån för utveckling av uppföljningssystemet. Vid eventuella förändringar av uppföljningssystemet behöver regeringen därför se till att resurser avsätts inte bara för att samla in nya data utan också för att hantera dem vidare.</P>
<P class="p316 ft13"><SPAN class="ft13">10.3.7</SPAN><SPAN class="ft121">Inga förslag om författningsändringar</SPAN></P>
<P class="p230 ft10">Enligt direktiven ska utredningen om det behövs lämna författ- ningsförslag för att öka tillgången på data som behövs för att i ökad utsträckning kunna utvärdera reformer.</P>
<P class="p367 ft10">Insamling, lagring och användning av registerdata som avser individer är omgärdade av ett omfattande, och ibland svårgenom- trängligt, regelverk som i första hand syftar till att skydda den enskilde individen. Detta är nödvändigt, men påverkar förutsätt- ningarna för utvärdering och forskning.</P>
<P class="p108 ft10">Mot bakgrund av att det för närvarande pågår två utredningar som arbetar med frågor kopplade till hur förutsättningarna för registerbaserad forskning kan förbättras, har vi avstått från att läm- na förslag om registerförfattningar på skolans område.</P>
<P class="p140 ft39">Vi bedömer dock att exempelvis den s.k. <NOBR>UGU-databasen</NOBR> vid Göteborgs universitet kan komma att beröras av resultatet av utred- ningarna. Det är i så fall viktigt att regeringen tar hänsyn till den betydelse som denna internationellt unika databas har för forskning</P>
<P class="p552 ft18">198</P>
</DIV>
<DIV id="page_192">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p434 ft10">inom flera vetenskapliga discipliner och att de långsiktiga förut- sättningarna för <NOBR>UGU-databasen</NOBR> inte äventyras.</P>
<P class="p314 ft13"><SPAN class="ft13">10.3.8</SPAN><SPAN class="ft121">Avslutande diskussion</SPAN></P>
<P class="p182 ft9">Utvärdering av reformer kan baseras på data som samlats in till det löpande uppföljningssystemet och på särskilt insamlad data. Vilken metod som bör väljas i samband med en reformutvärdering hänger samman med reformens innehåll, vad det är man vill veta och vad man vill använda utvärderingsresultaten till. Kvantitativt inriktade utvärderingar kräver ofta tillgång till registerdata medan kvalitativt inriktade utvärderingar oftast bygger på direktinsamlade data.</P>
<P class="p100 ft9">Kännetecknande för de <SPAN class="ft12">registerdata </SPAN>som ingår i statistiksystemet är att de samlas in årligen, hämtas ur de lokala administrativa systemen samt att de består av hela kohorter, dvs. alla elever, alla lärare och alla huvudmän. Skolverket samlar i princip inte in registerdata som inte är avsedda att ingå i den officiella statistiken. <SPAN class="ft12">Direktinsamlad data </SPAN>kännetecknas av att den samlas in via enkäter, observationer eller på annat sätt, att insamlingen sker periodiskt (t.ex. vart tredje år) samt att insamlingen sker genom urval. Direktinsamlad data kan ingå i uppföljningssystemet, som i fallet med Skolverkets attitydunder- sökning, eller genomföras särskilt i anslutning till utvärdering av en specifik reform.</P>
<P class="p137 ft9">Ett väl fungerande uppföljningssystem med registerdata som möj- liggör olika typer av analyser och framför allt bidrar till en system- kunskap är en viktig grund för reformutvärdering. Utredningen konstaterar samtidigt att det ofta för utvärdering av reformer behövs kompletterande uppgiftsinsamling, som utgår från just de frågeställningar som ska belysas i utvärderingen. Det är dessutom ofta värdefullt att utvärderingar som baseras på registerdata kombi- neras med utvärderingar som grundas på annan slags empiri. Detta för att åstadkomma en tillräckligt bred och fördjupad utvärdering av reformer och andra mer omfattande åtgärder.</P>
<P class="p532 ft45">När utredningen behandlat de olika önskemål som framkommit om ytterligare data i det nationella uppföljningssystemet har avväg- ningar fått göras mellan dels de kunskapsintressen som efterfrågan återspeglar, dels de praktiska och ekonomiska förutsättningarna för att genomföra uppgiftsinsamlingen, nyttan av en sådan insamling samt lämpligheten ur bl.a. ett etiskt perspektiv.</P>
<P class="p553 ft18">199</P>
</DIV>
<DIV id="page_193">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p323 ft9">Utredningens slutsats är att långt ifrån all information, t.ex. om skolans arbetsformer och undervisningssätt, lämpar sig för att sam- las in regelbundet för att bilda registerdata. För att sådana data ska vara användbara för statistiska analyser över tid krävs att de upp- gifter som lagras inte påverkas av yttre förändringar eller över tid.</P>
<P class="p167 ft40">Vi menar dessutom att hänsyn måste tas till att frågor som ställs vid en regelbunden insamling av data i ett nationellt uppföljnings- system kan ha en indirekt styrande effekt på verksamheten. Den svenska skolan och de svenska lärarna har stor frihet att, inom ramen för läro- och kursplanerna, organisera och genomföra under- visningen, välja läromedel etc. Det vore därför olyckligt om det sätt som uppgiftsinsamlingen utformas leder till en indirekt och oav- sedd styrning. Den stora variationen i undervisningsformerna gör dessutom att det är svårt att fånga dessa med mindre än att fördju- pade studier genomförs på plats.</P>
<P class="p534 ft10">I flera fall har önskemålen om ytterligare datainsamling handlat om att öka den information som hämtas ur lokala administrativa regis- ter. Det handlar t.ex. om planerad och genomförd undervisning, undervisningsgruppens sammansättning samt om möjligheterna att koppla samman lärare och elev.</P>
<P class="p167 ft40">Utredningen anser att det vore värdefullt om det gick att hämta fler uppgifter från de administrativa systemen än vad som är möj- ligt i dag. Flera av de uppgifter som efterfrågas lämpar sig i princip och till sin karaktär för denna typ av registrering, t.ex. uppgifter om planerad och genomförd undervisning respektive undervis- ningsgruppernas sammansättning. Som vi bedömt ovan blir dock sannolikt kvaliteten i sådana data inte tillräckligt god, helt enkelt för att skolorna inte registrerar de uppgifter man ur ett utvärde- ringsperspektiv skulle kunna önska att de gör, och inte heller är skyldiga att göra det. Att ålägga skolan, och i praktiken läraren, en skyldighet att utöka registreringen i de administrativa systemen är inte realistiskt i ett läge där ambitionen i stället är att minska den administrativa bördan. Skolverket bör dock undersöka möjlighe- terna att successivt utöka uppgiftsinsamlingen från de administra- tiva systemen i de fall uppgifter registreras i tillräcklig omfattning och med acceptabel kvalitet.</P>
<P class="p141 ft39">I det fall de administrativa systemen inte kan erbjuda de data som efterfrågas med tillräcklig kvalitet bör annan uppgiftsinsamling väljas, genom enkäter eller genom observationer på plats. Behovet av empiri för att studera t.ex. den faktiska organiseringen av under-</P>
<P class="p297 ft18">200</P>
</DIV>
<DIV id="page_194">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td68"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td69"><P class="p22 ft38">Data för utvärdering – utvecklingsbehov</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">visning i undervisningsgrupper löses troligen bäst genom att data samlas in vid ett urval av skolor genom enkäter eller observations- studier.</P>
<P class="p63 ft39">Utredningen konstaterar vidare att ändamålsbestämmelserna i PUL tar sikte på bl.a. den vetenskapliga användningen av adminis- trativa data. PUL medger vetenskaplig användning av data som ursprungligen samlats in för andra ändamål. Den uppgiftsinsamling som efterfrågas här handlar dock inte om ett sådant återbruk av data som samlats in för andra, lokala administrativa ändamål, utan om att samla in och sammankoppla data för allmänna forsknings- ändamål utan att detta har något med de lokala behoven att göra.</P>
<P class="p172 ft40">Vissa uppföljnings- och utvärderingsbehov förutsätter att man använder sig av direktinsamlingsmetoder, oftast i form av urvals- studier och ofta genom enkätstudier. Exempel på direktinsamling är regelbundna attitydundersökningar bland elever, lärare och föräld- rar som genomförts sedan 1993 samt de longitudinella studier som SCB genomför i samverkan med UGU (elevpanelerna) och den ytterligare insamling som UGU genomför. I båda fallen omfattas uppgifter om bl.a. skolans arbetssätt.</P>
<P class="p92 ft9">Det finns flera områden som är viktiga för skolans utveckling och där det framförts önskemål om ytterligare data och som kan lämpa sig för direktinsamling. Det handlar t.ex. om undervisningen, dvs. skolans arbetsformer och lärarnas arbetssätt. Data inom detta område är svårt att samla in som registerdata med en rimlig arbets- insats och det är ofta svårt att få god kvalitet i sådana uppgifter.</P>
<P class="p92 ft9">Förbättrade underlag av detta slag skulle underlätta möjlighe- terna att utvärdera reformer. För utvärdering av reformer och andra mer omfattande förändringar kommer dock enligt vår bedömning även att behövas riktade uppgiftsinsamlingar, med frågeställningar relevanta för den aktuella reformen. Detta kan ske genom enkäter eller fallstudier som bygger på observationer av skolans arbetssätt</P>
<P class="p195 ft45">”på plats”. Sådana fallstudier är förvisso resurskrävande, men kan enligt vår uppfattning bidra med en kunskap av högre kvalitet och leda till djupare insikt än andra former av informationsinsamling.</P>
<P class="p89 ft39">Det är den statistikansvariga myndigheten, i detta fall Skolverket, som ska ansvara för bedömningen av vilka data som behövs samt göra den nödvändiga avvägningen mellan nytta och kostnader för ny uppgiftsinsamling. I detta ligger också att svara för bedöm- ningen av på vilket sätt nya uppgifter ska samlas in, t.ex. från admi-</P>
<P class="p554 ft18">201</P>
</DIV>
<DIV id="page_195">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Data för utvärdering – utvecklingsbehov</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">nistrativa register eller genom t.ex. enkätstudier. Det är viktigt att Skolverket inför sina bedömningar samråder med forskare, myn- digheter och andra aktörer som använder uppgifterna i systemet. Skolverket är dock beroende av de ramar som ges i form av finan- siering. Vi menar att Skolverket behöver tillföras resurser för att dels samla ny data och utveckla ny statistik, dels utveckla sättet att redovisa statistiken på.</P>
<P class="p107 ft10">Det behövs även ytterligare resurser till systemet för att syste- matiskt analysera den omfattande statistik som samlas in redan i dag. Enligt uppgifter som utredningen fått från Skolverket och forskare finns inom många områden tillgång till mer data än vad man har resurser att bearbeta och analysera. Både den nationella statistiken och underlagen från de internationella studierna PIRLS, PISA och TIMSS skulle kunna bidra med avsevärt mer kunskap. Det är dessutom möjligt att utöka urvalen för de internationella undersökningarna för att möjliggöra en mer fördjupad nationell analys eller att lägga till frågor av nationellt intresse. Detta kostar dock pengar.</P>
<P class="p555 ft18">202</P>
</DIV>
<DIV id="page_196">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312196x1.jpg" id="img1">
</DIV>
<P class="p556 ft66"><SPAN class="ft8">11</SPAN><SPAN class="ft119">Organisering för stärkt utvärdering</SPAN></P>
<P class="p311 ft10">I kapitel 7 pekar utredningen på behovet av ett nationellt ramverk för utvärdering på skolans område. Av ett sådant ramverk bör framgå hur utvärderingen är organiserad, vilka de centrala aktörer- na är samt hur ansvaret är fördelat dem emellan. Det bör också framgå hur och av vem förslag till prioriterade områden för utvär- dering tas fram, vem som beslutar om detta och på vilket sätt olika parter inom skolsamhället ges inflytande över detta. Detta är frågor som tas upp i detta kapitel.</P>
<P class="p312 ft32"><SPAN class="ft32">11.1</SPAN><SPAN class="ft125">Dagens aktörer i Sverige</SPAN></P>
<P class="p557 ft10">I Sverige finns i dag två aktörer med ett direkt ansvar för utvär- dering av skolan:</P>
<P class="p274 ft9"><SPAN class="ft33"></SPAN><SPAN class="ft134">Skolverket </SPAN>ska enligt skollagen (2010:800) på nationell nivå följa upp och utvärdera skolväsendet, övriga utbildningar och verk- samheter som står under Statens skolinspektions tillsyn enligt skollagen, och viss annan pedagogisk verksamhet<SPAN class="ft28">1</SPAN>. Enligt verkets instruktion<SPAN class="ft28">2 </SPAN>ska myndigheten rapportera till regeringen i de frågor som dessa uppgifter kan ge upphov till. Uppföljningen och utvärderingen ska öka kunskapen om hur utbildningarna och verksamheterna har utvecklats i förhållande till de nationella målen. Myndigheten ska också sammanfatta och publicera resul- taten av arbetet med uppföljning och utvärdering. Slutligen ska Skolverket ansvara för officiell statistik<SPAN class="ft28">3</SPAN>.</P>
<P class="p558 ft53"><SPAN class="ft51">1</SPAN><SPAN class="ft52">26 kap 24 § skollagen (2010:800).</SPAN></P>
<P class="p187 ft53"><SPAN class="ft51">2</SPAN><SPAN class="ft52">Förordning (2011:555) med instruktion för Statens skolverk.</SPAN></P>
<P class="p187 ft31"><SPAN class="ft51">3</SPAN><SPAN class="ft54">Enligt förordningen (2001:100) om den officiella statistiken.</SPAN></P>
<P class="p356 ft18">203</P>
</DIV>
<DIV id="page_197">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312197x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Organisering för stärkt utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p559 ft11"><SPAN class="ft33"></SPAN><SPAN class="ft34">Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU</SPAN><SPAN class="ft10">) har sedan februari 2012 enligt sin instruktion</SPAN><SPAN class="ft55">4 </SPAN><SPAN class="ft10">i uppdrag att bland annat utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet.</SPAN></P>
<P class="p152 ft10">Förutom dessa två myndigheter finns som redovisats i kapitel 4 ett antal aktörer som mer marginellt har betydelse för utvärderingen av skolan.</P>
<P class="p439 ft10"><SPAN class="ft11">Statskontoret </SPAN>ska enligt sin instruktion<SPAN class="ft55">5 </SPAN>på regeringens uppdrag bistå med utredningar, utvärderingar samt uppföljningar av statlig och statligt finansierad verksamhet samt övergripande frågor om den offentliga förvaltningens funktionssätt. Utredningen har redan i kapitel 4 konstaterat att de ganska fåtal utredningar som Stats- kontoret under överskådlig tid haft i uppdrag att genomföra kan motiveras med behovet av en i förhållande till den statliga skol- förvaltningen oberoende aktör eller på grund av att uppdraget legat inom Statskontorets särskilda kompetensprofil.</P>
<P class="p107 ft11">Det offentliga utredningsväsendet <SPAN class="ft10">kan också genomföra utvärde- ring på regeringens uppdrag.</SPAN></P>
<P class="p291 ft9"><SPAN class="ft12">Skolinspektionen </SPAN>ansvarar enligt skollagen ansvarar för tillsyn och kvalitetsgranskning<SPAN class="ft28">6</SPAN>. Enligt sin instruktion<SPAN class="ft28">7 </SPAN>ska myndigheten dessutom sammanfatta och publicera resultaten av sitt arbete med tillsyn och kvalitetsgranskning. Skolinspektionen har således inte något direkt utvärderingsuppdrag, men arbetar inom kvalitets- granskningen med en liknande metodik och förväntas bidra till den samlade bilden av den svenska skolan. Skolinspektionen måste där- för räknas in i det vi kallat ett ramverk för utvärdering av skolan. Det bör man däremot inte göra med <SPAN class="ft12">Riksrevisionen</SPAN>, trots att även den använder utvärdering som metodik och ibland reviderar den statliga styrningen av skolan. Riksrevisionen har en helt annan roll.</P>
<P class="p177 ft39">Till dessa aktörer kan läggas <SPAN class="ft81">forskarsamhället </SPAN>som kan genom- föra utvärderingar på uppdrag av regeringen, offentliga utredningar eller myndigheter. Motivet för att engagera forskare för att genom- föra utvärdering kan vara behovet av att anlita en från den statliga förvaltningen oberoende aktör eller behovet av den kompetens som forskarna besitter i det enskilda fallet. I dessa fall genomför forskarna uppdrag där beställaren styr vad forskaren ska utvärdera.</P>
<P class="p560 ft59"><SPAN class="ft56">4</SPAN><SPAN class="ft57">Förordning (2012:16) med instruktion för Institutet för arbetsmarknads- och utbildnings- politisk utvärdering.</SPAN></P>
<P class="p426 ft53"><SPAN class="ft56">5</SPAN><SPAN class="ft71">Förordning (2007:827) med instruktion för Statskontoret.</SPAN></P>
<P class="p151 ft53"><SPAN class="ft56">6</SPAN><SPAN class="ft71">2 § 26 kap. skollagen (2010:800).</SPAN></P>
<P class="p151 ft31"><SPAN class="ft56">7</SPAN><SPAN class="ft60">Förordning (2011:556) med instruktion för Statens skolinspektion.</SPAN></P>
<P class="p144 ft18">204</P>
</DIV>
<DIV id="page_198">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312198x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td4"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td70"><P class="p22 ft99">Organisering för stärkt utvärdering</P></TD>
</TR>
</TABLE>
<P class="p561 ft10">Man bör inte heller bortse från att den oberoende forskningen bidrar till den samlade kunskapen om skolan. Här spelar <SPAN class="ft11">Veten- skapsrådet </SPAN>en viktig roll. Kommittén för utbildningsvetenskap vid Vetenskapsrådet stödjer efter nationell prioritering den kvalitets- mässigt bästa forskningen och de bästa forskarna inom områden som är relevanta för skolans, förskolans och utbildningsveten- skapens utveckling.</P>
<P class="p92 ft39">Slutligen bör också nämnas det nya <SPAN class="ft81">skolforskningsinstitut </SPAN>som ska etableras från och med den 1 september 2014. Enligt direktiven<SPAN class="ft75">8 </SPAN>till den organisationsutredning, som för närvarande förbereder för myndighetens inrättande, ska myndigheten ha i uppdrag att sys- tematiskt väga samman och sprida forskningsresultat som bidrar till ökad kunskap om vetenskapligt väl underbyggda och effektiva metoder och arbetssätt i skolväsendet, dvs. att genomföra s.k. sys- tematiska översikter (systematic reviews). Institutets uppdrag är inte att utvärdera. Genom att göra systematiska översikter kommer man dock att bidra med kunskaper om vilka metoder och arbetssätt som fungerar respektive inte fungerar i skolan. På samma sätt som syftet är vid utvärdering handlar det således om ett kunskapande om skolan och skolans verksamhet.</P>
<P class="p248 ft9">Sammanfattningsvis kan konstateras att det i Sverige finns många aktörer som bidrar till kunskapandet om skolan och som kan ges en roll vid utvärderingen av reformer på skolområdet. Även med en snäv avgränsning av begreppet utvärdering är aktörerna många.</P>
<P class="p135 ft32"><SPAN class="ft32">11.2</SPAN><SPAN class="ft125">Internationell utblick</SPAN></P>
<P class="p136 ft9">För att få ett perspektiv på det svenska systemet har utredningen valt att belysa utvärderingssystem i några andra länder. Vi har redan tidigare i betänkandet redogjort för hur olika länder byggt upp sina utvärderingssystem och hur de ser på utvärdering av reformer samt på evidensinformerad styrning. Hur de gör det har också konsek- venser för hur länderna har organiserat sin utvärdering av skolan. Framställningen baseras här på litteraturstudier och underlag från bl.a. de besök utredningen gjort i Danmark, Finland, Norge och Skottland samt England, som vi tyvärr inte hann besöka inom de tidsramar vi hade till förfogande, men som är väl dokumenterat. Se vidare bilaga 5 för en nogrannare redogörelse över de olika län-</P>
<P class="p562 ft31"><SPAN class="ft30">8 </SPAN>Dir. 2014:7 Inrättande av ett skolforskningsinstitut.</P>
<P class="p356 ft18">205</P>
</DIV>
<DIV id="page_199">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Organisering för stärkt utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">dernas utvärdering av skolan och organisering av deras utvärde- ringssystem.</P>
<P class="p108 ft10">De beskrivna länderna uppvisar vissa gemensamma drag i hur utvärderingen av skolan organiserats, som skiljer sig från hur organiseringen ser ut i Sverige. I andra avseenden skiljer de sig också tydligt sinsemellan.</P>
<P class="p108 ft10">Jämfört med Sverige är närheten mellan policyutformning och resurserna för utvärdering och analys stor i flertalet andra länder. Det gäller generellt och för flera av de länder vi besökt, t.ex. Danmark, England och Skottland. Finland och Sverige är mer lika i detta avseende. Norge intar, som vi uppfattar det, en mellanställ- ning med en större närhet mellan ministeriet och den centrala skolmyndigheten än i Sverige. Att Sverige skiljer ut sig så starkt i detta avseende har att göra med den svenska förvaltningsstruk- turen, med ett litet regeringskansli och självständiga myndigheter. Detta är en struktur och ansvarsfördelning med en lång historisk tradition.</P>
<P class="p177 ft9">En annan påtaglig skillnad jämfört med Sverige är att flera av de länder vi besökt har ett helt annat sätt att se på, och organisera för, samverkan med olika berörda parter inom skolsamhället när det gäller utvärdering av skolan. Exempel är <SPAN class="ft12">Rådet för utvärdering och kvalitetsutveckling av folkeskolen (Skolerådet) </SPAN>i Danmark, det <SPAN class="ft12">eva- lueringsråd </SPAN>som ska svara för den strategiska styrningen av det nybildade <SPAN class="ft12">Nationella centret för utbildningsevaluering </SPAN>i Finland och det <SPAN class="ft12">programstyre </SPAN>som etablerades för utvärderingen av Kunskaps- lyftet i Norge. I samtliga dessa fall involveras företrädare för såväl huvudmän som fackliga organisationer och i vissa fall företrädare för föräldrar och elever/studerande i styrningen av utvärderingen. I exemplen från Finland och Norge är även forskare starkt före- trädda. Även i Skottland förekommer boards med företrädare för olika intressen i styrningen av nationella utvecklings- eller utvärde- ringsprojekt. Arbetet med att utveckla skolan i Skottland präglas överhuvudtaget av ambitionen om en skolpolitisk konsensus.</P>
<P class="p238 ft9">Detta sätt att organisera styrningen av utvärderingen av skolan innebär i flera fall att forskarsamhället får en annan och mer uttalad roll. Utredningen har intrycket att det i dessa länder också är van- ligare än i Sverige att politiskt initierad utvärdering av reformer på skolans område genomförs av forskare. I Sverige engageras forskare av regering eller myndigheter i första hand i utvärdering av implementering av reformer snarare än av resultatet av desamma.</P>
<P class="p333 ft18">206</P>
</DIV>
<DIV id="page_200">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312200x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td4"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td70"><P class="p22 ft99">Organisering för stärkt utvärdering</P></TD>
</TR>
</TABLE>
<P class="p383 ft10">I Danmark, Norge och England har man, liksom nu är avsikten även i Sverige, skapat organ för att sammanställa och/eller presen- tera systematiska kunskapsöversikter. Även i Skottland används metodiken. Systematiska översikter utgår från redan genomförd forskning eller kvalificerad utvärdering och kan utgöra viktiga underlag för utvärdering av exempelvis reformer, varför organise- ringen av dessa insatser nämns här.</P>
<P class="p92 ft40">När det gäller just utvärdering av reformer skiljer Norge ut sig genom det sätt man organiserat utvärderingen av Kunskapslyftet på – under ledning av ett särskilt programstyre, och med omfat- tande resurser. Det bör observeras att själva organiseringen av detta utformades av den ansvariga myndigheten, efter att denna fått rege- ringens uppdrag att svara för utvärderingen, och att uppdraget inte påverkades av det regeringsskifte som skedde medan utvärderings- insatsen pågick. En intressant konsekvens av det sätt som Norge de senaste decennierna utvärderat refomer på, genom omfattande projekt som involverar forskarsamhället, är att det vuxit fram starka forskningsmiljöer inriktade på vad vi skulle kalla för policy- relevant forskningsbaserad utvärdering.</P>
<P class="p204 ft40">I Danmark, England och Skottland sker utvärdering av reformer mer ad hoc, men det sker. Finland har inte genomfört några mer omfattande reformer på länge, varför det är svårt att ha någon upp- fattning om hur en sådan utvärdering skulle utformas.</P>
<P class="p92 ft40">I Sverige däremot har en stor mängd omfattande reformer genomförts sedan <NOBR>1990-talets</NOBR> början, utan att det förrän nu tagits initiativ till någon reformutvärdering. När detta nu sker, sker det på initiativ av riksdagen<SPAN class="ft77">9</SPAN>, och handlar om att i efterhand utvärdera effekterna av de reformer som genomfördes i början av <NOBR>1990-talet.</NOBR> För ingen av de mer omfattande reformer som genomförts sedan 2006<SPAN class="ft77">10 </SPAN>har något specifikt utvärderingsuppdrag lämnats från rege- ringen, varken till Skolverket eller till något oberoende utvärde- ringsorgan, t.ex. forskare eller utvärderingsinstitut. Sverige saknar sedan länge en tradition att utvärdera reformer på skolområdet, vilket även framgår av kapitel 5 och bilaga 3.</P>
<P class="p563 ft59"><SPAN class="ft51">9</SPAN><SPAN class="ft70">Riksdagens tillkännagivande om att regeringen borde tillsätta en utredning med uppdrag att analysera och utvärdera de senaste årens stora skolreformer – kommunaliseringen, det fria skolvalet och fristående skolors etablering (bet. 2010/11:UbU7, rskr. 2010/11:206). Sedan tillkännagivandet har tillsatts en särskild utredare med uppdrag att utvärdera effekterna av kommunaliseringen av skolväsendet (U 2019:09) och givits ett uppdrag till IFAU att utvärdera skolreformerna.</SPAN></P>
<P class="p236 ft31"><SPAN class="ft51">10</SPAN><SPAN class="ft54">För en redovisning av dessa, se utredningens delbetänkande </SPAN><SPAN class="ft74">Det tar tid – om implemente- ringen av skolpolitiska reformer </SPAN>(SOU 2013:30).</P>
<P class="p385 ft18">207</P>
</DIV>
<DIV id="page_201">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Organisering för stärkt utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p447 ft10">Sammantaget uppfattar vi att trenden i vår omvärld är en för- stärkt organisering av utvärderingen av skolan samt ett ökat politiskt intresse för utvärdering och reformutvärdering.</P>
<P class="p257 ft32"><SPAN class="ft32">11.3</SPAN><SPAN class="ft125">Andra röster om organiseringen av utvärdering</SPAN></P>
<P class="p564 ft13"><SPAN class="ft13">11.3.1</SPAN><SPAN class="ft121">Att nå ut och nå ända fram (SOU 2009:94)</SPAN></P>
<P class="p377 ft10">I december 2009 lämnade en utredare betänkandet <SPAN class="ft11">Att nå ut och nå ända fram </SPAN>(SOU 2009:94) till regeringen. Utredningens uppdrag handlade om två delar – policyinriktad utvärdering respektive sprid- ning av forskning med relevans för skolans måluppfyllelse. Utred- ningen lämnade följande fyra delförslag:</P>
<P class="p505 ft39"><SPAN class="ft14">1.</SPAN><SPAN class="ft135">Ett </SPAN><SPAN class="ft81">Råd för utbildningsutvärdering </SPAN>och analys organiserat som en kommitté inom Regeringskansliet. Inriktningen av rådets arbete skulle vara policyinriktade utvärderingar på nationell nivå.</P>
<P class="p424 ft10"><SPAN class="ft14">2.</SPAN><SPAN class="ft46">En </SPAN><SPAN class="ft11">mäklarfunktion </SPAN>inom utbildningsområdet med uppdrag att genomföra systematiska översikter av forskningsresultat. Sådana följer vissa standardiserade steg där metoderna är explicita och transparanta och förutsätter en användardialog för att säkerställa relevans och användbarhet etc. Utredaren föreslog ett nordiskt samarbete kring detta, initialt med Danmark som redan har Danish Cleraringhouse.</P>
<P class="p565 ft11"><SPAN class="ft14">3.</SPAN><SPAN class="ft46">En </SPAN>funktion för spridning av forskningsresultat<SPAN class="ft10">. Utredaren bedömde att Skolverket även fortsatt skulle ha detta ansvar.</SPAN></P>
<P class="p566 ft39"><SPAN class="ft14">4.</SPAN><SPAN class="ft135">En </SPAN><SPAN class="ft81">regional organisation </SPAN>med syfte att se till att information från utvärderingar och forskning sprids och används. Utredaren rekom- menderade att de regionala utvecklingscentrumen (RUC) skulle utnyttjas av universitet och högskolor i detta syfte och att deras uppdrag därför skulle utvidgas. Utredaren uppmärksammade att universitetens och högskolornas mer autonoma ställning i för- hållande till staten försvårar styrningen av RUC:en.</P>
<P class="p262 ft10">Något råd för utbildningsutvärdering och analys av det slag som föreslogs av utredaren har inte inrättats. Däremot har IFAU getts det utvidgade uppdrag som redovisats ovan. Det bör dock upp- märksammas att IFAU:s utvärderingar är avgränsade till kvantita- tiva studier, i första hand effektutvärderingar. Utredarens förslag</P>
<P class="p567 ft18">208</P>
</DIV>
<DIV id="page_202">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312202x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td4"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td70"><P class="p22 ft99">Organisering för stärkt utvärdering</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">innebar ett råd för policyinriktade utvärderingar på nationell nivå som byggde på en bredare syn på utvärdering.</P>
<P class="p14 ft10">Någon mäklarfunktion i samarbete med andra nordiska länder har inte heller inrättats. Däremot har regeringen tagit initiativ till det nya skolforskningsinstitiut som ska etableras från och med den 1 september 2014 och som redovisats ovan. Institutet ska arbeta med att systematiskt väga samman och sprida forskningsresultat som bidrar till ökad kunskap om vetenskapligt väl underbyggda och effektiva metoder och arbetssätt inom skolväsendet, dvs. att bland annat genomföra s.k. systematiska översikter (systematic reviews).</P>
<P class="p204 ft40">Slutligen bör observeras att Skolverket, helt i enlighet med utredarens tredje delförslag, fortfarande har uppdraget att samman- ställa och sprida kunskap om resultat av forskning. Skolverkets uppdrag sammanfaller således i denna del med en av huvudupp- gifterna för det skolforskningsinstitut som regeringen ursprung- ligen aviserades 2012 i forskningspropositionen<SPAN class="ft77">11</SPAN>. Enligt direk- tiven<SPAN class="ft77">12 </SPAN>till den särskilda utredare som getts i uppdrag att förbereda inrättandet av myndigheten ska myndigheten kunna inleda sin verksamhet den 1 januari 2015.</P>
<P class="p233 ft10">Det fjärde förslaget, att med stöd av RUC:arna sprida forsk- ningsresultat så att dessa används, har inte lett till något nationellt initiativ. Som en konsekvens av universitetens och högskolornas ökade autonomi har det nationella kravet på att det ska finnas RUC:ar försvunnit. Parterna i de olika regionerna reglerar samar- betet mellan å ena sidan universitet/högskola och å andra sidan skola och förskola. I vilken utsträckning spridning av forsknings- resultat ingår i samarbetet varierar. Mer indirekt bygger naturligtvis de kurser och den kompetensutveckling man erbjuder på forsk- ning.</P>
<P class="p568 ft13"><SPAN class="ft13">11.3.2</SPAN><SPAN class="ft121">Institutionaliseringen av utvärdering – ett fenomen i tiden</SPAN></P>
<P class="p182 ft39">Utvärdering var ursprungligen en insats som genomfördes vid ett specifikt tillfälle efter beslut av någon instans som hade behov av den. Det kunde vara en myndighet, en kommun, ett företag eller en annan verksamhet. Utvärderingen utfördes av en eller flera indivi-</P>
<P class="p569 ft72"><SPAN class="ft51">11</SPAN><SPAN class="ft52">Prop. 2012/13:30 </SPAN>Forskning opch innovation<SPAN class="ft53">.</SPAN></P>
<P class="p126 ft74"><SPAN class="ft51">12</SPAN><SPAN class="ft54">Dir. 2014:7 </SPAN>Inrättande av ett skolforskningsinstitut<SPAN class="ft31">.</SPAN></P>
<P class="p356 ft18">209</P>
</DIV>
<DIV id="page_203">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312203x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Organisering för stärkt utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p416 ft40">der som hade de kompetenser som krävdes för uppgiften. Dessa personer kunde finnas inom eller hämtas utanför organisationen.</P>
<P class="p106 ft10">Med tiden har utvärdering byggts in som en reguljär del i olika verksamheter. Myndigheter har i sina instruktioner inte sällan utvärdering som en av sina uppgifter. Utvärderingsverksamheten kan därmed sägas ha institutionaliserats. Gröjer<SPAN class="ft55">13 </SPAN>ger i sin avhand- ling ett exempel på detta från högskoleområdet.</P>
<P class="p245 ft10">Enligt Gröjer handlade myndigheternas<SPAN class="ft55">14 </SPAN>utvärderingsverksam- het inom högskoleområdet först om att ge regeringen besluts- underlag. Den hade alltså tydliga politiska förtecken. Senare fick den en inriktning mot att ge underlag för förbättringar på hög- skolorna inom sådana områden där de själva kunde fatta beslut. Utvärderingen kännetecknades alltså av att ge beslutsunderlag på lokal nivå. Denna inriktning har enligt Gröjer förstärkts allt mer. Tillkomsten av Högskoleverket innebar dock enligt Gröjer att utvärderingens syfte att bidra med beslutsunderlag för den politiska nivån återigen tydliggjordes.</P>
<P class="p227 ft10">Det har också med tiden tillkommit särskilda myndigheter som har utvärdering som sin specifika huvuduppgift. Statskontoret har<SPAN class="ft55">15 </SPAN>beskrivit utvecklingen mot att staten organiserar utvärdering i sek- torsspecifika myndigheter som är fristående i förhållande till poli- tikens implementering. Myndigheten konstaterar att det är en trend med många olika uttryck. De fristående utvärderingsmyndig- heterna har tillkommit under olika tidsperioder, i olika samman- hang och i olika syften.</P>
<P class="p54 ft10">Enligt Statskontoret presenteras utvärderingar i förarbetena som lösningen på ett antal problem inom skilda områden: effektivitet, styrning, legitimitet, information och kunskap. Med hjälp av utvär- deringar</P>
<P class="p570 ft101">…. hoppas regeringen bl.a. kunna kontrollera myndigheters effekti- vitet, öka insynen i offentlig verksamhet, få underlag för utveckling av politiken, stöd i styrningen av sina myndigheter och hjälp med att lösa samhällsproblem såsom arbetslöshet och kriminalitet.</P>
<P class="p571 ft14">Oavsett hur behovet av utvärdering beskrivs är emellertid argu- menten för att det behövs en fristående myndighet för att genomföra utvärderingarna i stort sett desamma. Framför allt är det vikten av</P>
<P class="p572 ft53"><SPAN class="ft51">13</SPAN><SPAN class="ft52">Gröjer, Anette a.a.</SPAN></P>
<P class="p232 ft59"><SPAN class="ft51">14</SPAN><SPAN class="ft57">De har funnit ett antal myndigheter inom området: Universitetskanslersämbetet (UKÄ), Universitets- och högskoleämbetet (UHÄ), Kanslersämbetet (KÄ) och Högskoleverket. från och med 2013 heter myndigheten åter Universitetskanslersämbetet.</SPAN></P>
<P class="p143 ft31"><SPAN class="ft51">15</SPAN><SPAN class="ft54">Statskontoret (2011) a.a</SPAN><SPAN class="ft74">.</SPAN></P>
<P class="p144 ft18">210</P>
</DIV>
<DIV id="page_204">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312204x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td4"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td70"><P class="p22 ft99">Organisering för stärkt utvärdering</P></TD>
</TR>
</TABLE>
<P class="p573 ft14">oberoende som betonas. Här citeras ofta den princip som också Förvaltningskommittén förfäktar och som går ut på att man bör skilja uppgiften att utföra en verksamhet från den att utvärdera resultaten. Ingen annan organisationsform än en fristående utvärderingsmyn- dighet anses kunna uppfylla kraven på oberoende.<SPAN class="ft98">16</SPAN></P>
<P class="p574 ft9">Statskontoret menar vidare att även om det i olika förarbeten uttalas att utvärderingsmyndigheterna bör ha utrymme att agera långsiktigt och ta egna initiativ, så är utvärderingsverksamheten hos flera av myndigheterna i stor utsträckning uppdragsstyrd från regeringen. Vissa myndigheter har fått ett större utrymme att agera själv- ständigt. I andra fall har regeringen betonat myndigheternas stabs- stödjande roll genom att i myndigheternas instruktioner föreskriva att de löpande ska bistå regeringen med beslutsunderlag och hand- lingsrekommendationer. Diskussionen om fristående utvärderings- myndigheter kan därmed, menar Statskontoret, relateras till diskus- sionen om Regeringskansliets kapacitet för analys, beställning och mottagning av utvärderingar. Ett alternativ till att inrätta fristående utvärderingsmyndigheter med stabsstödjande roller skulle, enligt Statskontoret, kunna vara att lägga motsvarande resurser hos ansvarigt departement. Genom att resurserna förläggs till en myndighet är de emellertid fredade och riskerar inte att ätas upp av den dagliga ärendehanteringen i Regeringskansliet.</P>
<P class="p575 ft10">I flera fall har utvärderingsmyndigheterna även andra uppdrag som t.ex. att ansvara för statistikhantering, omvärldsbevakning, analys och metodutveckling. Storleken på utvärderingsmyndig- heterna varierar, men Statskontoret bedömer att de generellt måste anses vara små, särskilt i förhållande till de områden som de ska utvärdera.</P>
<P class="p576 ft13"><SPAN class="ft13">11.3.3</SPAN><SPAN class="ft121">OECD om organisering och styrning av policyrelevant utvärdering</SPAN></P>
<P class="p577 ft10">I en rapport från 2013<SPAN class="ft55">17 </SPAN>analyserar OECD sättet att bedriva det centrala regeringsarbetet i tretton länder. Man kommer bl.a. in på frågan om utvärdering av politiska reformer och program. Det bör observeras att iakttagelserna gäller för den statliga förvaltningen generellt, inte endast för skoladministrationen.</P>
<P class="p422 ft53"><SPAN class="ft51">16</SPAN><SPAN class="ft52">Statskontoret (2011) a.a.</SPAN></P>
<P class="p126 ft74"><SPAN class="ft51">17</SPAN><SPAN class="ft54">OECD (2013) </SPAN>Value for Money in Government: Sweden.</P>
<P class="p356 ft18">211</P>
</DIV>
<DIV id="page_205">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312205x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Organisering för stärkt utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p323 ft9">De intervjuer som <NOBR>OECD-teamet</NOBR> genomfört i Sverige pekar på två huvudproblem med att lägga ansvaret för utvärdering av policy<SPAN class="ft28">18 </SPAN>på självständiga myndigheter på det sätt som sker i Sverige. Man uppmärksammar bl.a. att kopplingen är svag mellan den policy- utvärdering som görs i myndigheterna och det arbete med politik- utveckling och styrning som sker i fackdepartementen. Enligt rapporten indikerade personal i departementen att det är svårt att påverka utvärderingsmyndigheters agenda och att få politiskt rele- vanta och användbara råd från dem. OECD pekar också på svårig- heter att balansera ett ideal om institutionell självständighet och oberoende med kravet att garantera relevanta utvärderingar. Man uppmärksammade också att flera av utvärderingsmyndigheterna inte heller har något tydligt och specifikt fokus på utvärdering utan ofta har en hel rad andra uppgifter.</P>
<P class="p119 ft10">OECD menar att det primära ansvaret för utvärdering av poli- tiska reformer och program bör ligga på ansvarig minister snarare än på de verkställande myndigheterna, även om de senare natur- ligtvis bör vara delaktiga under hela processen.</P>
<P class="p167 ft10">OECD rekommenderar även att Sverige ska överväga att följa det danska exemplet och överföra ansvaret för all reformutvär- dering (policy evaluation) till antingen universitet eller till specia- liserade forskningsorgan. Man menar att fackdepartementen på detta sätt kan få tillgång till oberoende och relevant forskning om reformer. Man pekar dock på att denna typ av organisering av reformutvärderingen inte är oproblematisk då högskolor och fri- stående forskningsinstitut principiellt eftersträvar oberoende från regeringens politiska agenda.</P>
<P class="p150 ft32"><SPAN class="ft32">11.4</SPAN><SPAN class="ft125">Förslag om ett råd med dubbla funktioner</SPAN></P>
<P class="p578 ft11"><SPAN class="ft13">Utredningens förslag: </SPAN><SPAN class="ft10">Ett </SPAN>Råd för utvärdering av skolan <SPAN class="ft10">inrättas med två huvuduppgifter:</SPAN></P>
<P class="p579 ft10"><SPAN class="ft14">1.</SPAN><SPAN class="ft46">Löpande bistå regeringen i utvärderingsfrågor avseende skol- väsendet. Det innebär t.ex. att</SPAN></P>
<P class="p580 ft10"><SPAN class="ft64">- </SPAN>utarbeta förslag till ett nationellt ramverk för utvärdering,</P>
<P class="p142 ft53"><SPAN class="ft30">18 </SPAN>Det bör uppmärksammas att det engelska språket gör skillnad på <SPAN class="ft72">policy </SPAN>i bemärkelsen innehåll i en politisk reform eller annan åtgärd och <SPAN class="ft72">politik </SPAN>som avser att besluta om och genomföra en policy, dvs. själva det politiska ”spelet”. På svenska används uttrycket policy ibland i bemärkelsen riktlinje eller värderingsmässig bas som ligger till grund för ett age- rande. Här används ordet policy i den engelskspråkiga betydelsen.</P>
<P class="p51 ft18">212</P>
</DIV>
<DIV id="page_206">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312206x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td4"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td70"><P class="p22 ft99">Organisering för stärkt utvärdering</P></TD>
</TR>
</TABLE>
<P class="p581 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">lämna förslag till nationell plan för utvärdering av skolväsen- det, samt</SPAN></P>
<P class="p582 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">inom ramen för en sådan plan vid behov kunna initiera policyrelevant forskningsbaserad utvärdering.</SPAN></P>
<P class="p583 ft10"><SPAN class="ft14">2.</SPAN><SPAN class="ft46">Vid större och genomgripande reformer inom skolväsendet bistå regeringen med</SPAN></P>
<P class="p584 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">förslag till program för reformutvärdering,</SPAN></P>
<P class="p585 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">att vid behov initiera forskningsbaserad reformutvärdering,</SPAN></P>
<P class="p586 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">att samordna utvärderingsinsatserna i det fall flera aktörer är involverade i reformutvärderingen (forskare, utvärderings- institut, myndigheter etc.),</SPAN></P>
<P class="p582 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">att sammanfatta resultat från olika aktörers utvärderingar, samt</SPAN></P>
<P class="p582 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">att sammanfatta identifierade behov av ytterligare stöd till, eller justeringar av, den aktuella reformen.</SPAN></P>
<P class="p587 ft9">Rådet organiseras som en kommitté inom Regeringskansliet, med ett begränsat kansli. Rådets ledamöter, dvs. de som ska ha beslutsbefogenhet i rådet, förslås vara forskare som represen- terar olika forskningsdiscipliner. I övrigt föreslås rådet bestå av sakkunniga som företräder olika delar av skolsamhället, t.ex. Utbildningsdepartementet, berörda myndigheter och skol- huvudmän, samt företrädare för lärare, rektorer och elever.</P>
<P class="p315 ft10">Förutsättningarna för ett evidensinformerat politiskt beslutsfat- tande samt för en kvalificerad utvärdering av politiska reformer kan enligt utredningen förbättras genom en tydligare och mer ända- målsenlig organisering och ansvarsfördelning. Enligt vår uppfatt- ning bör den framtida organiseringen och styrningen bidra till att genomföra regeringens strategier för utvärdering på skolans områ- de. Sådana strategier bör bidra till att det kommer till stånd en kvalificerad utvärdering som bidrar till en förbättrad systemkun- skap om skolan samt till att reformer i högre grad än i dag kommer att utvärderas i framtiden.</P>
<P class="p233 ft10">Ett viktigt instrument för att åstadkomma detta är, som vi ser det, att det utformas ett nationellt ramverk för utvärdering som bl.a. bidrar till en långsiktigt stabil myndighetsstruktur på skolans område där ansvarsfördelningen är tydlig. Ett annat är att det tas fram en övergripande nationell plan för utvärderingen av skolan samt att det vid behov fattas beslut om inriktningen av, och plan</P>
<P class="p529 ft18">213</P>
</DIV>
<DIV id="page_207">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Organisering för stärkt utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">för, specifika utvärderingsstudier. Om ramverk och nationell plan, se vidare kapitel 7. Enligt vår uppfattning bör dessutom olika in- tressenter på skolans område göras mer delaktiga i de processer som föregår beslut om inriktningen av utvärdering.</P>
<P class="p106 ft9">Vidare bör den nationella utvärderingen av skolans verksamhet, liksom utvärderingen av reformer på skolans område, kunna bidra till både nationell policyutveckling och lokal skolutveckling. Det innebär att den dels bör förse både den nationella och den lokala nivån med relevant kunskap om resultatet av interventionerna, dels bidra till utvecklingen av skolan utifrån såväl ett nationellt som ett lokalt perspektiv. Att organisera för detta är naturligtvis svårare än om man endast har den centrala nivåns summativa kunskapsbehov för ögonen. Den mer mångfacetterade ambitionen gör det särskilt viktigt att involvera de olika intressenterna på skolans område i arbetet med att utforma utvärderingen av skolan.</P>
<P class="p214 ft10">Utvärdering har dessutom effekter i sig. Det gäller därför att utforma de olika inslagen i systemet på ett sådant sätt att den lokala verksamheten och utvecklingen inte störs eller att utvärderingen leder till att utvecklingen får en icke avsedd inriktning (oavsedda bieffekter).</P>
<P class="p227 ft10">Utredningen delar OECD:s slutsats att det är på central politisk nivå ansvaret för att fatta strategiska beslut om utvärderingen av skolan måste ligga. Det är t.ex. regeringen som måste ta ansvar för att reformer utvärderas och att detta sker med den bredd och med de olika perspektiv som skissats ovan. Det kan inte någon av myn- digheterna inom området göra.</P>
<P class="p140 ft9">Skolverket, som annars har i uppdrag att svara för uppföljning och utvärdering av skolan, har t.ex. inte något specifikt uppdrag att utvärdera reformer. Det är svårt att se att myndigheten utan ett sådant uppdrag från regeringen skulle kunna ta initiativ till mer genomgripande reformutvärderingar, då detta skulle innebära att regeringens centrala skolmyndighet oombedd skulle utvärdera regeringens förda politik. Om regeringen efterfrågar och tillför resurser för en sådan utvärdering ställs frågan naturligtvis i en annan dager. Man bör dock beakta att Skolverket är en del av skol- systemet och att det därför i vissa fall kan vara mindre lämpligt att det är just Skolverket som utvärderar en reform. Att myndighetens implementeringsinsatser ska utvärderas av en oberoende aktör är självklart och sker också. Skolverkets roll i styrningen av skolan</P>
<P class="p588 ft18">214</P>
</DIV>
<DIV id="page_208">
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td4"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td70"><P class="p22 ft99">Organisering för stärkt utvärdering</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">gör emellertid att det kan finnas skäl att även i övrigt överväga att lägga vissa former av reformutvärdering på andra aktörer.</P>
<P class="p16 ft10">Till skillnad från Skolverket har IFAU uppdraget att utvärdera effekter av reformer på utbildningsområdet. Vi har dock redan konstaterat att utvärderingen av effekter av reformer endast utgör en pusselbit i den strategi för utvärdering av skolan och av reformer på skolområdet som behövs.</P>
<P class="p100 ft39">Bara mängden aktörer som kan ha en roll vid utvärderingen av skolan och av reformer på skolområdet pekar på behovet av en stärkt nationell styrning. Till ovan nämnda myndigheter kan läggas Skolinspektionen, det aviserade Skolforskningsinstitutet, Statskontoret, Vetenskapsrådet samt forskare och andra utvärderingsorganisationer.</P>
<P class="p589 ft136">Rådet för utvärdering av skolan <SPAN class="ft13">– med oförändrad myndighetsorganisation i övrigt</SPAN></P>
<P class="p91 ft10">Utredningen föreslår att det inrättas ett råd för utvärderingsfrågor inom skolområdet, <SPAN class="ft11">Rådet för utvärdering av skolan</SPAN>. Förslaget är i vissa avseenden inspirerat av det förslag till ett <SPAN class="ft11">Råd för utbild- ningsutvärdering </SPAN>som föreslogs i betänkandet <SPAN class="ft11">Att nå ut och nå ända fram </SPAN>(SOU 2009:94). Enligt detta tidigare förslag skulle rådet inriktas på policyinriktade utvärderingar på nationell nivå inom utbildningssektorn. Inriktningen av det råd som föreslås här skiljer sig i vissa avseenden från det tidigare förslaget.</P>
<P class="p15 ft10">För det första är vårt förslag begränsat till utvärderingsfrågor på skolans område, helt enkelt för att vårt uppdrag avser skolan. Vi har mot den bakgrunden inte haft möjlighet att bedöma behoven av ett organ av detta slag för den högre utbildningen. Vi menar dock att rådet bör svara mot hela skolväsendets behov. Det innebär att exemeplvis förskolan bör omfattas. För det andra föreslår vi ett råd med två huvuduppgifter – ett grunduppdrag och ett uppdrag kopplat till reformutvärdering.</P>
<P class="p193 ft11">Grunduppdrag</P>
<P class="p65 ft10">En av rådets huvuduppgifter bör vara att bistå till regeringen med att utarbeta förslag till det ramverk för utvärdering som föreslås i kapitel 7. Det inebär att rådet kommer att lämna förslag till rege- ringen om den strategiska inriktningen av den nationella utvär-</P>
<P class="p590 ft18">215</P>
</DIV>
<DIV id="page_209">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Organisering för stärkt utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">deringen av skolan samt föreslå hur ansvarsfördelningen för frågor om utvärdering av skolan bör se ut. Rådet bör ha en god överblick över de olika aktörernas pågående utvärdering av skolan samt, inte minst, över vad som behöver utvärderas.</P>
<P class="p108 ft10">Rådet föreslås också lämna förslag till den nationella plan för utvärdering som förelås i kapitel 7. Rådet bör inom ramen för den nationella planen, och mot bakgrund av en behovsanalys, ges för- utsättningar att initiera policyrelevant forskningsbaserad utvärde- ring.</P>
<P class="p109 ft11">Vid reformering av skolan</P>
<P class="p215 ft10">Rådet föreslås dessutom bistå regeringen i samband med större och genomgripande reformer på skolområdet. Inför genomförandet av en sådan reform bör rådet bistå regeringen med förslag till program för reformutvärderingen. Ett sådant program bör kunna omfatta olika former av forskningsbaserad utvärdering och engagera olika forskningsdiscipliner.</P>
<P class="p167 ft40">Under en pågående reform bör rådet, med utgångspunkt i det av regeringen beslutade programmet kunna upphandla reformutvär- dering av forskare och andra utvärderare samt följa och kvalitets- säkra arbetet inom dessa projekt. Rådet bör också kunna bistå regeringen med att samordna utvärderingsinsatserna i det fall flera aktörer är involverade i reformutvärderingen, t.ex. forskare, utvärderingsinstitut, myndigheter, etc. Målsättningen bör därutöver vara att rådets arbete med reformutvärdering ska kunna resultera i en samlad analys av resultat från de olika aktörernas utvärderings- insatser som rapporteras till regeringen. En sådan samlad analalys kan idenifiera behov av att justera reformen eller påverka den nationella strategin för att implementera den.</P>
<P class="p177 ft45">Detta skulle innebära att rådet i samband med större refomer ges ett uppdrag som i mycket skulle likna det som det norska Pro- gramstyret hade vid utvärderingen av Kunskapslyftet i Norge. Om ett mer permanent råd inte inrättas förordar vi att modellen används åtminstone vid utvärderingen av större reformer.</P>
<P class="p591 ft18">216</P>
</DIV>
<DIV id="page_210">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312210x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td4"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td70"><P class="p22 ft99">Organisering för stärkt utvärdering</P></TD>
</TR>
</TABLE>
<P class="p64 ft11">Organisation</P>
<P class="p65 ft40">Liksom i SOU 2009:94 föreslår vi att rådet ska organiseras som en kommitté inom Regeringskansliet. Vi menar att denna form har flera fördelar. Genom en sådan konstruktion kommer rådet att befinna sig på vad man skulle kunna kalla för ett lagomt avstånd till regeringen – tillräckligt nära för att kunna lämna förslag till rege- ringens beredning av utvärderingsfrågor, men samtidigt på tillräck- ligt avstånd för att, liksom en myndighet, vara självständiga i det dagliga arbetet. I samband med genomförandet av de uppgifter som rådet getts av regeringen, t.ex. att samordna och analysera resul- taten från reformutvärdering, får det inte råda något tvivel om rådets oberoende. I annat fall äventyras utvärderingens legitimitet och trovärdighet.</P>
<P class="p124 ft9">En fördel med att organisera rådet i form av en kommitté är att det ger en stor flexibilitet. Under lugnare perioder kan sekretariatet bestå av ett fåtal personer, för att i reformskeden kunna växa för att möta ökade behov av samordning och analys. Vi bedömer dess- utom att den flexibilitet som kommittéformen ger kan underlätta rekryteringen av sådana kvalificerade forskare till sekretariatet, som annars kan vara obenägna att lämna den akademiska karriären. I ett sekretariat kan man arbeta under mer begränsad tid eller dela sin tid mellan forsknings- och sekretariatsmiljön.</P>
<P class="p243 ft11">Rådets sammansättning och medlemmarnas inflytande</P>
<P class="p592 ft10">Utredningen föreslår att rådet sätts samman av företrädare för olika delar av skolsamhället, dvs. med företrädare för forskare från olika discipliner samt för Utbildningsdepartementet, berörda myndighe- ter och skolhuvudmän samt för lärare, rektorer och elever. På detta sätt skapas ett forum för de strategiska frågorna om utvärderingen av den svenska skolan. Genom att representera både en verksam- hetsmässig bredd och en djup kunskap om utvärdering på skol- området kan rådet bidra till att utvärderingssystemets olika perspektiv och syften lyfts fram och samordnas. Dessutom kan det bidra till systemets legitimitet.</P>
<P class="p233 ft10">Ytterligare en fördel med kommittéformen är att den möjliggör att olika företrädare i rådet ges olika typ av inflytande<SPAN class="ft55">19</SPAN>. I detta fall</P>
<P class="p69 ft62"><SPAN class="ft76">19 </SPAN>Enligt kommittéförordningen (1998:1474) kan en kommitté bestå av en ordförande och en eller flera ledamöter samt biträdas av sakkunniga, expeter och sekreterare. Ledamöter och sakkunniga ska få del av de handlingar som är avsedda för kommittén och har rätt att närvara</P>
<P class="p547 ft18">217</P>
</DIV>
<DIV id="page_211">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312211x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Organisering för stärkt utvärdering</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft40">förordar vi en ordning där ordförande och ledamöter, dvs. de som fattar kommitténs beslut ska vara välmeriterade forskare med olika inriktning. Vi förordar vidare att övriga representanter bör vara sakkunniga, vilket innebär att de har rätt att ta del av kommitténs underlag, har rätt att delta vid kommitténs möten och överlägg- ningar samt har rätt att lämna ett särskilt yttrande i det fall de inte är eniga med de beslut som fattas. Med en sådan lösning ges myndigheter och företrädare för lärare, skolledare och elever möj- lighet att påverka, men gör dem inte direkt ansvariga för de förslag som lämnas till regringen och de initiativ rådet tar. Vi uppfattar att detta är en ordning som ligger närmare en svensk tradition än om även dessa aktörer skulle göras fullt delaktiga i besluten. Det senare skulle för myndigheternas del innebära en form av rundgång, där de själva var med och i rådet lämnade förslag till sina egna och andra aktörers uppdrag. För organisationerna skulle det leda till att roll- fördelningen blev otydlig.</P>
<P class="p61 ft11">Oförändrade uppgifter för befintliga myndigheter</P>
<P class="p53 ft10">Det bör observeras att förslaget att inrätta Rådet för utvärdering av skolan innebär oförändrade uppgifter för myndigheterna på skol- området. De uppgifter som rådet är tänkt att svara för, och de utvärderingar som det kan komma att föreslå eller initiera, genom- förs i allt väsentligt inte i dag. Som OECD påpekar har myndig- heter som Skolverket många andra uppgifter som tränger ut den mer omfattande och djuplodande utvärderingen. Det innebär att det saknas resurser för den utvärdering som vi anser är nödvändig för att öka kunskapen om den svenska skolan samt för att utvär- dera reformer.</P>
<P class="p177 ft45">Det finns flera anledningar till att vi inte lämnar något förslag som går i en mer långtgående riktning, dvs. föreslår inrättandet av en ny myndighet för utvärderingsfrågor. Vi anser. att modellen med ett råd i kommittéform först bör prövas och utvärderas efter- som modellen har stora fördelar. Det behöver dessutom inte vara ett problem att olika typer av utvärdering och kunskapande om</P>
<P class="p152 ft53">vid kommitténs sammträden och att delta i kommitténs överläggningar medan experter ska biträda kommittén i den omfattning kommittén eller ordföranden bestämmer. Ordförande och ledamöter deltar i de beslut som fattas av kommittén. Ledamöter har reservationsrätt. Ledamöter och sakkunniga får skriva särskilda yttranden. Expeter slutligen får skriva sär- skilda yttranden endast i frågor som omfattas av expertuppdraget och om kommittén går med på det.</P>
<P class="p51 ft18">218</P>
</DIV>
<DIV id="page_212">
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td4"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td70"><P class="p22 ft99">Organisering för stärkt utvärdering</P></TD>
</TR>
</TABLE>
<P class="p201 ft40">skolan genomförs av olika aktörer, så länge det är tydligt vem som gör vad och varför. Den ansvarsfördelning som nu utkristalliserar sig bygger på specialisering och innebär att IFAU är den myndig- het som har kompetens på i första hand effektutvärdering medan exempelvis det nya institut med inriktning på skolforskning som ska inrättas från januari 2015 kommer att bygga upp kompetens för att systematiskt väga samman och sprida forkningsresultat om metoder och arbetssätt i skolan. Den utredning som ska förbereda inrättandet av myndigheten ska också överväga om denna även bör ha i uppdrag att i begränsad omfattning initiera forskning inom området.</P>
<P class="p137 ft45">Det föreslagna Rådet för utvärdering av skolan bör dessutom kunna bidra till att Skolverkets roll inom utvärderingen av skolan stärks. Skolverket bör kunna svara för en metodologisk bredd vad gäller utvärderingen av skolan. Myndigheten har dessutom förut- sättningar att länka utvärderings- och utvecklingsperspektiven inom samma myndighet. Fördelarna med att bedriva utvärdering i en miljö som även svarar för statistiksystemet, de internationella undersökningarna, de nationella proven etc. är uppenbara.</P>
<P class="p593 ft18">219</P>
</DIV>
<DIV id="page_213">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312213x1.jpg" id="img1">
</DIV>
<P class="p0 ft8">12 Konsekvenser</P>
<P class="p594 ft9">Enligt kommittéförordningen<SPAN class="ft28">1 </SPAN>ska en utredning redovisa eventuella ekonomiska eller samhällsekonomiska konsekvenser av sina förslag samt föreslå finansiering om förslagen leder till kostnadsökningar eller intäktsminskningar. För nya eller ändrade regler ska kostnads- mässiga och andra konsekvenser anges i betänkandet<SPAN class="ft28">2</SPAN>. Vidare ska enligt kommittéförordningen eventuella konsekvenser redovisas för det kommunala självstyrelsen redovisas, liksom när ett förslag har betydelse för brottsligheten och det brottsförebyggande arbetet, för sysselsättning och offentlig service i olika delar av landet, för små företags arbetsförutsättningar, konkurrensförmåga eller villkor i övrigt i förhållande till större företags, för jämställdheten mellan kvinnor och män eller för möjligheterna att nå de integrations- politiska målen. Slutligen framgår av förordningen att regeringen anger närmare i utredningens uppdrag vilka konsekvensbeskriv- ningar som ska finnas i betänkandet.</P>
<P class="p595 ft10">I direktiven till föreliggande utredning har regeringen inte angett att det ska göras några sådana konsekvensbeskrivningar. Vi har ändå valt att i det följande diskutera vissa ekonomiska konsekvenser av förslagen. Utredningens karaktär och inriktningen av de förslag vi lämnat gör att vi funnit att det inte varit motiverat att göra konsek- vensbeskrivningar för samtliga områden. Utredningen innehåller dessutom ett begränsat antal förslag som föranleder konsekvens- beskrivningar.</P>
<P class="p596 ft53"><SPAN class="ft51">1</SPAN><NOBR><SPAN class="ft52">14–16</SPAN></NOBR> §§ Kommittéförordningen (1998:1474).</P>
<P class="p126 ft31"><SPAN class="ft51">2</SPAN><SPAN class="ft54">Enligt </SPAN><NOBR>6–7</NOBR> §§ förordningen (2007:1244) om konsekvensutredning vid regelgivning.</P>
<P class="p356 ft18">221</P>
</DIV>
<DIV id="page_214">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312214x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Konsekvenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft13">Ekonomiska konsekvenser</P>
<P class="p302 ft10">De förslag som utredningen lämnat avser</P>
<P class="p130 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">framtagande av och beslut om ett nationellt ramverk för utvär- dering av skolan och framtagande av treåriga planer för utvär- dering av skolan</SPAN></P>
<P class="p59 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">införande av stickprovsbaserade undersökningar för att följa kunskapsutvecklingen i skolan, samt</SPAN></P>
<P class="p143 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">inrättandet av ett råd för utvärdering av skolan.</SPAN></P>
<P class="p297 ft11">Rådets kostnader inkluderar kostnader för ramverk och plan</P>
<P class="p262 ft9">När det gäller ekonomiska konsekvenser hör den första och sista punkten samman, eftersom det är rådet för utvärdering som före- slås ta fram förslag till ramverk respektive plan för utvärdering. Det är således kostnaderna för rådet som behöver beräknas. En grund- bemanning bör inte behöva vara större än ett par årsarbetskrafter. Det innebär att en rimlig kostnad rör sig om cirka <NOBR>2–2,5</NOBR> miljon kronor per år, inkl. kostnader för ledamöter och sakkunniga.</P>
<P class="p54 ft10">Kostnaderna för rådet i de fall rådet ges i uppdrag i anslutning till en specifik reform blir naturligtvis avsevärt högre. Exempelvis var de totala kostnaderna för utvärderingen av Kunskapslyftet i Norge cirka 60 miljoner norska kronor. Detta måste dock beräknas särskilt vid varje enskilt reformtillfälle. Vi menar dock att det bör vara självklart att varje reform finansieras, inte endast avseende kostnad- erna i verksamheterna, utan också avseende kostnader för imple- mentering och utvärdering.</P>
<P class="p597 ft81">Kostnaderna för stickprovsbaserade undersökningar måste utredas i ett sammanhang med hela systemet för utvärdering av kunskapsresultaten</P>
<P class="p199 ft45">Ett införande av stickprovsbaserade undersökningar för att följa kunskapsutvecklingen skulle innebära omfattande kostnader. Skol- verket uppskattade i en rapport från 2006<SPAN class="ft68">3 </SPAN>att det förslag<SPAN class="ft68">4 </SPAN>som samma år lämnats av professor <NOBR>Jan-Eric</NOBR> Gustafsson initialt skulle kosta 100 miljoner kronor och för påföljande cykler 55 miljoner</P>
<P class="p598 ft58"><SPAN class="ft56">3</SPAN><SPAN class="ft57">Rapport 286 (2006) </SPAN>Rullande stickprovsbaserat system för kunskapsutvärdering av grund- skolans ämnen<SPAN class="ft59">.</SPAN></P>
<P class="p210 ft74"><SPAN class="ft56">4</SPAN><NOBR><SPAN class="ft60">Jan-Eric</SPAN></NOBR><SPAN class="ft31"> Gustafsson (2006) </SPAN>Ramverk för ett system för uppföljning av kunskapsutvecklingen i grundskolan. <SPAN class="ft31">Underlag utarbetat på uppdrag av Skolverket.</SPAN></P>
<P class="p134 ft18">222</P>
</DIV>
<DIV id="page_215">
<TABLE cellpadding=0 cellspacing=0 class="t11">
<TR>
<TD class="tr17 td71"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td72"><P class="p22 ft99">Konsekvenser</P></TD>
</TR>
</TABLE>
<P class="p192 ft9">kronor per tillfälle, dvs. drygt 10 miljoner kronor per år igenom- snitt under antagande att mätningarna i varje ämne upprepades vart femte år. Skolverket bedömde att dessa kostnader var för höga och lämnade ett förslag med vad man menade var en rimligare ambitions- nivå och med rimligare kostnader. Regeringen har ännu inte tagit ställning till förslaget som, mot bakgrund av de senaste årens reformer, nu är delvis inaktuellt. Såväl Lgr11:s nya kursplaner som införandet av betyg i årskurs 6 och nationella prov i flera ämnen och andra årskurser än tidigare har förändrat förutsättningarna.</P>
<P class="p185 ft39">De gjorda uppskattningarna får ses som räkneexempel. Enligt vår uppfattning är det inte meningsfullt att nu bryta ut frågan om kost- naderna för stickprovsundersökningar ur frågan om utvärderingen av kunskapsresultaten i sin helhet. Den utredning som föreslås få i uppgift att utreda frågan om stickprovsbaserade undersökningar i ett sammanhang med hela systemet för utvärdering av kunskaps- resultaten, dvs. även det nationella provsystemet, bör även svara för kostnadsberäkningar och förslag till finansiering av sina förslag.</P>
<P class="p599 ft11">Behov av att förstärka finansieringen av det nationella uppföljnings- systemet</P>
<P class="p146 ft10">Den infrastruktur som uppföljningssystemet utgör behöver enligt vår uppfattning en finansiell förstärkning för att det ska vara möj- ligt att följa utvecklingen inom hela skolväsendet. Det gäller sär- skilt efter de senaste årens reformer. Förutom den löpande, årliga kostnaden för uppgiftsinsamling och statistikframställning uppstår även initiala kostnader för utveckling och anpassning av de befint- liga insamlings- och granskningssystemen samt för att ta fram ny statistik. Dessutom saknas tillräckliga resurser för att utveckla och modernisera systemet.</P>
<P class="p249 ft10">I budgetunderlaget för <NOBR>2014-2016</NOBR> menar Skolverket att det behövs en permanent ökning av anslaget med 10 miljoner kronor från och med 2014 för att uppföljningssystemet ska kunna omfatta fler insamlingar än i dag och samtidigt bibehålla den nuvarande kvalitetsnivån. Det handlar om kostnader för utökad uppgifts- insamling med anledning av beslutade reformer, bl.a. parallella insam- lingar under den tid som äldre regelverk fasas ut, fler nationella prov, betyg i årskurs 6 och betyg från teknikprogrammets fjärde år i gymnasieskolan.</P>
<P class="p600 ft18">223</P>
</DIV>
<DIV id="page_216">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Konsekvenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p447 ft10">Därutöver behövs enligt verket ett tillfälligt tillskott med 4 mil- joner kronor för 2014, för att kunna göra justeringar i det befintliga tabellverket.</P>
<P class="p108 ft10">För att kunna utveckla en ny statistikdatabas, bl.a. mot bak- grund av ökade krav på datatillgänglighet och publicering genom s.k. webbtjänster, bedömer verket att det krävs sammanlagt 20 mil- joner kronor under perioden <NOBR>2014–2016.</NOBR></P>
<P class="p285 ft40">Sammantaget handlar detta om dels en permanent förstärkning med 10 miljoner kronor per år, dels tillfälliga förstärkningar med 10 miljoner kronor för 2014, 7 miljoner kronor för 2015 och 7 miljo- ner kronor för 2016. Utredningen bedömer att detta är lågt räknat.</P>
<P class="p167 ft9">Skolverket har i dag ingen särskild anslagspost för statistik- och uppföljningssystemet. Medel för förvaltning och utveckling avsätts inom ramen för myndighetens interna budgetprocess. Mot bak- grund av myndighetens samlade uppdrag och det utgiftstryck som vilar på myndighetens anslag är det svårt att tänka sig att medel kan frigöras genom förändringar inom myndighetens nuvarande anslags- ramar. En särskild anslagspost för statistik- och uppföljningssystemet skulle tydligare än i dag uttrycka statens ambitioner på området.</P>
<P class="p54 ft10">Slutligen bedömer utredningen att det är önskvärt att det s.k. <NOBR>UGU-projektet</NOBR> vid Göterborgs universitet ges stabila ekonomiska förutsättningar.</P>
<P class="p601 ft18">224</P>
</DIV>
<DIV id="page_217">
<P class="p0 ft8">Referenser</P>
<P class="p602 ft49"><SPAN class="ft29">Adamson, Lena (2013) </SPAN>Kvalitetsutvärdering av högre utbildning – en kritisk granskning av det svenska systemet framtagen på uppdrag av SNS Utbildningskommission<SPAN class="ft29">. SNS.</SPAN></P>
<P class="p603 ft11"><SPAN class="ft10">Albæck, Erik (1996) </SPAN>Why all this Evaluation? Theoretical notes and empirical observations on the functions and growth of evaluation, with Denmark as an illustrative case<SPAN class="ft10">. The Canadian Journal of Program Evaluation, Vol. 11, No. 2.</SPAN></P>
<P class="p604 ft10">Alkin, M. C., & Christie, C. A. (2004). <SPAN class="ft11">An evaluation theory tree</SPAN>. In M. C. Alkin (Ed.), <SPAN class="ft11">Evaluation roots: Tracing theorists; views and influences</SPAN>. Thousand Oaks, CA: Sage.</P>
<P class="p605 ft67"><NOBR><SPAN class="ft45">Alton-Lee,</SPAN></NOBR><SPAN class="ft45"> Adrienne (2012) </SPAN>The Use of Evidence to Improve Education and Serve the Public Good<SPAN class="ft45">. Paper prepared for the New Zealand Ministry of Education and the annual meeting of the American Educational Research Association, Vancouver, Canada.</SPAN></P>
<P class="p606 ft11"><SPAN class="ft10">Amnå, Erik (2013) </SPAN>Speak truth to Power. Statsvetarna och kommitté- väsendet. <SPAN class="ft10">Statsvetenskaplig Tidskrift 112 (5).</SPAN></P>
<P class="p604 ft11"><SPAN class="ft10">Andersson, Christian (2007) </SPAN>Lärartäthet, lärarkvalitet och arbets- marknad för lärare. <SPAN class="ft10">IFAU, rapport 2007:5.</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">Bew, Lord (2011) </SPAN>Independent Review of Key Stage 2 testing, assessment and accountability<SPAN class="ft10">. Final Report. June 2011.</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">Biesta, Gert (2007) </SPAN>Why ”What Works” won´t work: <NOBR>Evidence-based</NOBR> practice and the democratic deficit in education research<SPAN class="ft10">. Educational Theory, Vol. 57, No. 1.</SPAN></P>
<P class="p604 ft11"><SPAN class="ft10">Black, Paul (1998) </SPAN>Learning, League Tables and National Asessment: opportunity or hope deffered? <SPAN class="ft10">Oxford Review of Education, Vol. 24, No 1.</SPAN></P>
<P class="p608 ft18">225</P>
</DIV>
<DIV id="page_218">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Referenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p609 ft11"><SPAN class="ft10">Bohlin, Ingemar (2010) </SPAN>Systematiska översikter, vetenskaplig kumu- lativitet och evidensbaserad pedagogik<SPAN class="ft10">. Pedagogisk forskning i Sverige. Årg. 15, nr. 2/3.</SPAN></P>
<P class="p610 ft10">Buckendale, Chad W., Susan L. Davis, Barbara S. Plake, Stephen G. Sireci, Ronald K. Hambleton, April L. Zenisky, and Craig S. Wells (2009) <SPAN class="ft11">Evaluation of the National Assessment of Educational Prog- ress. Final Report</SPAN>. Center for Educational Assessment. University of <NOBR>Massachusetts-Amherst.</NOBR></P>
<P class="p611 ft11"><SPAN class="ft10">Breakspear, Simon (2012) </SPAN>The Policy Impact of PISA: An Exploration of the Normative Effects of International Benchmarking in School System Performance<SPAN class="ft10">. OECD Education Working Papers, No. 71, OECD Publishing.</SPAN></P>
<P class="p612 ft10">Brulin, Göran och Lennart Svensson (2011) <SPAN class="ft11">Att äga, styra och utvär- dera stora projekt</SPAN>. Studentlitteratur.</P>
<P class="p610 ft11"><SPAN class="ft10">Brunsson, Karin (2000) </SPAN>Det går inte att styra med resultat<SPAN class="ft10">. Statsve- tenskaplig Tidskrift, årg. 1203, nr. 3.</SPAN></P>
<P class="p610 ft10">Burns, Tracey and Tom Schuller (ed.) (2007) <SPAN class="ft11">Evidence in Education. Linking Research and Policy</SPAN>. CERI. OECD.</P>
<P class="p610 ft29">Böhlmark, Anders och Helena Holmlund (2012) <SPAN class="ft49">Lika möjligheter? Familjebakgrund och skolprestationer </SPAN><NOBR><SPAN class="ft49">1998-2010</SPAN>.</NOBR> IFAU, rapport 2012:14.</P>
<P class="p613 ft10">Böhlmark, Anders och Mikael Lindahl (2012) <SPAN class="ft11">Har den växande fri- skolesektorn varit bra för elevernas utbildningsresultat på kort och lång sikt? </SPAN>IFAU, rapport 2012:17.</P>
<P class="p612 ft11"><SPAN class="ft10">Cabinet Office (1999) </SPAN>Professional Policy Making for the Twenty First Century<SPAN class="ft10">. Report by Strategic Policy Making Team.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Cabinet Office (2003) </SPAN>Trying it out. The Role of ‘Pilots’ in Policy- Making<SPAN class="ft10">. Report of a Review of Government Pilots. Gocvenrment Chief Social Researcher´s Office.</SPAN></P>
<P class="p610 ft29">Cable, Vincent (2004) <SPAN class="ft49">Evidence and UK Politics. </SPAN>Article in <SPAN class="ft49">Research and Policy Development: Does Evidence Matter? </SPAN>Meeting Series. Overseas Development Institute.</P>
<P class="p614 ft10">Campbell, Carol and Ben Levin (2008) <SPAN class="ft11">Using Data to Support Edu- cational Improvement</SPAN>. Springer Science + Business Media, LLC.</P>
<P class="p261 ft18">226</P>
</DIV>
<DIV id="page_219">
<TABLE cellpadding=0 cellspacing=0 class="t14">
<TR>
<TD class="tr17 td73"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td74"><P class="p22 ft38">Referenser</P></TD>
</TR>
</TABLE>
<P class="p64 ft10">Carlgren, Ingrid, Ingela Josefsson och Caoline Lidberg (red.) (2005)</P>
<P class="p615 ft11">Forskning om denna världen II – om teorins roll i praxisnära forsk- ning<SPAN class="ft10">. Vetenskapsrådet.</SPAN></P>
<P class="p605 ft11"><SPAN class="ft10">Cliffordsson, Christina (2004) </SPAN>De målrelaterade gymnasiebetygens prognosförmåga. <SPAN class="ft10">Pedagogisk Forskning i Sverige, 9(2).</SPAN></P>
<P class="p604 ft11"><SPAN class="ft10">Cliffordson, Christina (2004) </SPAN>Betygsinflation i de målrelaterade gymnasiebetygen. <SPAN class="ft10">Pedagogisk Forskning i Sverige, 9(1).</SPAN></P>
<P class="p607 ft10">Centrum för skolledarutveckling (2012) <SPAN class="ft11">“Att bygga om en rondell i rusningstrafik?” Uppföljning av skolverkets informationsinsatser vid imåplementeringen av skollagen</SPAN>. Umeå universitet.</P>
<P class="p605 ft81"><SPAN class="ft39">Clarke, Alan (2007</SPAN>) <NOBR>Evidence-based</NOBR> evaluation in different professsional domains: similarities, differences and challanges <SPAN class="ft39">i Shaw, Ian F. m. fl. (red.) </SPAN>The Sage Handbook of Evaluation<SPAN class="ft39">. Sage Publications.</SPAN></P>
<P class="p603 ft11"><SPAN class="ft10">Cochrane, Archibald (1972) </SPAN>Effectiveness and Efficiency. Random Reflections on Health Services<SPAN class="ft10">. London: Nuffield Provincial Hospi- tals Trust (Reprinted in 1989 in association with the BMJ, Reprin- ted in 1999 for Nuffield Trust by the Royal Society of Medicine Press, London.</SPAN></P>
<P class="p604 ft29">Commission of the European Union (2007) <SPAN class="ft49">Towards more knowledge- based policy and practice in educatrion and training</SPAN>. Commission staff working document. SEC(2007) 1098.</P>
<P class="p616 ft81"><SPAN class="ft39">Cordingley, Philippa (2004) </SPAN>Teachers using evidence: Using what we know about teaching and learning to reconceptualize <NOBR>evidence-based</NOBR> practice<SPAN class="ft39">. I G. Thomas & R. Pring (red.) </SPAN><NOBR><SPAN class="ft39">Evidence-based</SPAN></NOBR><SPAN class="ft39"> practice in education. Buckingham: Open University press.</SPAN></P>
<P class="p606 ft10">Coryn, Chris L. S., Lindsay A. Noakes, Carl D. Westine and Daniela C. Schröter (2011) <SPAN class="ft11">A Systematic Review of </SPAN><NOBR><SPAN class="ft11">Theory-Driven</SPAN></NOBR><SPAN class="ft11"> Evaluation Practice From 1990 to 2009</SPAN>. American Journal of Evaluation 32(2) <NOBR>199–226.</NOBR></P>
<P class="p604 ft11"><SPAN class="ft10">Curman, Lisa (2011) </SPAN>Uppföljning och utvärdering av resultat i komplexa situationer. En <NOBR>begrepps-och</NOBR> metodutforskande uppsats med ett utfall från internationellt utvecklingsarbete<SPAN class="ft10">. Göteborgs universitet, Förvaltningshögskolan.</SPAN></P>
<P class="p617 ft45"><NOBR>Dahler-Larsen,</NOBR> Peter (2003) <SPAN class="ft67">Det politiske i evaluering</SPAN>. Studies in Educational Policy and Educational Philosophy. <NOBR>E-tidskrift</NOBR> 2003:1.</P>
<P class="p618 ft18">227</P>
</DIV>
<DIV id="page_220">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Referenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p619 ft11"><NOBR><SPAN class="ft10">Dahler-Larsen,</SPAN></NOBR><SPAN class="ft10"> Peter (2005) </SPAN>Vaikuttavuuden arviointi. (Utvärdering av effektivitet). <SPAN class="ft10">Stakes.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Dahllöf. Urban (1971) </SPAN>Svensk utbildningsplanering under 25 år<SPAN class="ft10">. Studentlitteratur. Lund.</SPAN></P>
<P class="p610 ft10">Danish Clearinghouse for Educational Research (2007) <SPAN class="ft11">Concept Note</SPAN>, v. 12.</P>
<P class="p620 ft12"><SPAN class="ft9">Davies Philip (2000) </SPAN>The Relevance of Systematic Reviews to Educational Policy and Practice<SPAN class="ft9">. Oxford Review of Education, Vol. 26, Nos. 3 & 4.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Davies, Philip (2004) </SPAN>Is <NOBR>Ecidence-Based</NOBR> Government Possible? <SPAN class="ft10">Jerry Lee Lecture. 4</SPAN><SPAN class="ft55">th </SPAN><SPAN class="ft10">Annual Campell Collaboration Colloquium, Washington D.C.</SPAN></P>
<P class="p621 ft10">Davies, Phillip, Kathryn Newcomer and Haluk Soydan (2006)</P>
<P class="p247 ft11">Government as structural context for evaluation <SPAN class="ft10">i Shaw, Ian F., Jennifer C. Greene and Melvin M. Mark (Ed.) </SPAN>The Sage Handbook of Evaluation. Policies, programs and Practicies<SPAN class="ft10">. Sage publications 2007.</SPAN></P>
<P class="p612 ft10">Department for education and skills and Office for standards in education (2004) <SPAN class="ft11">A new Relationship with Schools</SPAN>.</P>
<P class="p610 ft10">Department for Education (2010) <SPAN class="ft11">The Importance of Teaching. The schools White Paper </SPAN>2010.</P>
<P class="p622 ft67"><SPAN class="ft45">Department for Education (2011) </SPAN>Independent Review of Key Stage 2 testing, assessment and accountability. Government Response.</P>
<P class="p623 ft11"><SPAN class="ft10">Department for Education (2013) </SPAN>Analytical Review. The Department</P>
<P class="p624 ft10">(By Steering Group).</P>
<P class="p610 ft11"><SPAN class="ft10">Ds 2000:34 </SPAN>Samhällets grundläggande information – Inventering. Analys. Förslag. <SPAN class="ft10">Justitiedepartementet.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Ds 2005:16 </SPAN>Att fånga kunnandet om lärande och undervisning. Om villkoren för skolledare och lärare att ta del av systematiskt framtagen kunskap om utbildningsverksamhet<SPAN class="ft10">. Utbildnings- och kulturdeparte- mentet.</SPAN></P>
<P class="p625 ft36">Education, Audiovisual & Culture Executive Agency (EACEA) (2009)</P>
<P class="p626 ft43">National Testing of Pupils in Europé: Objectives, Organisation and Use of Results<SPAN class="ft40">. Eurydice.</SPAN></P>
<P class="p627 ft18">228</P>
</DIV>
<DIV id="page_221">
<TABLE cellpadding=0 cellspacing=0 class="t14">
<TR>
<TD class="tr17 td73"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td74"><P class="p22 ft38">Referenser</P></TD>
</TR>
</TABLE>
<P class="p628 ft10">Ekonomistyrningsverket (2006) <SPAN class="ft11">Effektutvärdering. Att välja upplägg</SPAN>. ESV 2006:8.</P>
<P class="p607 ft10">Evans, Jennifer och Benefield, Pauline (2001<SPAN class="ft11">) Systematic Reviews of Educational Research: does the medical model fit? </SPAN>British Educatio- nal Research Journal, Vol. 27, No. 5.</P>
<P class="p604 ft10">Fazekas, Mihály and Tracey Burns (2012) <SPAN class="ft11">Exploring the Complex Interaction Between Gowernance and Knowledge in Education</SPAN>. OECD Education Working Paperas, No 67, OECD Publishing.</P>
<P class="p607 ft11"><SPAN class="ft10">Faubert, Violaine (2009) </SPAN>School Evaluation. Current Practices in OECD Countries and a Litterature Review. <SPAN class="ft10">OECD Education Working Papers, No. 42, OECD Publishing.</SPAN></P>
<P class="p604 ft11"><SPAN class="ft10">Finansdepartementet (2013) </SPAN>Budgetpropositionen för 2014. Utgifts- område 16. Utbildning och universitetsforskning<SPAN class="ft10">.</SPAN></P>
<P class="p607 ft10">Foss Hansen, Hanne och Olaf Rieper (2010) <SPAN class="ft11">The Politics of Evidence- Based </SPAN><NOBR><SPAN class="ft11">Policy-Making:</SPAN></NOBR><SPAN class="ft11"> The Case of Denmark</SPAN>. German Policy Studies, Vol. 6, No. 2.</P>
<P class="p604 ft11"><SPAN class="ft10">Foss Hansen, Hanne (2012) </SPAN>Systematic evaluation governance. New logics in the developement of organisational fields<SPAN class="ft10">. Offentlig förvalt- ning. Scandinaivian.</SPAN></P>
<P class="p607 ft29"><NOBR>Franke-Wikberg,</NOBR> Sigbrit (red.), Urban Dahllöf, Daniel Kallos, Ulf P. Lundgren och Erik Wallin (1989) <SPAN class="ft49">Skolan och utvärderingen. Fem professorer tar ordet</SPAN>. HLS Förlag.</P>
<P class="p516 ft10">Fredriksson, Peter, Hessel Oosterbeek och Björn Öckert (2012)</P>
<P class="p629 ft11">Långsiktiga effekter av mindre klasser<SPAN class="ft10">. IFAU, rapport 2012:5.</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">Furubo, </SPAN><NOBR><SPAN class="ft10">Jan-Eric</SPAN></NOBR><SPAN class="ft10"> (2011</SPAN>) Effektivitetsrevision – roll, möjligheter och gränser<SPAN class="ft10">. Riksrevisionen.</SPAN></P>
<P class="p607 ft10">Glouberman, Sholom and Brenda Zimmerman (2002) <SPAN class="ft11">Complicated and Complex Systems: What Would Successful Reform of Medicare Look Like? </SPAN>Discussion paper no. 8. Commission on the Future of Health Care in Canada.</P>
<P class="p604 ft11"><SPAN class="ft10">Goldacre, Ben (2013) </SPAN>Building Evidence into Education<SPAN class="ft10">. Department for Education, UK.</SPAN></P>
<P class="p630 ft18">229</P>
</DIV>
<DIV id="page_222">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Referenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p619 ft11"><SPAN class="ft10">Gough, David (2007) </SPAN>The Evidence for Policy and Practice Information and <NOBR>Co-ordination</NOBR> (EPPI) Centre, United Kingdom <SPAN class="ft10">i OECD & CERI (2007) </SPAN>Knowledge Management. Evidence in Education: Linking Research and Policy.</P>
<P class="p612 ft10">Gough, David, Janice Tripney, Caroline Kenny and Elisabeth Buk- Berge (2011) <SPAN class="ft11">Evidence Informed Policymaking in Education in Europe</SPAN>. EIPEE Final Projcet Report.</P>
<P class="p610 ft10">Gough, David, James Thomas and Sandy Oliver (2012) <SPAN class="ft11">Clarifying differences between review designs and methods</SPAN>. Systematic Reviews 2012, 1:28.</P>
<P class="p620 ft81"><SPAN class="ft39">Gray, J. A. M. (1977) </SPAN><NOBR>Evidence-based</NOBR> Healthcare: How to Make Health Policy and management Decisions<SPAN class="ft39">. London: Churchill Livingstone.</SPAN></P>
<P class="p631 ft10">von Greiff, Camilo, Anna Sjögren och <NOBR>Ing-Marie</NOBR> Wieselgren (2012)</P>
<P class="p626 ft11">En god start – <NOBR>ESO-rapport</NOBR> om tidigt stöd i skolan<SPAN class="ft10">. Rapport till Expertgruppen för studier i offentlig ekonomi, 2012:2.</SPAN></P>
<P class="p612 ft11"><SPAN class="ft10">Gröjer, Anette (2004) </SPAN>Den utvärdera(n)de staten. Utvärderingens institutionalisering på den högre utbildningens område<SPAN class="ft10">. Studies in Politics 102. Stockholm University: Department of Political Scien- ce.</SPAN></P>
<P class="p612 ft10">Gustafsson, <NOBR>Jan-Eric</NOBR> (2006) <SPAN class="ft11">Ramverk för ett system för uppföljning av kunskapsutvecklingen i grundskolan</SPAN>. Underlag utarbetat på uppdrag av Skolverket.</P>
<P class="p610 ft10">Gustafsson, <NOBR>Jan-Eric</NOBR> and Gudrun Erickson (2013) <SPAN class="ft11">To trust or not to trust? – Teacher marking versus external marking of national tests</SPAN>. Educational Assessment, Evaluation and Accountability. Vol. 25, No. 1. Springer.</P>
<P class="p612 ft10">Gustafsson, <NOBR>Jan-Eric,</NOBR> Christina Cliffordson och Gudrun Erickson (2014) <SPAN class="ft11">Likvärdig kunskapsbedömning i och av den svenska skolan – problem och möjligheter. </SPAN>SNS Förlag.</P>
<P class="p612 ft11"><SPAN class="ft10">Hall, Caroline (2009) </SPAN>Förlängningen av yrkesutbildningarna på gymnasiet: effekter på utbildningsavhopp, utbildningsnivå och inkomster<SPAN class="ft10">. IFAU. Rapport 2009:7.</SPAN></P>
<P class="p632 ft18">230</P>
</DIV>
<DIV id="page_223">
<TABLE cellpadding=0 cellspacing=0 class="t14">
<TR>
<TD class="tr17 td73"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td74"><P class="p22 ft38">Referenser</P></TD>
</TR>
</TABLE>
<P class="p628 ft10">Hamilton, Linda (2005) <SPAN class="ft11">Assessment as a Policy Tool</SPAN>. RAND Cor- poration. Reprint with permission from Review of Research in Education, pp. <NOBR>25–68,</NOBR> Volume 27, 2003. American Educational Research Association.</P>
<P class="p604 ft11"><SPAN class="ft10">Hanberger, Anders (2001) </SPAN>What is the Policy Problem? Methodological Challenges in Policy Evaluation<SPAN class="ft10">. Evaluation, Vol. 7(1). Sage Publications.</SPAN></P>
<P class="p607 ft10">Hanberger, Anders (2003) <SPAN class="ft11">Den dolda utvärderingspolitiken</SPAN>. Studies in Educational Policy and Educational Policy and Educational Phi- losophy. <NOBR>E-tidskrift</NOBR> 2003:1.</P>
<P class="p604 ft11"><SPAN class="ft10">Hanberger, Anders (2012) </SPAN>Framework for exploring the interplay of governance and evaluation<SPAN class="ft10">. Offentlig Förvaltning. Scandinaivian Journal of Public Administration, 16(3): </SPAN><NOBR><SPAN class="ft10">9–27.</SPAN></NOBR></P>
<P class="p607 ft10">Hanushek, Eric and Ludger Woessmann (2010) <SPAN class="ft11">The cost of Low Educational Achivement in the European Union</SPAN>. European Expert Network on Economics of Education. EENEE Analytical Report No. 7.</P>
<P class="p633 ft11"><SPAN class="ft10">Harlen, Wynne (2009) </SPAN>Reflections on a personal journey in research<SPAN class="ft10">. The Association for Science Education. http://www.ase.org.uk/resources/scitutors/research/research- </SPAN><NOBR><SPAN class="ft10">wynne-harlen/</SPAN></NOBR></P>
<P class="p604 ft10">Harlen, Wynne and Ruth Deakin Crick (2002) <SPAN class="ft11">A systematic review of the impact of summative assessment and tests on students´motivation for learning</SPAN>. Evidence for Policy and Practice Information and Coordinating Centre <NOBR>(EPPI-Centre).</NOBR></P>
<P class="p604 ft29">Hartman, Laura (red.), Anders Anell, Eva Mörk, Jonas Vlachos, m.fl. (2011) <SPAN class="ft49">Konkurrensens konsekvenser – vad händer med svenskt väl- färd? </SPAN>SNS Förlag.</P>
<P class="p603 ft10">HM Treasury (2003, updated 2007) <SPAN class="ft11">The Magenta Book: guidance notes for policy evaluation and analysis</SPAN>. <SPAN class="ft11">Magenta Book Background Papers</SPAN>. Government Social Research Unit.</P>
<P class="p604 ft11"><SPAN class="ft10">HM Treasury (2011) </SPAN>The Green Book. Appraisal and Evaluation in Central Government<SPAN class="ft10">. Treasury Guidance. London:TSO.</SPAN></P>
<P class="p634 ft11"><SPAN class="ft10">HM Treasury (2011) </SPAN>The Magenta Book. Guidance for evaluation<SPAN class="ft10">.</SPAN></P>
<P class="p635 ft18">231</P>
</DIV>
<DIV id="page_224">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Referenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p619 ft11"><SPAN class="ft10">HM Treasury (2012) </SPAN>Quality in policy impact evaluation: under- standing the effects of policy from other influences <SPAN class="ft10">(supplementary Magenta Book guidance)</SPAN>.</P>
<P class="p610 ft49"><SPAN class="ft29">HM Treasury (2012) </SPAN>Quality in qualitative evaluation: a framework for assessing research evidence <SPAN class="ft29">(supplementary Magenta Book guidan- ce)</SPAN>.</P>
<P class="p636 ft39">Hooge, Edith, Tracey Burns and Harald Wilkoszewski (2012) <SPAN class="ft81">Looking Beyond the Numbers: Stakeholders and Multiple School Accountability</SPAN>. OECD Education Working Papers, No. 85, OECD Publishing.</P>
<P class="p613 ft11"><SPAN class="ft10">Johansson, Thomas (2009) </SPAN>Etnografi som teori, metod och livsstil<SPAN class="ft10">. EDUCARE. Malmö högskola.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Kahan, Barbara (2008) </SPAN>Excerpts of Evaluation Frameworks<SPAN class="ft10">. Saskat- chewan Ministry of Education.</SPAN></P>
<P class="p637 ft81"><SPAN class="ft39">Karlsson, Ove (1999) </SPAN>Utvärdering – mer än en metod. En översikt<SPAN class="ft39">. Àjour. En serie kunskapsöversikter från Svenska kommunförbundet. Nr 3.</SPAN></P>
<P class="p638 ft49"><SPAN class="ft29">Karlsson, Ove (2003) </SPAN>Evaluation Politics in Europe: Trends and Tendencies<SPAN class="ft29">. Studies in Educational Policy and Educational Philosophy 2003:1.</SPAN></P>
<P class="p614 ft10">Karlsson Vestman, Ove och Inger M. Andersson (2007) <SPAN class="ft11">Pedagogisk utvärdering som styrning – En historia från präster till PISA</SPAN>. Forsk- ning i fokus, Nr. 35. Myndigheten för skolutveckling.</P>
<P class="p612 ft11"><SPAN class="ft10">Koretz, Daniel M. (2008) </SPAN>Measuring Up. What Educational Testing Really Tells Us<SPAN class="ft10">. Harvard Press. Cambridge, Massachusetts, Lon- don, England.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Koretz, Daniel M. (2010) </SPAN>Implications of Current Policy for Educa- tional Measurement. <SPAN class="ft10">Center for </SPAN><NOBR><SPAN class="ft10">K-12</SPAN></NOBR><SPAN class="ft10"> Assessment & Performance Management. Educational Testing Service (ETS).</SPAN></P>
<P class="p639 ft10">Krogstrup, Hanne Katherine (2003) <SPAN class="ft11">User Paerticipation in Evaluation</SPAN></P>
<P class="p640 ft11">– <NOBR>Top-down</NOBR> and <NOBR>Bottom-up</NOBR> Perspectives<SPAN class="ft10">. Studies in Educational Policy and Educational Philosophy. </SPAN><NOBR><SPAN class="ft10">E-tidskrift</SPAN></NOBR><SPAN class="ft10"> 2003:1.</SPAN></P>
<P class="p610 ft49"><SPAN class="ft29">Leeuw, Frans L. (2033) </SPAN>Reconstructing Program Theories: Methods Available and Problems to be Solved<SPAN class="ft29">. American Journal of Educa- tion, Vol. 24, No. 1.</SPAN></P>
<P class="p641 ft18">232</P>
</DIV>
<DIV id="page_225">
<TABLE cellpadding=0 cellspacing=0 class="t14">
<TR>
<TD class="tr17 td73"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td74"><P class="p22 ft38">Referenser</P></TD>
</TR>
</TABLE>
<P class="p628 ft10">Levin, Ben (2004) <SPAN class="ft11">Making Research Matter More</SPAN>. Education Policy Analysis Archives, 12(56).</P>
<P class="p607 ft10">Levin, Ben, Creso Sá, Amanda Cooper and Shalini Mascarenhas (2009) <SPAN class="ft11">Research Use and Its Impact in Secondary Schools</SPAN>. CEA/OISE Collaborative Research Project.</P>
<P class="p604 ft11"><SPAN class="ft10">Levin, Ben (2011</SPAN>) Mobilising research knowledge in education<SPAN class="ft10">. London Review of Education, 9:1, </SPAN><NOBR><SPAN class="ft10">15-26.</SPAN></NOBR></P>
<P class="p607 ft11"><SPAN class="ft10">Levinsson, Magnus (2013) </SPAN>Evidens och existens. Evidensbaserad undervisning i ljuset av lärares erfarenheter<SPAN class="ft10">. Göteborgs Studies in Educational Science. Göteborgs universitet.</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">Lindgren, Lena (2008) </SPAN>Utvärderingsmonstret. Kvalitets- och resultat- mätning i den offentliga sektorn<SPAN class="ft10">. Studentlitteratur.</SPAN></P>
<P class="p604 ft11"><SPAN class="ft10">Looney, Janet W. (2011) </SPAN>Alignment in Complex Education Systems: Achieving balance and Coherence<SPAN class="ft10">. OECD Eduaction Working Paper, No. 64.</SPAN></P>
<P class="p634 ft10">Jens Ludwig, Jeffrey R. Kling and Sendhil Mullainathan (2011)</P>
<P class="p642 ft11">Mechanism Experiments and Policy Evaluations<SPAN class="ft10">. Journal of Econo- mic Perspectives, Vol. 25, Nr. 3.</SPAN></P>
<P class="p605 ft67"><SPAN class="ft45">Lundgren (Ulf P. (2002) </SPAN>Utbildningsforskning och utbildningsreformer<SPAN class="ft45">. Pedagogisk Forskning i Sverige, årg. 7, nr. 3.</SPAN></P>
<P class="p643 ft11"><SPAN class="ft10">Lundgren, Ulf P. (2006) </SPAN>Political Governing and Curriculum Change – From Active to Reactive Curriculum Reforms. The need for a reorientation of Curriculum Theory<SPAN class="ft10">. Studies in Educational Policy and Educational Philosophy. </SPAN><NOBR><SPAN class="ft10">E-tidskrift</SPAN></NOBR><SPAN class="ft10"> 2006:1.</SPAN></P>
<P class="p604 ft11"><SPAN class="ft10">Marklund, Sixten (1981) </SPAN>Skolsverige <NOBR>1950-1975.</NOBR> Del 3. Försöksverk- samheten<SPAN class="ft10">. Utbildningsförlaget.</SPAN></P>
<P class="p607 ft10">Maynard, Alan (2007) Translating Evidence Into Practice: Why Is It So Difficult? Public Money & Management.</P>
<P class="p604 ft10">Meghir, Costa och Mårten Palme (2004) <SPAN class="ft11">Education reform, ability and family background</SPAN>. IFS Working Papers, W04/10, Institute for Fiscal Studies.</P>
<P class="p607 ft11"><SPAN class="ft10">Mintzberg, Henry (1994) </SPAN>The Fall and Rise of Strategic Planning<SPAN class="ft10">. Harward business Review.</SPAN></P>
<P class="p644 ft18">233</P>
</DIV>
<DIV id="page_226">
<DIV id="id_1">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Referenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
</DIV>
<DIV id="id_2">
<P class="p645 ft11"><SPAN class="ft10">Newton, Paul E. (2007) </SPAN>Clarifying the purposes of educational assess- ment<SPAN class="ft10">. Assessment in Education, Vol. 14, No. 2.</SPAN></P>
<P class="p646 ft10">Niklasson, Laila och Carina Carlhed (2011) <SPAN class="ft11">Implementering av Lgr11 – Utvärdering av Skolverkets stöd. </SPAN>Mälardalens utvärderingsakademi. Märlardalens högskola.</P>
<P class="p647 ft10">Nutley, Sandra, Isabel Walter and Huw T. O. Davies (2009) <SPAN class="ft11">Pro- moting </SPAN><NOBR><SPAN class="ft11">Evidence-based</SPAN></NOBR><SPAN class="ft11"> Practice: Models and Mechanisms From </SPAN><NOBR><SPAN class="ft11">Cross-Sector</SPAN></NOBR><SPAN class="ft11"> Review</SPAN>. Research on Social Work Practice 2009 19:552. Sage.</P>
<P class="p272 ft10">Nutley, Sandra, Sarah Morton, Tobias Jung och Annette Boaz (2010)</P>
<P class="p648 ft11">Evidence and policy in six European countries: diverse approaches and common challanges<SPAN class="ft10">. Evidence & Policy, Vol. 6, No. 2. The Policy Press.</SPAN></P>
<P class="p646 ft11"><SPAN class="ft10">Oakely, Ann (1998) </SPAN>Experimentation and social interventions: a for- gotten but important history<SPAN class="ft10">. British Medical Journal 317(7167).</SPAN></P>
<P class="p647 ft11"><SPAN class="ft10">O´Day, Jennifer A. (2002</SPAN>) Complexity, Accountability and School Improvement<SPAN class="ft10">. Harvard Educational Review, Vol. 72, Nr. 3.</SPAN></P>
<P class="p634 ft11"><SPAN class="ft10">OECD (2007) </SPAN>Evidence in Education. Linking research and policy<SPAN class="ft10">.</SPAN></P>
<P class="p646 ft11"><SPAN class="ft10">OECD (2011) </SPAN>Country Background Report for Norway<SPAN class="ft10">. OECD Review on Evaluation and Assessment Frameworks for Improving School Oucomes.</SPAN></P>
<P class="p647 ft10">OECD (2011) <SPAN class="ft11">Sweden</SPAN>. OECD Reviews of Evaluation and Assess- ment in Education.</P>
<P class="p646 ft10">OECD (2011) <SPAN class="ft11">Denmark</SPAN>. OECD Review of Evaluation and Assess- ment in Education.</P>
<P class="p646 ft11"><SPAN class="ft10">OECD (2012) </SPAN>Country Background Report for the Netherlands<SPAN class="ft10">. OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes.</SPAN></P>
<P class="p647 ft11"><SPAN class="ft10">OECD (2013) </SPAN>Synergies for Better Learning. An international Perspective on Evaluation and Assessment<SPAN class="ft10">. OECD Reviews of Evaluation and Assessment in Education.</SPAN></P>
<P class="p634 ft11"><SPAN class="ft10">OECD (2013) </SPAN>Value for Money in Government: Sweden.</P>
<P class="p646 ft11"><SPAN class="ft10">Ofsted (2013) </SPAN>The framework for the inspection of local authority arrangements for supporting school improvement<SPAN class="ft10">.</SPAN></P>
<P class="p649 ft18">234</P>
</DIV>
</DIV>
<DIV id="page_227">
<TABLE cellpadding=0 cellspacing=0 class="t14">
<TR>
<TD class="tr17 td73"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td74"><P class="p22 ft38">Referenser</P></TD>
</TR>
</TABLE>
<P class="p650 ft45">Osberg, Deborah and Gert Biesta (2010) <SPAN class="ft67">Complexity Theory and the Politics of Education</SPAN>. Sense Publishers. Rotterdam/Boston/ Taipei.</P>
<P class="p516 ft10">Pawson, Ray & Nick Tilley (1997) <SPAN class="ft11">Realistic Evaluation</SPAN>. Sage.</P>
<P class="p651 ft10">Plant, Roger (2013) <SPAN class="ft11">Analytical Review. Data Systems</SPAN>. Department for education, UK.</P>
<P class="p634 ft10">Prewitt, Kenneth, Thomas A. Schwandt and Miron L. Straf (2012)</P>
<P class="p509 ft11">Using Sicence as Evidence in Public Policy. <SPAN class="ft10">Committee on the Use of Social Science Knowledge in Public Policy. National research Council of the National Academies. The National Academies Press. Washington, D.C.</SPAN></P>
<P class="p652 ft138"><SPAN class="ft137">Proposition 1988/89:4 </SPAN>Skolans utveckling och styrning<SPAN class="ft137">. Proposition 1990/91:18 </SPAN>Ansvaret för skolan<SPAN class="ft137">.</SPAN></P>
<P class="p653 ft11"><SPAN class="ft10">Proposition 2011/12:176 </SPAN>Behandling av personuppgifter vid Institutet för arbetsmarknads- och utbildningspolitisk utvärdering.</P>
<P class="p604 ft11"><SPAN class="ft10">Ramböll (2011) </SPAN>Country Background Report for Denmark<SPAN class="ft10">. OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes.</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">Ramböll (2011) </SPAN>Utvärdering av matematiksatsningen. <SPAN class="ft10">Slutrapportering av ett uppdrag från Skolverket.</SPAN></P>
<P class="p634 ft11"><SPAN class="ft10">Ramböll (2013) </SPAN>Evaluering af de nationella test i folkeskolen<SPAN class="ft10">.</SPAN></P>
<P class="p654 ft81"><SPAN class="ft39">Rogers, Patricia (2008) </SPAN>Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions<SPAN class="ft39">. Evaluation 14:29.</SPAN></P>
<P class="p655 ft45"><NOBR>Sahlin-Andersson,</NOBR> Kerstin (2000) <SPAN class="ft67">Transnationell reglering och statens omvandling – Granskningssamhällets framväxt. </SPAN>Föredrag vid kon- ferensen Moderna Tider i Staten den 6 december 2000.</P>
<P class="p606 ft29">Sandelowski, Margarete, Corinne I Voils, Jennifer Leeman and Jamie L. Cardell (2012) <SPAN class="ft49">Mapping the Mixed </SPAN><NOBR><SPAN class="ft49">Methods-Mixed</SPAN></NOBR><SPAN class="ft49"> Research Synthesis Terrain</SPAN>. NIH Public Access. 6(4): <NOBR>317–331.</NOBR></P>
<P class="p603 ft10">Ian F. Shaw, Jennifer C. Greene and Melvin M. Mark (2006) <SPAN class="ft11">The Sage Handbook of Evaluation</SPAN>. Sage Publications London, Thousand Oaks, New Delhi.</P>
<P class="p656 ft18">235</P>
</DIV>
<DIV id="page_228">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Referenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p619 ft10">Sheppard, S, Lewin, S, Straus S, Clarke M, Eccles MP et al. (2009<SPAN class="ft11">) Can We Systematically Review Studies That Evaluate Complex Interven- tions? </SPAN>PLos Med, 6:8.</P>
<P class="p657 ft11"><SPAN class="ft10">Sjögren, Anna (2010) </SPAN>Betygssatta barn – spelar det någon roll i längden<SPAN class="ft10">? IFAU, rapport 2010:8.</SPAN></P>
<P class="p658 ft140"><SPAN class="ft139">Skolverket (1995) </SPAN>Likvärdighet i skolan - en antologi. <SPAN class="ft139">Skolverket (1999) </SPAN>Att utvärdera skolan<SPAN class="ft139">.</SPAN></P>
<P class="p659 ft49"><SPAN class="ft29">Skolverket (1999) </SPAN>Uppföljning och utvärdering av försöksverksamheten med ökat föräldrainflytande över val av skolform för utvecklings- störda barn – Slutrapport. <SPAN class="ft29">(Dnr. 96:565)</SPAN></P>
<P class="p638 ft11"><SPAN class="ft10">Skolverket (2002) </SPAN>I särskola eller grundskola? Redovisning av ett regerings- uppdrag<SPAN class="ft10">. (Dnr. 103404)</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2004</SPAN>) Internationella studier under 40 år. Svenska resultat och erfarenheter<SPAN class="ft10">. Aktuella analyser.</SPAN></P>
<P class="p612 ft11"><SPAN class="ft10">Skolverket (2005) </SPAN>De nationella minoriteternas utbildningssituation<SPAN class="ft10">. Rapport 272.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2006) </SPAN>Rullande stickprovsbaserat system för kunskaps- utvärdering av grundskolans ämnen<SPAN class="ft10">. Rapport 286.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2006) </SPAN>Uppdrag att genomföra och redovisa informations- insatser om de allmänna råden för individuella utvecklingsplaner<SPAN class="ft10">. (Dnr. 2005:1450)</SPAN></P>
<P class="p639 ft11"><SPAN class="ft10">Skolverket (2007) </SPAN>Romer i skolan – en fördjupad studie<SPAN class="ft10">. Rapport 292.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2007) </SPAN>Fem år med maxtaxa. Uppföljning av reformen Max- taxa och allmän förskola m.m<SPAN class="ft10">. Rapport 294.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2007) </SPAN>Statsbidrag till personalförstärkningar i skola och fritidshem – slutrapport<SPAN class="ft10">. Rapport 295.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2007) </SPAN>Hur används individuella utvecklingsplaner? En studie efter införandet av nya bestämmelser<SPAN class="ft10">. Aktuella analyser.</SPAN></P>
<P class="p612 ft11"><SPAN class="ft10">Skolverket (2007) </SPAN>Hemställan om ändring i förordning om den officiella statistiken<SPAN class="ft10">. Dnr. 2007:3.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2008) </SPAN>Personalförstärkningar i förskolan. Utvärdering av statsbidrag fördelat under åren 2005 och 2006<SPAN class="ft10">. Rapport 314.</SPAN></P>
<P class="p660 ft18">236</P>
</DIV>
<DIV id="page_229">
<TABLE cellpadding=0 cellspacing=0 class="t14">
<TR>
<TD class="tr17 td73"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td74"><P class="p22 ft38">Referenser</P></TD>
</TR>
</TABLE>
<P class="p628 ft11"><SPAN class="ft10">Skolverket (2008) </SPAN>Redovisning av uppdrag om uppföljning och utvärdering av statsbidraget till personalförstärkningar i förskolan<SPAN class="ft10">. (Dnr. 2007:00650)</SPAN></P>
<P class="p605 ft81"><SPAN class="ft39">Skolverket (2009) </SPAN>Redovisning av regeringsuppdrag om ämnet juridiska studier i Stockholms kommun. En utvärdering. <SPAN class="ft39">(Dnr. 2007:3675)</SPAN></P>
<P class="p655 ft12"><SPAN class="ft9">Skolverket (2009</SPAN>) Skolverkets bild av utveckling av kunskapsresultaten i grundskolan och av elevers studiemiljö<SPAN class="ft9">. (Dnr. 2008:3010)</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">Skolverket (2009) </SPAN>Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. <SPAN class="ft10">(Dnr. 2009:337)</SPAN></P>
<P class="p607 ft49"><SPAN class="ft29">Skolverket (2010) </SPAN>Skriftliga omdömen i grundskolans individuella utvecklingsplaner. En uppföljning och utvärdering av skolornas arbete ett år efter reformen<SPAN class="ft29">. Rapport 340.</SPAN></P>
<P class="p603 ft11"><SPAN class="ft10">Skolverket (2010) </SPAN>Undervisning på engelska. Utvärdering av en försöks- verksamhet i grundskolan. <SPAN class="ft10">Rapport 351.</SPAN></P>
<P class="p634 ft11"><SPAN class="ft10">Skolverket (2010) </SPAN>Redovisning av regeringsuppdrag om yrkestävlingar</P>
<P class="p18 ft10">(Dnr. 2009:00326)</P>
<P class="p607 ft11"><SPAN class="ft10">Skolverket (2010) </SPAN>Redovisning av regeringsuppdrag om att genomföra jämställdhetsinsatser i skolan<SPAN class="ft10">. (Dnr. 2008:3458)</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">Skolverket (2011) </SPAN>Utvärdering av metoder mot mobbning. <SPAN class="ft10">Rapport 353.</SPAN></P>
<P class="p661 ft11"><SPAN class="ft10">Skolverket (2011) </SPAN>Kommunalt huvudmannaskap i praktiken. En kvalitativ studie. <SPAN class="ft10">Rapport 362.</SPAN></P>
<P class="p634 ft11"><SPAN class="ft10">Skolverket (2011) </SPAN>Promemoria om evidens på utbildningsområdet<SPAN class="ft10">.</SPAN></P>
<P class="p605 ft81"><SPAN class="ft39">Skolverket (2011) </SPAN>Redovisning av uppdrag om att genomföra utveck- lingsinsatser i matematik, naturvetenskap och teknik<SPAN class="ft39">. (Dnr. 2009:259).</SPAN></P>
<P class="p662 ft11"><SPAN class="ft10">Skolverket (2012) </SPAN>Gymnasial lärlingsutbildning de tre första åren 2008– 2011. <SPAN class="ft10">Rapport 373.</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">Skolverket (2012) </SPAN>Likvärdig utbildning i svensk grundskola? En kvantitativ analys av likvärdighet över tid<SPAN class="ft10">. Rapport 374.</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">Skolverket (2012) </SPAN>Högpresterande elever, höga prestationer och under- visningen. <SPAN class="ft10">Rapport 379.</SPAN></P>
<P class="p663 ft18">237</P>
</DIV>
<DIV id="page_230">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Referenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p619 ft11"><SPAN class="ft10">Skolverket (2012) </SPAN>Beskrivande data 2012. Förskola, skola och vuxen- utbildning<SPAN class="ft10">. Rapport 383.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2012) </SPAN>Redovisning av uppdrag om kvalitetssäkring av nationella prov<SPAN class="ft10">. (Dnr. 2011:1242)</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2012) </SPAN>Redovisning av regeringens uppdrag att följa upp, analysera och redovisa insatser utifrån minoritetspolitikens mål<SPAN class="ft10">. (Dnr. 2010:242)</SPAN></P>
<P class="p620 ft67"><SPAN class="ft45">Skolverket (2013) </SPAN>Utbildningsresultat. Riksnivå. Sveriges officiella sta- tistik om förskola, skola och vuxenutbildning. Del 1. <SPAN class="ft45">Rapport 382.</SPAN></P>
<P class="p613 ft11"><SPAN class="ft10">Skolverket (2013) </SPAN>Att fånga undervisningstiden med målen i fokus. Garanterad undervisningstid i grundskolan ur ett huvudmanna- och skolperspektiv. <SPAN class="ft10">Rapport 384.</SPAN></P>
<P class="p612 ft11"><SPAN class="ft10">Skolverket (2013) </SPAN>Lärarnas yrkesvardag. En nationell kartläggning av grundskollärarnas tidsanvändning. <SPAN class="ft10">Rapport 385.</SPAN></P>
<P class="p622 ft81"><SPAN class="ft39">Skolverket (2013) </SPAN>Barn, elever och personal. Riksnivå. Sveriges officiella statistik om förskola, skola och vuxenutbildning. Del 2. <SPAN class="ft39">Rapport 388.</SPAN></P>
<P class="p664 ft10">Skolverket (2013) <SPAN class="ft11">Attityder till skolan 2012</SPAN>. Rapport nr. 390.</P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2013) </SPAN>Kommunernas resursfördelning till grundskolor<SPAN class="ft10">. Rapport 391.</SPAN></P>
<P class="p610 ft11"><SPAN class="ft10">Skolverket (2013) </SPAN>Kostnader. Riksnivå. Sveriges officiella statistik om förskola, skola och vuxenutbildning. Del 3. <SPAN class="ft10">Rapport 393.</SPAN></P>
<P class="p612 ft11"><SPAN class="ft10">Skolverket (2013) </SPAN>Betydelsen av <NOBR>icke-kognitiva</NOBR> förmågor. Forskning m.m. om individuella faktorer bakom framgång<SPAN class="ft10">. Skolverkets aktuella analyser.</SPAN></P>
<P class="p622 ft67"><SPAN class="ft45">Skolverket (2013) </SPAN>Redovisning av uppdrag om avvikelser mellan prov- resultat och betyg i grundskolans årskurs 9<SPAN class="ft45">. (Dnr. 2013:00164)</SPAN></P>
<P class="p665 ft43"><SPAN class="ft40">Skolverket (2013) </SPAN>Redovisning av uppdrag enligt förordning (2011:355) avseende omfattning och utvärdering av försöksverksamhet med riks- rekryterande spetsutbildning i grundskolans högre årskurser läsåret 2012/13<SPAN class="ft40">. (Dnr. 2013:00527)</SPAN></P>
<P class="p612 ft11"><SPAN class="ft10">Skolverket (2013) </SPAN>Redovisning av uppdrag att följa upp och analysera Skolverkets verksamhet utifrån minoritetspolitikens mål. <SPAN class="ft10">(Dnr. 2010:00242)</SPAN></P>
<P class="p666 ft18">238</P>
</DIV>
<DIV id="page_231">
<TABLE cellpadding=0 cellspacing=0 class="t14">
<TR>
<TD class="tr17 td73"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td74"><P class="p22 ft38">Referenser</P></TD>
</TR>
</TABLE>
<P class="p667 ft81"><SPAN class="ft39">Skolverket (2013) </SPAN>Redovisning av uppdrag om att utvärdera stats- bidraget för basfärdigheterna läsa, skriva och räkna. <SPAN class="ft39">(Dnr. 2009:571)</SPAN></P>
<P class="p603 ft11"><SPAN class="ft10">Skolverket (2013) </SPAN>Redovisning av uppdrag om utvecklingsinsatser inom områdena naturvetenskap och teknik<SPAN class="ft10">. (Dnr. 2012:868)</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">Skolverket (2013) </SPAN>Verksamhetsutvecklingsplan för Skolverkets uppfölj- ning/utvärdering<SPAN class="ft10">.</SPAN></P>
<P class="p272 ft11"><SPAN class="ft10">SOU 2004:35 </SPAN>Utan timplan – med målen i sikte<SPAN class="ft10">.</SPAN></P>
<P class="p668 ft142"><SPAN class="ft141">SOU 2005:101 </SPAN>Utan timplan – för målinriktat lärande. <SPAN class="ft141">SOU 2005:102 </SPAN>Utan timplan – forskning och utvärdering.</P>
<P class="p669 ft11"><SPAN class="ft10">SOU 2007:28 </SPAN>Tydliga mål och kunskapskrav i grundskolan. Förslag till nytt mål- och uppföljningssystem<SPAN class="ft10">.</SPAN></P>
<P class="p670 ft144"><SPAN class="ft143">SOU 2007:75 </SPAN>Att styra staten – regeringens styrning av sin förvaltning<SPAN class="ft143">. SOU 2009:25 </SPAN>Samordnad kommunstatistik för styrning och uppföljning<SPAN class="ft143">.</SPAN></P>
<P class="p671 ft11"><SPAN class="ft10">SOU 2009:85 </SPAN>Gymnasial lärlingsutbildning – Hur blev det? Erfaren- heter från första försöksåret.</P>
<P class="p604 ft11"><SPAN class="ft10">SOU 2009:94 </SPAN>Att nå ut och nå ända fram. Hur tillgången till policy- inriktad utvärdering och forskningsresultat inom utbildningsområdet kan tillgodoses.</P>
<P class="p607 ft11"><SPAN class="ft10">SOU 2010:75 </SPAN>Gymnasial lärlingsutbildning – Utbildning för jobb. Erfarenheter efter två års försök med lärlingsutbildning</P>
<P class="p604 ft11"><SPAN class="ft10">SOU 2011:72 </SPAN>Gymnasial lärlingsutbildning – med fokus på kvalitet. Hur stärker vi kvaliteten i gymnasial lärlingsutbildning<SPAN class="ft10">.</SPAN></P>
<P class="p607 ft10">SOU 2012:36 <SPAN class="ft11">Registerdata för forskning. </SPAN>Delbetänkande av Statistik- utredningen 2012.</P>
<P class="p605 ft67"><SPAN class="ft45">SOU 2012:83 </SPAN>Vad är officiell statistik? En översyn av statistiksystemet och SCB. <SPAN class="ft45">Slutbetänkande från Statistikutredningen 2012.</SPAN></P>
<P class="p516 ft11"><SPAN class="ft10">SOU 2013:30 </SPAN>Det tar tid – om effekter av skolpolitiska reformer<SPAN class="ft10">.</SPAN></P>
<P class="p607 ft11"><SPAN class="ft10">SOU 2013:40 </SPAN>Att tänka nytt för att göra nytta – om perspektivskiften i offentlig verksamhet<SPAN class="ft10">.</SPAN></P>
<P class="p272 ft11"><SPAN class="ft10">SOU 2013:56 </SPAN>Friskolorna i samhället<SPAN class="ft10">.</SPAN></P>
<P class="p672 ft18">239</P>
</DIV>
<DIV id="page_232">
<DIV id="id_1">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Referenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
</DIV>
<DIV id="id_2">
<P class="p673 ft11"><SPAN class="ft10">SOU 2014:5 </SPAN>Staten får inte abdikera – om kommunaliseringen av den svenska skolan.</P>
<P class="p674 ft45">Spencer, Liz, Jane Ritchie, Jane Lewis and Lucy Dillon (2003) <SPAN class="ft67">Quality in Qualitative Evaluation: A framework for assessing research evidence</SPAN>. National Centre for Social Research. Cabinet Office.</P>
<P class="p675 ft11"><SPAN class="ft10">Stame, Nicoletta (2004) </SPAN><NOBR>Theory-Based</NOBR> Evaluation and Types of Com- plexity<SPAN class="ft10">. Evaluation, 10:58.</SPAN></P>
<P class="p676 ft11"><SPAN class="ft10">Statistiska centralbyrån (2012) </SPAN>Riktlinjer för beslut om innehåll och omfattning av den officiella statistiken. <SPAN class="ft10">Rådet för den officiella statis- tiken.</SPAN></P>
<P class="p676 ft11"><SPAN class="ft10">Statistiska centralbyrån (2013) </SPAN>Sveriges officiella statistik – årlig rapport för 2012<SPAN class="ft10">. Rådet för den officiella statistiken.</SPAN></P>
<P class="p677 ft10">Statistiska centralbyrån (2013) <SPAN class="ft11">Elevpaneler för longitudinella studier</SPAN>. Beskrivning av statistiken.</P>
<P class="p676 ft11"><SPAN class="ft10">Statskontoret (2000) </SPAN>Redovisning av uppdrag att genomföra en kart- läggning av det samlade utvärderingsarbetet inom de olika utgifts- områdena<SPAN class="ft10">.</SPAN></P>
<P class="p678 ft11"><SPAN class="ft10">Statskontoret (2001) </SPAN>Utvärdera för bättre resultat! Att beställa utvär- deringar som är till nytta i beslutsfattandet<SPAN class="ft10">. Rapport: 2001:22.</SPAN></P>
<P class="p676 ft11"><SPAN class="ft10">Statskontoret (2002) </SPAN>Regeringsuppdrag att göra en utvärdering av försöksverksamheten med lokala styrelser. <SPAN class="ft10">(Dnr. </SPAN><NOBR><SPAN class="ft10">2001/320-5)</SPAN></NOBR></P>
<P class="p674 ft81"><SPAN class="ft39">Statskontoret (2002) </SPAN>Utvärderingar – Av vem och till vad. En kart- läggning av regeringskansliets utvärderingsresurser. <SPAN class="ft39">Rapport 2002:20.</SPAN></P>
<P class="p675 ft11"><SPAN class="ft10">Statskontoret (2011) </SPAN>Fristående utvärderingsmyndigheter – en förvalt- ningspolitisk trend?</P>
<P class="p677 ft10">Stigendal, Lars (2007) <SPAN class="ft11">Styrning för ökad effektivitet</SPAN>. Rapport 122. VERVA.</P>
<P class="p674 ft11"><SPAN class="ft10">Stobart, Gordon (2001) </SPAN>The validity of National Curriculum Assess- ment<SPAN class="ft10">. Brittish Journal of Educational Studies, Vol. 49, No. 1.</SPAN></P>
<P class="p676 ft10">Sundell, Knut red. (2012) <SPAN class="ft11">Att göra effektutvärderingar</SPAN>. Socialstyrelsen och Gothia Förlag AB.</P>
<P class="p679 ft18">240</P>
</DIV>
</DIV>
<DIV id="page_233">
<TABLE cellpadding=0 cellspacing=0 class="t15">
<TR>
<TD class="tr17 td73"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td74"><P class="p22 ft38">Referenser</P></TD>
</TR>
</TABLE>
<P class="p506 ft10">Sutcliffe, Sophie and Julius Court (2005) <NOBR><SPAN class="ft11">Evidence-Bases</SPAN></NOBR><SPAN class="ft11"> Policy- making: Whar is it? How does it work? What relevance for developing countries? </SPAN>Overseas Development Institute.</P>
<P class="p680 ft49"><SPAN class="ft29">Svensson, Allan (red.) (2011) </SPAN>Utvärdering genom Uppföljning. Lon- gitudinell individforskning under ett halvsekel<SPAN class="ft29">. Gothenburg Studies in Educational Sciences 305. Göteborgs universitet.</SPAN></P>
<P class="p681 ft10">Tallberg Broman, Ingegerd, Lena Rubinstein Reich och Jeanette Hägerström (2002) <SPAN class="ft11">Likvärdighet i en skola för alla. Historisk bak- grund och kritisk granskning. </SPAN>Skolverket.</P>
<P class="p682 ft10">Thomas, James, Angela Harden, Ann Oakely, Sandy Oliver, Katy Sutcliffe, Rebecca Rees, Ginny Brunton and Josephine Kavanagh (2004) <SPAN class="ft11">Integrating qualitative research with trials in systematic reviews</SPAN>. British Medical Journal, Vol. 328.</P>
<P class="p680 ft29">Thomas, James and Angela Harden (2008) <SPAN class="ft49">Methods for the thematic synthesis of qualitative research in systematic reviews</SPAN>. BMC Medical Research Methodology. 2008, 8:45.</P>
<P class="p681 ft10">Thompson, Wiliam (ed.) (2010) <SPAN class="ft11">Making Reform Happen. Lessons from OECD Countries</SPAN>. OECD.</P>
<P class="p683 ft146"><SPAN class="ft145">Tierney, Andrew (ed.) (2008) </SPAN>Measuring Improvements in Learning Outcomes. Best Practices to Assess the <NOBR>Value-Added</NOBR> of Schools<SPAN class="ft145">. OECD.</SPAN></P>
<P class="p684 ft11"><SPAN class="ft10">Torgerson, Douglas (1986) </SPAN>Between Knowledge and Politics: Three Faces of Policy Analysis<SPAN class="ft10">. Policy sciences, Vol. 19. No.1.</SPAN></P>
<P class="p685 ft45">United Kingdom Treasury (2011) <SPAN class="ft67">The Green Book. Appraisal and Evaluation in Central Government</SPAN>. The Stationery Office, London.</P>
<P class="p681 ft10">Undervisnings- och kulturministeriet (2012) <SPAN class="ft11">Utbildning och forskning </SPAN><NOBR><SPAN class="ft11">2011-2016.</SPAN></NOBR><SPAN class="ft11"> Utvecklingsplan</SPAN>. 2012:2.</P>
<P class="p686 ft10">Undervisnings- och kulturministeriet (2012) <SPAN class="ft11">Utvärderingsplan för utbild- ningen </SPAN><NOBR><SPAN class="ft11">2012-2015.</SPAN></NOBR><SPAN class="ft11"> </SPAN>2012:15.</P>
<P class="p687 ft11"><SPAN class="ft10">Vedung, Evert (2009) </SPAN>Utvärdering i politik och förvaltning<SPAN class="ft10">. 3:e upp- lagan. Studentlitteratur.</SPAN></P>
<P class="p680 ft11"><SPAN class="ft10">Vedung, Evert (2005) </SPAN>Anette Gröjers avhandling om den utvärde- ra(n)de staten. <SPAN class="ft10">Fakultetsopposition den 15 oktober 2004. Statsve- tenskaplig Tidskrift. Årg. 107, nr. 4.</SPAN></P>
<P class="p688 ft18">241</P>
</DIV>
<DIV id="page_234">
<DIV id="id_1">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Referenser</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
</DIV>
<DIV id="id_2">
<P class="p673 ft11"><SPAN class="ft10">Weisburd, David (2003) </SPAN>Ethical practice and evaluation of interventions in crime and justice: the moral imperative for randomized trials<SPAN class="ft10">. Evaluation Review, 27(3).</SPAN></P>
<P class="p676 ft11"><SPAN class="ft10">White, Howard (2010) </SPAN>A Contribution to Current Debates in Impact Evaluation<SPAN class="ft10">. Evaluation 16:153.</SPAN></P>
<P class="p677 ft11"><SPAN class="ft10">Weiss, Carol H. (1993) </SPAN>Where Politics and Evaluation Research Meet<SPAN class="ft10">. Evaluation Practice, Vol. 14, No. 1, JAI Press Inc.</SPAN></P>
<P class="p674 ft10">Visscher, Adrie J., and Robert Coe () <SPAN class="ft11">School performance feedback systems: conceptualisation, analysis and reflection</SPAN>. School effective- ness and school improvement, 14 (3). Pp. <NOBR>321-349.</NOBR></P>
<P class="p676 ft10">Voils, Corinne I., Margarete Sandelowski, Julie Barroso and Victor Hasselblad (2008) <SPAN class="ft11">Making Sense of Qualitative and Quantitative Findings in Mixed Research Synthesis Studies</SPAN>. NIH Public Access. <NOBR>20(1):3-25.</NOBR></P>
<P class="p677 ft49"><SPAN class="ft29">Öman, Sören (2006) </SPAN>Särskilda registerförfattningar <SPAN class="ft29">i Cecilia Magnusson Sjöberg och Peter Wahlgren (red.) </SPAN>Festskrift till Peter Seipel<SPAN class="ft29">. Nor- stedts juridik.</SPAN></P>
<P class="p689 ft18">242</P>
</DIV>
</DIV>
<DIV id="page_235">
<P class="p690 ft19">Bilaga 1</P>
<P class="p691 ft8">Kommittédirektiv 2012:53</P>
<P class="p692 ft32">Förbättrade resultat i grundskolan</P>
<P class="p693 ft10">Beslut vid regeringssammanträde den 24 maj 2012</P>
<P class="p694 ft13">Sammanfattning</P>
<P class="p695 ft10">En särskild utredare ska bedöma när de åtgärder som har vidtagits från 2007 och framåt för att höja kunskapsnivån och öka målupp- fyllelsen i grundskolan kan förväntas få avsedd effekt. Utredaren ska vidare utreda vilka relevanta data som behövs för att i ökad utsträckning kunna utvärdera de reformer som genomförs på skol- området och vid behov lämna författnings- eller andra förslag för att öka tillgången till sådana data. Dessutom ska utredaren belysa hur reformer på skolområdet bör genomföras för att underlätta utvärdering av reformerna.</P>
<P class="p696 ft10">Utredaren ska senast den 30 april 2013 redovisa den del av upp- draget som avser att bedöma när åtgärderna för att höja kunskaps- nivån och öka måluppfyllelsen i grundskolan kan förväntas få avsedd effekt. Uppdraget ska slutredovisas senast den 29 november 2013.</P>
<P class="p697 ft13">Åtgärder som vidtagits för ökad måluppfyllelse</P>
<P class="p698 ft40">För att Sverige ska vara en framstående kunskapsnation krävs utbildning och forskning i världsklass och ett utbildningssystem som har kapacitet att se potentialen hos varje elev och student. Regeringen har därför under de senaste åren påbörjat arbetet med att lägga om svensk skolpolitik. De reformer och insatser som regeringen har aviserat och tagit initiativ till syftar till att höja kva- liteten i utbildningen och öka elevernas kunskaper. Genom ett</P>
<P class="p699 ft18">243</P>
</DIV>
<DIV id="page_236">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 1</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">omfattande reformarbete på skolområdet har därmed förutsätt- ningarna för skolan att genomföra sitt huvuduppdrag stärkts.</P>
<P class="p106 ft10">Barns lärande börjar tidigt. Det är viktigt att alla barn får stöd och stimuleras i sin utveckling redan under förskoleåren, oavsett om barnet är i hemmet, i den pedagogiska omsorgen eller i för- skolan. Regeringen har, efter beslut av riksdagen, genomfört ett reformarbete för att stärka förskolans pedagogiska uppdrag, bl.a. genom att förtydliga läroplanens mål om språkutveckling, mate- matik, naturvetenskap och teknik. När det gäller grundskolan och motsvarande skolformer kan som exempel på stora och viktiga reformer nämnas införandet av nya läroplaner med tydligare och mer konkreta kursplaner och en ny betygsskala med fler steg.</P>
<P class="p54 ft10">Från och med höstterminen 2011 tillämpas en helt ny skollag. Den innebär bl.a. att elevens rätt till särskilt stöd har stärkts, lärares och rektorers befogenhet för att skapa studiero har förtydligats och så långt som möjligt har lika rättigheter och skyldigheter för kom- munala och fristående skolor införts.</P>
<P class="p167 ft9">Elevernas kunskaper måste kontinuerligt följas upp och utvärde- ras för att skolan tidigt ska kunna stödja eleverna så att fler kan nå skolans kunskapsmål. Det är särskilt viktigt för elever som av någon anledning upplever svårigheter i skolarbetet, t.ex. på grund av funktionsnedsättningar. För detta arbete måste skolan ha för- bättrade redskap för uppföljning och utvärdering, både av elevens kunskapsutveckling och den egna verksamheten. För att stärka uppföljningen och utvärderingen har regeringen därför infört nationella prov i fler årskurser och ämnen i grundskolan. Som ytterligare stöd i detta arbete har regeringen också infört skriftliga omdömen från årskurs 1 i grundskolan. Vidare har riksdagen beslutat att införa betyg från årskurs 6 i grundskolan och motsva- rande skolformer från och med höstterminen 2012.</P>
<P class="p82 ft10">Även gymnasieskolan har reformerats i syfte att höja kvaliteten i utbildningen.</P>
<P class="p106 ft39">Lärarens kompetens och undervisningens utformning är avgö- rande för elevernas studieresultat och möjlighet att tillgodogöra sig utbildningen. En ny lärarutbildning har därför införts från och med hösten 2011. Vidare har regeringen genomfört särskilda satsningar på lärares kompetens. Genom lärarlyftet gavs lärare möjlighet till fortbildning för att förstärka sin ämnesteoretiska och ämnesdidak- tiska kompetens. Genom lärarlyftet II ges nu anställda lärare med lärarexamen möjlighet att komplettera sin behörighet i ämnen som de undervisar i men där de saknar behörighet. Ytterligare insatser</P>
<P class="p51 ft18">244</P>
</DIV>
<DIV id="page_237">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 1</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">inom området är bl.a. en skärpning av behörighetsreglerna, att spe- ciallärarutbildningen har återinförts samt införandet av lärarlegiti- mation. Det kan dock nämnas att vissa krav på legitimation föreslås börja tillämpas först den 1 december 2013.</P>
<P class="p63 ft9">I ett så decentraliserat skolväsende som det svenska blir tillsyn och kvalitetsgranskning viktiga inslag för att säkerställa en likvärdig utbildning med hög kvalitet. Regeringen inrättade därför 2008 Sta- tens skolinspektion och riksdagen förstärkte resurserna för tillsyn och kvalitetsgranskning. I och med den nya skollagen har Skolin- spektionen försetts med förstärkta sanktionsmöjligheter.</P>
<P class="p13 ft10">Regeringen har också tagit initiativ till ett antal stödåtgärder för att stimulera utvecklingen i skolan. Exempel på det är det särskilda stimulansbidraget för att stärka basfärdigheterna läsa, skriva och räkna och bidrag till stärkt undervisning i matematik, naturveten- skap och teknik.</P>
<P class="p13 ft10">Regeringens bedömning är att de reformer som har genomförts eller planeras att genomföras kommer att ge eleverna bättre förut- sättningar att nå kunskapsmålen i skolan.</P>
<P class="p384 ft13">Uppdraget att bedöma när åtgärderna får effekt</P>
<P class="p91 ft10">Utbildningsområdet är centralt för att upprätthålla och stärka svensk tillväxt, konkurrenskraft och sysselsättning. Dessutom är utbildning ofta avgörande för individen. Enligt skollagen (2010:800) ska alla, oberoende av geografisk hemvist och sociala och ekonomiska förhållanden, ha lika tillgång till utbildning i skol- väsendet. Barn och elever ska ges stöd och stimulans så att de uti- från sina förutsättningar utvecklas så långt som möjligt enligt utbildningens mål.</P>
<P class="p204 ft9">Under de senaste årtiondena har kunskapsresultaten sjunkit i den svenska skolan. Detta framgår bl.a. av den årliga betygsstatisti- ken, av Statens skolverks nationella utvärderingar av grundskolan 1992 och 2003 samt av resultat från de internationella studierna Trends in International Mathematics and Science Study (TIMSS), Programme for International Student Assessment (PISA) och Pro- gress in Reading Literacy Study (PIRLS). Som en följd av detta har också andelen elever som är behöriga till gymnasieskolans natio- nella program sjunkit. Därför har regeringen sedan 2007 tagit ini- tiativ till flera åtgärder för att höja kunskapsnivån och öka</P>
<P class="p418 ft18">245</P>
</DIV>
<DIV id="page_238">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 1</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">måluppfyllelsen såväl i grundskolan som i övriga utbildningsformer inom skolväsendet.</P>
<P class="p285 ft40">Att förändra skolväsendet är en långsiktig process som innefat- tar många olika delmoment. Det kan därför ta tid dels innan verk- samheten i landets skolor har förändrats i den riktning som rege- ring och riksdag har avsett, dels innan resultaten av reformerna och insatserna kan utläsas t.ex. i form av andelen elever som får god- kända betyg från grundskolan. För att säkerställa att de åtgärder som har vidtagits från 2007 och framåt för att höja kunskapsnivån och öka måluppfyllelsen ger avsedd effekt behövs en bedömning av när man kan förvänta sig denna effekt.</P>
<P class="p82 ft10">Uppdraget omfattar enbart grundskolan och motsvarande skolformer, dvs. grundsärskolan, specialskolan och sameskolan. Studier visar att personer som misslyckas redan i grundskolan löper större risk för problem som arbetslöshet, psykosociala problem och kriminalitet senare i livet. Att tidigt stimulera elever och vid behov ge stöd är därför ofta avgörande för hur deras fortsatta utbildning gestaltar sig.</P>
<P class="p324 ft10">Utredaren ska</P>
<P class="p700 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft37">bedöma när de åtgärder som har vidtagits från 2007 och framåt för att höja kunskapsnivån och öka måluppfyllelsen i grundskolan och motsvarande skolformer kan förväntas få avsedd effekt.</SPAN></P>
<P class="p297 ft13">Uppdraget att analysera förutsättningarna för utvärdering</P>
<P class="p53 ft10">Både i den nationella och internationella debatten om offentlig förvaltning utgör utvärdering av reformer ett aktuellt tema. Styrut- redningen konstaterade 2007 i betänkandet Att styra staten – rege- ringens styrning av sin förvaltning (SOU 2007:75) att regeringen, utöver den löpande information som myndigheterna tar fram, behöver information för mer eller mindre omfattande ompröv- ningar av politiken. Inom EU, OECD och flera enskilda länder pågår också en diskussion om hur användningen av utvärderingar kan öka och hur utformningen av offentlig verksamhet i högre grad ska kunna baseras på kunskap.</P>
<P class="p177 ft10">Det omfattande reformarbetet när det gäller framför allt den svenska barn- och ungdomsutbildningen innebär att behovet av utvärderingar inom utbildningsområdet har förstärkts. Utbildning har stor betydelse för enskilda individer och för deras ställning på</P>
<P class="p109 ft18">246</P>
</DIV>
<DIV id="page_239">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 1</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">arbetsmarknaden. I ett vidare perspektiv är utbildningsväsendet också viktigt för tillväxt, konkurrenskraft och sysselsättning. Områdets politiska och ekonomiska vikt medför att behovet av beslutsunderlag av hög kvalitet ökar.</P>
<P class="p16 ft10">Inom utbildningsområdet har emellertid utvärderingen av reformer och politiska beslut under lång tid spelat en relativt undanskymd roll. Regeringen har därför från och med 2012 gett det tidigare Institutet för arbetsmarknadspolitisk utvärdering (IFAU) ett utvidgat uppdrag att även utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet. Myndigheten har därmed också bytt namn till Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU).</P>
<P class="p204 ft40">Ett antal faktorer kan påverka möjligheten att utvärdera refor- mer, t.ex. sättet att genomföra reformerna. Utvärderingen av de reformer som genomförs underlättas dessutom om det finns lätt tillgängliga och tillförlitliga data. Skolverket är statistikansvarig myndighet för skolväsendet och samlar in en mängd information om barn och elever, lärare, resultat på nationella prov och betyg liksom kostnadsstatistik. I databasen SIRIS, där information kan fås uppdelat på skolnivå, finns utöver statistisk information, också kvalitetsredovisningar, information om statsbidrag samt resultat av Skolinspektionens kvalitetsgranskning och tillsyn och anmälningar.</P>
<P class="p701 ft10">Utredaren ska</P>
<P class="p702 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft37">utreda vilka relevanta data som behövs för att i ökad utsträckning kunna utvärdera reformer inom de obligatoriska skolformerna, dvs. grundskolan, grundsärskolan, special- skolan och sameskolan,</SPAN></P>
<P class="p703 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft37">om det behövs, lämna författnings- eller andra förslag för att öka tillgången till sådana data, och</SPAN></P>
<P class="p704 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft37">belysa hur reformer inom de obligatoriska skolformerna bör genomföras för att underlätta utvärdering av reformerna.</SPAN></P>
<P class="p705 ft13">Samråd och redovisning av uppdraget</P>
<P class="p182 ft10">Utredaren ska samråda med Statens skolverk, IFAU och övriga berörda myndigheter inom skolområdet. Utredaren ska också sam- råda med andra relevanta myndigheter och organisationer.</P>
<P class="p706 ft18">247</P>
</DIV>
<DIV id="page_240">
<DIV id="id_1">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 1</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
</DIV>
<DIV id="id_2">
<P class="p707 ft10">Utredaren ska senast den 30 april 2013 redovisa den del som avser att bedöma när åtgärderna för att höja kunskapsnivån och öka måluppfyllelsen i grundskolan kan förväntas få avsedd effekt. Upp- draget ska slutredovisas senast den 29 november 2013.</P>
<P class="p708 ft10">(Utbildningsdepartementet)</P>
<P class="p709 ft18">248</P>
</DIV>
</DIV>
<DIV id="page_241">
<P class="p710 ft19">Bilaga 2</P>
<P class="p691 ft8">Kommittédirektiv 2013:73</P>
<P class="p692 ft32">Tilläggsdirektiv till</P>
<P class="p711 ft88">Utredningen om förbättrade resultat i grundskolan (U 2012:04)</P>
<P class="p712 ft10">Beslut vid regeringssammanträde den 27 juni 2013</P>
<P class="p694 ft13">Förlängd tid för uppdraget</P>
<P class="p695 ft9">Regeringen beslutade den 24 maj 2012 kommittédirektiv om att en särskild utredare ska bedöma när de åtgärder som har vidtagits från 2007 och framåt för att höja kunskapsnivån och öka mål- uppfyllelsen i grundskolan kan förväntas få avsedd effekt (dir. 2012:53). Utredaren ska också utreda vilka relevanta data som behövs för att i ökad utsträckning kunna utvärdera de reformer som genomförs på skolområdet och vid behov lämna författnings- eller andra förslag för att öka tillgången till sådana data. Dessutom ska utredaren belysa hur reformer på skolområdet bör genomföras för att underlätta utvärdering av reformerna. En delredovisning lämnades till regeringen den 2 maj 2013. Enligt direktiven ska uppdraget slutredovisas senast den 29 november 2013.</P>
<P class="p713 ft10">Utredningstiden förlängs nu och uppdraget ska i stället slut- redovisas senast den 28 februari 2014.</P>
<P class="p714 ft10">(Utbildningsdepartementet)</P>
<P class="p715 ft18">249</P>
</DIV>
<DIV id="page_242">
<P class="p716 ft19">Bilaga 3</P>
<P class="p691 ft8">Kunskap och skolreform</P>
<P class="p717 ft147">En studie om underlag för och utvärdering av reformer på skolområdet</P>
<P class="p691 ft10">Oktober 2013</P>
<P class="p718 ft10">Mats Björnsson</P>
<P class="p719 ft100">På skolans liksom på socialvårdens och militärväsendets område, är de slutliga avvägandena självfallet av politisk art och bör så vara. Men dessa avväganden kan bli annorlunda om de baseras på en bredare grund av systematiskt gjorda erfarenheter och inte enbart på rent tyckande från de berörda parternas sida.</P>
<P class="p720 ft14">(Torsten Husén, <SPAN class="ft124">Skola för </SPAN><NOBR><SPAN class="ft124">60-talet</SPAN>,</NOBR> s. 21 f.)</P>
<P class="p721 ft18">251</P>
</DIV>
<DIV id="page_243">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p150 ft32"><SPAN class="ft32">1.</SPAN><SPAN class="ft148">Inledning</SPAN></P>
<P class="p722 ft10">Den här genomgången handlar om svenska reformer rörande grund- skolan. Närmare bestämt är det en genomgång av</P>
<P class="p39 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">vilket slags underlag som har funnits för de större reformerna;</SPAN></P>
<P class="p110 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">om reformerna utvärderats och i så fall av vem och om eventu- ella effekter, samt</SPAN></P>
<P class="p279 ft40"><SPAN class="ft64">-</SPAN><SPAN class="ft113">specifikt hur det som benämnts Nationell utvärdering av grund- skolan har gestaltat sig och vilken ev. inverkan den haft.</SPAN></P>
<P class="p152 ft10">Tidshorisonten sträcker sig från formandet av en grundskola under 1940- och <NOBR>1950-talet</NOBR> fram till i dag. I syfte att ringa in ”större skol- reformer” har jag funnit det ändamålsenligt att utgå från relevanta ”reformkluster” under denna tidsrymd, snarare än från enstaka politiska (reform)beslut.</P>
<P class="p106 ft40">Det finns knappast några helt entydiga svar på de frågor som uppdraget bygger på. Det är relativt lätt att konstatera att viss forskning eller vissa publicerade studier fanns vid tillfället för ett propositionsarbete, men det är ofta svårt att säga vilken roll denna empiri faktiskt spelade. Motsvarande gäller för utvärderingar.</P>
<P class="p167 ft10">För uppdraget har jag tagit del av propositioner, utrednings- betänkanden, rapporter, debatt- och faktaböcker m.m. Jag har också genomfört intervjuer med några personer som haft en central ställning i de senaste decenniernas <NOBR>skol-Sverige</NOBR> och som över- blickar en längre period av skolpolitik och skolforskning. Dessa personer förtecknas i referenslistan. Det har inte varit möjligt att ta del av allt relevant material, men jag anser att underlaget är till- räckligt för de allmänna bedömningar som görs.</P>
<P class="p723 ft118"><SPAN class="ft32">2.</SPAN><SPAN class="ft149">Den stora grundskolreformen: perioden </SPAN><NOBR>1940-tal</NOBR> <NOBR>–1960-tal</NOBR></P>
<P class="p302 ft10">Stellan Arvidssons <SPAN class="ft11">Enhetsskolan</SPAN>, skriven 1950, inleds med orden</P>
<P class="p724 ft101">Genom riksdagsbeslutet den 26 maj 1950 inleddes en ny tid för den svenska skolan. Skolreformen av 1950 är visserligen bara den sista länken – hittills – i en lång kedja av skolreformer. Men den skiljer sig från sina föregångare på två sätt. Först och främst är den mer genom- gripande än några av dessa. Men dessutom avser den att inleda en period av experimenterande, som lämnar fältet fritt för utveckling i</P>
<P class="p725 ft18">252</P>
</DIV>
<DIV id="page_244">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312244x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t13">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p726 ft14">skilda riktningar. Beslutet i riksdagen avser att vara upptakten till en <SPAN class="ft124">ständigt fortskridande skolreform</SPAN>.</P>
<P class="p727 ft10">Det Arvidsson säger ger en tidsmarkör men illustrerar också två för denna rapport centrala förhållanden. Han pekar på att det är fråga om en genomgripande skolreform. Han pekar också på att refor- men inte bygger på en fix och färdig ritning. Genom försök som följs ska i stället erfarenheter dras, och läggas till grund för vidare beslut.</P>
<P class="p728 ft10">1940 års skolutredning skulle utreda och lägga fram förslag om bl.a. hur man skulle få en ”..större enhetlighet inom den på olika skolformer splittrade svenska skolorganisationen” (Arvidsson, a.a s. 5). Den kom att <NOBR>1943–47</NOBR> framlägga ett digert utredningsmaterial, inte mindre än 20 <NOBR>SOU-publikationer.</NOBR> I materialet ingick bl.a. särskilda bilagor med empiriskt forskningsmaterial (se referens- listan).</P>
<P class="p729 ft45">Skolkommissionen, som var parlamentariskt sammansatt, till- sattes 1946 och skulle på grundval av vad 1940 års skolutredning kommit fram till, finna politiska lösningar. Huvudbetänkandet lades fram 1948 (SOU 1948:27). Inte mindre än 12 delegationer och ett <NOBR>80-tal</NOBR> experter knöts till kommissionen.</P>
<P class="p730 ft11">Omfattande utredningsmaterial och studier</P>
<P class="p698 ft9">Totalt omfattade utredningsmaterialet som låg till grund för 1950 års riksdagsbeslut omkring femtusen sidor (Marklund, 1980 s.2). Torsten Husén, <NOBR>Nils-Erik</NOBR> Svensson och Kjell Härnqvist hörde till dem som gjorde studier under 1940- och <NOBR>1950-talen,</NOBR> bl.a. kring vad som benämndes begåvningsreserven. Dessa fick betydelse för för- slagen till 1962 års beslut. Som exempel på det underlag som togs fram kan nämnas Kjell Härnqvists studie <SPAN class="ft12">Reserverna för högre utbildning. Beräkningar och metoddiskussioner</SPAN>. SOU 1958:11<SPAN class="ft28">1</SPAN>. En kärnfråga som studerades var den s.k. differentieringsfrågan, dvs. om eller från vilken ålder folkskoleelever och realskoleelever skulle kunna undervisas tillsammans.</P>
<P class="p731 ft45">1950 års beslut om försök med en nioårig enhetsskola var en politisk kompromiss och detta faktum var också huvudskälet till att</P>
<P class="p732 ft31"><SPAN class="ft30">1 </SPAN>Sin titel till trots handlar denna i hög grad om hur stor andel av eleverna i folkskola och realskola som kunde anses ha förutsättningar för senare högre studier.</P>
<P class="p733 ft18">253</P>
</DIV>
<DIV id="page_245">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p734 ft10">man beslöt om en omfattande försöksverksamhet. Föredragande statsrådet Weijne anförde i en tidstypisk formulering:</P>
<P class="p735 ft101">Mot slutet av <NOBR>1950-talet</NOBR> kan tiden vara inne för en sammanfattande utredning i differentieringsfrågan, varvid praktiska och vetenskapliga erfarenheter böra kunna sammanfattas till en hållbar grund för den organisation, som sedan successivt skall genomföras.</P>
<P class="p736 ft14">(prop. 1950:70, s. 192)</P>
<P class="p340 ft11">Uppföljningen hamnade hos SÖ</P>
<P class="p168 ft40">Skolöverstyrelsen fick i riksdagsbeslutet ansvaret för att leda och följa upp försöksverksamheten, genom inrättande av en särskild avdelning. I beslutet ingick också en utbyggnad av statens psyko- <NOBR>logisk-pedagogiska</NOBR> institut. Rapporter från SÖ utkom årligen och en sammanfattande rapport för försöksåren överlämnades 1959 till 1957 år skolberedning. Försöken blev med tiden rätt omfattande. Läsåret 1957/58 deltog dryga 143 000 elever och 5 700 klasser.</P>
<P class="p167 ft10">Under processen fanns motsättningar i synen på hur man skulle gå fram. Inom alla partier insåg man att något behövde göras med det splittrade systemet. Men försöksverksamheten kritiserades för att inte vara tillräckligt bred och det kom också kritik mot att erfarenheterna inte pekade mot den sammanhållna enhetsskola (ofta benämnd 8 + 1) som regeringen förespråkade. Högerpartiets representanter i riksdagen efterfrågade från tid till annan under <NOBR>1950-talet</NOBR> var de vetenskapliga och ”objektiva” beläggen för enhets- skolelösningen fanns.</P>
<P class="p96 ft40">Även 1957 års skolberedning innebar ett omfattande arbete. Den tillsattes för att dra de politiska slutsatserna av försöksverk- samheten. Huvudbetänkandet (Grundskolan, SOU 1961:30) var på nära 900 sidor, vartill fogades ytterligare betänkanden, rapporter och specialbetänkanden. Experter och ledamöter i olika arbets- grupper m.m. uppgick till långt över 100 personer (Se Marklund, 1982, s. 424 ff). Urban Dahllöfs <SPAN class="ft43">Kursplaneundersökningar i mate- matik och modersmålet </SPAN>(SOU 1960:15) är exempel på sådana empi- riska studier som ingick i beredningens framlagda material.</P>
<P class="p54 ft10">Reformbesluten kring grundskolan skulle följas upp och det behövdes i den ’rullande reformen’ inte en ny stor utredning. Det blev i stället SÖ som fick en central roll. Ett särskilt utvecklings- anslag kom till och SÖ knöt kontakter med vetenskapliga forsk- ningsinstitut. <NOBR>FoU-medlen</NOBR> växte från 2 milj.kr 1963 till 30 milj.kr.</P>
<P class="p737 ft18">254</P>
</DIV>
<DIV id="page_246">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312246x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p478 ft39">1975<SPAN class="ft75">2</SPAN>. Insatserna rörde sådant som ämnesmetodik och jämförande- utvärderande projekt. Bland andra det relativt nybildade Inter- national Association for the Evaluation of Educational Achieve- ment (IEA) fick stöd. S.k. kommunblock för utveckling inrättades 1964. SÖ:s s.k. särskilda pedagogiska arbetsgrupper (SPA) fick betydelse för den ’rullande’ grundskolreformen. (Marklund, 1982).</P>
<P class="p329 ft11">Ytterligare ett steg mot en gemensam <NOBR>9-årig</NOBR> skola</P>
<P class="p136 ft40">Under <NOBR>1960-talet</NOBR> fortsatte diskussionen om differentieringen efter- som 1962 års grundskola fortfarande innebar val av olika studie- vägar. I praktiken tvingades eleverna i huvudsak välja väg redan i årskurs 7 och årskurs 9 var uppdelad på olika utbildningsvägar. Motsättningarna var inte mindre nu, snarare hade den relativa fred som beslutet 1962 innebar, tagit en ända. Enligt Marklund (1982) så var det dock inte debatten utan statistiken som fick en avgö- rande betydelse för nästa steg, dvs. uppgifter om hur eleverna faktiskt valde. De praktiska alternativen (flertalet s.k. tvåbokstaviga linjer i årskurs 9) valdes bort i hög utsträckning, då dessa upp- fattades som utbildningsmässiga återvändsgränder<SPAN class="ft77">3</SPAN>. <NOBR>G-linjen</NOBR> domi- nerade stort. Regeringen valde här att dra konsekvenserna av denna utveckling och minska på uppdelningen efter elevval.<SPAN class="ft77">4 </SPAN>Den propo- sition som Olof Palme som ansvarigt statsråd lade fram (prop. 1968:129) om en ny läroplan för grundskolan innebar att sista steget i utvecklingen mot en i allt väsentligt gemensam <NOBR>9-årig</NOBR> grundutbildning för alla barn i Sverige hade tagits. Man kan därmed säga att det tog cirka 30 år av utredande, försök, värdering – och politiska processer – för att nå dit.</P>
<P class="p479 ft39">Drygt 40 år efter beslutet om grundskolans införande lade Costa Meghir och Mårten Palme fram en studie som visar att grund- skolereformen medförde att de unga som omfattades av föränd- ringen, jämfört med en kontrollgrupp, kom att nå en högre utbild- ningsnivå och att reformen hade en klassutjämnande effekt.<SPAN class="ft75">5</SPAN></P>
<P class="p211 ft53"><SPAN class="ft51">2</SPAN><SPAN class="ft52">Ett belopp som i dagens penningvärde motsvarar drygt 150 milj. kr.</SPAN></P>
<P class="p175 ft59"><SPAN class="ft51">3</SPAN><SPAN class="ft70">Det är inte helt långsökt att här jämföra med situationen 2013 för de yrkesinriktade studie- vägarna i gymnasiet.</SPAN></P>
<P class="p188 ft62"><SPAN class="ft51">4</SPAN><SPAN class="ft73">Kontroverser förelåg. Svenska Arbetsgivareföreningen föredrog en tydligare uppdelning efter fallenhet, medan fr.a. TCO aktivt agerade för att göra hela den </SPAN><NOBR>9-åringa</NOBR> skolgången i princip gemensam. SÖs ledning var till en början splittrad i denna fråga, men överdirektör Orring fick senare vika sig för generaldirektör Lövbeers linje, som anslöt till TCO:s syn.</P>
<P class="p126 ft74"><SPAN class="ft51">5</SPAN><SPAN class="ft150">Educational reform, ability and family background</SPAN><SPAN class="ft31">, 2004.</SPAN></P>
<P class="p356 ft18">255</P>
</DIV>
<DIV id="page_247">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312247x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft11">Utvärderingens roll under reformarbetet</P>
<P class="p56 ft10">Det är uppenbart att de tre stora utredningar som tillsattes gjorde omfattande utredningar och kartläggningar, och aktivt nyttjade kunskapen hos det fåtal professorer i pedagogik, som då fanns att tillgå. Det är också uppenbart att de bidrag dessa lämnade till stor del var av empiriskt slag; ofta undersökningar på ett större antal elever med gängse tillhörande statistiska beräkningar och analyser. Det är knappast någon tvekan om att det var den tidens mest avan- cerade pedagogiska forskning som kom att nyttjas integrerat i reformarbetet.</P>
<P class="p54 ft10">Den sammantagna utredningstiden för de tre stora utred- ningarna var <NOBR>10–12</NOBR> år, en närmast ofantlig tidsresurs sett med dagens ögon. Genom att ha tid på sig skulle man också hitta lös- ningar som var hållbara och partiöverskridande<SPAN class="ft55">6</SPAN>. Tempot i besluts- fattandet var annorlunda. Förankring genom brett remissförfarande sågs som självklart och viktigt.</P>
<P class="p107 ft10">Försöken följdes av en särskilt inrättad avdelning inom SÖ. I så måtto skedde en både planmässig och, kan man säga, formativ upp- följning, under en längre följd av år. Hur viktig den blev för den fortsatta processen är en annan fråga. Det rådde, som har påpekats, kontrovers både kring huruvida försöken var tillräckligt spridda och om korrekta slutsatser drogs i samband med grundskol- beslutet. SÖ:s uppföljning bidrog sannolikt till att driva processen framåt, att hålla den på spår. Det var heller inte utan betydelse med den utökning av <NOBR>FoU-verksamheten</NOBR> som skedde under <NOBR>1960-talet</NOBR> och den kraftigt förstärkta finansieringen av den pedagogiska forskningen.</P>
<P class="p82 ft10">Sett som en nationell omfattande verksamhet hade uppfölj- ningen knappast den typ av systematik som man i dag skulle för- knippa med en nationell utvärdering. Dess syfte var i huvudsak att söka besvara frågor kring vad som var möjligt, vad som fungerade och inte. Om 1950 års beslut ses som en reform så var det en reform som syftade till att pröva för att få underlag och råd(rum) inför kommande beslut.</P>
<P class="p738 ft62"><SPAN class="ft76">6 </SPAN>Det bör infogas att detta ofta också var den retorik som man utövade i samband med reformerna. Självfallet kan detta också ha haft rent politiska implikationer och syften, behoven av att få rådrum, söka vinna tid för att bättre säkra sin linje i ett senare skede, o.d.</P>
<P class="p332 ft18">256</P>
</DIV>
<DIV id="page_248">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p739 ft118"><SPAN class="ft32">3.</SPAN><SPAN class="ft149">Skolans inre arbete, styrfrågor: perioden </SPAN><NOBR>1970–1988</NOBR></P>
<P class="p91 ft10">Den svenska grundskolan var organisatoriskt fullt utvecklad 1970 till sina yttre former; vad det därefter gällde var mer att utveckla dess inre former och innehåll.</P>
<P class="p63 ft40">Erfarenheten visar att det är en sak att besluta om och genom- föra en organisatorisk yttre skolreform och en annan, ofta betyd- ligt svårare, att förändra de vanor och traditioner som finns i skol- institutionen och hos dess bärare: framför allt lärarna.</P>
<P class="p222 ft11"><NOBR>SIA-utredningen</NOBR></P>
<P class="p65 ft9"><NOBR>SIA-utredningen</NOBR> (Skolans inre arbete) var <NOBR>1970-talets</NOBR> stora utred- ning. Den tillsattes under senvåren 1970 i form av en sakkunnig- utredning. Bakgrunden var en debatt om oreda, bristande moti- vation och skolsvårigheter och utredningen kom därmed att i vid mening fokusera på skolan som arbetsmiljö. Urbaniseringen och utbyggnaden av grundskolan hade medfört en tillväxt av stora skol- enheter. Andelen barn som sågs i behov av särskilda stödinsatser visade en galopperande utveckling; utredningen fann i sina under- sökningar att så mycket som 40 procent av eleverna 1972 kom i kontakt med specialundervisning (SOU 1974:53 s. 137). Utred- ningens uppgift blev att söka lösningar på en rad av dessa problem.</P>
<P class="p124 ft9">Till utredningen knöts liksom tidigare ett större antal experter och grupper. Utredningen producerade under 1974, före över- lämnandet av huvudbetänkandet, ett antal forskningsrapporter för- delade på tre departementsskrivelser. Dessa rörde skolsvårigheter, skolan som arbetsplats respektive lokalresurser. Huvudbetänkandet (SOU 1974:53) som lades fram i juli 1974 omfattade tillsammans med en separat bilagedel ca 1 200 sidor. Bilagedelen (SOU 1974:58) innefattade 18 bilagor, se referenslistan. Utredningen genomförde också i egen regi riksgiltiga undersökningar.</P>
<P class="p193 ft11"><NOBR>SIA-utredningens</NOBR> svar</P>
<P class="p136 ft39">Utredningens svar på de debatterade problemen blev att dessa inte kunde lösas med statliga generella insatser. I stället borde kom- muner och skolor ges större möjligheter att själva forma en verk-</P>
<P class="p740 ft18">257</P>
</DIV>
<DIV id="page_249">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312249x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p416 ft40">samhet som svarar mot situationen och behoven. Utredningen pekade i en separat rapport på att statsbidragssystemet i sig drev en expansion av stödundervisningen. Försök med friare resurs- användning genomfördes i ett antal kommuner. Försöken utvärde- rades vid Göteborgs universitet (Kihlborn & Lundgren, 1974).</P>
<P class="p108 ft10">I betänkandet föreslogs att skoldagen borde göras mer samman- hållen (s.k. samlad skoldag), att skolan borde utveckla mer av sam- verkan med det omgivande lokalsamhället, att resursanvändningen borde bli friare, och att arbetslag och arbetsenheter inom skolorna borde tillskapas för att utifrån lokala behov hantera t.ex. resurser för stödet till elever, m.m.</P>
<P class="p167 ft40">Det restes tidigt krav på oberoende och vetenskaplig utvärde- ring av skolan, krav som skulle komma att upprepas under många år framöver. 1971 inrättades Pedagogiska nämnden vid SÖ, sam- mansatt av bl.a. politiska företrädare. Nämnden skulle ha en mer självständig ställning än tidigare rådgivande organ och ha FoU- och utvärderingsfrågor som uppgift. Marklund (1982) menade att nämnden inte hade resurser att skapa något stort och samlat utvär- deringsprojekt, men man utvärderade avgränsade delar och kom- menterade utvärderingar som bl.a. SÖ bedrev.</P>
<P class="p82 ft10"><NOBR>SIA-besluten</NOBR> innebar att ett omfattande läroplansarbete star- tade. SÖ fick uppgiften att arbeta fram ett förslag till läroplan och lade 1978 fram den s.k. regnbågsrapporten med förslag till läroplan. Det slutliga förslaget, vars grunddrag lades fram i propositionen (1978/79:180), hade dock bearbetats inom Utbildningsdeparte- mentet.</P>
<P class="p55 ft11">Annan utvärdering</P>
<P class="p262 ft39">I takt med att forskningsresurserna växte, liksom skolans omfatt- ning och betydelse, kom också med tiden fler forskarstudier att genomföras. Några av dessa hade fokus på att, direkt eller indirekt, värdera beslutade skolpolitiska reformer. Nämnas kan t.ex. <SPAN class="ft81">Vad trycks om grundskolan – ett försök till lägesbeskrivning av grund- skolan, Skolreformer och lokalt gensvar, Utvärdering av 35 grund- skolor genom upprepade lägesbedömningar </SPAN><NOBR><SPAN class="ft81">1980–1985</SPAN></NOBR><SPAN class="ft81"> </SPAN>samt <SPAN class="ft81">Från lag till bruk. </SPAN><NOBR><SPAN class="ft81">Hemspråks-reformens</SPAN></NOBR><SPAN class="ft81"> genomförande</SPAN><SPAN class="ft151">7</SPAN>.</P>
<P class="p200 ft31"><SPAN class="ft30">7 </SPAN>Se här referenslistan.</P>
<P class="p144 ft18">258</P>
</DIV>
<DIV id="page_250">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312250x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p64 ft11">En summering</P>
<P class="p65 ft9"><NOBR>SIA-utredningen</NOBR> bildade grund för en rad förändringar i grund- skolan genom olika riksdagsbeslut. Utredningen, som arbetade i fyra år, tog fram omfattande utredningsmaterial, också i form av forskningsrapporter och empiriska studier (se referenslistan). Även här genomfördes försök i utredningens regi, försök som följdes upp och till del också utvärderades. Vad gäller försöken med friare statsbidragsanvändning talar dock tillgängliga uppgifter om att utredningen inte kom att bry sig om utvärderingens huvudresultat<SPAN class="ft28">8</SPAN>.</P>
<P class="p204 ft9">Det empiriska underlaget skiljer sig delvis från det från den föregående perioden som studerats. Mer av kvalitativa studier har kommit in. <NOBR>1970-talets</NOBR> reformer byggde på kartläggningar och undersökningar av förhållanden i skolan. Lgr 69 och Lgr 80 kan ses som justeringar av en grundskola som formades i praktiken ute på skolorna, och den senare av de två bär tydliga spår av decentra- liseringssträvanden. Man kan se en del av <NOBR>SIA-utredningen</NOBR> som en utvärdering av den dåvarande grundskolan. Någon samlad reform- utvärdering skedde dock inte. Pedagogiska nämnden vid SÖ utgjorde ett slags embryo, men dess resurser var för små.</P>
<P class="p741 ft88"><SPAN class="ft32">4.</SPAN><SPAN class="ft152">Den andra stora systemomformningen: </SPAN><NOBR>1990-talet</NOBR></P>
<P class="p228 ft10">Under <NOBR>1980-talet</NOBR> kom trenden mot decentralisering att fortsätta. Utvärderingens betydelse för att från statens sida kunna följa utfallet mot uppsatta mål, kom att aktualiseras alltmer. Strax efter mitten av <NOBR>80-talet</NOBR> tillsattes en styrberedning som lade fram sitt betänkande (SOU 1988:20) <SPAN class="ft11">En förändrad ansvarsfördelning och styrning på skolområdet. </SPAN>En tidigare tillkallad expertgrupp lade fram rapporten <SPAN class="ft11">Ansvarsfördelning och styrning på skolområdet </SPAN>(Ds U 1987:1). Denna expertgenomgång skulle förutom att redovisa hur det dåvarande styrsystemet hade vuxit fram och tankarna bakom, också ”bedöma och redovisa i vilken mån det finns forsknings- resultat och annat dokumenterat material som är relevant för diskussionerna om skolans styrning”<SPAN class="ft55">9</SPAN>.</P>
<P class="p124 ft45">Mål- och resultatstyrningen kom genom ett riksdagsbeslut 1988 att etableras som styrprincip för staten, delvis som svar på proble-</P>
<P class="p517 ft53"><SPAN class="ft51">8</SPAN><SPAN class="ft52">Intervju med Ulf P. Lundgren.</SPAN></P>
<P class="p126 ft31"><SPAN class="ft51">9</SPAN><SPAN class="ft54">PM upprättad inom Utbildningsdepartementet </SPAN><NOBR>1986-04-16,</NOBR> cit. i DsU 1997:1.</P>
<P class="p356 ft18">259</P>
</DIV>
<DIV id="page_251">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312251x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">met med ständigt växande offentliga utgifter. Men några stora skol- reformer kom inte till under detta decennium, annat än alldeles i slutet, då genom beslutet om att föra över huvudmannaskapet för skolledare och lärare till kommunerna (prop. 1989/90:41). SÖ bedrev ett arbete med att utveckla ett system för utvärdering, vilket beskrivs i avsnitt 6.</P>
<P class="p167 ft40">Expertutredningen och styrberedningen utgjorde till någon del underlag för styrningsreformer. Men att ta tag i huvudmanna- frågan, dvs. det statliga arbetsgivaransvaret för lärare och skol- ledare, var något som av allt att döma krävde en avsevärd politisk insats (Haldén, 1994). Kommunaliseringsbeslutet 1989 var knap- past av den arten att man kan säga att det fanns empiriskt underlag för det. Det följdes upp av en rad beslut; om ansvaret för skolan, förändringar i skollagen, direktiv till en betygsberedning och en läroplanskommitté, utformning av ett generaliserat statsbidrags- system samt nedläggning av SÖ och länsskolnämnderna och inrättande av det nya Skolverket. Under detta reformarbete blev det hösten 1991 regeringsbyte. Det ledde till nya direktiv till Läro- planskommittén men inte till någon egentlig kursändring. Läro- plansförslagen, som till stor del byggde på mål- och resultatstyr- ningens principer, kunde efter bred remissbehandling antas av en enig riksdag, där även beslut om ett nytt målrelaterat betygssystem ingick (prop. 1992/93:220)<SPAN class="ft77">10</SPAN>. Det som däremot mer tydligt bar den nya regeringens signum var den proposition om valfrihet och fristående skolor (prop. 1991/92:95) som lades fram våren 1992. Till det kom den nästkommande år framlagda propositionen (1992/93:230) Valfrihet i skolan.</P>
<P class="p368 ft11">Tre propositioner</P>
<P class="p742 ft9">Följande tre propositioner får ses som centrala under denna period: Den s.k. <SPAN class="ft12">kommunaliseringspropositionen </SPAN>(prop. 1989/90:41) är volymmässigt påfallande tunn, endast 14 sidor. Den redogör i kort- het för diskussioner som förts under en längre tid, bl.a. i nämnda decentraliserings- och styrutredningar sedan slutet av <NOBR>1970-talet.</NOBR> Det konstateras därvid att man tidvis hållit fram ett odelat kom- munalt driftansvar som en önskvärd möjlighet, men att man dittills inte lagt några förslag om detta. I övrigt är propositionen en argu- mentering för varför det nu var tid att göra denna överföring av det</P>
<P class="p158 ft31"><SPAN class="ft30">10 </SPAN>Detta var första gången som förslag till nya läroplaner remitterades.</P>
<P class="p144 ft18">260</P>
</DIV>
<DIV id="page_252">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p62 ft10">statliga arbetsgivaransvaret till kommunerna och för hur likvärdig- het skulle garanteras.</P>
<P class="p17 ft40">Den s.k. <SPAN class="ft43">ansvarspropositionen </SPAN>(prop. 1990/91:18) är bredare till sitt innehåll och syfte. Även här tas utgångspunkt i decentra- liseringssträvandena och hänvisas i korthet till den expertgrupp, styrberedning och styrproposition som berörts ovan, tillika det förslag till nytt statsbidragssystem för skolan som arbetats fram i Utbildningsdepartementet (Ds 1990:32) och som även remitterats.</P>
<P class="p15 ft10">Avsnittet ”Principiella utgångspunkter för förslagen” inleds med följande text:</P>
<P class="p743 ft101">Medborgarna ställer allt större krav på den offentliga verksamheten. Kraven gäller bättre tillgång till och kvalitet på service eller tjänster. Kraven omfattar också inflytande över vad som presteras samt möjlig- heter att välja olika alternativ.</P>
<P class="p744 ft14">(a.a. s.17)</P>
<P class="p186 ft40">Det var inte längre möjligt, menade man, att klara krav och behov genom att tillföra mer resurser till offentlig sektor. I stället måste man få ut mer för insatta resurser och ett sätt att åstadkomma det är att effektivisera genom att föra ut besluten längre ut, till dem som arbetar i verksamheten, och till brukare, kunder, föräldrar, etc. På det sättet presenterades redan här, i sak, den ideologiska grunden för de förslag om fristående skolor, som strax efter valet 1991 lades fram av den borgerliga regeringen. I så måtto kanske man kan säga att de olika systemreformerna hängde samman.</P>
<P class="p745 ft11">Propositionen om valfrihet och fristående skolor <SPAN class="ft10">(prop. 1991/92:95), som lades fram för riksdagen i mars 1992, är liksom kommunali- seringspropositionen volymmässigt liten (19 sidor). Föredragande statsrådet Ask hänvisade inledningsvis till nyligen gjorda riksdags- uttalanden i frågor om att kunna välja skola, och informerade om de utredningar som pågick vad gällde bl.a. avgifter samt effekter av redan beslutade åtgärder. I övrigt redovisades förslagen om val- frihet och fristående skolor, och överväganden i anslutning till dem.</SPAN></P>
<P class="p243 ft11">Tunt underlag</P>
<P class="p65 ft45">Propositionerna ger uttryck för en politisk vilja att genomföra reformer som innebar tämligen radikala förändringar av styrningen av den offentliga skolan. De allmänna politiska utgångspunkterna</P>
<P class="p529 ft18">261</P>
</DIV>
<DIV id="page_253">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312253x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">var, liksom under de föregående cirka 15 åren, decentralisering, minskad statlig styrning, ökat inflytande för kommuner, skol- personal och föräldrar (elever) samt ökad valfrihet. Men de refor- mer som nu lades fram var skarpare och mer långtgående. Något empiriskt underlag i form av undersökningar, t.ex. av hur den dit- tillsvarande decentraliseringen fallit ut, anfördes inte. Något om- fattande underlag i form av utredningar redovisas inte heller; det rör i sådana fall mera tekniska frågor om hur bidragssystem ska utformas, o.d.<SPAN class="ft55">11</SPAN></P>
<P class="p55 ft11">Utvärdering?</P>
<P class="p168 ft9">Såvitt kunnat utläsas lades under de 20 år som följde på kommuna- liseringsbeslutet inget uppdrag från regeringen om utvärdering av de beslutade reformerna. Det nya Skolverket har sedan sin till- komst ett generellt och centralt uppdrag att ansvara för utvärdering inom skolsektorn. Skolverket genomförde också redan 1992 en bred utvärdering av grundskolan, omfattande samtliga grund- skolans ämnen. Den utgör emellertid inte en utvärdering av de då nyligen tagna besluten. En ny mer begränsad utvärdering av grund- skolan genomfördes 1995, men inte heller den avsåg att kasta ljus över styrreformerna. Det gör däremot en del andra utvärderingar som verket gör under <NOBR>1990-talet.</NOBR> I Bilden av skolan 1996, där verket summerar en lång rad egna undersökningar, konstaterar man att kommunernas ansvarstagande för skolan lämnar en hel del i övrigt att önska. Denna slutsats kommer igen i många av verkets utvärderingar under lång tid framåt.</P>
<P class="p746 ft9">Även om Skolverket som sektorsmyndighet upprepade gånger pekade på att det ansvarstagande som decentraliseringen bygger på inte fungerade som tänkt, ställdes knappast frågan om huruvida</P>
<P class="p325 ft40">’reformerna fungerar’. Inriktningen av Skolverkets uppdrag utgick från den beslutade decentraliseringen och mål- och resultatstyr- ningen. Verket hade därför svårt att på allvar utvärdera det nya systemet. Verkets uppgift var, och blev framför allt alltmer, att verka för att reformerna <SPAN class="ft43">skulle </SPAN>realiseras<SPAN class="ft77">12</SPAN>. De stora utvärderingar som genomfördes syftade till att se hur grundskolan fungerade snarare än hur reformerna fungerade, även om dessa frågeställ-</P>
<P class="p551 ft59"><SPAN class="ft51">11</SPAN><SPAN class="ft57">Däremot var nya läroplaner, kursplaner, timplaner och betygssystem föremål för utred- ning.</SPAN></P>
<P class="p288 ft74"><SPAN class="ft51">12</SPAN><SPAN class="ft54">Se Björnsson, 2003. </SPAN>Elva år med Skolverket. En myndighet under påverkan.</P>
<P class="p144 ft18">262</P>
</DIV>
<DIV id="page_254">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312254x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p192 ft9">ningar givetvis tangerar varandra. Detsamma torde gälla den s.k. friskolereformen. Många studier – framför allt efter millennie- skiftet – kom att ge bilder av vad det växande antalet fristående skolor och fritt skolval betytt. Det gäller studier från såväl Skolverket som från forskare och andra aktörer. Skolverket har (senare) fört fram att reformerna tycks ha bidragit till ökad segregation. Det torde dock vara först genom t.ex. SNS forskarrapport 2011 som det läggs fram en relativt bred genomgång och analys av de studier som finns inom området<SPAN class="ft28">13</SPAN>. Detta pekar mot att det för en viss typ av reformer är först efter en ganska lång tid som det går att dra mer säkra slutsatser om följderna av dessa. Samtidigt innebär ett längre tidsspann att många faktorer då har kommit att påverka skeendet; det blir allt svårare att isolera effekten av en specifik reform.</P>
<P class="p102 ft11">Har de utvärderingar som gjorts haft någon effekt?</P>
<P class="p91 ft10">Allmänt sett noterades självfallet från politiskt håll Skolverkets ofta framförda bedömning att det nya ansvaret för kommunerna inte satt sig, eller skötts dåligt. Det gav till och från argument för rege- ring och riksdag att sätta in åtgärder. Främst handlade det om att införa kompletterande verktyg i styrningen, alltifrån tydligare krav på lokal utvärdering och kvalitetsredovisningar till mer krav på elevuppföljning och införande av skolinspektion, etc. Efter refor- merna i början av <NOBR>90-talet</NOBR> ändrade man – under fortsatt retorik om mål- och resultatstyrning – successivt karaktären av den statliga styrningen ganska väsentligt.</P>
<P class="p124 ft39">Våren 2011 beslutar Riksdagen om ett tillkännagivande att en utvärdering av de senaste årens skolreformer borde göras. I utskot- tets betänkande sägs att ”de skolreformer som ska utvärderas är kommunaliseringen, det fria skolvalet och frågan om de fristående skolornas etablering”. Regeringen kom därefter med hänvisning till riksdagens tillkännagivande att dels tillsätta en enmansutredning för att se på kausala effekter av kommunaliseringen, dels ge IFAU<SPAN class="ft75">14 </SPAN>i uppdrag att utvärdera nämnda reformer. Redovisning av dessa uppdrag har när denna rapport skrivs ännu ej skett.</P>
<P class="p747 ft72"><SPAN class="ft51">13</SPAN><SPAN class="ft52">Hartman, L., m.fl., 2011 </SPAN>Konkurrensens konsekvenser. Vad händer med svensk välfärd?</P>
<P class="p126 ft31"><SPAN class="ft51">14</SPAN><SPAN class="ft54">Institutet för arbetsmarknads- och utbildningspolitisk utvärdering.</SPAN></P>
<P class="p356 ft18">263</P>
</DIV>
<DIV id="page_255">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312255x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p748 ft88"><SPAN class="ft32">5.</SPAN><SPAN class="ft152">De senaste årens skolpolitiska beslut: perioden </SPAN><NOBR>2008–2012</NOBR></P>
<P class="p56 ft10">En tid efter regeringsskiftet 2006 fattades en lång rad beslut om kursplane- och läroplansförändringar, utökade betygs- och prov- system, <NOBR>läsa-skriva-räknasatsning,</NOBR> m.m. De frågor som dessa beslut handlar om har delvis genomlysts i termer av existerande forskning, m.m.<SPAN class="ft55">15 </SPAN>Här ska i stället redogöras för karaktären på det besluts- underlag som utgjort en del av den officiella beredningsprocess som legat till grund för propositionerna ifråga. De propositioner som valts ut är sådana som – i enlighet med den bedömning som gjorts i betänkandet ”Det tar tid” – kan antas få synliga konse- kvenser på skolnivån, för lärare och elever. Det är dels ”Tydligare mål och kunskapskrav – nya läroplaner för skolan” (prop. 2008/09:87), dels ”Betyg från årskurs 6 i grundskolan” (prop. 2009/10:219).</P>
<P class="p304 ft11">Målen: brist på utvärdering av systemet</P>
<P class="p199 ft40">Den förstnämnda av de två propositionerna syftar, som titeln an- ger, till att formulera tydligare mål för ämnesundervisningen. Den vilar på ett utredningsbetänkande, SOU 2008:28, ”Tydliga mål och kunskapskrav i grundskolan”. Betänkandet är omfattande (drygt</P>
<P class="p247 ft10">360 sidor exkl. bilagor). I inledningen av betänkandet sägs att det, vid genomgången av ”varför inte målsystemet genomförts”, ofta saknats information om grunderna för olika beslut, och att därför en mängd intervjuer genomförts. Den bild som dessa gett anges som i stort samstämmig, vilket anses ha skapat en stabil grund för de förslag som läggs (s. 55).</P>
<P class="p54 ft29">Intrycket som utredaren hade av att det saknas dokumentation kring de frågor som utredningen skulle lägga fram förslag om, kommer igen senare i betänkandet.</P>
<P class="p724 ft15">Hur styrdokument som läroplaner och kursplaner uppfattas och används i skolan finns det än så länge begränsade kunskaper om. Enligt uppgifter till utredningen togs det inom Skolverket under senare delen av <NOBR>1990-talet</NOBR> initiativ till att styrdokumenten skulle utvärderas, något som dock aldrig kom att genomföras. En bidragande orsak kan ha varit att det uppfattades som känsligt och möjligen olämpligt att Skolverket skulle utvärdera sitt eget arbete. I verkets årsredovisningar finns under</P>
<P class="p749 ft74"><SPAN class="ft30">15 </SPAN>Det tar tid. Om effekter av skolpolitiska reformer<SPAN class="ft31">, SOU 2013:30.</SPAN></P>
<P class="p144 ft18">264</P>
</DIV>
<DIV id="page_256">
<TABLE cellpadding=0 cellspacing=0 class="t13">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p750 ft101">senare delen av <NOBR>1990-talet</NOBR> en del uttalanden om hur lärare uppfattar kursplanerna, men redovisningarna är mycket kortfattade.</P>
<P class="p751 ft14">(a.a. s. 279)</P>
<P class="p752 ft40">Det empiriska underlaget för förslagen om förändringar av främst kursplanerna består följaktligen främst av de samtal med personer i och utanför Skolverket som utredningen genomfört. Det saknas inte dokument från Skolverket som tar upp problematiken med gällande mål och målstruktur, inte minst avseende det faktum att mål att uppnå ofta kommit att uppfattas som ”grundkurs” och som planeringsmål, i strid med hur dessa var tänkta. Detta förhållande framgår också av propositionen ifråga. Det har däremot inte gjorts några systematiska undersökningar härav.</P>
<P class="p753 ft11">Tidigare betyg: ett rent politiskt ställningstagande?</P>
<P class="p163 ft10">Underlaget för regeringens förslag om betyg från årskurs 6, i stället för som då i årskurs 8, finns i Ds 2010:15. En arbetsgrupp hade här fått i uppdrag att ”föreslå de författningsändringar som är nöd- vändiga för att betyg från och med årskurs 6 i grundskolan ska kunna införas.” Det fanns således inget uppdrag att utreda om eller varför betyg skulle ges tidigare. Motiven anges endast översiktligt i skrivelsen.</P>
<P class="p754 ft101">En tungt vägande orsak till utvecklingen inom grundskolan är bl.a. bristen på en tidig uppföljning av varje elevs kunskapsutveckling samt att de elever som behöver det inte får det stöd de har rätt till. Därför finns det starka skäl att vidta ytterligare åtgärder för förbättrad uppföljning av varje elevs kunskapsinhämtande i syfte att fler elever når en högre grad av måluppfyllelse.</P>
<P class="p755 ft14">(s. 31)</P>
<P class="p752 ft40">Ställningstagandet att betyg ska börja sättas fr.o.m. årskurs 6 hanteras som ett uteslutande politiskt avgörande. Den (negativa) utvecklingen i grundskolan är utgångspunkt, att tidigare betygsätt- ning ska leda till en förbättring, är något som förutsätts.</P>
<P class="p756 ft18">265</P>
</DIV>
<DIV id="page_257">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312257x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft11">Kortare utredningstider</P>
<P class="p262 ft9">Det har i flera sammanhang konstaterats (se t.ex. SOU 2007:75) att de offentliga utredningar som tillsatts under senare tid getts betyd- ligt mindre tidsutrymme än tidigare. De utredningar som belysts här utgör inget undantag. Utredningen om tydligare mål arbetade i drygt ett år, underlaget vad gäller betyg från årskurs 6 i cirka 5 månader. Från utredningar om <NOBR>tre–fyra</NOBR> år eller mer, till utredningar om drygt ett år i genomsnitt. Såvitt gäller de underlag och utred- ningar som omfattats av denna genomgång så sker detta skifte successivt och någonstans mellan 1970- och <NOBR>1980-talet.</NOBR></P>
<P class="p83 ft11">Utvärdering av senare års beslut om skolan</P>
<P class="p262 ft40">Vilken utvärdering har regeringen initierat med anledning av den omfattande mängden politiska beslut om förändringar i skol- systemet?<SPAN class="ft77">16 </SPAN>Ett sätt att se detta är genom regleringsbreven till den myndighet som har ansvaret för nationell utvärdering, Skolverket. Regleringsbreven summerar år för år samtliga rapporteringskrav och uppdrag som ligger på myndigheten, oavsett i vilket samman- hang dessa har getts. Regleringsbreven avseende 2011, 2012 och 2013 har gåtts igenom. De omfattar vardera ett <NOBR>90-tal</NOBR> uppdrag inkl. krav på återrapportering/redovisning.<SPAN class="ft77">17</SPAN></P>
<P class="p54 ft10">I samtliga regleringsbrev anges att Skolverket regelmässigt ska rapportera om vilka uppföljningsstudier och utvärderingar som genomförts under året. Sett till de <SPAN class="ft11">uppdrag om utvärdering </SPAN>som riktas till verket rörande grundskolan anges följande objekt under de tre åren:</P>
<P class="p757 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">för satsningen på basfärdigheter (fr. år 2008) ska en extern aktör anlitas för utvärdering,</SPAN></P>
<P class="p39 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">insatser ifråga om ämnet idrott och hälsa,</SPAN></P>
<P class="p154 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">insatser ifråga om näringsriktig skolmat,</SPAN></P>
<P class="p39 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">metoder mot mobbning,</SPAN></P>
<P class="p39 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">matematiksatsningar och satsning på naturvetenskap och teknik,</SPAN></P>
<P class="p758 ft62"><SPAN class="ft51">16</SPAN><SPAN class="ft61">De har beskrivits av företrädare för alliansen som de största reformerna på skolområdet sedan </SPAN><NOBR>1800-talet.</NOBR> Se t.ex. <NOBR>www.unt.se/debatt/storsta-skolreformerna-sedan-1842-2461189.aspx</NOBR></P>
<P class="p143 ft31"><SPAN class="ft51">17</SPAN><SPAN class="ft54">Vissa av dessa upprepas från ett regleringsbrev till ett annat.</SPAN></P>
<P class="p144 ft18">266</P>
</DIV>
<DIV id="page_258">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p759 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">insatser ifråga om nyanlända, bl.a. ska en extern aktör för utvärdering anlitas.</SPAN></P>
<P class="p330 ft10">Till det kommer att verket i några fall ska samråda eller samverka med annan myndighet i samband med utvärdering, t.ex. med IFAU om <NOBR>Sfi-bonus,</NOBR> med Socialstyrelsen om ett australiskt självmords- förebyggande utbildningsprogram.</P>
<P class="p117 ft9">Vissa av satsningarna är relativt omfattande, t.ex. matematiksats- ningarna, medan andra är av specifik och begränsad art. Det är antingen specifika frågor eller statliga resursinsatser som ska utvärderas. Något explicit bredare utvärderingsuppdrag som siktar på de omfattande reformerna läggs inte på Skolverket. Skolverket har också vid upprepade tillfällen informerat om att nästan all verk- samhet är uppdragsrelaterad, dvs. att verkets resursmässiga utrymme för egna initiativ är mycket begränsat.</P>
<P class="p92 ft9">Av Skolverkets verksamhetsplan för 2013 framgår dock att verket gör vissa utvärderingsinsatser kopplade till de senaste årens förändringar. Så t.ex. genomförs studier kring hur reformerna i grundskolan landar, framför allt hos lärarna. Främst sker detta genom intervjuer. Skolverket talar inte om detta som utvärdering; snarare ses det som en tidig implementeringsstudie. Det pågår också nationell utvärdering av de <NOBR>praktiskt-estetiska</NOBR> ämnena och en planering för utvärdering av samhällsorienterande ämnen. Resurs- insatsen som krävs för godkänt deltagande i de internationella kun- skapsmätningarna bestäms i liten grad av Skolverket. Det medför att de två nu nämnda undersökningar som genomförs på eget ini- tiativ resursmässigt har ett relativt marginellt utrymme.</P>
<P class="p289 ft39">En lite förenklad bild utifrån genomgången av de senaste årens många skolpolitiska beslut blir att det empiriska underlaget är begränsat, om något alls, och att det inte getts något bredare upp- drag om utvärdering av förändringarna, vid sidan av de inter- nationella kunskapsmätningarna som successivt genomförs. De av riksdagen 2011 begärda utvärderingarna utgör delvis ett undantag.</P>
<P class="p322 ft32"><SPAN class="ft32">6.</SPAN><SPAN class="ft148">NU – en lång och krokig väg</SPAN></P>
<P class="p136 ft45">Som redan framgått fick SÖ uppgiften att följa upp den stora försöksverksamheten på <NOBR>1950-talet.</NOBR> Utvärdering kom under de två följande decennierna att diskuteras och i viss mån genomföras, såväl av SÖ som inom utredningar och av andra aktörer. Politiska</P>
<P class="p553 ft18">267</P>
</DIV>
<DIV id="page_259">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312259x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft9">krav restes, till och från, på vad man kallade ”oberoende” och ”vetenskaplig” utvärdering, då man ansåg att en myndighet inte bör utvärdera det man själv varit med om att forma (se t.ex. Richardsson, a.a. s. 155). När frågorna om styrning och statens roll alltmer aktua- liseras under <NOBR>1980-talet,</NOBR> växte också frågor om utvärdering, och främst då på nationell nivå. I ett flertal budgetpropositioner från mitten av decenniet och framåt, togs nationell utvärdering upp.</P>
<P class="p724 ft153">En väsentlig fråga i detta sammanhang är hur man skall kunna kon- trollera hur de statligt angivna målen och riktlinjerna förverkligas. Jag finner här det som SÖ anfört i sin anslagsframställning om ett nation- ellt utvärderingsprogram intressant. I likhet med SÖ menar jag att ett centralt uppföljnings- och utvärderingsprogram bör innefatta precise- ring och konkretisering av vad de vanligtvis mer allmänt formulerade målen kan avse. Programmet bör också innefatta bedömning och, där det så är möjligt, mätning av i vad mån målen uppnåtts. Ett arbete med en sådan inriktning mot utvärdering och kontroll av att statens intent- ioner uppfylls bli enligt min mening en av den statliga skoladmi- nistrationens huvuduppgifter i ett decentraliserat och målstyrt system.</P>
<P class="p760 ft14">(1985 års budgetproposition)</P>
<P class="p761 ft40">Inom SÖ pågick ett arbete, i stort sett ända sedan 1982 års reform som resultat av <NOBR>SAK-kommittén<SPAN class="ft77">18</SPAN>,</NOBR> med att forma en nationell skol- utvärdering. Erland Ringborg kom som ny generaldirektör 1986 och hade som grundinställning att SÖ inte ”skulle veta hur andra skulle göra utan skulle veta bäst om hur det stod till”. Det var lite oklart exakt varifrån initiativen till nationell utvärdering av skolan kom, men man kan säga att det låg i tiden.<SPAN class="ft77">19</SPAN></P>
<P class="p96 ft9">Arbetet med att ta fram instrument för en utvärdering av grund- skolan skedde i samarbete med forskare vid pedagogiska institu- tioner i landet. Det synes inte ha varit ett konfliktfritt samarbete, vare sig mellan forskare sinsemellan eller mellan dessa och SÖ<SPAN class="ft28">20</SPAN>. 1989 genomfördes den första utvärderingen som omfattade elever i årskurs 2 och 5, med avsikt att årskurs <NOBR>9-elever</NOBR> skulle ingå i nästa omgång. SÖ kom att lansera resultaten av studien en tid före ned- läggningen av myndigheten den 1 juli 1991. Samma år som studien publicerades kom också en kritik mot SÖ:s utvärdering i en skrift där fem pedagogikprofessorer medverkade<SPAN class="ft28">21</SPAN>. Bland annat kriti- serades metoderna för att vara alltför snävt orienterade och för</P>
<P class="p128 ft53"><SPAN class="ft51">18</SPAN><SPAN class="ft52">Skoladministrativa kommittén.</SPAN></P>
<P class="p151 ft53"><SPAN class="ft51">19</SPAN><SPAN class="ft52">Intervju med Erland Ringborg.</SPAN></P>
<P class="p151 ft59"><SPAN class="ft51">20</SPAN><SPAN class="ft70">Intervjuer med Erland Ringborg och Mats Ekholm.</SPAN></P>
<P class="p151 ft31"><SPAN class="ft51">21</SPAN><SPAN class="ft54">Skolan och utvärderingen. Fem professorer tar ordet.</SPAN></P>
<P class="p144 ft18">268</P>
</DIV>
<DIV id="page_260">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312260x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">ensidigt byggda på differentialpsykologiska och kvantitativa syn- sätt.</P>
<P class="p384 ft11">Skolverket tar över</P>
<P class="p123 ft10">Skolverket bildades som en helt ny myndighet i stället för det ned- lagda SÖ sommaren 1991. Vissa förberedelser hade gjorts inom det s.k. Skolprojektet som pågick inom departementet under 1990/91. Att nationell utvärdering i förbindelse med lokal utvärdering, skulle spela en central roll i myndighetens arbete stod klart, men inte hur.<SPAN class="ft55">22 </SPAN>I detta skede kom den modell för nationell utvärdering av grundskolan som SÖ initierat, att få en betydelse. Den represen- terade en existerande plan och ett konkret projekt som utan större dröjsmål kunde sjösättas och bära den nationella utvärderingen ett steg framåt.<SPAN class="ft55">23</SPAN></P>
<P class="p124 ft39">En hel del förändringar gjordes i förhållande till det kritiserade upplägget 1989. En del av de tidigare uppgifterna utmönstrades, instrumenten breddades mot att få fram mer kvalitativa data, och ett problemlösande prov togs fram<SPAN class="ft75">24</SPAN>. Som nämnts ingick också års- kurs 9 i utvärderingen. En bred samverkan med forskare föregick själva genomförandet, och dessa var också aktiva i analysen av resultaten. Huvudresultaten av NU 1992 offentliggjordes i sam- band med att Skolverket lade fram rapporten Bilden av skolan 1993.</P>
<P class="p762 ft11">Utvärderingen som en styrmodell</P>
<P class="p123 ft10">Rapporten Bilden av skolan 1993 gavs bred spridning i media och diskussionen fokuserades på bl.a. arbetsformerna i grundskolans avslutande år. Utvärderingen granskade en skolverksamhet som styrdes av 1980 års läroplan.</P>
<P class="p92 ft39">Genom sin inriktning på även ämnesvisa spörsmål kan man säga att NU i hög grad kom att rikta sig inte bara till statsmakterna utan också till kommuner, skolor och lärare. Såväl de ämnesvisa som de summerande rapporterna spreds brett. Detta var en del av Skol- verkets strategi; genom den nationella utvärderingen av lokala för- hållanden skulle de lokala enheterna få ett underlag att värdera sin</P>
<P class="p225 ft53"><SPAN class="ft51">22</SPAN><SPAN class="ft52">Se t.ex. Halldén, 1997.</SPAN></P>
<P class="p187 ft53"><SPAN class="ft51">23</SPAN><SPAN class="ft52">Intervjuer med Staffan Lundh respektive Oscar Öqvist.</SPAN></P>
<P class="p175 ft31"><SPAN class="ft51">24</SPAN><SPAN class="ft54">Av någon betydelse torde det ha varit att Skolverkets generaldirektör var en av dem som offentligt kritiserat SÖ:s utvärderingstänkande.</SPAN></P>
<P class="p385 ft18">269</P>
</DIV>
<DIV id="page_261">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312261x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p416 ft40">egen verksamhet mot och också stimuleras att själva utvärdera. Förutsättningen för modellen, som i viss mån kan ses som en modell för såväl styrning som utvärdering och utveckling, var dock att det fanns en form av ekologi; att det växte fram lokala utvärde- ringar att bygga de nationella på, något som knappast infriades.</P>
<P class="p107 ft10">En tid efter det att Skolverket lanserat NU 92 kom åter en forskarkritik. Den vände sig nu mot Skolverket och framför allt mot den styrmodell som Skolverket synes företräda med sin utvärdering. Organisationsforskarna Kerstin <NOBR>Sahlin-Andersson</NOBR> och Bengt Jacobsson kritiserade i <SPAN class="ft11">Skolan och det nya verket </SPAN>idén om att man med utvärdering ska kunna styra och utveckla skolan. De ansåg inte att modellen fungerade på det sättet i förhållande till skolor och lärare, och därutöver menade de att en tydligt norme- rande myndighet behövs i en organisation av den karaktär som skolan utgör.</P>
<P class="p177 ft9">Kritiken verkade inte avsätta några tydliga spår inom Skolverket. Däremot konstaterades det att NU var en stor och dyr ansats med sin forskarstödda utvärdering av samtliga grundskolans ämnen. 1995 gjordes en uppföljning av NU 92 i vissa delar – under benäm- ningen UG 95 – som visade på en viss nedgång i kunskaperna.<SPAN class="ft28">25 </SPAN>Ytterligare tre år senare, 1998, gjordes en utvärdering mot läro- planens övergripande mål. ”Det var en mycket bra utvärdering, men den fick inte mycket genomslag. Den hade inga bjärta budskap av typen att något höll på att gå snett eller så.”<SPAN class="ft28">26</SPAN></P>
<P class="p96 ft40">Först 2003 kom NU tillbaka, med en replik på 1992 års studier.<SPAN class="ft77">27 </SPAN>Vissa s.k. ankaruppgifter m.m. behölls från proven som ingick i NU 92 medan andra var nya. Resultaten offentliggjordes hösten 2004 ungefär samtidigt som resultaten från de internationella kunskaps- mätningarna PISA 2003 och TIMSS 2003. Samtliga mätningar kunde visa på en betydande tillbakagång jämfört med respektive föregående mätning, resultat som fick stor uppmärksamhet.</P>
<P class="p107 ft10">Även efter NU 2003 konstaterades att denna ansats är dyr och tung att genomföra.</P>
<P class="p763 ft15">Vid den här tiden, alltså runt 2004, så hade också de internationella kunskapsmätningarna som PISA och TIMSS etablerat sig på det sättet att de behövde tänkas in i ett långsiktigt nationellt utvärderingsper- spektiv. Verket sökte hitta en stabil väg genom förslag och propåer till</P>
<P class="p764 ft53"><SPAN class="ft51">25</SPAN><SPAN class="ft52">Se vidare längre fram om effekterna av denna.</SPAN></P>
<P class="p151 ft53"><SPAN class="ft51">26</SPAN><SPAN class="ft52">Intervju med Staffan Lundh.</SPAN></P>
<P class="p180 ft31"><SPAN class="ft51">27</SPAN><SPAN class="ft60">Att NU återkom i början av </SPAN><NOBR>2000-talet</NOBR> hade samband med intresset hos generaldirektören vid den tiden.</P>
<P class="p134 ft18">270</P>
</DIV>
<DIV id="page_262">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312262x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p765 ft15">departementet. Det gällde senare också frågor om långsiktig finan- siering av dem, där vi sedan några år har fått en särskild anslagspost.<SPAN class="ft154">28</SPAN></P>
<P class="p384 ft11">Post NU?</P>
<P class="p228 ft9">Vid ungefär samma tidpunkt pågick en diskussion om de nationella proven och vilken roll dessa kunde och borde spela. Regeringen gav Skolverket ett omfattande uppdrag kring resultatinformation. Uppdrag E rörde systemet med nationella prov. Skolverket läm- nade en redovisning på denna punkt i oktober 2003 där man häv- dade att proven av flera skäl inte kunde tjäna som en löpande utvärdering på nationell nivå. Skolverket menade att ”.. ett rullande stickprovsbaserat system för kunskapsutvärdering utarbetas i ämnen som inte har nationella prov. Exempelvis kan tre ämnen utvärderas år 1, tre andra år 2, ytterligare tre andra år 3 osv. Efter t.ex. <NOBR>5–6</NOBR> år upprepas cykeln.” (Skolverkets redovisning, s. 16). I bilagan till redovisningen (s. 136) skrev man att ett sådant rullande system</P>
<P class="p205 ft10">”bör utredas”.</P>
<P class="p17 ft10">Verket fick ganska snart härefter (december 2004) ett nytt upp- drag att utreda förutsättningarna för att införa just ett mer syste- matiskt, rullande stickprovsbaserat system för kunskapsutvärdering för samtliga ämnen i grundskolan. Skolverket lämnade ett om- fattande underlag som svar på uppdraget i september 2006. I pro- cessen med förslaget lät man <NOBR>Jan-Eric</NOBR> Gustafsson vid Göteborgs universitet lämna ett förslag, som verket fann alltför ambitiöst och dyrbart. Man lämnade därför en reviderad modell som sitt förslag (Skolverkets rapport 286).</P>
<P class="p233 ft10">Skolverket har till dags dato inte fått någon reaktion på sina för- slag. Vartefter har man, i den mån resurserna medgett, beslutat söka genomföra en del av idéerna i sitt förslag. Under 2013 pågår utvärdering av <NOBR>praktiskt-estetiska</NOBR> ämnen, samt planering vad gäller samhällsorienterande ämnen.</P>
<P class="p766 ft31"><SPAN class="ft30">28 </SPAN>Intervju med Staffan Lundh.</P>
<P class="p356 ft18">271</P>
</DIV>
<DIV id="page_263">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312263x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p150 ft32"><SPAN class="ft32">7.</SPAN><SPAN class="ft148">PISA, TIMSS och PIRLS</SPAN></P>
<P class="p168 ft39">Några år inpå det nya millenniet kan konstateras att de inter- nationella kunskapsmätningarna har blivit fler och återkommande, och dessutom politiskt alltmer intressanta. I praktiken är det knappast Skolverket som beslutar om deltagande<SPAN class="ft75">29</SPAN>. Från att ha haft en prövande inställning till de internationella studier som successivt kom att föreslås, så byter nu Skolverket fot och inriktar sig på att</P>
<P class="p288 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">i princip delta i alla kunskapsmätningar,</SPAN></P>
<P class="p129 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">se dessa som en del av den nationella utvärderingen av skolan, samt att</SPAN></P>
<P class="p154 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft47">söka se till att förutsättningarna planeringsmässigt för detta säkras.</SPAN></P>
<P class="p131 ft10">Det är den andra punkten som här är intressant. Sverige deltar numera i såväl PISA och TIMSS som PIRLS, vilket drar såväl eko- nomiska resurser som resurser i form av expertis. Stickproven i studierna är tillräckligt stora för generaliserbarhet och såväl vali- ditet som reliabilitet i testerna anses hög. Dessutom erbjuds möj- lighet till jämförelse med andra länder, något som visar sig alltmer intressant, politiskt och medialt (se t.ex. Pettersson, 2008). Med tanke på att det efter 2004 inte har offentliggjorts någon bred och samlad utvärdering av den svenska grundskolan har de inter- nationella mätningarna kommit att helt dominera vad gäller redo- visning av skolans resultat. Dominansen gäller såväl i sak, som ifråga om den bild som den politiska skoldebatten, och politiken i sig, haft att grunda sig på.</P>
<P class="p767 ft10">Skolverket konstaterar i en rapport till regeringen:</P>
<P class="p763 ft15">Samtliga Skolverkets nationella utvärderingar från <NOBR>NU-92</NOBR> och framåt har varit egeninitierade och inte regeringsuppdrag (och har som sådana finansierats inom förvaltningsanslaget). Besluten att genomföra utvär- deringarna har varje gång fattats (relativt <NOBR>ac-hoc-mässigt)</NOBR> internt inom Skolverket, och det har inte funnits någon långsiktig plan – varken från Skolverkets eller statsmakternas sida – att genomföra denna typ av nationella studier med vissa intervall.<SPAN class="ft154">30</SPAN></P>
<P class="p761 ft45">Den nationella utvärderingen har i och med PISA m.fl. mätningar stärkts i så måtto att den fått andra instrument för att löpande följa resultaten i form av uppmätta kunskaper hos eleverna och genom</P>
<P class="p560 ft59"><SPAN class="ft51">29</SPAN><SPAN class="ft57">Skolverket meddelade 2004 sin bedömning att Sverige inte skulle delta i PIRLS 2006, men efter en fråga i riksdagen gav statsrådet Östros till svar att Sverige skulle delta.</SPAN></P>
<P class="p288 ft31"><SPAN class="ft51">30</SPAN><SPAN class="ft54">Skolverket, Rapport 2006:286.</SPAN></P>
<P class="p144 ft18">272</P>
</DIV>
<DIV id="page_264">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312264x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p85 ft40">jämförelserna med andra länder. Den har sannolikt också stärkts i det att mätningarna, såvitt det går att bedöma, utgör tillförlitliga trendmått, dvs. visar förändring över tid. Det är tveksamt om Skol- verket hade kunnat få fram så pass tillförlitliga trendmätningar på egen hand. Den nationella utvärderingen får dock anses ha för- svagats – sett över de tio år som förflutit sedan NU 2003 – genom att Skolverket inte kunnat kompensera för de begränsningar som trots allt ligger i de internationella studierna: den ensidiga fokuse- ringen på kunskapsprov, mätningen mot internationell och inte nationell standard, den snäva fokuseringen på en del av läroplanen och bristen på analyser av processer och förutsättningar. Skolverket har sökt möta dessa uppenbara begränsningar genom att lämna för- slag till regeringen om rullande stickprovsunderökningar och genom att nu, 2013, genomföra viss utvärdering mot nationella mål i <NOBR>praktiskt-estetiska</NOBR> ämnen. PISA och dylika studier bör kanske betraktas som en form av kvalificerad uppföljning av kunskaps- resultat, resultat som givetvis är en central <SPAN class="ft43">del </SPAN>av en nationell utvärdering.</P>
<P class="p768 ft88"><SPAN class="ft32">8.</SPAN><SPAN class="ft152">Hur har utvärderingsresultat använts och påverkat?</SPAN></P>
<P class="p65 ft39">I princip skulle det vara möjligt att göra en genomgång av alla de större skolutredningarna och propositionerna under de senaste 25 åren för att spåra inflytande från reformutvärderingar. Det finns dock en del problem förknippade med det. Det första är helt enkelt bristen på studier som tydligt kan betecknas som reformutvärde- ringar avseende grundskolan. Det finns studier som har inslag av utvärdering av en reform men knappast mer<SPAN class="ft75">31</SPAN>. Det andra problemet är att följa effekten av framlagda utvärderingsresultat. De offentliga utredningarna på skolområdet fångar i regel upp den empiri som t.ex. skolmyndighetens offentliggjorda studier utgör. Men att avgöra om denna empiri ligger till grund för de förslag som utred- ningen lägger fram, kan redan det visa sig svårt. Att gå vidare för att se om och i så fall hur denna empiri får betydelse i regeringens</P>
<P class="p219 ft53"><SPAN class="ft30">31 </SPAN>Det kan observeras, även om distinktionerna inte är glasklara, att NU presenterades som en <SPAN class="ft72">system</SPAN>utvärdering, där resultaten och processerna bakom skulle fångas för att ställas mot gällande mål/läroplan. En <SPAN class="ft72">reform</SPAN>utvärdering får förutsättas fokusera på om utfallet svarar mot just reformens bärande delar eller idéer. Detta kan vara föremål för en analys i sig, men som inte tas upp här. Läggas till bör också att såväl NU 92 som UG 95 avsåg skolverksamhet som till större del styrts av Lgr 80 och inte av Lpo 94.</P>
<P class="p769 ft18">273</P>
</DIV>
<DIV id="page_265">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">beslut är än svårare. Många propositioner ger inte den motivbak- grunden utan pläderar i en politisk kontext för vilka problem man vill lösa och vad det är man vill uppnå.</P>
<P class="p208 ft10">Allmänt sett har Skolverkets underlag kommit att användas frekvent inom Regeringskansliet och även omnämnts relativt ofta i t.ex. budgetpropositionerna. Regeringen har också direkt uttalat detta, dvs. pekat på att man med den myndighetsstruktur och mål- styrning som gäller i statsförvaltningen kommit att vara starkt beroende av det som myndigheten lägger fram och att man i hög grad vilar på detta underlag. Det är däremot svårt att bedöma hur underlaget påverkat.</P>
<P class="p96 ft40">Ett måhända specifikt exempel får belysa något av detta. Skol- verket publicerade 1996 resultaten av UG 95 (se ovan), den studie som till del jämförde kunskaperna 1995 i årskurs 9 med dem 1992. Studien visade en tendens till fallande resultat. En resurssatsning som sedan presenterades i regeringens vårbudget 1997 kunde där- med hämta argument ur en utvärdering med empiriska data, som kunde motivera eller legitimera satsningen. Det är samtidigt uppen- bart att satsningen just då snarare kom till stånd till följd av främst två förhållanden: den under en period kraftiga minskningen av lärartätheten i kommunerna (det var nu politiskt önskvärt att öka den), och att statsfinanserna åter möjliggjorde insatser (det var nu politiskt möjligt att vidta åtgärder).</P>
<P class="p304 ft11">Svårgenomskådat</P>
<P class="p262 ft40">Det går att peka på ett antal exempel på att en utvärdering gett anledning till ett politiskt initiativ. Det kan handla om dåliga resul- tat i en internationell kunskapsmätning i matematik som leder till en nationell matematiksatsning eller studier av brister i hur nya styrdokument implementeras, som leder till justeringar av de fort- satta insatserna. PISA har t.ex. vid ett flertal tillfällen refererats till i propositioner, etc. Men det är svårt att se mönstret i vad som får betydelse och när, om man inte samtidigt kan iaktta de konkreta ekonomiska och politiska förhållanden som i hög grad styr bered- ningsprocesserna hos regering och riksdag. Det kan ses som ”poli- tiska fönster” som är mer eller mindre öppna. Till det kommer den mediala logiken ”good news is no news” som innebär att t.ex. studier som visar på sjunkande kunskapsresultat ger stort eko.</P>
<P class="p770 ft18">274</P>
</DIV>
<DIV id="page_266">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p145 ft32"><SPAN class="ft32">9.</SPAN><SPAN class="ft148">Avslutande reflektioner</SPAN></P>
<P class="p228 ft9">I korthet ger genomgången följande bild. Från att ha tillsatt stora utredningar med ofta omfattande utredningsexpertis och lång utred- ningstid, tillsätts senare under perioden utredningar med betydligt kortare utredningstider, ibland med snävare uppdrag. Från de tidiga utredningarna, vilka grundade sig på och presenterade empiriska och för ändamålet relevanta undersökningar, kommer senare sådant underlag att i stor utsträckning lysa med sin frånvaro. De kortare utredningstiderna gör i sig att utrymmet för att göra egna under- sökningar inom ramen för utredningarna begränsas starkt. Men man kan inte heller se tydliga spår av att redan existerande om- fattande empiri i stället byggs in i betänkandena.</P>
<P class="p233 ft10">Det är vanskligt att göra enkla jämförelser över loppet av mer än ett halvt sekel. Uppenbart gällde delvis andra normer för besluts- fattande och delvis andra politiska ideal på <NOBR>1950-talet</NOBR> jämfört med i dag. Den samhälleliga kontexten för reformer förändras. Värdet av stora kompromisser och ”gediget underlag” ses inte som lika högt i dag. Många har påpekat att de politiska processerna nu går snab- bare och att det ofta inte är realistiskt att vänta flera år på en utred- ning.</P>
<P class="p204 ft9">När det gäller utvärdering av reformerna, så är bilden delvis en annan än om vi talar om utredningsunderlag som föregått reform- beslut. Från <NOBR>1960-talet</NOBR> växer utvärdering fram i termer av resurs- ramar, forskningsstudier och mängden utvärderingsrapporter. Trots det allmänna talet om vikten av utvärdering, går det inte att se någon tydlig utveckling över decennierna när det gäller gedigen utvärdering av skolreformer. Genomgången visar en ojämn, ryckig resa; det kommer inte till stånd någon stabil, bred, förankrad och systematisk utvärdering av skolan. Det säkras inte en tillräcklig massa av empiriska studier. Det förs under decennierna diskuss- ioner om vem som borde ansvara för en sådan: den statliga förvalt- ningen, fristående aktörer eller ansvariga myndigheter. Men dessa diskussioner landar sällan eller aldrig annat än i tillfälliga initiativ. Pedagogiska nämnden på <NOBR>1960-talet</NOBR> är ett sådant initiativ, resurser till IFAU 2011 ett annat. Myndigheter som SÖ och Skolverket söker bygga upp system för utvärdering av grundskolan men dessa bär inte långt p.g.a. nedläggningar, omgörningar av myndigheter, brist på resurser, internationella standarder, etc. Skälen kan vara många till detta sakernas tillstånd, men det mest iögonfallande är ändå det faktum att något brett uppdrag till myndigheter om</P>
<P class="p418 ft18">275</P>
</DIV>
<DIV id="page_267">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312267x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">utvärdering av beslutade reformer inte lämnats efter 1990. Ett undantag utgörs delvis av den av riksdagen nyligen begärda utvärderingen av <NOBR>1990-talets</NOBR> reformer.</P>
<P class="p106 ft9">Särskilt kan detta vara förvånande med tanke på att de idéer som slår rot i Sverige i slutet av <NOBR>1980-talet</NOBR> lägger så stor vikt vid just utvärdering som del av styrningen.<SPAN class="ft28">32 </SPAN>Om sättet att ta fram underlag för reformer tidigare kunde ses som ’framtungt’ genom det gedigna beredningsarbetet före reformbeslut, kunde man kanske nu vänta sig mer av en ’baktung’ modell med reformutvärdering, dvs. <SPAN class="ft12">ex post</SPAN>, men så ser inte ut att ha blivit fallet.</P>
<P class="p106 ft40">Ett skäl till att någon bred, stabil och förankrad utvärdering av reformer avseende grundskolan inte kommit till stånd, är sannolikt framväxten av de återkommande internationella kunskapsmät- ningarna, främst tillkomsten av PISA 2000. PISA som mätning mot en form av överenskommen <SPAN class="ft43">global curriculum </SPAN>är bara ett verktyg av flera för att öka kunskapen om skolans resultat. Slående är att dessa mätningar ger lite av förståelse för förutsättningar och processer i svensk skola och får ses som både hårt och snävt resultatinriktade. I en högt politiserad debatt om skolan i Sverige ser PISA, TIMSS och PIRLS ut att få räcka till som besked om den svenska skolans status och utfall och därmed också räcka som bränsle för debat- ten<SPAN class="ft77">33</SPAN>. Betydande empiriskt grundade analyser och utbildningsforsk- ning, såväl kvantitativt som kvalitativt, med sikte på att belysa utvecklingen i svenska skolor skulle dock behövas för att komplet- tera dessa resultatmätningar och utgöra en nationell utvärdering värd namnet.</P>
<P class="p238 ft9">Ett annat spår i diskussionen om underlag och utvärdering av skolreformer rör utbildningsforskningens vägar. OECD konsta- terar i sin <SPAN class="ft12">Evidence in education</SPAN>. <SPAN class="ft12">Linking research and policy</SPAN>, att den pedagogiska forskningen ofta kommit att ägna sig åt annat än sådana studier som är möjliga att nyttja i nationell utvärdering och policyskapande. Konflikterna kring kvantitativa respektive kvali- tativa synsätt har säkerligen varit till förfång på det sättet att de skymt det ganska uppenbara, nämligen att detta inte är en fråga om <NOBR>antingen-eller</NOBR> utom om <NOBR>både-och.</NOBR> Många metoder behövs i modern utbildningsforskning och analys som ska kunna ge en information av sådant djup att de duger att grunda väsentliga samhällsbeslut på.</P>
<P class="p177 ft39">Det är lätt att säga att det behövs mer forskning och utvärdering om skolan. Vad som synes behövas är inte minst ett uthålligt poli-</P>
<P class="p771 ft53"><SPAN class="ft51">32</SPAN><SPAN class="ft52">Idégods som mål- och resultatstyrning hör till ”idéer som reser” enligt Rövik, 1999.</SPAN></P>
<P class="p143 ft31"><SPAN class="ft51">33</SPAN><SPAN class="ft54">Pettersson, 2008.</SPAN></P>
<P class="p144 ft18">276</P>
</DIV>
<DIV id="page_268">
<TABLE cellpadding=0 cellspacing=0 class="t13">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p772 ft10">tiskt intresse för att noggrant ta vara på samlade erfarenheter inför beslut om viktiga skolreformer.</P>
<P class="p694 ft32">Referenser och källor</P>
<P class="p693 ft13">Litteratur:</P>
<P class="p773 ft11"><SPAN class="ft10">Agrell, Jan, </SPAN>Den nya skolan och försöksverksamheten: en principiell granskning<SPAN class="ft10">, J. A. Lindblad, Uppsala, 1953.</SPAN></P>
<P class="p774 ft11"><SPAN class="ft10">Andersson, D. 2012. </SPAN>Tillsammans – i lust eller blomstring<SPAN class="ft10">. Hjalmarson Högberg Förlag.</SPAN></P>
<P class="p774 ft11"><SPAN class="ft10">Arrhén, E. 1956. </SPAN>Enhetsskolan – vardagen och atomtidsåldern<SPAN class="ft10">. Bok- förlaget Medborgarskolan, Uppsala.</SPAN></P>
<P class="p775 ft11"><SPAN class="ft10">Arvidson, S. 1950. </SPAN>Enhetsskolan: riksdagsbeslutet, kommunal planering, försöksverksamheten<SPAN class="ft10">, Gleerup, Lund.</SPAN></P>
<P class="p774 ft10">Arvidson, S., Stenholm, B. & Blomberg, I. 1961. <SPAN class="ft11">Enhetsskolan blir grundskolan</SPAN>, Liber, Stockholm.</P>
<P class="p774 ft11"><SPAN class="ft10">Björnsson, M. 2003. </SPAN>Elva år med Skolverket. En myndighet under påverkan<SPAN class="ft10">. Magisteruppsats, Försvarshögskolan.</SPAN></P>
<P class="p776 ft156">Carle, T & Helén, G. 1961. <SPAN class="ft155">Den nya skolan</SPAN>. Forum, Stockholm. Dahllöf, U. 1967. <SPAN class="ft155">Skoldifferentiering och undervisningsförlopp</SPAN>.</P>
<P class="p777 ft10">du Rietz, L., Andrén, G. Lundgren, U.P. 1987. <SPAN class="ft11">Ansvarsfördelning och styrning på skolområdet. Ett beredningsunderlag utarbetat inom utbildningsdepartementet</SPAN>. Ds U 1987:1. Stockholm: Utbildnings- förlaget.</P>
<P class="p778 ft29">Ekholm, M., Fransson, A. och Lander, R. 1987. <SPAN class="ft49">Skolreformer och lokalt gensvar. Utvärdering av 35 grundskolor genom upprepade läges- bedömningar </SPAN><NOBR><SPAN class="ft49">1980–1985</SPAN>.</NOBR> Göteborgs universitet.</P>
<P class="p779 ft9"><NOBR>Franke-Wikberg,</NOBR> S. (red), Dahllöf U., Kallós, D., Lundgren, U.P., Wallin, E. 1989. <SPAN class="ft12">Skolan och utvärderingen. Fem professorer tar ordet.</SPAN></P>
<P class="p780 ft10">Stockholms universitets förlag.</P>
<P class="p775 ft10">Haldén, E., 1997. <SPAN class="ft11">Den föreställda förvaltningen</SPAN>. Statsvetenskapliga institutionen, Stockholms universitet.</P>
<P class="p781 ft10">Husén, T. 1963 <SPAN class="ft11">Skola för </SPAN><NOBR><SPAN class="ft11">60-talet</SPAN>,</NOBR> Stockholm: Almqvist & Wiksell.</P>
<P class="p775 ft11"><SPAN class="ft10">Härnqvist, K. 1960. </SPAN>Individuella differenser och skoldifferentiering<SPAN class="ft10">. 1957 års skolberedning (Utgiven som SOU 1960:13).</SPAN></P>
<P class="p782 ft18">277</P>
</DIV>
<DIV id="page_269">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p619 ft11"><SPAN class="ft10">Larsson, </SPAN><NOBR><SPAN class="ft10">H-A.</SPAN></NOBR><SPAN class="ft10"> 2011. </SPAN>Mot bättre vetande En svensk skolhistoria<SPAN class="ft10">. SNS förlag.</SPAN></P>
<P class="p783 ft11"><SPAN class="ft10">Lundgren, U.P. 2002. </SPAN>Utbildningsforskning och utbildningsreformer<SPAN class="ft10">. I Pedagogisk forskning i Sverige, årg. 7, nr.3, s. </SPAN><NOBR><SPAN class="ft10">233–243.</SPAN></NOBR></P>
<P class="p784 ft81"><SPAN class="ft39">Lundgren, U.P. 1999. </SPAN>Ramfaktorteori och praktisk utbildningsplanering<SPAN class="ft39">. I Pedagogisk forskning i Sverige, årg. 4, nr 1, s. </SPAN><NOBR><SPAN class="ft39">31–41.</SPAN></NOBR></P>
<P class="p785 ft10">Lundgren, K. 2013. <SPAN class="ft11">Kan landet lagom vara bäst? </SPAN>SNS förlag.</P>
<P class="p783 ft10">Läroverkslärarnas riksförbund (red.). 1956. <SPAN class="ft11">Hur skall det gå för enhets- skolan?: en skrift om skolreformen i program och försök</SPAN>, Norstedt, Stockholm.</P>
<P class="p784 ft67"><SPAN class="ft45">Marklund, S. 1960. </SPAN>Skolreformen och lärarutbildningen: en undersök- ning utförd på uppdrag av 1957 års skolberedning<SPAN class="ft45">, Stockholm.</SPAN></P>
<P class="p786 ft81"><SPAN class="ft39">Marklund, S. 1959. </SPAN>Enhetsskolan under tio år: kort redogörelse för för- söksverksamheten läsåren <NOBR>1949/50–1958/59<SPAN class="ft39">.</SPAN></NOBR><SPAN class="ft39"> Skolöverstyrelsen.</SPAN></P>
<P class="p787 ft11"><SPAN class="ft10">Marklund, S. 1980. </SPAN>Skolsverige <NOBR>1950–1975.1.</NOBR> 1950 års skolbeslut<SPAN class="ft10">. Liber Utbildningsförlaget.</SPAN></P>
<P class="p788 ft11"><SPAN class="ft10">Marklund, S. 1982. </SPAN>Skolsverige <NOBR>1950–1975.</NOBR> 2. Från Visbykompromissen till SIA <SPAN class="ft10">Liber Utbildningsförlaget.</SPAN></P>
<P class="p788 ft11"><SPAN class="ft10">Meghir, C., Palme M. 2004. </SPAN><SPAN class="ft157">Educational reform, ability and family background</SPAN><SPAN class="ft158">. IFS Working Papers </SPAN><SPAN class="ft10">W04/10, Institute for Fiscal Studies.</SPAN></P>
<P class="p788 ft11"><SPAN class="ft10">Molander, P., m.fl.. 2002. </SPAN>Vem styr? Relationen mellan regeringskansliet och myndigheterna<SPAN class="ft10">, SNS Förlag.</SPAN></P>
<P class="p783 ft11"><SPAN class="ft10">OECD. 2007. </SPAN>Evidence in education. Linking research and policy<SPAN class="ft10">. Paris: OECD.</SPAN></P>
<P class="p788 ft11"><SPAN class="ft10">Pettersson, D. 2008. </SPAN>Internationell kunskapsbedömning som inslag i nationell styrning av skolan<SPAN class="ft10">. Uppsala universitet.</SPAN></P>
<P class="p788 ft11"><SPAN class="ft10">Richardsson, G. 2010. </SPAN>Svensk utbildningshistoria. Skola och samhälle förr och nu<SPAN class="ft10">. Studentlittteratur, Lund.</SPAN></P>
<P class="p783 ft49"><SPAN class="ft29">Román, H. 2013. </SPAN>Från folkskoleinspektion till utbildningsförvaltning: Stockholms skolförvaltning efter 1958 – svensk skola i ett kommunal- politiskt perspektiv<SPAN class="ft29">. (Manuskript)</SPAN></P>
<P class="p787 ft11"><SPAN class="ft10">Rothstein, B. 2003. </SPAN>Sociala fällor och tillitens problem<SPAN class="ft10">. Student- litteratur.</SPAN></P>
<P class="p788 ft10">Sandström, B., Ekholm, M. 1984. <SPAN class="ft11">Stabilitet och förändring i skolan</SPAN>. (SÖ. Utbildningsforskning FoU Rapport 50). Stockholm: Liber Utbildning.</P>
<P class="p292 ft18">278</P>
</DIV>
<DIV id="page_270">
<TABLE cellpadding=0 cellspacing=0 class="t14">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p628 ft11"><SPAN class="ft10">Sjöstrand, W. 1954. </SPAN>Skolreformen i stöpsleven: svensk skolpolitik i veten- skaplig belysning: ett diskussionsinlägg<SPAN class="ft10">, Stockholm: Natur och kultur.</SPAN></P>
<P class="p671 ft11"><SPAN class="ft10">Svensson, </SPAN><NOBR><SPAN class="ft10">N-E.</SPAN></NOBR><SPAN class="ft10"> 1962. </SPAN>Ability grouping and scholastic achievement<SPAN class="ft10">. Stockholm: Almqvist & Wiksell.</SPAN></P>
<P class="p669 ft11"><SPAN class="ft10">Vedung, E. 2009 </SPAN>Utvärdering i politik och förvaltning<SPAN class="ft10">. Lund: Student- litteratur.</SPAN></P>
<P class="p671 ft10">Vestman Karlsson, O., Andersson, I.M. 2007. <SPAN class="ft11">Pedagogisk utvärdering som styrning – En historia från präster till PISA</SPAN>. Forskning i fokus 35. Skolverket.</P>
<P class="p789 ft13">Elektronisk resurs:</P>
<P class="p790 ft45"><NOBR>www.unt.se/debatt/storsta-skolreformerna-sedan-1842-</NOBR> 2461189.aspx</P>
<P class="p791 ft45"><NOBR>www.dn.se/debatt/vardens-kontrollsystem-battre-for-andra-</NOBR> omraden/</P>
<P class="p792 ft13">Utredningsbetänkanden, m.m.</P>
<P class="p793 ft10">SOU 1944:20 Skolan i samhällets tjänst. (1940 års skolutredning). Bilagor (urval):</P>
<P class="p794 ft10"><SPAN class="ft14">1.</SPAN><SPAN class="ft46">Hygieniska förutsättningar för skolarbetet (Hjärne).</SPAN></P>
<P class="p795 ft40"><SPAN class="ft14">2.</SPAN><SPAN class="ft159">Den psykologiska forskningens nuvarande ståndpunkt om den psykiska utvecklingen hos barn och ungdom m.m. (Anderberg,</SPAN></P>
<P class="p796 ft10">Elmgren Katz & Landquist).</P>
<P class="p18 ft10"><NOBR>---</NOBR></P>
<P class="p797 ft10"><SPAN class="ft14">4.</SPAN><SPAN class="ft46">Lärljungeurvalet till studielinjer med den nuvarande realskolans mål (Dahr).</SPAN></P>
<P class="p798 ft10"><SPAN class="ft14">5.</SPAN><SPAN class="ft46">Skolungdomens vägledning till utbildning och yrke (Neymark).</SPAN></P>
<P class="p799 ft10">SOU 1948:27 Riktlinjer för det svenska skolväsendets utveckling. (1946 års skolkommission).</P>
<P class="p800 ft10">SOU 1960:13 Individuella differenser och skoldifferentiering (Härnqvist).</P>
<P class="p801 ft10">SOU 1960:15 Kursplaneundersökningar i matematik och modersmålet (Dahllöf).</P>
<P class="p802 ft160">SOU 1961:30 Grundskolan. (1957 års skolberedning). SOU 1974:36 Staten, skolan och kommunerna. (SSK).</P>
<P class="p803 ft18">279</P>
</DIV>
<DIV id="page_271">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 3</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p804 ft10">DsU 1974:1 Skolans som arbetsplats <NOBR>(SIA-utredningen).</NOBR></P>
<P class="p805 ft156">DsU 1974:2 Problem och svårigheter i skolan <NOBR>(SIA-utredningen).</NOBR> DsU 1974:3 Grundskolans lokalresurser <NOBR>(SIA-utredningen).</NOBR> SOU 1974:53 Skolans arbetsmiljö <NOBR>(SIA-utredningen).</NOBR></P>
<P class="p806 ft10">SOU 1974:58 Bilagor till Skolans arbetsmiljö (urval):</P>
<P class="p143 ft10"><SPAN class="ft14">2.</SPAN><SPAN class="ft46">Förstärkningsresursens omfattning i grundskolan.</SPAN></P>
<P class="p143 ft10"><SPAN class="ft14">3.</SPAN><SPAN class="ft46">Förstärkningsresursens ekonomiska värde i grundskolan.</SPAN></P>
<P class="p155 ft10"><SPAN class="ft14">4.</SPAN><SPAN class="ft46">Kostnader för s.k. klassföreståndartimmar på grundskolans hög- stadium och i gymnasieskolan.</SPAN></P>
<P class="p143 ft10"><SPAN class="ft14">5.</SPAN><SPAN class="ft46">Kostnader för att öka ledningsvolymen i rektorsområden.</SPAN></P>
<P class="p155 ft10"><SPAN class="ft14">6.</SPAN><SPAN class="ft46">Förändrat antal lärartjänster till följd av ändringar i special- undervisningens struktur.</SPAN></P>
<P class="p143 ft10"><SPAN class="ft14">7.</SPAN><SPAN class="ft46">Beräkning av antal nya arbetstillfällen enligt SIA:s förslag.</SPAN></P>
<P class="p807 ft9"><SPAN class="ft14">8.</SPAN><SPAN class="ft161">Undervisningsgrupperna i grundskolan. En studie av deras stor- lek och den tid eleverna tillbringar i grupper av olika storlek.</SPAN></P>
<P class="p390 ft10"><NOBR>---</NOBR></P>
<P class="p808 ft10">16.Kumulativa relativa frekvenser över klasstorleken i obligatoriska skolan läsåren 1961/62 och 1972/73.</P>
<P class="p390 ft10">17.Kostnadsberäkningar för skolledarutbildningen.</P>
<P class="p624 ft10">18.Skolledarutbildningens innehåll.</P>
<P class="p664 ft10">SOU 1978:65 Skolan, en ändrad ansvarsfördelning <NOBR>(SSK-utredningen).</NOBR></P>
<P class="p788 ft10">DsU 1987:1 Ansvarsfördelning och styrning på skolområdet. Ett bered- ningsunderlag utarbetat inom utbildningsdepartementet (Expert- grupp).</P>
<P class="p788 ft10">SOU 1988:20 En förändrad ansvarsfördelning och styrning på skol- området (Styrberedningen).</P>
<P class="p809 ft156">SOU 1992:94 Skola för bildning (1991 års Läroplanskommitté). SOU 2007:28 Tydliga mål och kunskapskrav i grundskolan.</P>
<P class="p810 ft10">Ds U 2010:15 Betyg från årskurs 6.</P>
<P class="p297 ft13">Propositioner, utskottsbetänkanden</P>
<P class="p811 ft10">Kungl. Maj:ts proposition 1950:70 angående riktlinjer för det svenska skolväsendets utveckling.</P>
<P class="p812 ft10">Kungl. Maj:ts proposition 1962:54 angående reformering av den obligatoriska skolan m.m.</P>
<P class="p770 ft18">280</P>
</DIV>
<DIV id="page_272">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 3</P></TD>
</TR>
</TABLE>
<P class="p813 ft10">Kungl. Maj:ts proposition 1968:129 angående revidering av läroplan för grundskolan.</P>
<P class="p814 ft160">Proposition 1975/76:39 Skolans inre arbete. Proposition 1976/77:85 Statsbidrag för grundskolan. Proposition 1978/79:180 Läroplan för grundskolan.</P>
<P class="p815 ft156">Proposition 1980/81:97 Skolforskning och personalutveckling. Proposition 1988/89:4 Skolans utveckling och styrning.</P>
<P class="p816 ft10">Proposition 1989/90:41 Kommunalt huvudmannaskap för lärare och skolledare.</P>
<P class="p817 ft156">Proposition 1990/91:18 Ansvaret för skolan. Proposition 1991/92:95 Valfrihet och fristående skolor.</P>
<P class="p818 ft10">Proposition 1992/93:220 Ny läroplan för grundskolan och nytt betygssystem för grundskolan m.fl. skolor.</P>
<P class="p819 ft10">Proposition 1992/93:230 Valfrihet i skolan.</P>
<P class="p669 ft10">Proposition 2008/09:87 Tydligare mål och kunskapskrav – nya läro- planer för skolan.</P>
<P class="p820 ft162">Proposition 2009/10:219 Betyg från årskurs 6 i grundskolan. Utbildningsutskottets betänkande 2010/11 UbU:7 Grundskolan.</P>
<P class="p184 ft13">Intervjuer:</P>
<P class="p821 ft10">Mats Ekholm, prof. em., f.d. generaldirektör i Skolverket (1999– 2003) och i Myndigheten för skolutveckling <NOBR>(2003–2004).</NOBR></P>
<P class="p822 ft29">Ingrid Lindskog, senior rådgivare, Skolverket, f.d. kansliråd i Utbild- ningsdepartementet, f.d. chef för grundskol- och förskolenhe- ten, Skolverket.</P>
<P class="p823 ft10">Ulf P. Lundgren, prof. em., f.d. generaldirektör i Skolverket (1991– 1999).</P>
<P class="p671 ft10">Staffan Lundh, f.d. utredare i Utbildningsdepartementet, avdel- ningschef, Utvärderingsavdelningen, Skolverket (1991 –</P>
<P class="p671 ft10">Erland Ringborg, f.d. generaldirektör i Skolöverstyrelsen (1986– 1991).</P>
<P class="p669 ft10">Oscar Öqvist, f.d. ansvarig för NU vid Skolöverstyrelsen resp. Skol- verket.</P>
<P class="p824 ft18">281</P>
</DIV>
<DIV id="page_273">
<P class="p710 ft19">Bilaga 4</P>
<P class="p825 ft66">Exempel på uppföljningar och utvärderingar genomförda av Skolverket på regeringens uppdrag åren 2002 <SPAN class="ft107">– </SPAN>2013</P>
<P class="p826 ft10">Här redovisas ett urval av utvärderingar från senare år som utförts av Skolverket på regeringens uppdrag. Urvalet har gjorts med utgångspunkt i om utvärderingen reser principiella frågor eller frågor som av andra skäl är särskilt intressanta att belysa ur ett utvärderingsperspektiv. Fokus ligger således inte på utvärde- ringarnas sakinnehåll utan på hur utvärderingsuppdraget har for- mulerats och genomförts.</P>
<P class="p827 ft129">Utvärdering av försöksverksamhet med möjlighet för föräldrar att välja skolform för sina barn med utvecklingsstörning (2002)</P>
<P class="p164 ft10">Regeringen har vid flera tillfällen gett Skolverket olika uppdrag om att utvärdera försöksverksamheten. Rapporten <SPAN class="ft11">I särskola eller i grundskola? </SPAN>(2002) utgör en fortsättning på två tidigare rapporter</P>
<P class="p828 ft11">Hur särskild får man vara? En analys av elevökningen i särskolan om värderingar <SPAN class="ft10">(2000) och </SPAN>Kvaliteten i särskolan – en fråga om värde- ringar <SPAN class="ft10">(2001).</SPAN></P>
<P class="p829 ft10">Denna rapport bygger på olika enkäter som skickats till särsko- leansvariga i samtliga landets kommuner. Lärare och rektorer har även lämnat kompletterande synpunkter genom intervjuer. Den huvudsakliga empirin i rapporten bygger dock på observationer gjorda i nio fallstudierkommuner.</P>
<P class="p830 ft10">Rapporten avslutas med ett kapitel benämnt Slutdiskussion.</P>
<P class="p828 ft29">Verket menar t.ex. att ”studien väcker några grundläggande frågor”, men kapitlet innehåller inga bedömningar av det slag som man kan förvänta sig av en utvärdering.</P>
<P class="p831 ft18">283</P>
</DIV>
<DIV id="page_274">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312274x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 4</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p832 ft13">Kartläggning av de nationella minoriteternas utbildningssitua- tion (2005)</P>
<P class="p833 ft10">Skolverket betecknar, i linje med regeringens uppdrag, rapporten</P>
<P class="p180 ft11">De nationella minoriteternas utbildningssituation <SPAN class="ft10">(Rapport 272, 2005) som en kartläggning och inte som en utvärdering. Empirin i rapporten utgörs av data hämtade från Skolverkets uppföljnings- system, en förstudie i form av telefonintervjuer med ansvarig för modersmålsundervisning på grundskolenivå (hur många som inter- vjuades framgår ej av rapporten). Vidare genomfördes fallstudier i fem kommuner och en enkät till samtliga kommuner (svarsfrek- vens 86 %).</SPAN></P>
<P class="p54 ft10">Trots att rapporten betecknas som en kartläggning och i huvud- sak är deskriptiv innehåller den såväl bedömningar som förslag till åtgärder. Empirin och metodologin vid denna kartläggning skiljer sig inte från dem verket brukar använda i samband med utvärde- ring.</P>
<P class="p55 ft13">Uppföljning av maxtaxan (2007)</P>
<P class="p53 ft11"><SPAN class="ft10">I rapporten </SPAN>Fem år med maxtaxa. Uppföljning av reformen Maxtaxa och allmän förskola m.m. <SPAN class="ft10">(Rapport 294, 2007) anger verket följande syfte med uppföljningen:</SPAN></P>
<P class="p317 ft14">Syftet med slutrapporten är att redovisa regeringsuppdraget samt att <SPAN class="ft124">diskutera </SPAN>(vår kursivering) huruvida de mål och syften som anges i propositionen Maxtaxa och allmän förskola m.m. har uppnåtts, om det finns andra resultat eller effekter av reformen än de tänkta och hur dessa i sådant fall förhåller sig till de tänkta effekterna.<SPAN class="ft98">1</SPAN></P>
<P class="p73 ft10">Skolverket betecknar rapporten som en uppföljning trots att de syften som anges snarare förknippas med utvärdering än med upp- följning. Rapporten bygger på empiri som består av offentlig statistik, föräldraenkäter och kvantitativa beräkningar av effekter av maxtaxan på vistelsetider och kommunernas ekonomi.<SPAN class="ft55">2 </SPAN>Rapporten avslutas med ett kapitel benämnt Diskussion och slutsatser. Kapitlet innehåller allmänt hållna bedömningar som inte fullt ut är kopplade till reformens fyra politiska mål.</P>
<P class="p539 ft53"><SPAN class="ft56">1</SPAN><SPAN class="ft71">Skolverket (2007) a.a.</SPAN></P>
<P class="p247 ft74"><SPAN class="ft56">2</SPAN><SPAN class="ft60">Wikström, Magnus (2007) </SPAN>Kommunalekonomiska effekter av maxtaxa och ökad tillgänglighet inom förskola och skolbarnomsorg<SPAN class="ft31">. Umeå Economic Studies no. 704.</SPAN></P>
<P class="p134 ft18">284</P>
</DIV>
<DIV id="page_275">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312275x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 4</P></TD>
</TR>
</TABLE>
<P class="p383 ft10">Rapporten skulle lika gärna ha kunnat betecknas som utvärde- ring. De är dessutom oklart varför myndigheten väljer att spela ner betydelsen av resultaten genom att i syftet använda ordet ”dis- kutera”.</P>
<P class="p834 ft13">Statsbidraget till personalförstärkningar i skola och fritidshem (2007)</P>
<P class="p103 ft11"><SPAN class="ft10">Skolverkets rapport </SPAN>Statsbidrag till personalförstärkningar i skola och fritidshem <SPAN class="ft10">– slutrapport (Rapport 295, 2007) betecknas som en utvärdering. Verket använder sig av en mix av metoder: beskrivande statistik samt kvalitativa data i form av fallstudier och en genom- gång av kommunernas uppföljningar av bidraget. Man har även låtit en forskare göra tre studier</SPAN><SPAN class="ft55">3 </SPAN><SPAN class="ft10">som med utgångspunkt i olika regis- terdata och med stöd olika statistiska metoder som t.ex. regres- sionsanalys bl.a. analyserar hur förändrade resurser i skolan i form av lärartäthet samvarierar med förändringar i elevernas studieresul- tat.</SPAN></P>
<P class="p124 ft10">Skolverket konstaterar i slutkapitlet Avslutande diskussion och slutsatser att det sammantaget är svårt att belysa långsiktiga effek- ter i form av förändringar i elevers resultat eller grad av målupp- fyllelse som en följd av statsbidragets införande. Verket bedömer dock att det har skett personalförstärkningar som motsvarar de uppsatta målen under perioden.</P>
<P class="p222 ft13">Romer i skolan – en fördjupad studie (2007)</P>
<P class="p65 ft12"><SPAN class="ft9">I Skolverkets rapport </SPAN>Romer i skolan – en fördjupad studie <SPAN class="ft9">(Rapport 292, 2007) redovisar verket ett regeringsuppdrag om att göra en fördjupad studie av situationen för romer i den svenska skolan.</SPAN></P>
<P class="p196 ft10">Orden ”värdera” eller ”bedöma” förekommer inte i uppdraget, men det verket enligt uppdraget ska göra ligger ändå mycket nära utvär- dering: kartlägga kommunernas insatser, belysa situationen för romska barn, förslå åtgärder som kan öka kommunernas förut- sättningar att informera om de rättigheter som romer och andra nationella minoriteter har.</P>
<P class="p835 ft74"><SPAN class="ft30">3 </SPAN><SPAN class="ft31">Andersson, Christian (2007) </SPAN>Lärartäthet, lärarkvalitet och arbetsmarknaden för lärare<SPAN class="ft31">. IFAU. Rapport 2007:5.</SPAN></P>
<P class="p385 ft18">285</P>
</DIV>
<DIV id="page_276">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 4</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p447 ft10">Studien har genomförts som fallstudier (strukturerade inter- vjuer) vid arton skolor. Även Skolverkets nationella statistik har utnyttjats. Till studien har knutits sju representanter för romska organisationer som deltagit som experter och medverkat i hela stu- dien. Det rör sig alltså i allt väsentligt om en kvalitativt inriktad studie.</P>
<P class="p107 ft10">Trots att studien inte är rubricerad som en utvärdering inne- håller den ett antal förslag till åtgärder. Verkets förslag har till viss del grund i vad regeringens uppdrag, men går utöver den fråga där regeringen efterfrågar åtgärdsförslag.</P>
<P class="p836 ft13">Utvärdering av statsbidraget till personalförstärkningar i förskolan (2008)</P>
<P class="p470 ft10">Den empiriska grunden för Skolverkets rapport <SPAN class="ft11">Redovisning av uppdrag att utvärdera statsbidraget för basfärdigheterna läsa, skriva och räkna </SPAN><NOBR>(2013-03-25)</NOBR> utgörs av data som SCB årligen samlar in på Skolverkets uppdrag. Verket har även skickat ut en enkät till kommunerna där dessa ombetts att besvara fyra huvudfrågor: Vilka åtgärder som kommunerna använt statsbidraget till, hur bidraget för- delats, vilka resultat som uppnåtts med bidraget och övriga kom- mentarer.</P>
<P class="p96 ft10">En fallstudie har genomförts i åtta kommuner i syfte att få en bild av hur kommunerna fördelat statsbidraget och vilka personal- förstärkningar som gjorts. Empirin har kompletterats med telefon- intervjuer dels med de 17 kommuner som fått beslut om innehål- lande av bidrag eller återkrav, dels med de kommuner som varit un- dantagna från kravet på att öka personaltätheten.</P>
<P class="p107 ft10">För att belysa hur kommunerna har fördelat statsbidraget jäm- fört med ordinarie resursfördelningssystem har en annan studie av Skolverket använts (det s.k. <NOBR>RORIS-projektet).</NOBR></P>
<P class="p285 ft40">För att besvara frågan om hur kommunerna har ökat personal- tätheten har verket genom en multipel regressionsanalys undersökt vilka faktorer som har inverkan på en kommuns förutsättningar att genomföra personaltäthetsförändringar.</P>
<P class="p107 ft29">Skolverket analys utmynnar i konstaterandet att statsbidraget har haft avsedd effekt. Detta får anses vara en samlad bedömning från verkets sida.</P>
<P class="p588 ft18">286</P>
</DIV>
<DIV id="page_277">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 4</P></TD>
</TR>
</TABLE>
<P class="p837 ft13">Utvärdering av ämnet judiska studier i Stockholms kommun (2009)</P>
<P class="p838 ft11"><SPAN class="ft10">Rapporten </SPAN>Redovisning av regeringsuppdrag om ämnet judiska studier i Stockholms kommun <NOBR><SPAN class="ft10">(2009-10-01)</SPAN></NOBR><SPAN class="ft10"> bygger på intervjuer, enkäter, dokumentanalys, observationer och statistisk analys av registerdata om antal elever och elevers betyg. Verket har även gjort sökningar i två lokala arkiv.</SPAN></P>
<P class="p66 ft10">Apropå hur studien genomförts konstaterar Skolverket följande:</P>
<P class="p839 ft14">När det gäller hur själva undervisningen genomförts har en studie av detta slag emellertid klara begränsningar. Den empiri som samlats in om genomförandet av undervisningen utgår främst från elever och lärares uppfattningar om denna.</P>
<P class="p182 ft39">Utvärderingen utmynnar i ett antal slutsatser. Slutsatserna utgörs av en förteckning över brister och problem som verket funnit och kan därmed jämställas med en bedömning av utvärderingsobjektet.</P>
<P class="p184 ft13">Utvärdering av undervisning på engelska (2010)</P>
<P class="p91 ft11"><SPAN class="ft10">Skolverkets rapport </SPAN>Undervisning på engelska. Utvärdering av en försöksverksamhet i grundskolan <SPAN class="ft10">(Rapport 3351, 2010) bygger på data från verkets uppföljningssystem, en kommunenkät, en skol- enkät och på halvstrukturerade gruppintervjuer på sex skolor med engelskspråkig undervisning.</SPAN></P>
<P class="p13 ft10">Utvärderingen har en i huvudsak kvalitativ inriktning och en deskriptiv karaktär. Under rubriken Avslutande diskussion görs ett antal bedömningar, t.ex. om behovet av att stärka lärarnas kom- petens.</P>
<P class="p840 ft13">Utvärdering av försöksverksamhet med lärlingsutbildning (2011)</P>
<P class="p77 ft10">För denna försöksverksamhet tillsatte regeringen den s.k. Natio- nella lärlingskommittén. Denna har haft till uppgift att följa, bedö- ma samt dra erfarenheter från den pågående försöksverksamheten. Kommittén har levererat tre betänkanden. Dessa har dock inte varit upplagda som utvärderingar.</P>
<P class="p92 ft45">Skolverket har förutom att redovisa omfattningen av försöks- verksamheten och hur statsbidraget använts publicerat en rapport</P>
<P class="p553 ft18">287</P>
</DIV>
<DIV id="page_278">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 4</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft11"><SPAN class="ft10">(</SPAN>Gymnasial lärlingsutbildning de tre första åren <NOBR>2008–2011<SPAN class="ft10">,</SPAN></NOBR><SPAN class="ft10"> rapport 373, 2012) som handlar om deltagande, elevernas erfarenheter och studieresultat. Rapporten omnämns både som redovisning och som utvärdering (s. 16). Rapportens empiri är huvudsakligen kvantitativ och bygger främst på registeruppgifter men också på en enkät som skickades till 2 683 elever vid 163 skolor (svarsfrekvensen var 51,2 procent).</SPAN></P>
<P class="p107 ft10">Till sin karaktär är rapporten deskriptiv och kartläggande och den innehåller inga bedömningar av det slag man förväntar sig av en utvärdering. Däremot avlutas rapporten med att ett antal s.k. för- bättringsområden pekas ut.</P>
<P class="p841 ft129">Utvärdering av försöksverksamhet med riksrekryterande spetsutbildning i grundskolans högre årskurser (2011)</P>
<P class="p199 ft12"><SPAN class="ft9">Skolverkets rapport </SPAN>Redovisning av uppdrag enligt förordning (2011:355) avseende omfattning och utvärdering av försöksverksam- het med riksrekryterande spetsutbildning i grundskolans högre års- kurser läsåret 2012/13<SPAN class="ft9">. Att Skolverket ska utvärdera försöksverk- samheten framgår av förordningen. Verkets utvärdering av de åtta spetsutbildningar som påbörjats 2012/13 grundar sig på semistruk- turerade intervjuer (dvs. har utgått från framtagna intervjuguider) med rektorer, lärare och föräldrar som gjorts på respektive skola. Totalt har elva rektorer, arton lärare och trettiotvå föräldrar intervjuats. Vidare har verket intervjuat 53 elever i s.k. fokus- grupper om mellan sex till åtta elever på varje skola. Slutligen har en enkät gjorts bland elever som deltar i försöksverksamheten.</SPAN></P>
<P class="p842 ft10">Rapporten innehåller bedömningar.</P>
<P class="p297 ft13">Utvärdering av mobbning (2011)</P>
<P class="p81 ft81"><SPAN class="ft39">Skolverkets rapport </SPAN>Utvärdering av metoder mot mobbning<SPAN class="ft39">. (Rap- port 353, 2011) utgör en av de större utvärderingar som Skolverket genomfört. För utvärderingen anlitade myndigheten ett antal forskare. Som utgångspunkt för utvärderingen valdes en longitudinell, kvasiexperimentell design. Skälen var enligt rapporten att veder- tagen praxis angående utvärdering av evidensbaserad program- implementering mer eller mindre uteslutande vilar på den random- iserade kontrollmodellen. Denna modell är dock, enligt rapporten,</SPAN></P>
<P class="p725 ft18">288</P>
</DIV>
<DIV id="page_279">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 4</P></TD>
</TR>
</TABLE>
<P class="p478 ft40">inte möjlig för en statlig myndighet i Sverige ”som varken har rätt att ingripa i skolornas verksamhet eller av etiska skäl skulle kunna påbjuda skolor att arbeta med ett antimobbningsprogram vars effekter är osäkra”. Uttalandet görs förvisso i en enskild rapport men har en tydlig karaktär av principiellt ställningstagande.</P>
<P class="p92 ft45">Rapporten utmynnar i den övergripande bedömningen att inget specifikt program bör rekommenderas svenska grundskolor.</P>
<P class="p705 ft13">Utvärdering av matematiksatsningen (2011)</P>
<P class="p574 ft9">Skolverket fick 2009 ett uppdrag av regeringen att genomföra en satsning på matematikämnet i syfte att stärka skolornas eget utveck- lingsarbete med att höja kvaliteten i matematikundervisningen, för att på sikt öka måluppfyllelsen. Skolverkets huvudsakliga aktivitet har varit att fördela medel till olika lokala projekt. Skolverket upp- drog 2011 åt Ramböll att utvärdera satsningen så långt (<SPAN class="ft12">Utvär- dering av matematiksatsningen</SPAN>. Ramböll 2011).</P>
<P class="p15 ft10">Huvudfrågeställningar har bland annat varit i vilken utsträck- ning satsningen bidragit till ökad kvalitet i undervisningen, om den påverkat kunskapsresultaten och den bidragit till metodutveckling. Empirin har erhållits genom enkäter (två omgångar till 2 473 pro- jekt och 375 kontaktpersoner), fallstudier (7 st.), intervjuer med företrädare på Skolverket och Utbildningsdepartementet samt dokumentstudier.</P>
<P class="p185 ft9">Så långt följer Rambölls utvärdering den standard som utvecklats inom Skolverket. Vad som skiljer denna utvärdering från Skolverkets är att rapporten ger utrymme för en mer omfattande metodologisk diskussion. Denna diskussion handlar dels om svårigheter igenom- förandet av utvärderingen – egentligen svårigheten att mäta mål- uppfyllelse. Fokus skiftade under arbetet med utvärderingen från effekter för eleverna till effekterna på undervisningen.</P>
<P class="p16 ft10">Utvärderingen bygger också på en programteoretisk ansats. Den talar om logiken hos matematiksatsningen som intervention i ter- mer av insatser – resultat – effekt. Analysen görs i förhållande till en modell för programlogik.</P>
<P class="p13 ft10">Rapporten innehåller såväl bedömningar som slutsatser och rekommendationer.</P>
<P class="p843 ft18">289</P>
</DIV>
<DIV id="page_280">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 4</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p51 ft13">Garanterad undervisningstid (2013)</P>
<P class="p199 ft12"><SPAN class="ft9">Skolverkets rapport </SPAN>Att fånga undervisningstiden med målen i fokus. Garanterad undervisningstid i grundskolan ur ett huvudmanna- och skolperspektiv <SPAN class="ft9">(Rapport 384, 2013) grundar sig på en empiri bestå- ende av en insamling av data om skolors planerade undervisnings- tid, en enkät riktad till kommunala och enskilda huvudmän samt en intervjustudie. En statistisk analys är enligt Skolverket omöjlig att genomföra eftersom det i dagsläget inte är möjligt att koppla elevers resultat till planerad undervisningstid.</SPAN></P>
<P class="p54 ft10">Enligt regeringens uppdrag ska verket genom fältstudier under- söka hur den garanterade undervisningstiden efterlevs och säker- ställs samt analysera förhållandet mellan elevernas resultat och den garanterade undervisningstiden.</P>
<P class="p106 ft10">Rapporten avslutas med ett kapitel benämnt Sammanfattande diskussion. Av denna framgår att Skolverket inte ”på ett enkelt sätt” kan åskådliggöra ett statistiskt samband mellan elevernas resultat och undervisningstid. Verket finner det vidare problematiskt att de undersökta huvudmännen och skolorna inte följer bestämmelserna om den garanterade undervisningstiden.</P>
<P class="p107 ft10">Uppdraget om garanterad undervisningstid illustrerar för det första att regeringen beställer analyser som man inte försäkrat sig om att de är möjliga att genomföra. För det andra att regeringen direkt anger med vilken metod ett uppdrag ska genomföras. För det tredje att man ger ett uppdrag som har tydlig utvärderings- karaktär utan att man anger detta.</P>
<P class="p55 ft13">Kommunernas resursfördelning till grundskolor (2013)</P>
<P class="p833 ft11"><SPAN class="ft10">Skolverkets rapport </SPAN>Kommunernas resursfördelning till grundskolor</P>
<P class="p325 ft39">(Rapport 391, 2013) betecknas i enlighet med regeringens uppdrag som en fördjupad studie. Studien omfattar landets samtliga 290 kommuner, men i flera av analyserna ingår endast 50 s.k. urvals- kommuner. Dessa kommuner – ”vilka kan räknas till landets mest bostadssegregerade kommuner” – har ingått i tidigare studier av Skolverket. Det empiriska underlaget för studien utgörs dels av en enkät ställd till cirka 350 grundskolerektorer i dessa 50 kommuner, dels av de kvalitetsgranskningar som Skolinspektionen genomfört i 30 av urvalskommunerna under 2012.</P>
<P class="p844 ft18">290</P>
</DIV>
<DIV id="page_281">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 4</P></TD>
</TR>
</TABLE>
<P class="p383 ft10">I rapporten studeras inte sambandet mellan kommunernas re- sursfördelning och skolors eller elevers resultat. Skälet är att verket anser att det finns metodologiska svårigheter med att genomföra den typen av analyser. Svårigheterna sammanhänger med ”den komplexitet som finns när det gäller att försöka koppla kvantitativa data på ekonomiska resurser till kvaliteten på undervisningen och till elevernas studieresultat … Effekterna på elevernas resultat beror i hög grad på hur resurserna används och vad som händer i klass- rummet”.</P>
<P class="p13 ft10">Skolverket menar vidare att data inte alltid tillåter ”att kommu- nerna kan jämföras med varandra. Det beror bland annat på att kommunerna redovisar skolornas resultat på olika sätt och att inte alla uppgifter kan fås på skolnivå.” Alla kommuner kan inte alltid koppla resurserna och kostnaderna till enskilda skolor.</P>
<P class="p16 ft10">Skolverket har i första hand använt så kallad regressionsanalys för att undersöka sambandet mellan kommuners kostnader och olika egenskaper hos kommunerna.</P>
<P class="p13 ft10">Rapporten avslutas med ett kapitel benämnt Diskussion och slutsatser. Kapitlet innehåller ett avsnitt med den tydliga rubriken Skolverkets bedömning. Skolverket bedömer bland annat att det knappast är möjligt att på empirisk väg identifiera det för alla kom- muner effektivaste resursfördelningssystemet.</P>
<P class="p845 ft13">Utvärdering av statsbidraget för basfärdigheterna läsa, skriva och räkna (2013)</P>
<P class="p574 ft11"><SPAN class="ft10">Av </SPAN>Redovisning av uppdrag om uppföljning och utvärdering av statsbidraget till personalförstärkningar i förskolan <SPAN class="ft10">(Skolverket 2008- </SPAN><NOBR><SPAN class="ft10">04-02)</SPAN></NOBR><SPAN class="ft10"> framgår att verket i enlighet med regeringens uppdrag anlitat en extern aktör för att utvärdera satsningen under åren </SPAN><NOBR><SPAN class="ft10">2008–2012.</SPAN></NOBR><SPAN class="ft10"> Uppdraget har bestått i att besvara hur statsbidraget använts och vilka effekter satsningen haft. Av uppdraget framgår inte vilka slags effekter man efterfrågar. Den externe utvärderaren har genomfört uppdraget i form av en enkätundersökning (20 kommuner och 20 fri- stående skolor) och genom intervjuer med företrädare för huvudmän som beviljat statsbidrag (40 skolhuvudmän, 30 rektorer samt 70 lärare).</SPAN></P>
<P class="p124 ft45">Av förordningen framgår att statsbidraget får användas till att stärka arbetet med basfärdigheterna läsa, skriva och räkna för att</P>
<P class="p846 ft18">291</P>
</DIV>
<DIV id="page_282">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 4</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p847 ft10">öka elevernas måluppfyllelse, särskilt för de elever som riskerar att inte nå målen.</P>
<P class="p848 ft10">Skolverket redovisar att medlen använts på följande sätt:</P>
<P class="p39 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">Personalförstärkningar (47 procent)</SPAN></P>
<P class="p426 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">Läromedel (23 procent)</SPAN></P>
<P class="p849 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">Kompetenshöjande insatser (18 procent)</SPAN></P>
<P class="p850 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">Kompetenshöjande insatser m.a.a. den individuella utvecklings- planen med skriftliga omdömen (7 procent)</SPAN></P>
<P class="p849 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">Övriga insatser (5 procent)</SPAN></P>
<P class="p286 ft10">Utvärderingen följer de två målsättningarna att stärka arbetet med basfärdigheterna, respektive att öka måluppfyllelsen.</P>
<P class="p108 ft10">Av enkätsvaren framgår att nio av tio av de tillfrågade anser att statsbidraget har förstärkt pågående arbetet med basfärdigheterna. Två tredjedelar uppger att statsbidraget har bidragit till ändrade metoder i arbetet med basfärdigheterna.</P>
<P class="p167 ft9">Även för måluppfyllelse baseras bedömningen på uppfattningar redovisade i enkätsvar. Enkätundersökningen visar att så många som tre fjärdedelar av de svarande uppskattar att de elever i årskurs <NOBR>1–3</NOBR> som berörts av satsningen har nått en ökad måluppfyllelse i svenska. I matematik är det ungefär hälften av de svarande som uppger att elever i årskurs <NOBR>1–3</NOBR> har nått en ökad måluppfyllelse.</P>
<P class="p107 ft10">I princip alla intervjuade uppger att det är svårt att härleda observerade effekter till just denna satsning inte minst på grund av att statsbidraget i tid sammanfaller med den s.k. Matematiksats- ningen.</P>
<P class="p108 ft10">Utvärderingen avslutas med ett avsnitt benämnt Slutsatser som innehåller allmänt hållna bedömningar: ”Satsningen kan sägas ha bidragit till att stärka arbetet med basfärdigheter ...”</P>
<P class="p851 ft18">292</P>
</DIV>
<DIV id="page_283">
<P class="p710 ft19">Bilaga 5</P>
<P class="p852 ft163">Internationell utblick - med fokus på organiseringen av nationell utvärdering</P>
<P class="p853 ft10">För att få ett perspektiv på det svenska systemet har utredningen valt att här belysa utvärderingssystem i andra länder, med fokus på hur länderna har organiserat sin utvärdering av skolan. Tyvärr visade det sig inte genomförbart att arrangera ett besök i England inom de tidsramar vi förfogat över. Systemet i England är dock väl dokumenterat, och intressant inte minst i relation till Skottland, varför vi tagit med även denna del av Storbritannien.</P>
<P class="p753 ft32">Danmark</P>
<P class="p163 ft10">Utvärderingen av skolan har stärkts i Danmark under senare år, bl.a. till följd av reformer som beslutades 2006. Varje elev ska numera ha en <SPAN class="ft11">individuell studieplan </SPAN>och eleverna ska genomgå obligatoriska <SPAN class="ft11">nationella prov</SPAN>. Vidare har <SPAN class="ft11">kvalitetsrapporter </SPAN>och <SPAN class="ft11">själv- värdering </SPAN>tillkommit på skolnivå.</P>
<P class="p854 ft9">Syftet med det danska utvärderingssystemet för skolan är, enligt Undervisningsministeriet, att få kunskap om huruvida kvaliteten i folkeskolen förbättrats. Den löpande utvärderingen är, menar man, en del av den enskilda folkeskolens kvalitetsutveckling.</P>
<P class="p855 ft10">Det danska systemet karaktäriseras, som vi uppfattar det, av en tydlig strävan att utvärderingsresultaten i första hand ska bidra till den lokala skolutvecklingen. Det gäller även det sätt på vilket till- synen genomförs.</P>
<P class="p856 ft39">På övergripande nationell nivå (systemnivå) används i första hand resultat från internationella undersökningar, nationella resul- tat från de nationella proven samt betygsgenomsnitt från de avslut- ande proven i grundskolan för att följa utvecklingen. Därutöver genomförs externa utvärderingar. Att resultaten från de nationella proven kan användas för att följa utvecklingen på nationell nivå</P>
<P class="p857 ft18">293</P>
</DIV>
<DIV id="page_284">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 5</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p72 ft40">beror på att frågorna inte är offentliga och således kan åter- användas. De kan därför inte bidra till lärarnas gemensamma tolk- ning av målen, dvs. vara förebildliga, men ger kommuner och skolor en signal om kunskapsnivån. Samtliga elever deltar i proven som genomförs digitalt. Man har avstått från urvalsundersökningar efter- som man menar att sådana inte ger skolorna något tillbaka.</P>
<P class="p140 ft9">OECD pekar vidare på att Danmark överfört de flesta (nio av tretton) forskningsinstitutioner som arbetar med reformutvärde- ring från staten till universitetssektorn. Erfarenheterna från Danmark visar enligt OECD att fackdepartementen kan få tillgång till oberoende och relevant forskning utan att denna genomförs inom staten. OECD noterar att en sådan överföring inte är problemfri. Kärnfrågan handlar – föga förvånande – om vilket inflytande den politiska nivån kan ha på beslut om kommande forskningsinsatser. OECD rekommenderar dock att Sverige följer det danska exemplet och överför ansvaret för all statligt beställd reformutvärdering till antingen universitet eller till specialiserade forskningsorgan.</P>
<P class="p83 ft13">Aktörer på nationell nivå</P>
<P class="p53 ft10"><SPAN class="ft11">Styrelsen för IT och lärande </SPAN><NOBR>(UNI-C),</NOBR> som är en del av Under- visningsministeriet, ansvarar bl.a. för ministeriets statistik och analys och bidrar till ministeriets politikutveckling och uppföljning med datainsamling, kvalitetssäkring av data, analyser, modellarbete samt förmedling av statistik och analyser.</P>
<P class="p140 ft39">2006 inrättades en särskild myndighet med ansvar för uppgifter kopplade till granskning och utvärdering av den danska skolan. Myn- digheten omorganiserades 2011 och fick i samband med namnet <SPAN class="ft81">Kvalitets- och tillsynsstyrelsen</SPAN>. Styrelsen, som även den utgör en del av Utbildningsministeriet, har följande fyra huvuduppgifter:</P>
<P class="p858 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft164">Kvalitetsutveckling, </SPAN>bl.a. genomförande av de internationella studier som Danmark deltar i samt framtagande av stödmaterial till skolorna om lokal utvärdering</P>
<P class="p858 ft10"><SPAN class="ft64">-</SPAN><SPAN class="ft164">Prov och examen, dvs. </SPAN>utveckling och genomförande av de nationella proven samt de avslutande examensproven</P>
<P class="p288 ft11"><SPAN class="ft64">-</SPAN><SPAN class="ft164">Tillsyn</SPAN></P>
<P class="p460 ft11"><SPAN class="ft64">-</SPAN><SPAN class="ft164">Bidrag och controllerverksamhet</SPAN></P>
<P class="p235 ft18">294</P>
</DIV>
<DIV id="page_285">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 5</P></TD>
</TR>
</TABLE>
<P class="p85 ft11"><SPAN class="ft10">Även inrättandet av </SPAN>Rådet för utvärdering och kvalitetsutveckling i folkeskolen <SPAN class="ft10">(</SPAN>Skolerådet) <SPAN class="ft10">tillhör de initiativ som togs 2006. Rådet är ett oberoende organ vars uppgift är att följa, värdera och ge råd till undervisningsministern om kvaliteten i folkeskolen och ungdoms- skolen. Rådet består av ett ordförandeskap och 21 övriga medlem- mar som representerar en rad centrala intresseorganisationer på folkeskole- och ungdomsskoleområdet. Skolerådet leds av ett ord- förandeskap som består av </SPAN><NOBR><SPAN class="ft10">3–5</SPAN></NOBR><SPAN class="ft10"> personer med särskild insikt i folke- skolen.</SPAN></P>
<P class="p185 ft40">Det är Skolerådets uppgift att besluta om vilka externa utvär- deringar som ska genomföras på skolans område, av reformer eller av annan karaktär. Sådana uppdrag kan läggas direkt på <SPAN class="ft43">Danmarks Evalueringsinstitut </SPAN>(EVA) eller upphandlas i konkurrens. I det senare fallet kan EVA delta som en anbudsgivare bland andra. Andra anbuds- givare kan vara konsulter inom utvärderingsområdet eller forskare inom högskolan.</P>
<P class="p223 ft43">Danmarks Evalueringsinstitut (EVA) <SPAN class="ft40">arbetar med utvärdering, ana- lyser och redskap som bidrar till att utveckla kvalitet. EVA arbetar med utvärdering och kvalitetsutveckling från förskola till högskola. Den kunskap som produceras används på alla nivåer i utbildnings- systemet – från verksamhetsnivå till kommuner och ministerier.</SPAN></P>
<P class="p100 ft9">EVA inrättades som ett oberoende statligt institut under Under- visningsministeriet 1999. En föregångare var Evalueringscentret och som existerade under <NOBR>1992–1999.</NOBR> Sedan 1999 har EVA styrts av en egen lag, som har setts över med jämna mellanrum. Fram till den större översyn som gjordes 2005 beslutade EVA:s egen styrelse om allt som har med EVA:s utvärderingsverksamhet att göra. Från 2005 beslutas det som har att göra med utvärdering av folkeskolen av Skolerådet<SPAN class="ft12">. </SPAN>Eva tar dock fram förslag till utvärderingsprojekt,</P>
<P class="p204 ft9">EVA har genomfört flera utvärderingar av 2006 års skolrefor- mer. För den nu pågående reformeringen av folkeskolen finns än så länge ingen plan för utvärdering. När gymnasieskolan reformerades 2005 fanns en sådan plan och EVA fick flera utvärderingsuppdrag.</P>
<P class="p63 ft10">Evidens har blivit ett allt viktigare inslag i dansk skolpolitik. EVA föredrar dock att tala om en vetenskaps- eller kunskaps- baserad verksamhet och har en vidare syn på vad som bör betraktas som effektutvärdering än vad företrädare för den s.k. evidens- rörelsen har. Man lägger stor vikt vid att ge verktyg till de operativt verksamma så att de kan utveckla sin praxis och menar att det är viktigt att lärarna förstår betydelsen av utvärdering.</P>
<P class="p859 ft18">295</P>
</DIV>
<DIV id="page_286">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312286x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 5</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p447 ft10">Utöver att genomföra nationella utvärderingar erbjuder EVA även rådgivning och sparring till kunder, som t.ex. avser att genom- föra projekt eller starta ett utvecklingsarbete. Man kan hjälpa till med att formlera klara mål för projektet och säkra ett effektivt sam- spel med andra parallella projekt samt verkar för att brukarna ska bli ägare av projektet och dess resultat.</P>
<P class="p167 ft9">Lokala huvudmän kan även få hjälp av EVA med att genomföra utvärderingar och utredningar inom en rad olika teman på skol- området. Det kan handla om att forma utvärderingens eller utred- ningens design och att genomföra utvärderingen eller utredningen.</P>
<P class="p429 ft11">The Danish Clearinghouse for Educational Researc<SPAN class="ft10">h är en enhet vid universitetet i Århus och grundades 2006</SPAN><SPAN class="ft55">1</SPAN><SPAN class="ft10">. Tillkomsten hade sin bakgrund i den kritik som OECD vid den tidpunkten riktat mot Danmark för bristande koppling mellan dansk utbildningsveten- skaplig forskning och hur forskningsresultat användes vid politiskt beslutsfattande</SPAN><SPAN class="ft55">2</SPAN><SPAN class="ft10">.</SPAN></P>
<P class="p96 ft9">Danish Clearinghouse ska bidra till att politiker och praktiker har tillgång till tillförlitlig och kvalificerad kunskap om fostran, under- visning och utbildning som kan användas i den pedagogiska prak- tiken och vid politikutformning. Danish Clearinghouse samlar in, analyserar och förmedlar kunskap från antingen forskning om utbild- ning eller från försöks- och utvecklingsarbete på danska skolor. Man genomför ingen egen primärforskning eller egna utvärderingar. Danish Clearinghouse hjälper även forskningsmiljöer att få en större och säkrare överblick av befintlig forskning så att de lättare kan identifiera var det finns behov av mer forskning.</P>
<P class="p82 ft10">Danish Cleraringhouse använder metodiken systematic reviews. Man menar att varje steg i den mycket bestämda processen är en möjlig självständig produkt. I vissa fall kan det t.ex. vara tillfyllest att i ett bibliotek tillgängliggöra en samlad och systematisk över- blick över tillgänglig information inom ett område utan att fullfölja proccesen till en fullständig genomförd systemtic review. Man har vidare anslutit till den grupp av organisationer som menar att systematic reviews kan baseras på såväl kvantitativa som kvalitativa studier.</P>
<P class="p860 ft53"><SPAN class="ft56">1</SPAN><SPAN class="ft71">www.eippee.eu/cms/Default.aspx?tabid=3240</SPAN></P>
<P class="p143 ft31"><SPAN class="ft56">2</SPAN><SPAN class="ft60">The Danish Clearinghouse for Educational Research. Concept note, v.1.2. June 2007.</SPAN></P>
<P class="p144 ft18">296</P>
</DIV>
<DIV id="page_287">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312287x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 5</P></TD>
</TR>
</TABLE>
<P class="p64 ft32">England</P>
<P class="p146 ft10">Olika <SPAN class="ft11">nationella prov </SPAN>utgör en central del av utvärderingsramverket i England. Dessa prov kallas i dag för <SPAN class="ft11">National Curriculum Tests </SPAN>(NCT:s).<SPAN class="ft55">3</SPAN></P>
<P class="p117 ft9">Vid 5 års ålder bedömer elevernas lärare deras utveckling i för- hållande till the Foundation Stage profile (från och med 2008). Där- efter genomförs nationella prov vid 7 års ålder, vid 11 års ålder samt vid <NOBR>14–16</NOBR> års ålder i årskurserna 7, 8 och 9. Inledningsvis gör eleverna nationella prov i engelska och matematik, från 11 års ålder även i de naturvetenskapliga ämnena (science). Merparten av pro- ven bedöms av lärarna. Provet i matematik vid 11 års ålder bedöms dock externt och skolornas resultat publiceras. Det finns även alternativa standardiserade prov som stöd för lärarnas bedömning i engelska och matematik för åk 7 och 8 och i naturvetenskap för åk 9.</P>
<P class="p13 ft10">Den brittiska regeringen uppdrog 2010 till en kommitté att se över testsystemet, sedan omfattande kritik riktats av bland annat lärare och skolledare mot främst de tester som genomförs vid 11 års ålder. Provsystemet har även utsatts för kritik från vetenskap- ligt håll. Till exempel har Paul Black<SPAN class="ft55">4 </SPAN>pekat på att tilltron till ökad extern bedömning genom nationella tester innebär att betydelsen av lärares formativa bedömning för skolresultaten underskattas samt att provsystemet har brister i fråga om reliabilitet och vali- ditet.<SPAN class="ft55">5 </SPAN>Invändningar avseende provsystemets tillförlitlighet har även rests av andra forskare.<SPAN class="ft55">6</SPAN></P>
<P class="p124 ft39">Kommittén<SPAN class="ft75">7 </SPAN>rekommenderade bl.a. ökat förtroende för lärarna och en rimlig balans mellan lärares egna bedömningar och olika test samt ökad betoning på elevernas kunskapsutveckling. Det skriftliga provet borde ersättas med lärarbedömning, medan matematik även fortsättningsvis borde utvärderas externt. Regeringen godtog kom- mitténs förslag som grund för det fortsatta reformarbetet.<SPAN class="ft75">8</SPAN></P>
<P class="p861 ft53"><SPAN class="ft51">3</SPAN><SPAN class="ft52">Proven benämndes tidigare Standard Attainment Tests (SAT:s).</SPAN></P>
<P class="p175 ft59"><SPAN class="ft51">4</SPAN><SPAN class="ft70">Paul Black var ordförande i den arbetsgrupp (TGAT) som i slutet av </SPAN><NOBR>1980-talet</NOBR> hade i upp- drag att utarbeta ett förslag till hur ett nytt system för utvärdering av elevernas kunskaps- resultat skulle utformas.</P>
<P class="p175 ft58"><SPAN class="ft51">5</SPAN><SPAN class="ft70">Black, Paul (1998) </SPAN>Learning, League Tables and National Asessment: opportunity or hope deffered? <SPAN class="ft59">Oxford Review of Education, Vol. 24, No 1.</SPAN></P>
<P class="p427 ft62"><SPAN class="ft51">6</SPAN><SPAN class="ft73">Se t.ex. Stobart, Gordon (2001) </SPAN><SPAN class="ft63">The validity of National Curriculum Assessment</SPAN>. Brittish Journal of Educational Studies, Vol. 49, No. 1 och Harlen, Wynne and Ruth Deakin Crick (2002) <SPAN class="ft63">A systematic review of the impact of summative assessment and tests on students´motivation for learning</SPAN>. Evidence for Policy and Practice Information and Coordinating Centre <NOBR>(EPPI-Centre).</NOBR></P>
<P class="p175 ft58"><SPAN class="ft51">7</SPAN><SPAN class="ft70">Bew, Lord (2011) </SPAN>Independent Review of Key Stage 2 testing, assessment and accountability<SPAN class="ft59">. Final Report. June 2011.</SPAN></P>
<P class="p196 ft74"><SPAN class="ft51">8</SPAN><SPAN class="ft54">Department for Education (2011) </SPAN>Independent Review of Key Stage 2 testing, assessment and accountability. Government Response<SPAN class="ft31">.</SPAN></P>
<P class="p385 ft18">297</P>
</DIV>
<DIV id="page_288">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312288x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 5</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p447 ft10">Skolinspektion har länge utgjort ett tungt inslag i det engelska utvärderingsramverket. Inspektionen genomförs av <SPAN class="ft11">The Office for Standards in Education, Children's Services and Skills </SPAN>(Ofsted) som är en oberoende myndighet som etablerades vid mitten av 1990- talet. Från att ha haft ett uppdrag som syftade till att inspektera och ställa krav på skolornas prestationer har myndighetens uppdrag under senare år mer inriktats mot att stödja skolornas arbete med självvärdering.</P>
<P class="p55 ft13">Aktörer på nationell nivå</P>
<P class="p199 ft40">Arbetsfördelningen mellan regeringen och olika delar av den cent- rala statsförvaltningen är i England en annan än i Sverige. <SPAN class="ft43">Det eng- elska utbildningsministeriet (Department of Education, DfE) </SPAN>är större än sin svenska motsvarighet och rymmer funktioner som i Sverige ligger på självständiga myndigheter. Det innebär att minis- teriet självt har en stor betydelse inte bara som utformare av utvär- deringssystemet, utan också för driften av delar av detta system.</P>
<P class="p96 ft9">I Storbritannien finns ett omfattande datainsamlingssystem (<SPAN class="ft12">National Pupil Database</SPAN>, NPD) som i allt väsentligt motsvarar det svenska uppföljningssystemet. Medan det i Sverige är en självstän- dig myndighet som ansvarar för insamlingen och sammanställ- ningen av provdata och andra data <NOBR>(socio-ekonomiska,</NOBR> demogra- fiska m.m.) sker detta i England inom en särskild avdelning (<SPAN class="ft12">Data and Statistics Division</SPAN>, DSD) inom utbildningsministeriet.</P>
<P class="p140 ft81">Standards and Testing Agency (STA) <SPAN class="ft39">är en s.k. verkställande myn- dighet (executive agency</SPAN><SPAN class="ft75">9</SPAN><SPAN class="ft39">) inom DfE. STA ansvarar för utveckling och genomförande av alla lagstadgade kunskapsprov från och med de tidiga skolåren till och med slutet av key stage 3 (årskurs 9).</SPAN></P>
<P class="p403 ft81">The Economic and Social research Council (ESRC) <SPAN class="ft39">är Storbritanniens största organisation för att finansiera forskning om ekonomiska och sociala frågor. ESRC inrättades 1965 och är ett </SPAN><NOBR><SPAN class="ft39">icke-offentligt</SPAN></NOBR><SPAN class="ft39"> organ (NDPB) som får huvuddelen av sin finansiering genom Department for Business, Innovation and Skills (BIS). ESRC stödjer oberoende, högkvalitativ forskning som har en inverkan på</SPAN></P>
<P class="p862 ft53"><SPAN class="ft30">9 </SPAN>De övriga verkställande organen inom DfE är Education Funding Agency och National College for Teaching and Leadership. Dessa organ betraktas som delar av departementet, men behandlas lednings- och budgetmässigt separat och har till uppgift att utföra någon del av de exekutiva funktionerna i Förenade kungarikets regering.</P>
<P class="p144 ft18">298</P>
</DIV>
<DIV id="page_289">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312289x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 5</P></TD>
</TR>
</TABLE>
<P class="p863 ft10">näringslivet, den offentliga sektorn och den tredje sektorn<SPAN class="ft55">10</SPAN>. ESRC stödjer omkring 4 000 forskare och doktorander inom akademiska institutioner och fristående forskningsinstitut.</P>
<P class="p117 ft12">The Evidence for Policy and Practice Information and Co- ordinating Centre <NOBR>(EPPI-Centre)</NOBR> <SPAN class="ft9">inledde sin verksamhet 1993. Centret genomför systematiska kunskapsöversikter och utvecklar metoder för att ta fram forskningsöversikter inom det samhälls- vetenskapliga området. Syftet är att göra tillförlitliga forsknings- resultat tillgängliga ”för de människor som behöver dem, oavsett om de handlar om politiskt beslutsfattande, yrkesutövning eller person- liga beslut”. Arbetet bedrivs huvudsakligen inom utbildnings- och hälsovårdsområdet samt inom det sociala området. Centret sam- verkar med en lång rad forskningsinstitutioner och arbetet finansi- eras av det Ekonomiska och sociala forskningsrådet (ESRC), flera myndigheter och välgörenhetsorganisationer samt nationella och internationella partners.</SPAN></P>
<P class="p864 ft12">The Centre for the Economics of Education (CEE) <SPAN class="ft9">tillkom 2000 och fick fram till 2010 ett grundbidrag från utbildningsministeriet och ministeriet för näringsliv, innovation och kompetens (the Depart- ment for Business, Innovation & Skills). CEE är ett multidiciplinärt centrum med tre parter: The Centre for Economic Performance at LSE, the Institute for Fiscal Studies och the Institute of Education. De tre parterna har en framstående meritlista i fråga om arbets- marknadsfrågor och utbildningsekonomi inklusive yrkesutbildning. CEE:s forskning är starkt orienterad mot empiriska studier. Man använder en mångfald metoder som t.ex. utvärderingsmetodik, statistisk analys av mikrodata och detaljerade fallstudier.</SPAN></P>
<P class="p243 ft32">Finland</P>
<P class="p136 ft39">Det finska skolsystemet har inte på länge varit föremål för några stora reformer eller förändringar. I juni 2012 beslutades emellertid om att inleda arbetet med en översyn av läroplansgrunderna bl.a. för den grundläggande utbildningen. Arbetet leds av Utbildnings- styrelsen och ska ske i nära samarbete med intressegrupperna och i interaktion med utbildningsanordnaren och arbetet ska vara avslu- tat i april 2014. De nya läroplanerna ska tillämpas i undervisningen från och med hösten 2016. Våren 2012 beslutades även om en</P>
<P class="p146 ft31"><SPAN class="ft30">10 </SPAN>Med tredje sektorn brukar avses t.ex. idéburna organisationer, ekonomiska föreningar och kooperativa företag, vissa stiftelser samt det civila samhället.</P>
<P class="p385 ft18">299</P>
</DIV>
<DIV id="page_290">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 5</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p105 ft10">revidering av timplanerna. Vidare görs fortsatt satsning på lärare och på att behålla läraryrkets attraktionskraft.</P>
<P class="p108 ft10">2012 antogs vidare nya kvalitetskriterier för bl.a. den grund- läggande utbildningen. Dessa syftar till att göra det möjligt att på ett praktiskt plan utvärdera hur de beslut som omfattar skol- väsendet i ett kort respektive långt perspektiv inverkar på skolornas verksamhet.</P>
<P class="p107 ft10">Utvärdering av utbildningen görs på lokal, regional och riksnivå. Utbildningsanordnarna är skyldiga att utvärdera sin utbildning, främst i förhållande till målen för utbildningen, samt delta i externa utvärderingar som baserar sig på utbildningslagstiftningen. Regio- nalt görs utvärdering och uppföljning av skolan av länsstyrelserna, t.ex. avseende service och hur efterfrågan på utbildning uppfylls. Det riksomfattande systemet för utvärdering av utbildningen byg- ger på</P>
<P class="p865 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">ett system för utvärdering av inlärningsresultaten (stickprov)</SPAN></P>
<P class="p426 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">framtagande av indikatorer</SPAN></P>
<P class="p866 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">utvärderingsprojekt med varierande teman (läges- eller temaut- värderingar).</SPAN></P>
<P class="p867 ft10">Dessutom deltar Finland i internationella utvärderingar.</P>
<P class="p285 ft10">I lagstiftningen anges att utvecklingen av utvärderingssystemet bör inriktas på oavhängighet, träffsäkerhet, effektivitet och ekono- mi samt effekter. Med effekter avses, vad vi förstår, snarast de effekter utvärderingarna har, inte effektstudier. Vikten av att skapa ett system som är direkt och betjänar läroanstalterna, eleverna och vårdnadshavarna betonas.</P>
<P class="p54 ft10">Ett generellt intryck är att det finska skolsystemet bygger på stark tillit från den nationella nivån till kommunerna och ytterst till professionen. Det finns ingen nationell tillsyn och t.ex. står inte frågan om en likvärdig och ”rättvis” betygssättning i fokus för de- batten på det sätt som den gör i Sverige.</P>
<P class="p55 ft13">Aktörer på nationell nivå t.o.m. 2013</P>
<P class="p53 ft10">På central nivå har det fram till nyligen funnits främst två aktörer vad gäller nationell utvärdering på skolområdet – Rådet för utbild- ningsutvärdering och Utbildningsstyrelsen.</P>
<P class="p542 ft18">300</P>
</DIV>
<DIV id="page_291">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312291x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 5</P></TD>
</TR>
</TABLE>
<P class="p341 ft9">Den externa utvärderingen av skolan har under en följd av år organiserats av <SPAN class="ft12">Rådet för utbildningsutvärdering</SPAN>, ett självständigt organ som sorterat under undervisnings- och kulturministeriet. Rådet har bestått av högst 14 medlemmar, som utnämnts av undervisnings- och kulturministeriet. Medlemmarna är företrädare för såväl akademin som för kommunsektorn och för de fackliga organisationerna. Tillsammans med undervisnings– och kulturministeriet har rådet ansvarat för utvärdering, och utveckling av utvärdering, i grund- skola och gymnasium, inom yrkesutbildningen och den yrkes- inriktade vuxenutbildningen samt inom det fria bildningsarbetet. <SPAN class="ft28">11 </SPAN>Sekretariatet för Rådet för utbildningsutvärdering verkar som en separat institution vid Jyväskylä universitet.</P>
<P class="p745 ft10">Utvärderingsrådet har utvecklat utvärderingsmetoder för olika aktörers behov. Inom nationella utvärderingar tar man tillvara utbild- ningsanordnarnas och läroanstalternas självutvärderingar och lyfter fram god praxis. För att utvärderingen av utbildningen ska bli så transparent och använd som möjligt har publiceras resultaten i utvärderingsrådets publikationsserie. Skolor rangordnas inte i rap- porterna.</P>
<P class="p868 ft10"><SPAN class="ft11">Utbildningsstyrelsen</SPAN><SPAN class="ft55">12 </SPAN>svarar för utveckling av utbildningen, från förskoleundervisningen till vuxenutbildningen och det fria bild- ningsarbetet samt den grundläggande konstundervisningen. Det innebär att en central uppgift för Utbildningsstyrelsen är att arbeta med läroplansgrunderna för utbildningarna, grunderna för yrkes- examina och fristående examina samt att utveckla utbildningen genom olika projekt. Bland övriga uppgifter ingår att producera utbildnings- indikatorer och prognoser, samla uppgifter om utbildningens finansiering, publicera utbildningsguider, ordna och finansiera fort- bildning för lärare och annan personal inom utbildningssektorn samt utveckla och producera läromedel.</P>
<P class="p13 ft10">Fram till nu har Utbildningsstyrelsen även utvärderat inlär- ningsresultat inom sitt verksamhetsområde, d.v.s. från förskole- undervisning till vuxenutbildning. Syftet med styrelsens utvärde- ring av utbildningen har varit att utreda i vilken mån de uppställda målen för undervisning och utbildning uppnås.</P>
<P class="p13 ft10">De viktigaste målen för Utbildningsstyrelsens utvärdering av utbildning har varit att</P>
<P class="p431 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft27">utveckla utbildningen och stödja lärandet</SPAN></P>
<P class="p431 ft53"><SPAN class="ft51">11</SPAN><SPAN class="ft52">Rådet för utbildningsutvärdering (2004) a.a</SPAN><SPAN class="ft72">.</SPAN></P>
<P class="p869 ft31"><SPAN class="ft51">12</SPAN><SPAN class="ft54">Informationen i detta avsnitt är hämtad från Utbildningsstyrelsens webbplats (www.oph.fi) den 12 juni 2013.</SPAN></P>
<P class="p385 ft18">301</P>
</DIV>
<DIV id="page_292">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312292x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 5</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p251 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">säkra kvaliteten på utbildningen</SPAN></P>
<P class="p850 ft10"><SPAN class="ft33"></SPAN><SPAN class="ft20">producera information som behövs i utvecklingsarbete och be- slutsfattande på lokal, regional och riksomfattande nivå samt för internationella jämförelser.</SPAN></P>
<P class="p152 ft10">Utbildningsstyrelsen har svarat för de sampelbaserade utvärdering- ar av inlärningsresultat inom den grundläggande utbildningen som genomförts sedan 1998.</P>
<P class="p109 ft13">Aktörer på nationell nivå fr.o.m. 2014</P>
<P class="p230 ft10"><SPAN class="ft11">Undervisningsministeriet </SPAN>har nyligen beslutat om en utvärderings- plan för utbildningen <NOBR>2012–2015.</NOBR> Av denna framgår utgångspunk- ter för utvärderingen, organisering av utvärderingsverksamheten, riktlinjer för utvärderingen, dvs. vad den externa utvärderingen ska fokusera på, finansiering samt uppföljning av utvärderingsplanen. Man kan säga att detta på en övergripande nivå utgör ett slags ram- verk för utvärdering,.</P>
<P class="p96 ft40">Av utvärderingsplanen framgår att utvärderingsfunktionerna vid Rådet för utbildningsutvärdering, Rådet för utvärdering av högsko- lorna och vid Utbildningsstyrelsen från och med början av 2014 ska koncentreras till ett nationellt <SPAN class="ft43">center för utbildningsevaluering.</SPAN></P>
<P class="p467 ft45">Syftet är att samla utbildningsutvärderingens viktigaste uppgifter och kompetenser till en tydligare, effektivare och mer slagkraftig helhet och att stärka utvärderingsverksamhetens oberoende och självständighet. Därtill, menar man, uppnås funktionella och eko- nomiska synergier samt stärks den finska utbildningsutvärdering- ens nationella och internationella roll. Förändringen innebär att t.ex. de sampelbaserade utvärderingarna av inlärningsresultat som Utbildningsstyrelsen svarat för blir ett ansvar för det nya centret.</P>
<P class="p56 ft11">Nationella centret för utbildningsevaluering <SPAN class="ft10">föreslås av den arbets- grupp som förberett inrättandet, vara ett ämbetsverk inom under- visnings- och kulturministeriets förvaltningsområde. Centret före- slås bli ett expertorgan som utför externa utvärderingar av utbild- ningar och för att ta fram kunskap som underlag för utbildnings- politiska beslut och utveckling av utbildningen. Centret föreslås av en särskild utredare placeras i Helsingfors med en del av sin verk- samhet fortsatt i Jyväskylä.</SPAN><SPAN class="ft55">13</SPAN></P>
<P class="p870 ft31"><SPAN class="ft30">13 </SPAN>Beskrivningen av förslaget är hämtad från Undervisnings- och kulturministeriets hemsida.</P>
<P class="p144 ft18">302</P>
</DIV>
<DIV id="page_293">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312293x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 5</P></TD>
</TR>
</TABLE>
<P class="p383 ft10">Beslutsfattandet föreslås bli delat mellan direktören och ett evalueringsråd med ansvar för den strategiska styrningen. Evalue- ringsrådets medlemmar föreslås företräda sakkunskap på området, t.ex. expertis inom utvärdering av utbildning. Evalueringsrådet föreslås vidare bestå av personer som företräder olika utbildnings- sektorer, lärarutbildningen, forskningen, arbetslivet och de stude- rande.</P>
<P class="p100 ft39">Enligt förslaget ska direktören ha beslutanderätten för den opera- tiva ledningen medan evalueringsrådet ska fatta beslut om centrets strategiska riktlinjer. Rådet ska ha en central roll vid utarbetandet av förslag till den utvärderingsplan som fastställs av undervisnings- och kulturministeriet. Planen är det viktigaste redskapet för den strategiska styrningen av utvärderingsverksamheten. Rådet ska även organisera särskilda utvärderingar samt besluta om resultatet av en granskning godkänts eller inte. Enligt förslaget utnämner statsrådet (regeringen) direktören för evalueringscentret och till- sätter evalueringsrådet.</P>
<P class="p294 ft32">Norge</P>
<P class="p136 ft9">Norge har under flera år arbetat intensivt med att förstärka den nationella uppföljningen och utvärderingen inom utbildningsom- rådet och det finns numera en stark utvärderingstradition i norsk utbildningspolitik<SPAN class="ft28">14</SPAN>. Detta präglar såväl det löpande uppföljnings- och utvärderingssystemet som det sätt som reformer utvärderas på.</P>
<P class="p63 ft40">Utdanningsdirektoratet använder ett nationellt, stabilt ramverk för att utvärdera och rapportera om det norska skolsystemet som innehåller fem huvudområden: läranderesultat, lärandemiljön, andel elever som fullföljer studierna i gymnasieskolan, resurser och fakta om skolorna. Norge genomför dessutom återkommande gransk- ningar av prioriterade politikområden. Ett aktuellt exempel är det särskilda indikatorssystemet för att följa kvaliteten i lärarutbildnin- gen och i yrket.</P>
<P class="p204 ft45">På systemnivå har Norge utvecklat ett system för kontinuerlig uppföljning, <SPAN class="ft67">Nasjonalt kvalitetsutvurderingssystem </SPAN>(NKVS). Syste- met, snarast att betrakta som ett ramverk för utvärdering, försörjer bland annat olika forskningsprojekt med data. Datainflödet sker</P>
<P class="p254 ft31"><SPAN class="ft30">14 </SPAN>Avsnittet om Norge bygger på information som lämnats till utredningen i samband med dess kontakter med företrädare för det norska Kunskapsdepartementet och Utdannings- direktoratet i Norge.</P>
<P class="p438 ft18">303</P>
</DIV>
<DIV id="page_294">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 5</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p94 ft10">genom Norges deltagande i internationella studier, statistikinsam- ling, resultat från nationella prov, brukarundersökningar och enkä- ter.</P>
<P class="p108 ft10">Den insamlade informationen publiceras på flera olika sätt: sär- skilda rapporter om specifika teman, årliga analytiska rapporter, ut- värderingsrapporter i nationellt prioriterade frågor, internetpubli- cering och en årlig summerande rapport baserad på utvärdering av skolor.</P>
<P class="p109 ft13">Aktörer på nationell nivå</P>
<P class="p199 ft9"><SPAN class="ft12">Utdanningsdirektoratet</SPAN>, som lyder under Kunnskapsdepartementet, har ett brett arbetsfält som spänner från läroplaner och ramverk för motsvarande förskola, grundskola och gymnasieskola, till examen och analyser samt regelverk och tillsyn. Direktoratet ansvarar för merparten av de olika typer av uppgiftsinsamling som igår i NKVS.</P>
<P class="p108 ft10">Utdanningsdirektoratet har t.ex. ansvar för att utarbeta natio- nella prov och andra prov för grundskolan och gymnasieskolan samt att utforma villkoren för examen, dvs. den avslutande bedöm- ningen av en elevs kompetens. Direktoratet har också ansvar för tillsynen över landets skolhuvudmän, dvs. kommuner, fylkeskom- muner och privata skolor. Syftet är att säkra att barn och unga får en likvärdig utbildning av hög kvalitet.</P>
<P class="p96 ft40">Direktoratet har dessutom ansvar för utvecklingsprojekt, forsk- ning och statistik om grundskolan och gymnasieskolan. Brukarun- dersökningar genomförs för elever, lärlingar, lärare, instruktörer och föräldrar, vilket förser skolor, skolhuvudmän och myndigheter med viktig kunskap. Resultaten och analyserna, som publiceras på Utdanningsdirektoratets webbsidor, är tänkta att bidra till förbätt- ring av norsk skola. Utdanningsdirektoratet har vidare ansvar för att koordinera de många internationella studier som Norge deltar i.</P>
<P class="p96 ft40">Utdanningsdirektoratet har upprättat ett <SPAN class="ft43">nationellt forskningsråd </SPAN>som ger råd i frågor om utveckling av forskningspolicy och om finansiering av forskning samt skapar mötesplatser. De flesta upp- dragen anförtros olika forskningsinstitut, universitet och hög- skolor under Utbildnings- och forskningsministeriets och Utdan- ningsdirektoratets överinseende.</P>
<P class="p167 ft39">I Norge finns dessutom ett <SPAN class="ft81">Kunnskapssenter for udanning </SPAN>knutet till Norges forskningsråd. Kunskapscentrets uppgift är bl.a. att pre- sentera systematiska kunskapsöversikter i en öppen och tillgänglig</P>
<P class="p368 ft18">304</P>
</DIV>
<DIV id="page_295">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 5</P></TD>
</TR>
</TABLE>
<P class="p282 ft10">databas som ska kunna användas av alla som arbetar i förskola, skola, högre utbildning och vuxenutbildning samt med politikut- formning. Centret ska sammanställa både nationell och och inter- nationell forskning och förmedla den bästa tillgängliga kunskapen inom utbildningsområdet.</P>
<P class="p222 ft13">Organisering av reformutvärderingar</P>
<P class="p103 ft10">Norge lägger allt större vikt vid kunskapsunderlag inför beslut om politiska reformer. Evidensinformerade inslag i samband med politikformulering kommer bland annat till uttryck i att litteratur- listor redovisas i de senaste årens stortingsmeldingar (propositio- ner). Till större reformer som genomförts under de senaste decennierna har dessutom knutits omfattande utvärderingsresurser. Sättet att organisera utvärderingarna har skilt sig åt mellan de olika reformerna, t.ex. med avseende på hur samarbetet mellan politiken och forskningen har utformats.</P>
<P class="p124 ft10">I fallet med <SPAN class="ft11">Reform </SPAN><NOBR><SPAN class="ft11">-94</SPAN>,</NOBR> som avsåg gymnasieskolan, beslutade Stortinget om en löpande utvärdering som skulle vara forsknings- baserad, dvs. grunda sig på forskningsmässig metodik och kompe- tens. Departementets kontroll av arbetet med utvärderingen var tydlig. Det följdes nära eftersom det fanns ett uttalat önskemål om att kunna ta nya beslut under vägen. För att säkra att utvärderingen blev policyrelevant skrevs ettåriga kontrakt mellan forskare och departementet. Forskarna hade krav på sig att lämna rapporter vid vissa tidpunkter (varje halvår och år). För att täcka behovet av kompetens genomfördes utvärderingen av flera forskningsmiljöer i samverkan.</P>
<P class="p233 ft10">För att utvärderingen skulle bli intressant och leva upp till forskningsmässiga krav krävdes samtidigt att forskarna hade ett självständigt handlingsutrymme. För att skapa ett visst avstånd mellan uppdragsgivare och uppdragstagare skapades en uppfölj- ningsgrupp bestående av nio medlemmar med olika kompetenser. Ordföranden i uppföljningsgruppen utnämndes av Norges forsk- ningsråd. Uppföljningsgruppen hade den överordnade kontrollen över projektet och kommenterade utkast till rapporter från fors- kargrupperna. Uppföljningsgruppen hade vidare till uppgift att ge råd till departementet om styrningen och vid kontraktsförhand- lingar. Uppföljningsgruppens sekretariat utgjordes av tjänstemän i Kunskapsdepartementet.</P>
<P class="p538 ft18">305</P>
</DIV>
<DIV id="page_296">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 5</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p447 ft10">Utöver uppföljningsgruppen tillsattes även en referensgrupp med representanter för flertalet av dem som berördes av reformen. En av forskningsmiljöerna påtog sig också rollen som koordine- rande forskningsinstitution.</P>
<P class="p74 ft10">Arrangemangen runt utvärderingen ledde till en upprörd debatt om att regeringen direktstyrde forskningen och om det olämpliga i att departementet var uppdragsgivare till utvärderingen av en reform som det självt var ansvarigt för. Samarbetet mellan parterna över- levde dock debaclet och ledde efterhand till en ökad vana vid dialog parterna emellan. Dessutom ägde en viktig kompetensuppbyggnad rum inom forskningsmiljöerna, som har kommit till användning vid senare reformutvärderingar.</P>
<P class="p96 ft45">I samband med <SPAN class="ft67">Reform </SPAN><NOBR><SPAN class="ft67">-97,</SPAN></NOBR><SPAN class="ft67"> </SPAN>som avsåg grundskolan, var skol- ministerns utgångspunkt att den kritikstorm som utbröt i samband med den föregående reformutvärderingen inte skulle upprepas. Denna gång medgav därför upplägget ett stort utrymme för forsk- ningen att själv bestämma inriktning och rapporteringstillfällen.</P>
<P class="p286 ft10">Utvärderingarna av de reformer som genomfördes 1994 och 1997 kan således sägas representera två extremer på en skala mellan kraf- tig styrning och stor självständighet. I utformningen av utvärde- ringen av <SPAN class="ft11">Kunskapslyftet 2006</SPAN>, som avsåg grundskolan och gym- nasieskolan, sökte man dra nytta av erfarenheterna från de båda föregående utvärderingarna.</P>
<P class="p106 ft40">Utdanningsdirektoratet tillsatte en <SPAN class="ft43">programstyrelse </SPAN>som leddes av en välmeriterad och erkänd forskare. Även om Programstyrelsen fick sitt uppdrag av Utdanningsdirektoratet var det Programstyrel- sen som utlyste uppdragen och slöt kontrakt med de olika forsk- ningsmiljöerna och därefter höll i kontakten med dessa. Program- styrelsen har bestått av företrädare för olika intressenter på skol- området, t.ex. brukare (elever och föräldrar), fackliga organisatio- ner, forskare och personer på policynivå.</P>
<P class="p96 ft39">Programstyrelsen svarade även för återkopplingar till forskarna. Dessa återkopplingar innebar även en diskussion om kvaliteten i utkasten till forskarrapporterna, dvs. om teori, metoder, empiriskt underlag, konsistens mellan underlag och slutsatser, osv. Man sam- lade dessutom in frågeställningar som inom olika delar av utbild- ningssektorn ansågs viktiga att granska och sorterade fram dem som bedömdes vara av generellt intresse för sektorn och som dess- utom var knutna till reformen. De utvalda frågeställningarna infogades därefter i utvärderingsuppdragen till de olika forskargrupperna.</P>
<P class="p51 ft18">306</P>
</DIV>
<DIV id="page_297">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312297x1.jpg" id="img1">
</DIV>
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 5</P></TD>
</TR>
</TABLE>
<P class="p350 ft10">Tjänstemännen i departementet höll den politiska ledningen informerad om resultaten från utvärderingarna samt lyfte in dem i olika aktuella politiska processer.</P>
<P class="p384 ft32">Skottland</P>
<P class="p136 ft9">Skottland<SPAN class="ft28">15 </SPAN>har sedan början på <NOBR>2000-talet</NOBR> arbetat med att utveckla och introducera en ny läroplan i barn- och ungdomsskolan – <SPAN class="ft12">Curriculum för Excellence</SPAN>. Läroplanen introducerades i de lägre årskurserna under läsåret 2010/11 och under läsåret 2012/13 för elever i secondary schools, dvs. för elever från ca 11 till 18 års ålder. Arbetet med att implementera läroplanen har dock varit en suc- cessiv process som fortfarande pågår. Arbetet leds av The Curricu- lum for Excellence Management Board som består av represen- tanter för såväl den statliga förvaltningen som företrädare för en lång rad organisationer som företräder t.ex. skolhuvudmän, lärare och föräldrar.</P>
<P class="p474 ft10">Den nya läroplanen syftar till att säkerställa att alla barn och ung- domar i Skottland utvecklar kunskaper, färdigheter och olika person- liga förmågor. Enligt läroplanen ska eleverna ges möjlighet att uppleva framgång som elev, känna självförtroende som individ, utvecklas till ansvarstagande medborgare och kunna bidra effektivt till det gemensamma samhällslivet.<SPAN class="ft55">16</SPAN></P>
<P class="p92 ft43">The Scottish Survey of Literacy and Numeracy (SSLN) <SPAN class="ft40">är en årlig urvalsundersökning som följer de nationella resultaten i läsning och räkning (växelvis vartannat år) vid tre åldrar under motsvarande grundskolan. SSLN utvecklades för att stödja bedömningsformer i anslutning till Curriculum for Excellence. SSLN är ett samarbete mellan den skotska regeringen, Education Scotland och Scottish Qualifications Authority (SQA). Skottland deltar även i de inter- nationella </SPAN><NOBR><SPAN class="ft40">PISA-undersökningarna.</SPAN></NOBR></P>
<P class="p15 ft10">Det skotska systemet är annars i hög grad inriktat på att stödja den lokala nivån i dess arbete med att utveckla och utvärdera verksamheten. <SPAN class="ft11">The National Assessment Resource (NAR) </SPAN>är t.ex. ett verktyg online för att stödja lärares bedömning i anslutning till Curriculum for Excellence.</P>
<P class="p123 ft59"><SPAN class="ft51">15</SPAN><SPAN class="ft70">Skottland är en självstyrande riksdel (eller constituent country) inom Storbritannien. Skottland har numera ett omfattande självstyre, bl.a. på skolpolitikens område, varför Skottland i detta sammanhang jämställs med ett land.</SPAN></P>
<P class="p236 ft31"><SPAN class="ft51">16</SPAN><SPAN class="ft54">Fri översättning av de grundläggande förmågorna Successful learners, Confident individu- als, Responsible citizens och Effective contributors.</SPAN></P>
<P class="p385 ft18">307</P>
</DIV>
<DIV id="page_298">
<TABLE cellpadding=0 cellspacing=0 class="t6">
<TR>
<TD class="tr17 td24"><P class="p22 ft19">Bilaga 5</P></TD>
<TD class="tr17 td25"><P class="p22 ft19">SOU 2014:12</P></TD>
</TR>
</TABLE>
<P class="p447 ft10">Den skotska inspektionen har en viktig roll. Varje år inspekteras ett urval skolor och kommuner. Inriktningen är att bidra till för- bättring. Inspektörerna fokuserar på elevernas lärande och pres- tationer. Skolornas självvärderingar är viktiga utgångspunkter för inspektionen. Inspektionen förfogar inte över några sanktions- instrument.</P>
<P class="p167 ft10">Generellt präglas arbetet med att utveckla skolan i Skottland av en skolpolitisk konsensus. Denna har dock inte vilat på något for- mellt kontrakt, utan bygger mer på en tradition där inte minst dialogen mellan olika parter inom skolsamhället ses som central.</P>
<P class="p109 ft13">Aktörer på nationell nivå</P>
<P class="p199 ft40">Organisatoriskt har Skottland genomgått en motsatt utveckling jämfört med Sverige. 2011 bildades <SPAN class="ft43">Education Scotland </SPAN>bl.a. genom en sammanslagning av organisationen Learning and Teaching Scotland (LTS) och den tidigare inspektionsmyndigheten Her Majesty's Inspectorate of Education in Scotland (HMIe). LTS huvuduppgift var att utveckla och stödja den skotska läroplanen och att utveckla kvaliteten på lärande och undervisning, bl.a. genom att erbjuda råd, stöd, kompetensutveckling, etc.</P>
<P class="p169 ft9">Education Scotland har i dag ett brett ansvarsområde. Man ansvarar för råd och stöd i syfte att utveckla undervisningen och elevernas lärande, bl.a. genom arbetet med Curriculum för Excellence och genom IT. Man svarar också för inspektionen och för rapporterin- gen av resultat från denna. Vidare stödjer man de lokala huvudmän- nen och verksamheterna i arbetet med att främja positiva relationer, sociala och känslomässig välfärd och gott uppförande, etc.</P>
<P class="p167 ft40">När det gäller det som står i fokus för denna utredning, dvs. kunskapandet om skolan och skolans utveckling, hämtar Education Scotland underlag från bl.a. statistik och egna utvärderingar, in- spektioner och PISA. <SPAN class="ft43">The Scottish Survey of Literacy and Numeracy (SSLN)</SPAN>är också en viktig källa. Man intresserar sig också för framgångsrika skolsystem i andra länder.</P>
<P class="p167 ft45">Ansvaret för SSLN är delat mellan flera aktörer. <SPAN class="ft67">The Scottish Government Education Analytical Services Division </SPAN>har det centrala ansvaret och svarar för projektledning, design, analys, genom- förande och rapportering om SSLN. <SPAN class="ft67">Education Scotland </SPAN>har till- sammans med <SPAN class="ft67">The Scottish Qualifications Authority (SQA) </SPAN>ansvar för utvecklingen av kriterier för bedömning av SSLN. Man ansvarar</P>
<P class="p304 ft18">308</P>
</DIV>
<DIV id="page_299">
<TABLE cellpadding=0 cellspacing=0 class="t9">
<TR>
<TD class="tr17 td75"><P class="p22 ft19">SOU 2014:12</P></TD>
<TD class="tr17 td76"><P class="p22 ft38">Bilaga 5</P></TD>
</TR>
</TABLE>
<P class="p85 ft40">för olika nivåer. Education Scotland ansvarar också för att till- gängliggöra resultat från SSLN för lärare, skolor och huvudmän i syfte att stödja och informera om lärande och arbetsformer i klass- rummet medan SQA har ansvaret för alla operationella aspekter av SSLN, dvs. distribution, administration på skolorna, datafångst etc. Till projektet har knutits en <SPAN class="ft43">SSLN Project Management Board</SPAN>.</P>
<P class="p100 ft9">Inom Education Scotland arbetar man utifrån en strategi för det man benämner <SPAN class="ft12">knowledge management</SPAN>. Denna består av tre teman – att bygga professionella relationer, att bygga en kunskaps- bas och att bygga värden utifrån kunskap. Man arbetar också med att utveckla en forskningsstrategi. Denna går ut på att stärka kapaciteten inom forskning och utvärdering, att bygga upp en forskningsgrund och att skapa länkar mellan forskning, politik och praktik (<SPAN class="ft12">know- ledge brokering</SPAN>). Education Scotland identifierar följande utveck- lingsområden för den egna verksamheten:</P>
<P class="p485 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">Tätare dialog med forskarsamhället inom utbildningsområdet.</SPAN></P>
<P class="p79 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">Mer strategiskt angreppssätt när man lägger ut forskningsupp- drag.</SPAN></P>
<P class="p463 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">Mer proaktiv roll när man lämnar råd i samband med politikut- formning.</SPAN></P>
<P class="p871 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">Göra tillförlitlig kunskap tillgänglig för de verksamma (lärar- professionen).</SPAN></P>
<P class="p872 ft10"><SPAN class="ft41">-</SPAN><SPAN class="ft44">Stödja och sprida resultat från professionella undersökningar.</SPAN></P>
<P class="p89 ft45">Av detta framgår att Education Scotland utöver att svara för stöd, statistik, utvärdering, inspektion, etc, också har en roll i relation till skolforskningen, både som beställare och som kunskapsmäklare. Man understryker att det, för att verka som kunskapsmäklare, krävs oberoende, trovärdighet, transparens, tillgång till en robust kunskapsbas och klara kopplingar till politikutvecklingsprocessen.</P>
<P class="p873 ft18">309</P>
</DIV>
<DIV id="page_300">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312300x1.jpg" id="img1">
</DIV>
<P class="p0 ft165">Statens offentliga utredningar 2014</P>
<P class="p634 ft166">Kronologisk förteckning</P>
<P class="p874 ft167"><SPAN class="ft167">1.</SPAN><SPAN class="ft168">Vissa bostadsbeskattningsfrågor. Fi.</SPAN></P>
<P class="p875 ft167"><SPAN class="ft167">2.</SPAN><SPAN class="ft168">Framtidens valfrihetssystem</SPAN></P>
<P class="p876 ft167"><SPAN class="ft167">–</SPAN><SPAN class="ft169">inom socialtjänsten. S.</SPAN></P>
<P class="p410 ft167"><SPAN class="ft167">3.</SPAN><SPAN class="ft168">Boende utanför det egna hemmet</SPAN></P>
<P class="p876 ft167"><SPAN class="ft167">–</SPAN><SPAN class="ft169">placeringsformer för barn och unga. S.</SPAN></P>
<P class="p877 ft167"><SPAN class="ft167">4.</SPAN><SPAN class="ft168">Det måste gå att lita på konsument- skyddet. Ju.</SPAN></P>
<P class="p875 ft167"><SPAN class="ft167">5.</SPAN><SPAN class="ft168">Staten får inte abdikera</SPAN></P>
<P class="p878 ft167"><SPAN class="ft167">–</SPAN><SPAN class="ft169">om kommunaliseringen av den svenska skolan. U.</SPAN></P>
<P class="p875 ft167"><SPAN class="ft167">6.</SPAN><SPAN class="ft168">Män och jämställdhet. U.</SPAN></P>
<P class="p875 ft167"><SPAN class="ft167">7.</SPAN><SPAN class="ft168">Skärpta straff för vapenbrott. Ju.</SPAN></P>
<P class="p875 ft167"><SPAN class="ft167">8.</SPAN><SPAN class="ft168">Översyn av statsskuldspolitiken. Fi.</SPAN></P>
<P class="p875 ft167"><SPAN class="ft167">9.</SPAN><SPAN class="ft168">Förändrad assistansersättning</SPAN></P>
<P class="p876 ft167"><SPAN class="ft167">–</SPAN><SPAN class="ft169">en översyn av ersättningssystemet. S.</SPAN></P>
<P class="p879 ft167"><SPAN class="ft167">10.</SPAN><SPAN class="ft169">Ett steg vidare – nya regler och åtgärder för att främja vidareutnyttjande</SPAN></P>
<P class="p876 ft167">av handlingar. S.</P>
<P class="p880 ft167"><SPAN class="ft167">11.</SPAN><SPAN class="ft169">Kunskapsläget på kärnavfallsområdet 2014. Forskningsdebatt, alternativ och beslutsfattande. M.</SPAN></P>
<P class="p881 ft167"><SPAN class="ft167">12.</SPAN><SPAN class="ft169">Utvärdera för utveckling – om utvärdering av skolpolitiska reformer. U.</SPAN></P>
</DIV>
<DIV id="page_301">
<DIV id="dimg1">
<IMG src="http://data.riksdagen.se/fil/H2B312/H2B312301x1.jpg" id="img1">
</DIV>
<P class="p0 ft165">Statens offentliga utredningar 2014</P>
<P class="p634 ft166">Systematisk förteckning</P>
<P class="p882 ft170">Justitiedepartementet</P>
<P class="p883 ft167">Det måste gå att lita på konsumentskyddet. [4]</P>
<P class="p884 ft167">Skärpta straff för vapenbrott. [7]</P>
<P class="p885 ft170">Socialdepartementet</P>
<P class="p886 ft6">Framtidens valfrihetssystem</P>
<P class="p887 ft5"><SPAN class="ft5">–</SPAN><SPAN class="ft171">inom socialtjänsten. [2]</SPAN></P>
<P class="p888 ft167">Boende utanför det egna hemmet</P>
<P class="p889 ft167"><SPAN class="ft167">–</SPAN><SPAN class="ft169">placeringsformer för barn och unga. </SPAN><SPAN class="ft5">[3]</SPAN></P>
<P class="p886 ft6">Förändrad assistansersättning</P>
<P class="p890 ft5">– en översyn av ersättningssystemet. [9]</P>
<P class="p891 ft5">Ett steg vidare – nya regler och åtgärder för att främja vidareutnyttjande av handlingar. [10]</P>
<P class="p892 ft170">Finansdepartementet</P>
<P class="p893 ft167">Vissa bostadsbeskattningsfrågor. [1] Översyn av statsskuldspolitiken. [8]</P>
<P class="p894 ft170">Utbildningsdepartementet</P>
<P class="p883 ft167">Staten får inte abdikera</P>
<P class="p895 ft167">– om kommunaliseringen av den svenska skolan. [5]</P>
<P class="p884 ft167">Män och jämställdhet. [6]</P>
<P class="p896 ft167">Utvärdera för utveckling – om utvärdering av skolpolitiska reformer. [12]</P>
<P class="p885 ft170">Miljödepartementet</P>
<P class="p897 ft167">Kunskapsläget på kärnavfallsområdet 2014. Forskningsdebatt, alternativ och beslutsfattande. [11].</P>
</DIV>
</BODY>
</HTML>
H2B312SOU_2014__12.pdf3273545pdfUtvärdera för utveckling, - om utvärdering av skolpolitiska reformerhttps://data.riksdagen.se/fil/E9EBAB15-7829-45BD-B500-126DD1423B09