HANDLEIDING BELEIDSEVALUATIE DEEL 2: …

1 Spoor Beleid en Monitoring HANDLEIDING BELEIDSEVALUATIE . DEEL 2: MONITORING VAN BELEID. Bart DE PEUTER. Joris DE SMEDT. Dr. Wouter VAN DOOREN. Prof. Dr. geert BOUCKAERT. Rapport D/2006/10106/014. 2007. HANDLEIDING BELEIDSEVALUATIE Deel 2: Monitoring van beleid INHOUDSOPGAVE. 1. 7. 2. Monitoring en 9. Monitoring ..9. Inleiding: terminologie en definities .. 9. Monitoring: een terminologische keuze .. 9. Definities .. 11. Motieven voor monitoring in het kader van beheer en beleid .. 13. Alternatief of component voor evalueren?.. 17. Monitoring en BELEIDSEVALUATIE ..18. Een tandem .. 18. Verschillen.

2 22. Meten en evalueren van effici ntie en 27. Effici ntie .. 27. Effectiviteit .. 30. 36. 3. Monitoring: een algemeen 43. Het vertrekpunt: uitgeklaarde motieven en duidelijke beleidsdoelstellingen ..43. Het bepalen van de scope: wat meten we wel, en wat niet? ..47. Welke uitsnede van de organisatie zal gemeten worden?.. 48. Welke uitsnede van de beleidsdoelstellingen en context zal gemeten worden? .. 51. Selecteren en opstellen van indicatoren: hoe meten we en wat willen we meten? ..52. Bart De Peuter, Joris De Smedt, Wouter Van Dooren & geert Bouckaert I. Steunpunt Beleidsrelevant onderzoek - Bestuurlijke Organisatie Vlaanderen Ontwikkelen van normen: wat is een goed meetresultaat?

3 64. Soorten normen .. 64. Waar komen normen vandaan? .. 66. 69. Betrouwbaarheid van het 70. Types van validiteit .. 71. Validiteit van statistische conclusies .. 72. Interne 73. Constructvaliditeit .. 76. Externe validiteit .. 78. Sensitiviteit van indicatoren .. 79. Meetproblemen .. 81. Meten is niet nodig Pangloss stelling .. 81. Meten is onmogelijk .. 81. Performance en publieke sector gaan niet samen .. 82. Convex / concaaf .. 82. Output of effect stijgen abnormaal door het meten .. 82. Output of effect dalen abnormaal door het 83. Meer registraties door het meten .. 83. Geen duidelijk onderscheid tussen output en effect.

4 83. Inflatie van indicatoren .. 84. Korte 85. Het 85. De focus wordt verlegd door het meten .. 85. II Spoor Beleid en Monitoring HANDLEIDING BELEIDSEVALUATIE Deel 2: Monitoring van beleid Rapporteren ..86. 4. Invoering, beheer en gebruik van een monitoringsysteem: enkele kritieke succesfactoren .. 97. Het implementatieproces ..97. Het beheer ..98. Gebruik ..100. 5. Uitbouwscenario voor monitoring: van een beheers- naar een beleidsperspectief .. 101. Van output naar Monitoren van effecten ..102. Moeilijker te meten? .. 102. Gedifferentieerde effecten .. 103. De rol van 104. Effectenketting .. 104. Wat met neveneffecten?

5 105. Kwalitatieve informatie als complement .. 106. 6. Besluit .. 107. 109. Bart De Peuter, Joris De Smedt, Wouter Van Dooren & geert Bouckaert III. Lijst van figuren en tabellen Lijst van figuren en tabellen Figuur 1: De beleids- en beheerscyclus als open systeemmodel .. 20. Figuur 2: Spreidingdiagram van inputoutput combinaties .. 28. Figuur 3: Strategie n voor effici ntieverbetering .. 28. Figuur 4: Effectniveaus, effectverandering en beleidseffect .. 34. Figuur 5: De beleids- en beheerscyclus als open systeemmodel .. 40. Figuur 6: Het conceptueel raamwerk van beleidstheorie .. 40. Figuur 7: de Pareto analyse.

6 49. Figuur 8: De relatie van een indicator tot het 53. Figuur 9: De betrokkenheid van actoren bij de indicatorenontwikkeling in drie documenten data uit de agentschappen van het MVG .. 55. Figuur 10: Overschatting van de afdekkinggraad van een indicator .. 59. Figuur 11: Onvoldoende aandacht voor moeilijker meetbare 59. Figuur 12: Reductie van het meetobject tot de 60. Figuur 13: Meest gebruikte methoden voor normzetting in de afdelingen van het Ministerie van de Vlaamse Gemeenschap .. 68. Figuur 14: Types van validiteit doorheen het evaluatieproces .. 72. Figuur 15: Budgettaire afdekking per beleidsaspect: meetsurplus en 84.

7 Figuur 16: Voorbeeld van een 88. Figuur 17: Voorbeeld van een geavanceerde tabel: PROMES (RVA).. 89. Figuur 18: Voorbeeld van een 90. Figuur 19: Voorbeeld van een staafdiagram .. 91. Figuur 20: Voorbeeld van een stapeldiagram .. 92. Figuur 21: Voorbeeld van een 93. Bart De Peuter, Joris De Smedt, Wouter Van Dooren & geert Bouckaert V. Steunpunt Beleidsrelevant onderzoek - Bestuurlijke Organisatie Vlaanderen Figuur 22: Voorbeeld van een lijngrafiek .. 94. Tabel 1: Monitoring en evaluatie: verschillen in focus en gebruik (Government Accountability Office, VS) . 22. Tabel 2: Verschillen tussen evaluatie en monitoring.

8 23. Tabel 3: Fundamenten voor een lerende 37. Tabel 4: Beleidsdoelstellingen getoetst aan het SMART-principe .. 45. Tabel 5: Readiness checklist: is de organisatie klaar voor monitoring?.. 47. Tabel 6: Vragen voor de afbakening van het meetsysteem .. 48. Tabel 7: Jobkenmerken, criteria en mogelijke waarden .. 50. Tabel 8: Technische fiche voor een indicator .. 61. Tabel 9: Methoden voor normbepaling: voor- en nadelen en voorbeelden uit de Vlaamse praktijk .. 67. Tabel 10: Elementen voor een technische 99. Tabel 11: Effecttypes op basis van belangrijkheid, intentie en 105. VI Spoor Beleid en Monitoring 1.

9 Inleiding 1. Inleiding In dit tweede deel van de HANDLEIDING gaan we uitgebreid in op het monitoren van beleid. Meten is weten'. Monitoring vormt dan ook een potentieel belangrijke informatiebron voor BELEIDSEVALUATIE . In hoofdstuk 2 staan we stil bij definities van monitoring en de motieven om beleid via indicatoren op te volgen. Vervolgens bekijken we de onderlinge relatie tussen monitoring en evaluatie, hun gelijkenissen en verschilpunten. We gaan dieper in op het meten en evalueren van twee belangrijke criteria: de effici ntie en effectiviteit van het beleid. In hoofdstuk 3 presenteren we een algemeen stappenplan om een monitoringsysteem te ontwikkelen en te introduceren.

10 Wat is het vertrekpunt? Hoe bepalen we de inhoud van het meetsysteem? Hoe ontwikkelen en selecteren we goede indicatoren? Welke normen kunnen we hanteren om de meetwaarden op de indicatoren te beoordelen? Vervolgens gaan we in op het meten zelf. Wat zijn de kenmerken van een goede meting? Welke problemen kunnen er zich voordoen bij het meten, waar moeten we op letten bij de interpretatie van metingen? Hoofdstuk 4 lijst een aantal kritieke slaagfactoren op met betrekking tot de invoering, het beheer en het gebruik van een monitoringsysteem. In hoofdstuk 5 schetsen we een scenario voor de uitbouw van bestaande meetsystemen.