De focus zou daarbij vooral gericht moeten zijn op de operationele en algemene doelstellingen van beleid, het instrumentarium dat hiertoe is ingezet, de effecten van alle inspanningen en het budget dat ermee is gemoeid. Een beleidsdoorlichting lijkt daarmee alles te omvatten. De brede scope roept de vraag op wat de toegevoegde waarde van het instrument beleidsdoorlichting is. In dit artikel wordt de beleidsdoorlichting zelf ‘doorgelicht’ en worden handvatten voor de opzet aangereikt.
De beleidsdoorlichting in theorie
Waarom een beleidsdoorlichting?
Het instrument beleidsdoorlichting is in 2006 op rijksniveau geïntroduceerd. Een beleidsdoorlichting is een aanvulling op de bestaande vormen van evaluatieonderzoek. Het instrument is opgenomen in de Regeling Periodiek Evaluatieonderzoek en beleidsinformatie (RPE) van het Ministerie van Financiën om een extra impuls te geven aan het streven naar transparantie van en verantwoording over de rijksbegroting.
Beleidsdoorlichting in de RPE
In de RPE wordt gesproken over twee vormen van evaluatieonderzoek; ex ante en ex post. De eerste wordt omschreven als ‘een systematische analyse van de te verwachten maatschappelijke effecten van beleidsalternatieven in relatie tot de maatschappelijke kosten’. Een ex post-evaluatieonderzoek wordt omschreven als ‘een periodiek onderzoek naar de doeltreffendheid en de doelmatigheid van het beleid, zoals bedoeld in artikel 20 van de Comptabiliteitswet’. Anders gezegd vormt ex ante-evaluatieonderzoek de onderbouwing van het te voeren beleid, waar ex post-evaluatieonderzoek het gevoerde beleid toetst en waardeert. Hoe verhoudt een beleidsdoorlichting zich tot deze twee vormen? Een beleidsdoorlichting kijkt terug op het gevoerde beleid. In die zin wordt het gezien als een ex post-vorm van evaluatieonderzoek. Het heeft ten opzichte van het gebruikelijke evaluatieonderzoek echter een aantal unieke eigenschappen: Een beleidsdoorlichting is een vorm van syntheseonderzoek (Ministerie van Financiën, Regeling Periodiek Evaluatieonderzoek en beleidsinformatie, 2006, artikel 8). Dat wil zeggen dat de doorlichting zoveel mogelijk plaatsvindt op basis van bestaand bron- en onderzoeksmateriaal. Het onderzoeksmateriaal bestaat uit beschikbare ex anteevaluaties (beleidsveronderstellingen) en ex post-evaluaties (effecten van beleid). Een beleidsdoorlichting bestrijkt hiermee het gehele beleidsproces.
Dit komt terug in de onderdelen die conform de RPE in een beleidsdoorlichting aan de orde dienen te komen (Ministerie van Financiën, Regeling Periodiek Evaluatieonderzoek en beleidsinformatie, 2006, artikel 8):
a. Beschrijving en analyse van het probleem dat aanleiding was voor het beleid
b. Beschrijving en motivering van de rol van de rijksoverheid
c. Beschrijving van de onderzochte beleidsdoelstellingen
d. Beschrijving van de gehanteerde instrumenten
e. Beschrijving van de analyse van de maatschappelijke effecten
f. Beschrijving van de budgetten die zijn ingezet.
De onderdelen ‘a’ tot en met ‘c’ betreffen de beleidstheorie en onderdeel ‘d’ de beleidsreconstructie. Onderdeel ‘f’ zou een logisch verband tussen theorie en constructie moeten vormen en bij onderdeel ‘e’ komen de resultaten van het gevoerde beleid aan de orde.
Meerwaarde
Gelet op het voorgaande is de scope van de beleidsdoorlichting tamelijk breed. Het onderscheidende van de beleidsdoorlichting is de verbinding die wordt gelegd tussen de beleidsintenties (ex ante), de beleidspraktijk, de financiën en de uitkomsten van het gevoerde beleid (ex post). Met deze verbinding is ook meteen de meerwaarde geduid; van maatschappelijk probleem tot de effecten van beleid, de gehele beleidscyclus wordt in de beleidsdoorlichting meegenomen. Zoals gezegd wordt voor het doen van uitspraken voornamelijk gebruik gemaakt van bestaand bronmateriaal; er wordt geen nieuw onderzoek uitgevoerd. Ook op dit punt onderscheidt een beleidsdoorlichting zich van andere vormen van evaluatie. Een ex ante-evaluatie is meer explorerend van aard en ex post-evaluatie meer toetsend. Een beleidsdoorlichting kent beperkte omvang, van 20 à 30 pagina’s. Een dergelijke omvang noodzaakt tot scherpte en keuzen en houdt de rapportage kort en snel leesbaar. Door het verbindende, beschrijvende en bondige karakter van een beleidsdoorlichting wordt gewaarborgd dat het concrete en relevante sturingsinformatie oplevert voor de dagelijkse uitvoeringspraktijk. Dit sluit aan bij het streven de beleidsdoorlichting in te passen in de beleidscyclus om deze zonodig aan te passen of bij te stellen.
Tot zover de theorie. Hoe werkt dit in de praktijk echter uit ten aanzien van het totstandkomingsproces en het eindproduct? De auteurs hebben zelf ervaring met beleidsdoorlichting en met de bredere context van evaluatieonderzoek.
Praktijkervaring met beleidsdoorlichting; een opzet
Bezint eer ge begint
Een belangrijke voorwaarde voor het uitvoeren van een beleidsdoorlichting is de aanwezigheid van bestaand bronmateriaal. De kwaliteit van een beleidsdoorlichting is daar dan ook sterk van afhankelijk. Een goede analyse van het te gebruiken bronmateriaal voorafgaand aan het uitvoeren van de beleidsdoorlichting is noodzakelijk om te beoordelen of het zin heeft überhaupt een beleidsdoorlichting uit te (laten) voeren. Dit roept mogelijk een nieuw vraagstuk op, dat betrekking heeft op de diversiteit van het bronmateriaal. Inhoudelijk kunnen uitkomsten van onderzoeken immers verschillen of geven diverse documenten verschillende weergaven van de oorspronkelijke beleidsintenties.
Om met een beleidsdoorlichting genoeg (sturings)informatie voor de uitvoeringspraktijk te genereren, is eenduidigheid in en consistentie van de uitkomsten cruciaal. Het is de uitdaging om tot een eenduidige, consistente lijn te komen, zonder afbreuk te doen aan de diversiteit van het bronmateriaal. Het vroegtijdig aanbrengen van focus en het opstellen van een referentiekader bieden uitkomst.
Kom tot focus en ontwikkel een referentiekader
Als er voldoende bronnen beschikbaar blijken te zijn, is de volgende vraag hoe het beknopte karakter en de scherpte zich verhouden tot de eerdergenoemde brede scope van de beleidsdoorlichting. Hierin schuilt het gevaar veel te willen beschrijven met weinig woorden. Nuances gaan dan verloren en de beleidsdoorlichting blijft teveel ‘boven de materie hangen’. Een beleidsdoorlichting levert in dat geval te weinig sturingsinformatie op voor de dagelijkse uitvoeringspraktijk. Een ander gevaar dat op de loer ligt is teveel te willen uitwijden, waarmee het beknopte karakter verloren gaat.
De remedie heet focus; om te voldoen aan scherpte én beknoptheid is het aanbrengen van een inhoudelijke focus van belang voor een geslaagde beleidsdoorlichting. Een referentiekader helpt hierbij. Een referentiekader bevat een centrale onderzoeksvraag en hypothesen om structuur en richting te geven aan het onderzoek. Op deze wijze wordt perspectief aangebracht in de wijze waarop de tien vragen uit het RPE zullen worden beantwoord (De tien vragen zijn een nadere operationalisering uit ‘de RPE’ van de onderdelen a t/m f van een beleidsdoorlichting). Het is hierbij van belang dat aansluiting wordt gezocht bij de inhoudelijke kennisbehoefte van de opdrachtgever (de beleidsmaker). De ontwikkeling van een referentiekader vergt daarom tijd, inspanningen en het op voorhand maken van keuzen om scherp op het netvlies te krijgen waar de beleidsdoorlichting op zal inzoomen. Hoofd- en bijzaken worden gescheiden. Gezien de brede scope van een beleidsdoorlichting enerzijds en het risico van een gebrek aan focus anderzijds, is dit echter zeker geen verspilde energie; het maakt de verwachtingen in het begin van het proces helder, geeft bovendien tijdig richting aan het onderzoek en voorkomt tussentijdse discussies over de te volgen koers.
Achterhaal de beleidstheorie
De vragen a tot en met c uit de RPE gaan over de beleidstheorie; de oorspronkelijke beleidsvooronderstellingen, ofwel de genetica van het beleid. Aan de hand van de genetica van het beleid wordt inzichtelijk welke aannames aan het beleid ten grondslag liggen. De genetica is veelal (mede) ingegeven door de tijdgeest. Alleen met begrip van achterliggende motivatie van de gemaakte beleidskeuzes kunnen bevindingen over de werking van het beleid
(sinstrumentarium) en de effecten ervan uiteindelijk in het juiste perspectief worden geplaatst. Het is niet gemakkelijk de genetica te achterhalen. Het idee dat beleidsontwikkeling een technisch rationeel proces is, gestuurd vanuit het doel-middel denken, ligt ver achter ons. Beleid komt vaak op incrementele wijze tot stand en is niet altijd gestoeld op onderbouwde ex ante-analyses (inclusief een doorvertaling naar helder omschreven en breed gedragen doelstellingen met een uitvoeringsagenda). Het is daarom complex om een objectiveerbaar beeld te schetsen van de oorspronkelijke beleidsveronderstellingen. Het houden van verdiepende interviews met betrokkenen uit het veld kan hierbij waardevol zijn; de interviews leiden tot aanvullende inzichten en plaatsen bovendien bestaand bronmateriaal in perspectief.
Reconstrueer het beleid
Na het in kaart brengen van de beleidstheorie worden de daadwerkelijk gehanteerde beleidsinstrumenten beschreven. Ook worden specifieke aan het beleid verbonden budgetten in beeld gebracht. Aan de hand van de beschikbare bronnen en verdiepende interviews wordt op deze wijze een beeld gegeven van de werking van het beleid (‘hoe verloopt het?’). Hierbij wordt ingegaan op eventuele knelpunten, sterke punten en verbeterpunten in de werking van het beleid. Deze stap is met name gericht op het terugblikken. Volgens ons kan het terugblikken echter alleen ergens toe leiden wanneer er ook vooruit wordt gekeken. Het beleid is nooit statisch, maar altijd in ontwikkeling. De beleidsdoorlichting beantwoordt dan (mede) de vraag hoe verbeterpunten kunnen worden meegenomen in die ontwikkeling. Hierdoor kunnen de maatschappelijke effecten waar het beleid zich op richt nog beter worden gerealiseerd. Dit vraagt vanzelfsprekend wel inzicht in de beoogde maatschappelijke effecten.
Plaats maatschappelijke effecten in perspectief
Een verbinding tussen beleid en (beoogde) maatschappelijke effecten is van belang in het kader van de transparantie van het beleid, een van de doelstellingen van de beleidsdoorlichting. Toch is het niet de bedoeling dat de beleidsdoorlichting een compleet onderzoek naar de causaliteit wordt. Het gaat, aan de hand van beschikbaar materiaal, vooral om beantwoording van de vraag hoe plausibel het is dat het beleid bijdraagt aan de gewenste maatschappelijke effecten. Het gaat om een kritisch onderzoek (de letterlijke betekenis van doorlichten), maar vindt vooral ook plaats in de reguliere cyclus van het beleid. Voor een meer fundamenteel onderzoek naar de beleidsveronderstellingen en - variabelen zijn andere vormen van evaluatie voorhanden.
Overige aandachtspunten in de opzet
Naast de voorgaande elementen die (kunnen) worden toegepast bij het uitvoeren van een beleidsdoorlichting nog een aantal aandachtspunten:
Een beleidsdoorlichting is een belangrijk instrument voor zowel een beleidsonderdeel van een departement als het Ministerie van Financiën. Een beleidsdoorlichting beschrijft, maar toetst en waardeert eveneens. Zorgvuldigheid in de procesvoering is van belang, temeer omdat de aanbevelingen een bijdrage moeten leveren aan de uitvoeringspraktijk. De conclusies moeten daarom recht doen aan de dagelijkse praktijk. Gezien de vele partijen en belangen moet 'hoor en wederhoor’ goed in het proces zijn ingebouwd. Denk daarbij aan het betrekken van respondenten die een goede afspiegeling zijn van de beleidspraktijk, maar ook aan het instellen van een begeleidingsgroep, die in staat is gevoeligheden tijdig te onderkennen. Zorg er ook voor dat in het proces garanties voor onafhankelijkheid worden ingebouwd. Beleid en financiën hebben nu eenmaal niet altijd dezelfde primaire belangen.
Het is van belang om een goed momentum uit te kiezen om een beleidsdoorlichting uit te (laten) voeren. Als er juist keuzes zijn gemaakt om een nieuwe weg in te slaan met het beleid, komt de beleidsdoorlichting als mosterd na de maaltijd. Natuurlijk kunnen ook dan leereffecten worden bereikt, maar deze zijn veel groter wanneer de beleidsdoorlichting voorafgaand aan een (voorgenomen) beleidswijziging wordt uitgevoerd en daarmee belangrijke input voor de wijziging kan leveren. Dit klinkt als een (te) logische volgorde, maar in de praktijk komt helaas nog maar al te vaak het omgekeerde voor.
Ten slotte
De beleidsdoorlichting is de nieuwe telg in beleidsevaluatieland. Met het instrument moet nog de nodige ervaring worden opgedaan. Positief vinden wij de focus die wordt aangebracht en het grote praktische gehalte van het instrument. Het instrument dwingt tot de nodige keuzes aan de voorkant van het doorlichtingsproces. Als deze keuzes niet vooraf worden gemaakt, dan wordt later in het proces onherroepelijk vragen opgeworpen die de toegevoegde waarde van het instrument teniet kunnen doen.
Over de auteurs:
- David Koppes is thans werkzaam als bestuursadviseur bij de gemeente Haarlemmermeer
- Rutger Morée is adviseur bij de adviesgroep Openbare Orde en Veiligheid van Twynstra Gudde Adviseurs en Managers.
