Decentralisaties zetten evidence based-debat op scherp

Volgend jaar moeten sociale professionals generalistisch werken. Ze kunnen daarbij niet terugvallen op bewezen effectieve methoden. De enige manier om hun werk straks te verantwoorden is realistisch evalueren: wat werkt voor specifieke groepen in bepaalde omstandigheden?

Met de transitie en transformatie van het sociale domein – de jeugdzorg, de maatschappelijke ondersteuning en de reactivering – komt het debat over evidence-based-methoden op scherp te staan. Want terwijl maar liefst acht grote kennisinstituten [1] zich in alle bochten wringen om hun databanken te vullen met bewezen effectieve methoden die gebruikt kunnen – en volgens beleidsmakers en sommige wetenschappers moeten – worden door professionals, wordt het fundament onder het hele sociale bouwwerk er in één ruk onderuit getrokken; de specialistische professional moet (even) het veld ruimen.

De transitie brengt meer gespecialiseerde professionals in de schuldhulpverlening, de jeugdzorg, het maatschappelijk werk, de wijkverpleging, het opbouwwerk en/of het jongerenwerk casemanagers onder in nieuw te vormen buurtteams. Maar hebben deze nieuwe casemanagers in hun alomvattende zorg voor een gezin in de bijstand met jonge kinderen en schulden, voor eenzame ouderen, voor een illegale thuisloze met een verslavingsprobleem of voor een jongere met geradicaliseerde (religieuze of politieke) opvattingen wel iets aan de methoden zoals beschreven in de databanken? Of is het misschien een zegen dat de illusie van het – per definitie gespecialiseerde – evidence-based-werken wordt doorbroken? En ook een zegen dat de muren tussen al die professionals onderling en die tussen de professionals en degenen om wie het uiteindelijk gaat – de kwetsbare en soms overlast bezorgde burger – worden geslecht? Zijn er ook alternatieven voor de gespecialiseerde evidence-based-methoden die per discipline – opbouwwerk, jeugdzorg, volksgezondheid, ggz en maatschappelijk werk – ontwikkeld zijn en aanbevolen worden?

Realistisch evalueren, oog voor complexiteit

Realistisch evalueren is een onderzoeksmethode die Pawson en Tilley (1997) introduceerden in reactie op de dominantie van het positivistische evaluatieonderzoek. Daarbij gaat het vooral om ‘de werkelijkheid’ die het resultaat is van de wijzen waarop mensen de dingen en de handelingen van mensen om hen heen interpreteren. Daarmee bekritiseren deze onderzoekers het idee dat de werkelijkheid via empirische waarneming kenbaar is buiten de interpretaties van mensen om, en meetbaar is via randomized controlled trial (RCT). Het onderzoek dus met een interventie- en een controlegroep en willekeurige toewijzing van proefpersonen aan beide groepen (randomisering), dat het hoogste streven is van de evidence-based methoden van de genoemde databanken.

Pawson en Tilley stellen dat in RCT-onderzoek precies die kenmerken, die de eventuele werking van een interventie zouden kunnen verklaren, zich aan het zicht onttrekken. Óf een interventie werkt is volgens hen afhankelijk van de specifieke kenmerken van de situatie waarin een interventie wordt geïntroduceerd en de specifieke kenmerken van de mensen op wie ze wordt uitgeprobeerd. In RCT’s worden die factoren die kunnen verklaren waarom een interventie werkt via randomisering juist uitgesloten van het experiment.

Het maakt volgens de Realistische Evaluatie methode nogal uit of een interventie wordt gepleegd in een onrustige buurt in Amsterdam of in Zwolle, of reactivering van bijstandsgerechtigden plaatsvindt in een omgeving met beschikbare banen of hoge werkloosheidscijfers, en of problemen met jongeren zich voordoen op het platteland of in de stad. De context is hier allesbepalend en heeft consequenties voor de aard van de mogelijk succesvolle interventie; iets wat niet via RCT’s is vast te stellen, omdat in de experimenten ‘de omstandigheden’ als ‘storende factoren’ worden opgevat. Wat Realistische Evaluatie kan bijdragen is aandacht voor juist die mechanismen die in specifieke omstandigheden gedragsverandering kunnen bewerkstelligen, dat wil zeggen: mechanismen die in de ene context wel en in de andere context niet ‘werken’.

Om de bestaande probleemsituatie goed in kaart te kunnen brengen, introduceren Pawson en Tilley de CMO-configuratie, waarbij C verwijst naar context, M naar mechanisme en O naar uitkomst (outcome). Met behulp van een CMO-configuratie kan de onderzoeker voor zichzelf en voor de stakeholders van de evaluatie – de opdrachtgever, de beleidsmakers, de beleidsuitvoerders en de doelgroep van de interventie – in kaart brengen hoe het sociale probleem precies in elkaar steekt. Vervolgens kan de onderzoeker inzichtelijk maken met welke interventie(s) het sociale probleem kan worden opgelost. Hierbij moet natuurlijk allereerst worden nagegaan wie nu vooral baat heeft bij de interventie en of de belangen van de doelgroep, de beleidsmakers en ook die van de professional zelf wel overeenkomen, en of ze naar dezelfde ‘outcome’ streven.

Realistisch evalueren door generalistische professionals

Vanaf januari 2015 heeft de jeugdzorgmedewerker niet meer alleen de zorg voor jongeren maar moet zij ook het gezin uit de schulden helpen, de schuldhulpverlener moet ook de scheiding van de ouders begeleiden, de maatschappelijk werkster zal ook aan buurtopbouw moeten bijdragen en de verpleegkundige van het consultatiebureau wordt geacht ook opvoedingsadvies te geven. Daar zijn al deze sociale professionals niet voor opgeleid en ze kunnen voor oplossingen niet terecht in hun ‘eigen’ databanken. Niet alleen omdat die gespecialiseerde methoden niet zomaar door elke ‘leek’ toegepast kunnen worden, maar vooral omdat de methodieken getest en getoetst zijn voor specifieke problemen die los staan van de complexe problematieken waar de casemanagers mee moeten werken. ‘Storende factoren’ zullen meer dan in het verleden aanwezig zijn. De enige manier waarop de professionals van de toekomstige buurtteams nog kunnen verantwoorden wat hun bijdrage is – en dat is wat beleidsmakers en politici verwachten – is realistisch evalueren. Zoeken naar die mechanismen die werken – hier en nu en voor deze specifieke doelgroep.

Een voorbeeld daarvan is het onderzoek naar reactivering van langdurig bijstandsafhankelijken in drie gemeentes in Nederland. Met inachtneming van de plaatselijke verschillen in werkgelegenheid, aanpak en sancties (vanuit de WWB) slaagden we erin de mechanismen te achterhalen die in elk van de drie gemeentes succesvol waren in het bewerkstelligen van gedragsverandering en hernieuwde oriëntatie op de arbeidsmarkt. Daarnaast achterhaalden we de redenen waarom zo’n aanpak niet voor iedereen en niet altijd werkte (Bouman-Van ’t Veer, Knijn en Van Berkel, 2011). Realistisch evalueren betekent allereerst de context (C) in kaart brengen. In ons onderzoek betekende dat: nagaan welke gemeenten op welke wijzen de combinatie van de Wmo en de WWB gebruikten om langdurig bijstandsafhankelijken te activeren, welke partijen (gemeente, sociale dienst, welzijnsprofessionals) erbij betrokken zijn, wat hun rol is in de aanpak (financieel, tijd, afstemming tussen afdelingen van de gemeente), hoeveel tijd per cliënt de welzijnsprofessionals tot hun beschikking hebben, welke cliënten voor de projecten worden geselecteerd, waarom de cliënten deelnemen (vrijwillig of op straffe van sancties), wat hun doelstellingen zijn en of die overeenkomen met die van de gemeente.

De tweede stap was het in kaart brengen van de werkzame mechanismen (M); nauwkeurig (via interviews en observaties) analyseren wat de professionals nu precies doen, hoe cliënten daarop reageren en welke methodieken wel of niet succesvol zijn volgens beide partijen. Via vergelijking van de werkzame mechanismen in de drie gemeenten, tenslotte, was het mogelijk te bepalen wat volgens de betrokkenen wel en niet werkt in welke situaties.

In ons onderzoek was dit het optimaal haalbare, maar uiteindelijk onbevredigende resultaat. Wat ontbrak waren de gegevens over de uitstroom naar werk, de uitkomst (O). Ondanks uitgebreide administraties van deelnemers – en afhakers –, van cliënten die het traject hadden afgerond en cliënten die vrijwilligers werk deden, bleken ‘harde’ cijfers over het resultaat van de Wmo-WWB-experimenten niet beschikbaar te zijn.

Pleit dat nu voor een RCT onder langdurig bijstandsafhankelijken, zodat degenen die wel en niet aan een Wmo-WWB-experiment deelnemen met elkaar worden vergeleken, zodat de uitkomst (O) van het experiment beter gemeten kan worden? Nee, een RCT is meer nog dan een Realistisch Evalueren-onderzoek op betrouwbare uitkomstmaten aangewezen. En die ontbreken of zijn te divers en te fragmentarisch in dit domein. De populatie is te divers, het gedrag van de cliënten te wispelturig en hun omstandigheden te complex om te kunnen standaardiseren. Tenslotte zijn de interventies niet duurzaam. Na hooguit twee jaar volgt er vanuit Den Haag nieuw sociaal beleid ten aanzien van reactivering, heeft de gemeente er weer genoeg van, blijkt het te kostbaar, gaat de welzijnsinstelling failliet of worden er buurtteams gevormd die helemaal opnieuw moeten beginnen. Maar in ieder geval weten we nu wel wat de werkzame bestanddelen van de Wmo-WWB initiatieven waren.

Trudie Knijn en Marcel Hoogenboom zijn beiden werkzaam aan de Universiteit Utrecht. Trudie Knijn is hoogleraar Algemene Sociale Wetenschappen, Marcel Hoogenboom is universitair docent Algemene Sociale Wetenschappen.

Hoe draagt kwalitatief onderzoek bij aan kennis over effectieve interventies in het sociale domein? Hierover organiseert Movisie op 16 december 2014 een werkconferentie voor onderzoekers, beleidsmedewerkers en betrokkenen bij erkenningstrajecten van databanken met interventies.

Noten:

1. Het gaat hierbij om Divosa, MOVISIE, het NCJ, het NISB, het NJI, Platform 31, het RIVM en het Trimbos Instituut. Kijk hier voor een overzicht van databanken met effectieve interventies.

Literatuur:

Bouwman-Van ’t Veer, M., T. Knijn en R. van Berkel (2011). Activeren door participeren. De meerwaarde van de Wet maatschappelijke ondersteuning voor re-integratie van mensen in de bijstand. Utrecht: MOVISIE.
Pawson, R. and Tilley, N. (1997). Realistic Evaluation. London: Sage.