Vijf jaar ervaring met ROM

Dr Marleen van Aggelen, senior onderzoeker, deed haar promotieonderzoek naar de sociale ontwikkeling van jonge kinderen. Daarna wilde ze onderzoek liever uitvoeren in de praktijk. Ze kwam terecht in het project ‘Zicht op effectiviteit’ en werkte daaraan mee gedurende een jaar. Vervolgens ging ze naar het Noorden om bij  PIONN, de onderzoeksafdeling van Yorneo, te gaan werken. Daar is zij onder andere betrokken bij het Resultaatgericht Meten oftewel Routine Outcome Monitoring (ROM).

Uitkomsten vragenlijsten?

‘De uitkomsten van de vragenlijsten worden allereerst door de hulpverlener met de cliënt en zijn systeem besproken. Als alle hulpverleners die werken binnen een programma dat doen, levert dat uiteindelijk informatie op over de effectiviteit van het gehele programma. Die resultaten worden jaarlijks met de teams besproken. Hulpverleners en leidinggevenden geven aan waar zij resultaten herkennen, hoe zij deze kunnen verklaren en of deze nog verder te verbeteren zijn. We zetten deze resultaatgerichte manier van werken ook cluster- en instellingsbreed in. Voorwaarde voor vergelijkingen tussen programma’s is onder andere dat er voldoende respons op de vragenlijsten behaald wordt. Het komen tot een voldoende hoge respons kan een proces van jaren zijn. Het duurt lang om ROM te implementeren.’

Ruime ervaring

‘Bij de Hulp aan Huis programma’s van hebben we inmiddels al zo’n 10 à 15 jaar ervaring met het werken met vragenlijsten (ROM). Ruim vijf jaar geleden hebben we hier in de organisatie gezegd: we gaan het organisatiebreed inzetten.  Dat rollen we nu steeds verder uit. Het is essentieel om vooraf goed te bedenken hoe je dat wilt doen. Welke strategie ga je volgen? Bovendien moet je goed evalueren welke programma’s geschikt zijn en hoe je sterke aansluiting bij de praktijk vindt. Sluiten vragenlijsten aan bij doel en doelgroep? Halen we goede en de juiste resultaten uit de analyses. Het is een kwestie van voortdurend bijschaven en aanscherpen, wat moet leiden tot verbetering van je methoden.’

Vragenlijsten

‘Vragenlijsten zijn een belangrijke factor bij ROM. Hoe beslis je welke vragenlijsten je gaat gebruiken? Uitgangspunt is dat de vragenlijsten aansluiten bij het doel en de doelgroep van het programma en dat ze valide en betrouwbaar zijn. Binnen Yorneo betekent dit dat we meestal de CBCL/YSR/TRF, gericht op gedragsproblemen en de NOSI, gericht op de opvoedingsbelasting, gebruiken. De laatste zijn we aan het vervangen door de vragenlijst Gezin en Opvoeding (VG&O). Toch sluit het niet altijd aan. Soms hebben we hele jonge doelgroepen of lichtere programma’s, daarvoor zijn we alternatieven aan het uitproberen. Verder hebben we doelrealisatie ingevoerd. Daarbij kijken we naar de vooruitgang volgens alle betrokkenen: ouders, jongeren, hulpverleners. En de cliënttevredenheid wordt gemeten. Daarmee kunnen wij ook naar externen gegevens leveren over de effectiviteit van programma’s, zoals bijvoorbeeld de prestatie-indicatoren in de jeugdzorg.’

Invullen

‘We merken dat veel van onze klanten graag de vragenlijsten invullen. Zeker als ze zien dat we er ook echt mee gaan werken, bijvoorbeeld door mede op basis van de uitkomsten van de vragenlijsten samen doelen op te stellen en door bij afsluiting van de hulpverlening te kijken op welke punten verbetering is opgetreden. Als er bij de ouders belemmeringen zijn voor het invullen, ondersteunen we ze daarbij. Bijvoorbeeld door samen met een hulpverlener de vragenlijsten in te vullen. Sommige hulpverleners vinden het werken met vragenlijsten wel lastig, want ze willen liefst het gezin direct ondersteunen. Maar als ze inzien waarvoor het behandelinhoudelijk belangrijk is en dat ze er zelf veel aan hebben, gaat het goed. In principe nemen we deze vragenlijsten af aan het begin en het einde van de behandeling. Bij lange behandelingen - van een jaar - doen we dat ook tussendoor.’

Respons

‘Een respons van 80% zou reëel moeten zijn. Maar dat vraagt veel tijd en aandacht. Dan moet echt wel iedereen zich ervoor inzetten. Het gaat erom dat we de lijsten belangrijk maken voor ouders en hulpverleners. Voor de mensen die we ondersteunen maken we duidelijk dat we met de lijsten gestructureerd informatie krijgen over waar we met hen aan kunnen werken. Yorneo werkt met het programma BergOp – waar vragenlijsten ingevoerd worden en dat daarna een profiel levert. Dat biedt handvatten om veel bespreekbaar te maken. De hulpverlener kan mede aan de hand daarvan zichtbaar maken waar de verbeteringen zijn, wat er veranderd is, waaraan ze nog kunnen werken. Ouders worden daar enthousiast van omdat het zo tastbaar wordt.

Managementinformatie

‘We krijgen een grote hoeveelheid informatie. Die is voor management en directie interessant, maar bijvoorbeeld ook voor de gemeentes. Er loopt hier in Drente de pilot ‘Meetbaar beter’ waarin we bekijken welke managementinformatie we hieruit kunnen halen en teruggeven aan de gemeentes. Dat vraagt veel samenwerking en afstemming met andere instellingen. Het is wel essentieel dat je deze manier van werken structureel implementeert in de organisatie. Je moet het faciliteren, dus een deel van je budget hiervoor reserveren.’

Benchmarking?

‘Daar zitten nogal wat haken en ogen aan. De cijfers gaan gepaard met een verhaal. Het verhaal moet altijd in context verteld worden. Anders ga je verkeerde conclusies trekken. Qua respons kan het per instelling heel verschillend zijn. Er worden verschillende vragenlijsten gebruikt en sommige vragenlijsten zijn meer gevoelig voor verandering dan andere. Je kunt dus niet alles op een grote hoop gooien en vergelijkingen maken. Daarvoor is de informatie veel te diffuus en zijn er nog veel te veel verschillende factoren. Op termijn liggen er natuurlijk mogelijkheden.

Toekomst

‘Weet je waarvoor dit een fantastisch instrument zou kunnen zijn? In Nederland hebben we meer dan 1000 interventies. Van 5 tot 10 procent weten we dat ze werken. Door structurele ROM over een breed aantal organisaties die met dezelfde interventies werken, zou je meer zicht kunnen krijgen op de werking van die interventies. Uiteindelijk zou je het aantal interventies fors kunnen indikken. Dat zou het een stuk overzichtelijker maken voor hulpverlenend Nederland. Je moet de gegevens wel altijd blijven benutten – de sector moet er wel wat aan hebben. Dat is belangrijk. En het moet aansluiten bij de interventies, omdat je daarmee de veranderingen bewerkstelligt. Ik vind dat de klant recht heeft op de beste zorg; wat voor hem het meest effectief is. Dat moeten we onderbouwen. Een kind moet goede zorg krijgen. Met ROM hebben we een manier van meten in handen waarmee we onderbouwd en in de volle breedte voor verbetering kunnen zorgen.’