Kanttekeningen bij ROM

Geert Jan Stams is hoogleraar forensische orthopedagogiek aan de Universiteit van Amsterdam. In zijn oratie liet hij een aantal kritische geluiden horen over de toepassing van Routine Outcome Monitoring ROM in Nederland. In dit interview licht hij zijn standpunten toe.

Nadelen ROM

‘In principe kan Routine Outcome Monitoring een mooi instrument zijn, maar het heeft ook nadelen die zelden benoemd worden. In de eerste plaats vraagt ROM een grote investering van medewerkers en organisaties. De baten moeten daarom zorgvuldig afgezet worden tegen de kosten. Het idee van ROM was dat je de hulpverlening succesvoller kan maken door veranderingen bij individuele cliënten te monitoren en als input voor verdere behandeling te gebruiken. Uit onderzoek blijkt echter tot nu toe dat de resultaten van deze werkwijze bescheiden zijn. Wat ik in de praktijk soms zie, is dat de cliëntgegevens die met ROM zijn verkregen door hulpverleners als ‘rommel’ worden beschouwd, waar je voor de individuele cliënt niets mee kan doordat de informatie gewoon te abstract of te algemeen is: er kunnen geen concrete handelingsaanwijzingen uit afgeleid worden. Maar nog belangrijker is het volgende. Ten onrechte wordt vaak gedacht dat ROM, als veranderingsonderzoek, gebruikt kan worden voor het aantonen van effectiviteit van interventies. Je krijgt voor- en nametingsdata, maar daar heb je in wezen niets aan wanneer het gaat om het aantonen van de effectiviteit van een bepaalde behandeling of interventie. Dat vraagt namelijk om een geschikte controlegroep waar veranderingen tegen afgezet kunnen worden.’

ROM-gegevens in het kader van effectiviteit

‘Zo nu en dan zie ik resultatenmonitors van jeugdzorginstellingen en dan blijkt bijvoorbeeld dat bij zestig procent van de cliënten de problematiek tussen voor- en nameting gelijk is gebleven, bij tien procent is een verslechtering opgetreden en bij dertig procent een verbetering. Dat klinkt niet zo best, maar in feite weten we niet wat deze percentages betekenen. Neem de tien procent cliënten die zijn achteruitgegaan: misschien was het zonder ingrijpen wel nog veel slechter gegaan. Die dertig procent verbetering had je misschien ook wel gezien als er niet was ingegrepen. En bij de zestig procent die gelijk is gebleven, hebben we misschien erger kunnen voorkomen. Je weet het domweg niet. ROM als effectmonitor is dus een farce. Wanneer zorgverzekeraars, gemeenten en andere overheden zich baseren op ROM-gegevens om na te gaan of de gewenste resultaten behaald zijn, dan slaan ze de plank daarmee volledig mis.’

Databestanden

‘Er zijn wel suggesties gedaan om de ROM-gegevens van instellingen te verzamelen in grote databestanden en vervolgens interventies met elkaar te vergelijken. We lopen dan echter het risico dat we wel verschillen zien tussen instellingen en interventies, maar dat deze niet toe te schrijven zijn aan de kwaliteit van instellingen en interventies. Zorgvuldig cliënten in de databestanden zoeken die vergelijkbaar zijn en verschillende interventies hebben ondergaan, zou hier de oplossing zijn. Dit gebeurt bij voorkeur met behulp van propensity score matching. Ik vraag mij echter af of dit haalbaar is. Verschillende kwantitatieve overzichtstudies hebben namelijk laten zien dat zelfs goed gematchte controlegroepen doorgaans niet dezelfde uitkomsten laten zien als onderzoek waarbij cliënten random worden toegewezen aan verschillende interventies (de gouden standaard voor effectiviteitsonderzoek). Ik verwacht dan ook niet dat het mogelijk is om interventies of instellingen eerlijk met elkaar te vergelijken op basis van de aan elkaar genaaide resultatenmonitors van jeugdzorginstellingen, die selectieve gegevens bevatten van vele cliënten die zich moeilijk met elkaar laten vergelijken. Het wordt zoiets als appels met peren vergelijken, of misschien nog wel erger, zoals mevrouw Helder van de PVV onlangs beweerde: “appels met koeien vergelijken”.’

Wat kan wel met ROM?

‘ROM is een werkzaam onderdeel van de interventie wanneer het lukt om het monitoren van veranderingen bij de cliënt daadwerkelijk voor de behandeling te benutten. ROM dwingt de hulpverlener/behandelaar mogelijk ook om behandeltrouw te werken en dat is een eerste voorwaarde om succes met een interventie te kunnen bereiken. ROM kan echter ook voor het tegendeel zorgen, wanneer wordt besloten om op basis van tussentijdse veranderingscores af te wijken van de geprotocolleerde behandeling. In die zin past ROM het beste bij interventies waar op basis van veranderingen bij de cliënt tussentijds, protocollair, beslissingen genomen kunnen worden over de invulling van de behandeling. Nader onderzoek is alleen wel nodig op dit terrein.’ 

Rom als opstap naar effectonderzoek

‘Wanneer ROM-gegevens worden gekoppeld aan procesevaluaties, dan is het mogelijk om te kijken hoe programmakenmerken van interventies samenhangen met veranderingen bij cliënten. Maar dit is niet hetzelfde als effectonderzoek. Er wordt immers niet meer dan samenhang aangetoond. Het kan wel zijn dat we op basis van dergelijk onderzoek een idee krijgen van welke programmaonderdelen bijdragen aan veranderingen bij de cliënt. Dit kan een aanleiding zijn om in experimenteel onderzoek speciaal aandacht te besteden aan deze programmaonderdelen die naar verwachting verantwoordelijk zijn voor de effectiviteit van de interventie. Vervolgens hoeft ROM geen robuust effectiviteitsonderzoek uit te sluiten in termen van random toewijzing aan een experimentele en controlegroep, het zogenaamde Randomized Controlled Trial (RCT). Wanneer veranderingen standaard bij cliënten gemeten worden, dan staat alles al mooi op de rails om een RCT uit te kunnen voeren.’

ROM in perspectief

‘Het is belangrijk om ROM in perspectief te zien en te gebruiken. ROM is wat mij betreft prima wanneer het een integraal onderdeel is van een interventie en als opstap naar RCT. Maar we moeten er vooral naartoe dat we onderzoekdesigns gebruiken waarin we de effectiviteit van interventies kunnen aantonen. Alleen dat opent de weg naar evidence-based hulpverlening. Op dit moment is het zo dat veelal gedacht wordt dat de resultatenmonitors van jeugdzorginstellingen een indicatie geven voor de effectiviteit van interventies en dat op basis hiervan beleid kan worden vastgesteld. Maar dat is nonsens. We lopen hierdoor het gevaar dat we effectieve interventies afserveren en de foutieve interventies stimuleren, alleen maar doordat we niet het juiste onderzoeksdesign gebruiken. Er worden overigens in Nederland diverse RCT’s gedaan met voldoende omvang, bijvoorbeeld bij NPT in Amsterdam en MST in Den Haag. De omstandigheden om RCT onderzoek te doen zijn wel vaak lastig, doordat de nieuwe interventies doorgaans al volledig zijn uitgerold. Je moet RCT bij voorkeur doen bij de start van een nieuwe interventie, zodat je nog kunt vergelijken met het bestaande aanbod waar de nieuwe interventie het alternatief voor is. Wanneer de nieuwe interventie dan vervolgens blijkt te werken, mag je zeggen dat er een wetenschappelijke basis is voor de nieuwe interventie. En alleen dan is het gewenst om de interventie verder uit te rollen.’