James C. Coyne is Professor Gezondheid-psychologie aan het Universitair Medisch Centrum in Groningen, waar hij wetenschappelijk schrijven en kritisch denken onderwijst. Hij is ook gast-professer aan het ‘Institute for Health, Health Care Policy & Aging Research’ van Rutgers, de ‘State University of New Jersey’. Dr. Coyne is Professor Emeritus Psychologie in Psychiatrie; hij was ook Directeur ‘Behavioral Oncology’ aan het ‘Abramson Cancer Centre’ en ‘Senior Fellow’ aan het ‘Leonard Davis Institute of Health Economics’. Hij fungeerde als Extern Wetenschappelijk Adviseur to bij een 10-tal door de Europese Commissie gefinanceerde gemeenschap-programmas ter verbetering van de zorg bij depressie. Hi heeft 350 artikels en hoofdstukken geschreven (…). De ‘ISI Web of Science’ heeft hem aangeduid als één van de psychologen en psychiaters met de grootste impact ter wereld. (…) Hij blogt ook en levert regelmatig bijdrages aan de blog ‘Science Based Medicine’ en aan de ‘PLOS One Blog, Mind the Brain’. (…)

De geïnteresseerde lezer kan meer documentatie en aanvullingen vinden in een stuk op zijn blog jcoynester.wordpress.com (10 Juni 2014) waarin hij verder zijn bezorgdheid beschrijft omtrent de noodzaak om psychotherapie-research en de literatuur daarrond te hervormen.

————————-

blogs.plos.org/mindthebrain; James Coyne PhD (10 Juni 2014)

Een manifest om psychotherapie-research te redden

Verandering in psychotherapie-onderzoek van brandstof voorzien d.m.v. meer kritisch onderzoek en publieke verantwoordelijkheid

De verklaringen van John Ioannidis dat de meeste positieve bevindingen vals zijn [Ioannidis JPA. Why Most Published Research Findings Are False. PLoS Med. (2005) 2: e124; zie ook ‘Een Epidemie van Valse Beweringen’] en dat de meeste baanbrekende ontdekkingen worden overdreven of niet kunnen worden gerepliceerd, zijn evenzeer van toepassing op psychotherapie als op medische biologie.

We moeten een paar tips uit Ben Goldacre’s ‘Bad Pharma’ nemen [Bad Pharma: Hoe Farmaceutische Bedrijven Artsen Misleiden en Patiënten Schade Toebrengen] en de psychotherapie-literatuur opkuisen, net zoals wat werd bereikt bij farmacologische studies. Zeker: er valt nog veel te doen om de kwaliteit en transparantie van farmacologische studies te waarborgen en om alle gegevens bij het publiek te brengen. Maar de psychotherapie-literatuur blijft ver achter en is veel minder betrouwbaar dan de farmacologische literatuur.

Zoals het er nu uitziet, biedt de psychotherapie-literatuur geen betrouwbare gids voor beleidsmakers, klinici en consumenten die pogen om de relatieve kosten en voordelen te beoordelen van het kiezen voor een bepaalde therapie boven een andere. Als dergelijke belanghebbende partijen kritiekloos afhangen van de psychotherapie-literatuur om de door bewijs ondersteunde status van behandelingen te evalueren, zullen ze verward of misleid worden.

Psychotherapie-research is schandalig slecht

Veel RCTs [‘Randomized Controlled Trial’] zijn ‘under-powered’ [De ‘power’ van een statistische test is de waarschijnlijkheid dat het op een correcte manier de ‘null’ hypothese (geen verband tussen 2 gemeten fenomenen) verwerpt, dat deze vals is; uitgedrukt door de P-waarde. Een ‘under-powered’ studie zal waarschijnlijk niet toelaten te kiezen tussen hypothesen met een gewenste significantie.] maar toch worden consistent positieve resultaten verkregen door het her-definiëren van de primaire uitkomsten nadat de resultaten bekend zijn. De typische RCT is een kleine, methodologisch gebrekkige studie uitgevoerd door onderzoekers met sterke loyauteit voor één van de behandelingen die worden geëvalueerd. Welke behandeling de voorkeur krijgt van de onderzoekers is een betere voorspeller van de uitkomst van de proef dan de specifieke behandeling die wordt geëvalueerd.

Veel positieve bevindingen worden gecreëerd door het ‘spinnen’ [een nieuwtje of andere informatie een bijzondere (vooral een gunstige) interpretatie meegeven] van een combinatie van bevestigende ‘bias’ [vooringenomenheid], soepele ontwerp-voorschriften, data-analyse en rapportering, en het najagen van significantie [die er eigenlijk niet is].

Veel studies die als positief worden beschouwd, ook deze die veel worden geciteerd, zijn in principe ongeldige, nietszeggende proeven waarvan de resultaten van de primaire uitkomst worden genegeerd, en post-hoc analyse van secundaire uitkomsten en subgroep-analyses worden benadrukt. Dat ‘Spinnen’ start bij de ‘abstracts’ [samenvattingen van wetenschappelijke artikels] en de resultaten die er gerapporteerd worden zijn meestal positief.

Het grootste deel van de psychotherapie-RCTs omvatten vergelijkingen tussen een aktieve behandeling en een inaktieve of neutrale controle-groep zoals personen op een wachtlijst, zonder behandeling of die ‘routine zorg’ krijgen die doorgaans niet wordt gedefinieerd maar waarin blootstelling aan een behandeling van voldoende kwaliteit en intensiteit niet is verzekerd. In het beste geval kunnen deze studies ons vertellen of een behandeling beter is dan helemaal niets doen of dan dat patiënten behandeling verwachten omdat ze zijn ingeschreven voor een proef maar geen behandeling krijgen (‘nocebo’ [‘negatief verwachtingseffect’; een patient anticipeert mogelijke nevenwerkingen van een farmacologisch middel en ondervindt die ook, zelfs al is het middel nep is]).

Meta-dwaaheid?

Meta-analyses [onderzoek waarin onderzoeken over een bepaald fenomeen worden samengevoegd om één meer correcte uitkomst te bekomen] van psychotherapie bepalen vaak de besluiten niet nader op basis van bewijs-graad, negeren klinische en statistische heterogeniteit, bekijken de ‘allegiance’ [loyauteit, trouw, aanhankelijkheid] van de onderzoekers onvoldoende, bagatelliseren de overheersing door kleine studies met statistisch onwaarschijnlijke aantallen positieve bevindingen, en negeren de mate waarop positieve effekt-groottes voorkomen bij vergelijkingen tussen aktieve en inaktieve behandelingen.

Meta-analyses van psychotherapieën worden sterk bevooroordeeld in die zin dat wordt besloten dat behandelingen zouden werken, vooral wanneer ze worden uitgevoerd door degenen die hun belangen-conflicten niet melden, waaronder ontwikkelaars en promotors van behandelingen die financieel zouden winnen (geïnteresseerden kunnen ook ‘Critical analysis of a meta-analysis of a treatment by authors with financial interests at stake’ door dezelfde auteur lezen…) als ze worden ‘gewaarmerkt’ als zijnde “ondersteund door bewijs”.

Globaal gezien zijn meta-analyses te sterk afhankelijk van ‘under-powered’, gebrekkige studies die werden uitgevoerd door onderzoekers met een sterke loyaliteit voor een bepaalde behandeling of de bevinding als zou psychotherapie in het algemeen doeltreffend zijn. Wanneer controles worden ingevoerd voor risico op vertekening of onderzoeker-trouw, verminderen of verdwijnen de effekten zelfs.

Belangen-conflicten geassocieerd met het feit dat voor auteurs aanzienlijke financiële voordelen op het spel staan, worden zelden vermeld in de studies die worden beoordeeld of de in meta-analyse zelf.

Benoeming van behandelingen als zijnde ‘ondersteund door bewijs’

Er zijn lage drempels voor professionele groepen (zie ook ‘Troubles in the Branding of Psychotherapies as “Evidence Supported”’) zoals de ‘American Psychological Association Division 12’ (http://www.div12.org; “Website on Research-Supported Psychological Treatments”) of gouvernementele organisaties zoals de ‘US Substance Abuse and Mental Health Services Administration’ (SAMHSA) om te verklaren dat behandelingen “ondersteund” zijn door “bewijzen”. Er worden zelden behandelingen ondoeltreffend of schadelijk geacht door deze groepen.

Professionele groepen hebben belangen-conflicten door het feit dat ze willen dat hun leden in staat zijn te beweren dat de behandelingen die ze in de praktijk aanbieden ‘evidence-based’ zijn, terwijl ze de keuze van behandelaar niet willen beperken door het als ondoeltreffend labelen van de behandelingen. Andere bronnen van evaluatie zoals SAMHSA zijn sterk afhankelijk van en staan kritiekloos tegenover wat promotors van bepaalde psychotherapieën indienen als aanvragen voor ”evidence-supported” status.

De mogelijkheid dat er geen consistente verschillen zijn tussen gestandaardiseerde, geloofwaardige behandelingen voor klinische problemen, wordt routinematig belachelijk gemaakt door het ‘dodo bird verdict’ (verwijzend naar de bewering dat alle psychotherapieën, ongeacht hun specifieke componenten, leiden tot gelijkwaardige resultaten) en afgewezen zonder systematische aandacht voor de literatuur betreffende specifieke klinische problemen. Sommige studies vinden inderdaad verschillen tussen de twee aktieve, geloofwaardige behandelingen wat betreft het ontbreken van duidelijke onderzoeker-trouw, maar deze zijn ongebruikelijk.

De fraude van ‘Continuing Education Credit’

[Een ‘continuing education unit’ (CEU) of ‘continuing education credit’ (CEC) is een maatstaf die wordt gebruikt bij programmas voor permanente opleiding, in het bijzonder deze die vereist worden bij een gecertificeerd beroep, opdat de professioneel een licentie zou krijgen of mag houden.]

De vereiste dat therapeuten ‘continuing education credit’ krijgen, is bedoeld om consumenten te beschermen tegen verouderde, ondoeltreffende behandelingen. Er is onvoldoende toezicht op de wetenschappelijke kwaliteit van wat wordt aangeboden. Nep-behandelingen worden gepromoot met pseudo-wetenschappelijke claims. Organisaties zoals de ‘American Psychological Association’ (APA) verbieden groepen hun leden uitspraken te doen die kritiek geven op de kwaliteit van wat wordt aangeboden en APA blijft ‘Education Credit’ geven voor valse en onbewezen behandelingen zoals ‘thought field therapy’ en ‘somatic experiencing’.

Het bieden van mogelijkheden voor ‘continuing education credit’ is een lucratieve business voor zowel accreditatie-agentschappen en sponsors. In de competitieve wereld van workshops en trainingen, overtroeft de entertainment-waarde het bewijs. Training in het verstrekken van ‘evidence-based’ handboek-behandelingen heeft weinig aantrekkingskracht als alternatieve trainingen patiënten-getuigenissen benadrukken en gebruik maken van dramatische vertoningen van plotseling therapeutisch succes d.m.v. zorgvuldig pers-klaar gemaakte videos, vaak met acteurs in plaats van de echte patiënten.

Het waarmerken van behandelingen als zijnde ondersteund door bewijs, wordt gebruikt om workshops en trainingen te adverteren waarin de gepresenteerde publiek-behagende interventies niet worden onderbouwd met bewijsmateriaal.

Degenen die ‘Acceptance and Commitment’ (ACT) workshops bijwonen, krijgen videos te zien waar de presentator mee-huilt met patiënten die worden herinnerend aan hun kindertijd. Ze zouden zich moeten afvragen: “Onderhoudend en onroerend misschien, maar is dit een ‘evidence-supported’ techniek?”.

Psychotherapieën met ietwat bewijs-ondersteuning worden verdedigd voor aandoeningen waarvoor er geen bewijs voor hun werkzaamheid is. Wat zou worden verworpen als “off-label toepassingen” voor geneesmiddelen [het gebruik van farmacologische agentia voor een niet-erkende indicatie, voor een niet-erkende groep, in een niet-erkende dosering of toediening-vorm] wordt routinematig aanvaard in psychotherapie-workshops.

We weten dat we beter kunnen

Psychotherapie-research heeft aanzienlijke verfijning bereikt qua ontwerp, analyses en strategieën om te compenseren voor het ontbreken van gegevens en het ophelderen van mechanismen van verandering.

Psychotherapie-onderzoek blijft achter t.o.v. farmaceutisch onderzoek, maar toch heeft het aanbevelingen en vereisten voor proef pre-registratie, met vermelding van de primaire uitkomsten; invullen van CONSORT check-lijsten [vraagt naar informatie bij het rapporteren van een RCT] om te verzekeren dat de basisgegevens van proeven worden gerapporteerd; pre-registratie van meta-analyses en systematische reviews op sites zoals PROSPERO [internationaal register van systematische reviews], evenals het invullen van de PRISMA [‘Preferred Reporting Items for Systematic Reviews and Meta-Analyses’; ‘evidence-based’ minimale set items voor het rapporteren in systematische reviews en meta-analyses] checklist voor geschikte rapportering van meta-analyses en systematische reviews.

Verklaringen van belangen-conflicten zijn zeldzaam en het bekend-maken van auteurs die routinematig geen melding maken van belangen-conflicten is nog zeldzamer.

Het achterwege laten van pre-geregistreerde protocollen in gepubliceerde rapporten van RCTs komt vaak voor en er is weinig controle op de discrepanties in samenvattingen van resultaten die daadwerkelijk werden verkregen of beloofd door auteurs bij de pre-registratie. De vereisten worden inconsistent en onvolledig nageleefd. Er is weinig kans dat niet-conforme auteurs verantwoordelijk zullen worden gesteld en een sterkte stimulans om positieve resultaten te rapporteren voor een studie, om in een prestigieus tijdschrift zoals het APA’s ‘Journal of Consulting and Clinical Psychology’ (JCCP) te worden gepubliceerd. Het onderzoeken van de samenvattingen van artikels gepubliceerd in JCCP geeft de indruk dat proeven bijna altijd positief zijn, zelfs als ze heel erg ‘under-powered’ zijn.

Psychotherapie-reasearch wordt uitgevoerd en geëvalueerd binnen een club, een gemeenschap van wederzijdse bewondering waarin de leden voorzichtig zijn om de resultaten van anderen niet te kleineren of standaarden af te dwingen die ze zelf zou minder streng zouden willen als het gaat om het publiceren van hun eigen onderzoek. Er is rivaliteit tussen “stammen” zoals psycho-dynamische therapie en cognitieve gedrag-therapie, maar onderdrukking van kritiek binnen de “stammen” en via zware inspanningen om te laten uitschijnen dat de leden van de “stammen” enkel doen wat werkt.

Hervorming van buiten-uit

Tijdschriften en hun redacteurs hebben zich vaak verzet tegen veranderingen zoals de goedkeuring van CONSORT, gestruktureerde samenvattingen en pre-registratie van proeven. De ‘Communications and Publications Board’ van de ‘American Psychological Association’ heeft er voor gezorgd dat APA één van de laatste grote, macht-houdende uitgevers was om CONSORT te onderschrijven, en aanvankelijk werd een ontsnapping-clausule geboden die stelde dat CONSORT enkel van toepassing was op artikels die expliciet werden bestempeld als een gerandomiseerde proef. Het bestuur blokkeerde ook de druk uitgeoefend door de uitgever van ‘Health Psychology’ voor het gebruik van gestruktureerde samenvattingen die betrouwbaar rapporteerden over de details die nodig zijn ter evaluatie van wat werkelijk werd gedaan in de proeven en van de resultaten de werden verkregen. In beide gevallen was het bestuur het meest bezorgd over implicaties voor de belangrijkste afzetmarkt wat betreft klinische proeven voor haar tijdschriften, ‘Journal of Consulting’ & ‘Clinical Psychology’.

Hoewel over het algemeen geen afnemer van psychotherapie-proeven, vertonen de tijdschriften van de ‘Association for Psychological Science’ (APS) tekenen dat ze nog slechtere overtreders zijn wat betreft het negeren van standaarden en het toelaten van bevestigende vooringenomenheid. Zo kost het een lezer veel moeite om te ontdekken dat een ‘high-profile’ artikel in ‘Psychological Science’ eigenlijk een gerandomiseerde proef was, en verder speurwerk om te ontdekken dat het een nietszeggende, ongeldige proef was. Er is geen enkele aanwijzing voor het feit dat ooit een CONSORT checklist werd ingediend voor de studie. En ondanks het feit dat de auteur de proef uit ‘Psychological Science’ gebruikte om haar workshops te promoten, werd geen melding gemaakt van een belangen-conflict.

Het nieuwe tijdschrift ‘Clinical Psychological Science’ van de APS vertoont tekenen van nog meer selektieve publicatie en bevestigende vooroordelen dan de APA tijdschriften. Er zal ongetwijfeld een strijd woeden tussen de klinische tijdschriften van de APS en de APA voor de top-positie in de hiërarchie wat betreft het publiceren van alleen maar artikels die aandacht trekken, zelfs als ze gebrekkig zijn, terwijl ze andere (negatieve proeven en mislukte replicaties) overlaten aan tijdschriften die als minder prestigieus worden beschouwd.

Voor een hervorming moet de druk van buiten het gebied van de psychotherapie komen: van mensen zonder gevestigde belangen bij het promoten van bepaalde behandelingen of van de behandelingen aangeboden door leden van professionele organisaties. De druk moet komen door sceptische externe toetsing door consumenten en beleidsmakers die zijn uitgerust om de spelletjes te begrijpen die psychotherapie-onderzoekers spelen bij het late uitschijnen dat alle behandelingen werken.

Specifieke tijdschriften zijn terughoudend om kritiek op hun publicatie-praktijken naar buiten te brengen. Als we in eerste instantie geen toegang kunnen krijgen tot publicatie van onze bezorgdheid, in de gewraakte tijdschriften, kunnen we betrouwen op blogs en Twitter om uitgevers op te roepen en uitleg te vragen over dwalingen van de ‘peer-review’ en het handhaven van de kwaliteit.

We moeten het scepsis-niveau van de belanghebbenden verhogen, bedrevenheid voor kritische evaluatie op grote schaal verspreiden en de toepassing hiervan verzekeren bij het beoordelen van overdreven claims en methodologische tekortkomingen in artikels gepubliceerd in prestigieuze, ‘high-impact’ tijdschriften. Slechte wetenschap bij de evaluatie van psychotherapie moet worden erkend als de huidige norm, niet als een anomalie.

We zouden ver kunnen geraken door het afdwingen van regels die er al zijn

We moeten de mislukkingen van tijdschriften om de regels over pre-registratie, bekendmaking van belangen-conflicten en discrepanties tussen gepubliceerde klinische studies en hun pre-registratie, continu publiek maken.

Er zijn te veel flagrante voorbeelden van onderzoekers die niet geven wat ze beloofden bij de pre-registratie, die registreren nadat de proef is begonnen met het aanwerven patiënten, en reviewers die blijkbaar niet altijd controleren of de primaire uitkomsten en analyses die werden voorgehouden bij de registratie van de proef daadwerkelijk worden geleverd.

Uitgevers zouden moeten

• een expliciete verklaring eisen of de proef werd geregistreerd en waar.
• aandringen dat reviewers de registratie van de proef consulteren, inclusief modificaties, en commentaar geven op welke afwijking dan ook.
• uitdrukkelijk aangeven welke registratie gedateerd is nadat de aangroei van patiënten is begonnen.

CONSORT voor samenvattingen zou moeten worden verspreid en afgedwongen. Veel van de hype en verkeerde voorstellingen in de media begint met de eigen draai die auteurs in een samenvatting meegeven. Uitgevers moeten er op aandringen dat de belangrijkste analyses voor de pre-geregistreerde primaire uitkomst in de samenvatting worden voorgesteld en benadrukt bij de interpretatie van de resultaten.

Het zou niet meer mogen dat ‘under-powered’ verkennende piloot haalbaarheid-studies doorgaan als RCTs wanneer ze positieve resultaten opleveren. Er moet een ordelijke opéénvolging van de behandeling-ontwikkeling plaatsvinden vooraleer wat in wezen fase-3 [ter bevestiging van de doeltreffendheid en de veiligheid] gerandomiseerde proeven [gecontroleerd multi-centrum en bij grote patiënten-groepen] zijn, uit te voeren.

Bij de hervorming van psychotherapie-research, valt er iets te leren van farmacologische proeven. Een proces van interventie-ontwikkeling zou moeten bestaan uit het vaststellen van de haalbaarheid en fundamentele parameters van klinische proeven moeten vooraf gaan aan fase-3 gerandomiseerde studies, maar er kan niet worden verwacht dat ze fase-3 worden of effekt-groottes opleveren met als doel de werkzaamheid aan te tonen of ter vergelijking met andere behandelingen.

Het gebruiken van een wacht-lijst, geen behandeling en slecht gedefinieerde routine-zorg moet worden ontmoedigd als controle-groepen. Voor klinische aandoeningen waarvoor gevestigde behandelingen zijn, zouden ‘head-to-head’ vergelijkingen moeten worden uitgevoerd, alsook het opnemen van controle-groepen die het mechanisme zouden kunnen ophelderen. Een belangrijk voorbeeld van dit laatste zou gestruktureerde, ondersteunende therapie kunnen zijn die controleert voor aandacht en positieve verwachting. Er valt weinig te winnen van het verdere accumuleren van onderzoek waarbij de werkzaamheid van de verkozen behandeling wordt gewaarborgd door vergelijking met een verlamde controle-groep waarbij enig denkbaar element van affectieve zorg ontbreekt.

Evaluaties van behandeling-effekten moeten rekening houden met ‘prior probabilty’ [‘voorafgaande waarschijnlijkheden’; probabiliteit die de onzekerheid uitdrukt over een hypothese vooraleer er met bewijsmateriaal wordt rekening gehouden] die wordt gesuggereerd door de brede literatuur, over vergelijkingen tussen twee aktieve, geloofwaardig behandelingen. De goed bestudeerde literatuur over behandeling van depressie suggereert een aantal parameters: effekt-grootte geassocieerd met een behandeling is sterk verminderd wanneer vergelijkingen beperkt blijven tot geloofwaardige, aktieve behandelingen; studies van betere kwaliteit; en introduceren van controles voor onderzoeker-trouw. Het is onwaarschijnlijk dat initiële claims omtrent het feit dat een doorbraak-behandeling de efficiëntie van bestaande behandelingen zou overtreffen, zullen blijven worden ondersteund in grotere studies uitgevoerd door onderzoekers die onafhankelijk van ontwikkelaars en promotors werken.

Het openbaar maken van belangen-conflicten moet worden afgedwongen, en het niet openbaar maken moet worden geïdentificeerd in de correctie-verklaringen en verder bestraft. Onderzoeker-trouw dient te worden overwogen bij de beoordeling van het risico op vooringenomenheid .

Ontwikkelaars van behandelingen en personen die een aanzienlijke financieel voordeel halen uit een behandeling die ‘evidence-based’ wordt genoemd, moeten worden ontmoedigd om meta-analyses van hun eigen behandelingen uit te voeren.

Proeven moeten worden uitgevoerd met groepen die voldoende groot zijn om minstens matige effekten te kunnen opsporen. Bij publicatie van positieve bevindingen van ‘under-powered’ studies, pluizen lezers de literatuur uit op vergelijkbare ‘under-powered’ proeven die gelijkaardige positieve effekten bereiken.

Meta-analyses van psychotherapie zou ‘p-hacking’ technieken [het manipuleren van een statistische analyse, door het aanpassen van de resultaten, om de significantie (P-waarde) op te smukken] moeten omvatten om de kans te evalueren dat een patroon van significante bevindingen de vermoedelijke waarschijnlijkheid overschrijdt.

Bijwerkingen en nadelen moeten routinematig worden gerapporteerd, inclusief de kosten door gemiste kansen – zoals het niet kunnen verkrijgen van een meer doeltreffende behandeling.

We moeten de cultuur rond het uitvoeren van en rapporteren over psychotherapie-onderzoek verschuiven. We moeten weg van het aanprijzen van overdreven claims over een behandeling en vals bewijs dat wordt gegenereerd om opportuniteiten voor therapeuten en hun professionele organisaties te bevorderen. In de plaats daarvan is het veel lovenswaardiger om robuuste, duurzame, zelfs bescheidener claims aan te bieden, en hype en fraude te roepen op een manier die de geloofwaardigheid van psychotherapie behoudt.

Het alternatief [niet gewenst dus] is psychotherapie-onderzoek te blijven beschermen tegen strenge kritiek en tegen het handhaven van standaarden voor het uitvoeren en rapporteren van onderzoek. Men moet alleen maar het brandmerken van psychotherapieën als ‘evidence-based’ toestaan om in diskrediet te vallen.