Ce cercetări poți crede?
Oricine citește Lumea psihologiei în mod regulat știe deja despre problemele dintr-o mulțime de studii finanțate de industrie. Însă acest articol sugerează că problemele legate de cercetarea evaluată de către colegi merg mult mai adânc decât simpla tendință de profit. Oamenii de știință sunt părtinitori în multe, multe moduri (nu doar pentru câștiguri monetare). Și această prejudecată apare inevitabil în munca pe care o desfășoară - cercetarea științifică.
Acesta nu este un tambur nou pentru mine - am vorbit despre prejudecățile cercetătorilor în 2007 și despre modul în care cercetătorii proiectează studii pentru a găsi rezultate specifice (acest exemplu a implicat cercetători care au găsit site-uri web cu metode suicidare când au căutat - așteptați - „metode de sinucidere” ”În Google). Am observat cât de practic fiecare studiu din jurnale precum Științe psihologice se bazează aproape exclusiv pe studenți colectați dintr-un singur campus ca subiecte - o limitare semnificativă rar menționată în studiile în sine.
Cu toate acestea, iată adevăratul aspect îngrijorător - aceste tipuri de studii părtinitoare apar în tot felul de reviste. JAMA, NEJM și BMJ nu sunt imuni de la publicarea unor studii mizerabile și defectuoase în medicină și psihologie. Ne gândim la „respectabilitatea” unui jurnal ca la un fel de semn al unui rol de gardian - că studiile care apar în cele mai prestigioase reviste trebuie să fie fundamental solide.
Dar acest lucru pur și simplu nu este adevărat. Împăratul nu este doar gol - supușii lui și-au ascuns hainele pentru a-și continua cariera.
Problema studiilor părtinitoare care a fost publicată a intrat pentru prima dată în lumina reflectoarelor în 2004, când GlaxoSmithKline a fost trimis în judecată de procurorii generali de stat pentru că ascundeau date de cercetare despre Paxil. De atunci, zeci de studii au ieșit la iveală și de atunci au fost publicate alte studii care arată modul în care companiile farmaceutice par să fi ascuns în mod regulat datele relevante de cercetare. Aceste date arată de obicei că medicamentul studiat nu a fost eficient, în comparație cu o pastilă de zahăr, în tratarea oricărei tulburări pentru care a fost destinat. (Bloguri precum Psihologie clinică și psihiatrie: o privire mai atentă și blogul Carlat Psychiatry au mai multe detalii despre aceste studii.)
Dar ce zici de alte tipuri de prejudecăți? Suntem interesați doar de studii în care prejudecata este atât de evidentă sau nu ar trebui să fim preocupați de vreun fel de prejudecată care ar putea afecta fiabilitatea rezultatelor?
Răspunsul este, desigur, că ar trebui să ne intereseze toate formele de părtinire. Orice lucru care poate influența rezultatele finale ale unui studiu înseamnă că concluziile studiului pot fi în discuție.
John Ioannidis, profesor la Universitatea Ioannina, a devenit interesat de această întrebare în cercetarea medicală. Așa că a reunit o echipă de experți de cercetători și statistici pentru a săpa mai adânc și a vedea cât de gravă a fost problema. Ceea ce a găsit nu i-a surprins pe cercetători, dar va fi o surpriză pentru majoritatea oamenilor laici -
Nedumerit, a început să caute modalitățile specifice în care studiile merg prost. Și în scurt timp a descoperit că gama de erori comise a fost uimitoare: de la ce întrebări au pus cercetătorii, la modul în care au înființat studiile, la ce pacienți au recrutat pentru studii, la ce măsurători au luat, la modul în care au analizat datele , la modul în care și-au prezentat rezultatele, la modul în care anumite studii au ajuns să fie publicate în reviste medicale. [...]
„Studiile au fost părtinitoare”, spune el. „Uneori erau în mod evident părtinitori. Uneori era dificil să vezi părtinirea, dar era acolo. ” Cercetătorii s-au îndreptat spre studiile lor dorind anumite rezultate - și, iată, le obțineau. Considerăm că procesul științific este obiectiv, riguros și chiar nemilos în a separa ceea ce este adevărat de ceea ce ne dorim doar să fie adevărat, dar de fapt este ușor să manipulăm rezultatele, chiar și în mod neintenționat sau inconștient.
„La fiecare pas al procesului, există spațiu pentru denaturarea rezultatelor, o modalitate de a face o revendicare mai puternică sau de a selecta ceea ce urmează să fie încheiat”, spune Ioannidis. „Există un conflict intelectual de interese care îi presează pe cercetători să găsească tot ceea ce este cel mai probabil să-i finanțeze”.
Ioannadis a pus la punct un model matematic complex care ar prezice cât de multe cercetări pot fi defecte, pe baza tuturor acestor variabile. Modelul său a prezis că „80 la sută din studiile non-randomizate (de departe cel mai frecvent tip [- în special în cercetarea psihologică]) [se vor dovedi a fi greșite, la fel ca 25 la sută din studiile randomizate presupuse standard de aur și ca până la 10 la sută din studiile randomizate mari standard de platină. ”
Apoi a pus acest model la încercare pe 49 de studii care au susținut cele mai apreciate rezultate ale cercetării în cercetarea medicală din ultimii 13 ani. Acestea erau în cele mai citate reviste medicale și erau ele însele cele mai citate articole.
Dintre cele 49 de articole, 45 au susținut că au descoperit intervenții eficiente. Treizeci și patru dintre aceste afirmații au fost retestate, iar 14 dintre acestea, sau 41 la sută, s-au dovedit în mod convingător că sunt greșite sau semnificativ exagerate. Dacă între o treime și jumătate din cele mai apreciate cercetări în medicină s-a dovedit a nu fi de încredere, scopul și impactul problemei au fost incontestabile. [...]
Dintre cele 45 de studii supercitate pe care s-a concentrat Ioannidis, 11 nu au fost niciodată retestate. Poate mai rău, Ioannidis a constatat că, chiar și atunci când o eroare de cercetare este eliminată, aceasta persistă de obicei ani sau chiar decenii. El a analizat trei studii de sănătate proeminente din anii 1980 și 1990, care au fost ulterior respinse și a descoperit că cercetătorii au continuat să citeze rezultatele inițiale ca fiind corecte mai des decât cu defecte - într-un caz timp de cel puțin 12 ani după ce rezultatele au fost discreditate. .
Atât de mult pentru oamenii de știință care re-testează rezultatele publicate ale altora - singurul mod definitiv de a combate părtinirea. Cum ar putea ca aproape 25 la sută dintre cele mai citate studii medicale din ultimii 13 ani să nu fi fost re-testate niciodată? Uluitor.
Rezultatul pentru majoritatea dintre noi este că este aproape imposibil pentru cineva să afle dacă o anumită piesă de cercetare demonstrează cu adevărat rezultate pozitive, noi și solide. Fără a intra într-o analiză detaliată a studiului - și a tuturor precursorilor studiului - introducerea de noi cercetări în context este o sarcină lungă și dificilă. Mai mult, modelul lui Ioannidis sugerează că marea majoritate a cercetărilor psihologice - poate chiar 80% din acestea - este probabil greșită. Aici nu există nicio căptușeală argintie.
Cu excepția poate că echipele de cercetare, cum ar fi Ioannidis, lucrează pentru a arăta modul în care prejudecățile se pot infiltra chiar și în cercetarea „standardului de aur”.
Schimbarea depinde în mare măsură de faptul că cercetătorii individuali învață despre aceste prejudecăți și lucrează mult mai mult pentru a se asigura că studiile lor sunt lipsite de ele. Însă, fără ca un controlor să verifice de fapt proiectarea unui studiu sau metodele statistice, există puține stimulente pentru schimbare. Stimulentele financiare și de carieră pentru cercetători de a continua să publice așa cum au în mod tradițional pentru a-și menține poziția academică și profesională rămân intractabil puternice.
Articolul complet merită timpul tău: Minciuni, Minciuni blestemate și Științe medicale
Deși nu este ideal, iată manualul nostru de acum câțiva ani despre cum să identificăm cercetările discutabile - Cercetarea este bună?
