Ce înseamnă lipsa reproductibilității în cercetarea psihologică?
Într-o lume ideală, s-ar putea crede că ceva din ordinul a 75 sau chiar 80 la sută din studii ar fi trebuit să reproducă rezultate similare, nu? Deoarece noile studii au fost pur și simplu reconduse pe o altă populație de către cercetători care au urmat cu atenție metodele cercetătorilor originali. În majoritatea cazurilor, cercetătorii au avut, de asemenea, contact direct și cooperare din partea cercetătorilor inițiali.
Dar într-o constatare s-au învârtit o duzină de moduri diferite de când a fost publicată în săptămâna trecută Ştiinţă jurnal, proiectul nu a ajuns aproape de 75%. Doar 36 la sută din replicări au produs rezultate semnificative - comparativ cu 97 la sută din cele 100 de studii inițiale.
Ce înseamnă acest lucru pentru psihologie?
În ciuda faptului că unii au încercat să învârtă această descoperire ca fiind neașteptată sau „nu atât de rea pe cât ar fi putut fi”, acest lucru nu prezintă prea bine pentru știința psihologică. În fiecare lună, sunt publicate sute de noi studii de psihologie. Ceea ce înseamnă această constatare, pe scurt, este că nu sunt de încredere cele mai multe dintre concluziile acestor studii. Ele sunt, de fapt, false.
Din Atlanticul acoperire:
„Rata de succes este mai mică decât aș fi crezut”, spune John Ioannidis de la Universitatea Stanford, a cărui lucrare teoretică clasică De ce cele mai multe rezultate ale cercetărilor publicate sunt false a fost un paratrăsnet pentru mișcarea de reproductibilitate.
„Mi-e rău să văd că unele dintre predicțiile mele au fost validate. Mi-aș dori să se fi dovedit greșit ”.
O altă constatare proastă din noua cercetare este că dimensiunile efectului măsurate au fost de obicei cu 50% mai mici decât ceea ce au descoperit cercetătorii inițiali. Asta înseamnă că, chiar și atunci când rezultatele au fost reproduse de noii cercetători, impactul variabilelor studiate nu a fost aproape la fel de important pe cât se credea inițial.
Motive pentru o reproductibilitate slabă în cercetarea psihologică
Există o duzină de motive diferite pentru această manifestare slabă prin cercetarea psihologică. Dar, înainte de a analiza unele dintre ele, acesta este un strop rece de apă reală, luând rezultate dintr-un singur studiu și generalizându-le. Sau chiar mai rău, a crede că ceva este adevărat atunci când încă nu a fost arătat adevărat de mai mult decât un singur studiu.
Dacă un studiu nu este dublu-orb - așa cum majoritatea acestora nu au fost - propriile prejudecăți ale cercetătorilor pot influența subtil modul în care datele sunt colectate sau analizate. Dacă un cercetător tocmai a petrecut 8 sau 18 luni colectând date doar pentru a nu găsi rezultate semnificative, poate merge într-o expediție de pescuit a datelor pentru a găsi o altă relație de date pe care o poate publica.1 Cercetătorii își schimbă apoi ipotezele originale pentru a se potrivi cu datele de fapt găsit (deoarece majoritatea cercetătorilor încă nu își preînregistrează cercetările cu un serviciu de urmărire - deși acest lucru se schimbă încet).
Alții au sugerat că poate „surprinderea” este o altă explicație - că jurnalele se concentrează în prezent pe publicarea descoperirilor surprinzătoare, deoarece sunt mai populare și mai interesante pentru cititori. Când adăugați posibilitatea de regresie la medie - că variabilele pot fi cele mai extreme atunci când sunt măsurate pentru prima dată, dar mai puțin extreme când sunt măsurate a doua sau a treia oară - sugestia este că acești doi factori se combină pentru a încuraja publicarea studiilor care sunt intrinsec greu a reproduce.
Ce înseamnă pentru știința psihologică?
Natura umană este infinit de complexă. Știința psihologică încearcă să deconstruiască comportamentul uman și emoțiile în bucăți mici pentru a înțelege mai bine întregul. Cu toate acestea, dacă cercetarea nu poate reproduce știința din spatele studiilor, aceasta sugerează că o mare parte din ceea ce publică domeniul în fiecare an nu poate fi de încredere.
Cu toate acestea, nu cunoaștem nici statisticile de reproductibilitate ale majorității științei, deoarece nimic asemănător cu Proiectul de reproductibilitate nu a fost încercat până acum în alte domenii. S-ar putea ca acesta să fie un defect suferit de majoritatea științei sau ar putea fi un defect care să afecteze științele sociale mai mult decât alte științe.
Dar, pe termen scurt, acest lucru subliniază ceva ce am spus întotdeauna - o descoperire științifică psihologică nu este ceva pe care să-ți poți atârna pălăria până când nu este reprodus de un alt cercetător. Se spune că rezultatele care pot fi reproduse sunt „robuste” și, prin urmare, de încredere.
Căutați acest tip de informații atunci când evaluați sau citiți articole de știri pe baza unui nou studiu. Deși nu sunt la fel de sexy ca descoperirile noi, „surprinzătoare”, cercetările care verifică sau pun în discuție ceea ce credem deja că știm sunt la fel de importante.
Pentru mai multe informații…
Atlanticul: Cât de fiabile sunt studiile de psihologie?
The Guardian: Studiul oferă un verdict sumbru cu privire la validitatea rezultatelor experimentelor de psihologie
Mindhacks: nu-l numi revenire
Referinţă
Colaborare în domeniul științei deschise. (2015). Estimarea reproductibilității științei psihologice. Știință, 28.
Proiect de reproductibilitate: Psihologie - datele brute
Note de subsol:
- În caz contrar, tot timpul, banii și efortul au fost irosiți, deoarece puțini cercetători pot sau vor să publice rezultate nule. [↩]
- Și pune cu adevărat în discuție generalizările generale ale autorilor făcute cu privire la aplicabilitatea descoperirilor lor, găsite în aproape fiecare secțiune de discuții din studiile recente de psihologie. [↩]
