Hopa! La urma urmei, nu există „criză de replicabilitate” în știința psihologică

Când aveți un proiect de cercetare - Colaborarea în domeniul științei deschise (OSC) - care include 270 de oameni de știință care lucrează la științe avansate, ați spera că vor obține unele dintre elementele de bază corecte. La fel ca proiectarea unui studiu randomizat, care era metodologic sănătos și care putea rezista la examinarea colegilor lor.

Dar articolul revoluționar publicat în august 2015 de 44 de cercetători, „Estimarea reproductibilității științei psihologice” (Nosek și colab., 2015) pare să fi avut unele defecte semnificative. Un nou articol sugerează că, de fapt, nu există o „criză de replicabilitate” în psihologie.

Patru cercetători de la Universitatea Harvard și Universitatea din Virginia (Gilbert și colab., 2016) și-au publicat concluziile în Ştiinţă (site-ul lor de replici de psihologie găzduiește toate datele și materialul). Ei cred că au găsit trei erori statistice majore în studiul original care pun sub semnul întrebării constatările sale. Noii cercetători susțin: „Într-adevăr, dovezile sunt în concordanță cu concluzia opusă - că reproductibilitatea științei psihologice este destul de mare și, de fapt, statistic nu se poate distinge de la 100%”.

Hopa.

Studiul original (Nosek și colab., 2015) a încercat să reproducă concluziile din 100 de experimente raportate în lucrări publicate în 2008 în trei reviste de psihologie de rang înalt. Prima critică a studiului este că aceasta nu a fost o selecție randomizată a studiilor de psihologie. În schimb, grupul Nosek și-a limitat selecția de studii la doar trei reviste reprezentând două discipline meschine ale psihologiei, lăsând în afara domenii majore precum psihologia dezvoltării și clinica. Apoi Nosek și colab. au folosit un set complex de reguli și criterii arbitrare care au descalificat mai mult de 77% din studiile din cele trei reviste pe care le-au examinat.

Cercetările care încep cu un eșantion părtinitor trebuie să aibă probleme. Prin faptul că nu au început cu un eșantion randomizat, cercetătorii au contribuit deja la stabilirea scenei pentru descoperirile lor dezamăgitoare.

Să schimbăm (semnificativ) studiile pe care le reproducem

Chiar mai rău decât a începe cu un eșantion părtinitor, ne-randomizat, a fost modul în care cercetătorii au efectuat efectiv replicile. În primul rând, cercetătorii au invitat „anumite echipe să reproducă anumite studii sau le-au permis echipelor să selecteze studiile pe care doreau să le reproducă”. Mai degrabă decât să aloce în mod aleatoriu cercetătorii la studii care să fie reproduse, aceștia le-au permis cercetătorilor să aleagă - aducând prejudecățile fiecărui cercetător, pentru a alege probabil studii pe care le credeau cel mai puțin probabil să fie reproduse.

Noile studii difereau uneori semnificativ de vechile studii pe care încercau să le reproducă. Iată doar unul (din cel puțin o duzină) de exemple despre modul în care studiul replicat a introdus complicații semnificative:

Într-un alt studiu, studenții albi de la Universitatea Stanford au urmărit un videoclip cu alți patru studenți din Stanford care discutau politicile de admitere la universitatea lor (Crosby, Monin și Richardson, 2008). Trei dintre discutanți erau albi, iar unul era negru. În timpul discuției, unul dintre studenții albi a făcut comentarii jignitoare despre acțiunea afirmativă, iar cercetătorii au descoperit că observatorii s-au uitat mult mai mult la studentul negru, atunci când credeau că poate auzi comentariile celorlalți decât atunci când nu putea. Deși participanții la studiul de replicare erau studenți la Universitatea din Amsterdam, au urmărit același videoclip cu studenții din Stanford vorbind (în engleză!) Despre politicile de admitere ale lui Stanford.

Ar putea studenții unei universități din Amsterdam să înțeleagă cu adevărat ce a fost chiar acțiunea afirmativă în America, având în vedere diferențele culturale semnificative dintre societatea americană și cea din Amsterdam? În mod uimitor, cercetătorii care au efectuat replicarea au spus că studiile sunt „practic identice” (și, în mod firesc, sunt părtinitori să spună acest lucru, deoarece este al lor studiu). Cu toate acestea, cercetătorii originali, recunoscând diferențele culturale semnificative din cele două populații, nu au susținut noul studiu de replicare.

Gilbert și colegii săi au găsit acest tip de problemă nu doar într-una, ci în multe dintre studiile de replicare. Pare ciudat că Nosek și colab. am simțit că acest tip de inconsecvențe nu ar avea impact asupra calității (sau „fidelității” studiului, așa cum o numesc cercetătorii). Cu toate acestea, în mod clar, acestea sunt diferențe calitative semnificative care cu siguranță ar avea un impact asupra replicabilității studiului.

Avem nevoie de mai multă putere!

Un studiu poate rezista sau cădea pe designul său. Iar o parte esențială a proiectării unui studiu de cercetare este aceea putere. Studiul de replicare a folosit un design care era probabil condamnat să eșueze de la început. Proiectele cu consum redus de energie nu pot prelua dimensiunile efectelor pe care le pot studiile cu putere mai mare. Prin alegerea de a merge cu un design cu consum redus de energie, Nosek și colegii și-au asigurat practic descoperirile negative înainte de a colecta un singur punct de date.

Nosek și colegii săi au formulat câteva argumente de tip paie pentru alegerea în design, pe care Gilbert și colab. doborât unul câte unul în răspunsul lor. Concluzia lui Gilbert și a colegilor săi?

Pe scurt, niciunul dintre argumentele aduse [de către cercetătorii de replicare] nu contestă faptul că autorii [noului studiu] au folosit un design cu putere redusă și că (așa cum demonstrează analizele noastre privind datele ML2014) acest lucru a dus probabil la o subestimarea ratei reale de replicare în datele lor.

Alți cercetători în psihologie au efectuat un experiment de replicare similar în 2014 (Klein și colab., 2014). Folosind un design de mare putere, au descoperit că majoritatea studiilor de psihologie pe care le-au examinat s-au reprodus - 11 din 13 experimente repetate. Pentru a testa impactul designului cu putere redusă al lui Nosek și colab., Gilbert și colab. a estimat că rata de replicare a studiului din 2014 ar fi scăzut de la 85% la 34%. O diferență semnificativă și grăitoare.

Deci, ce știm cu adevărat despre reproductibilitatea științei psihologice?

Mai mult decât am crezut. Având în vedere critica lui Gilbert și colab. Și răspunsul mawkish din partea cercetătorilor inițiali, pare mai probabil ca Nosek și colab. studiul a fost critic defect.

Se pare că știința psihologică este mai reproductibilă decât am crezut - o veste bună atât pentru știință, cât și pentru psihologie.

Referințe

Gilbert, D., King, G., Pettigrew, S. și Wilson, T. (2016). Comentează „Estimarea reproductibilității științei psihologice”. Știință, 351, 1037A-1037b.

Gilbert și colab. (2016). Un răspuns la răspunsul comentariului nostru tehnic privind „Estimarea reproductibilității științei psihologice”.

Klein, RA, Ratliff, M Vianello, RB Adams Jr, Š Bahník, MJ Bernstein și colab. (2014). Investigarea variației în replicabilitate: un proiect de replicare „Multe laboratoare”. Psihologie socială, 45, 142-152

Nosek și colab. & Colaborare știință deschisă. (2015). Estimarea reproductibilității științei psihologice. Știință, 349. DOI: 10.1126 / science.aac4716

Nosek și colab. (2016). Răspuns la comentariul despre „Estimarea reproductibilității științei psihologice”. Știință, 351, 1037. DOI: 10.1126 / science.aad9163