Lasă datele să vorbească? Nu, nu întotdeauna

Frank L. Schmidt, un profesor și cercetător respectat la Universitatea din Iowa, a susținut sâmbătă o conferință la cea de-a 20-a convenție a Asociației pentru Științe Psihologice despre modul în care pot sta datele științifice. Da, este corect, datele empirice - chiar și cele publicate în reviste respectate, revizuite de colegi - nu spun în mod regulat adevărul.

Discuția lui Schmidt a avut mare participare într-una dintre cele mai mari săli de bal de la Sheraton Hotel and Towers din Chicago, unde se ține convenția. Deși o prezentare inegală, principalele puncte ale lui Schmidt s-au întâlnit.

Una dintre ele este că interpretarea naivă a mai multor seturi de date este adesea probabil cea mai corectă - aparatul de ras Occam („cea mai simplă soluție este de obicei cel mai bun răspuns”). Schmidt susține că o cercetare bună găsește structura simplă care stă la baza datelor complexe.

El a rezumat că există două motive principale pentru care datele pot „sta” în cercetare - erori de eșantionare și erori de măsurare.

Cea mai mare critică a lui Schmidt a fost îndreptată către fetișul științei psihologice cu testarea semnificației - de exemplu, semnificația statistică. El dorește ca psihologia să se îndepărteze mult de dependența și fascinația sa de semnificația statistică, deoarece este o măsură slabă, părtinitoare, care, practic, spune puțin despre datele subiacente sau ipoteza.

Schmidt a descris șase mituri despre testarea semnificației înconjurătoare. Un mit a fost că o valoare p bună este un indicator al semnificației, atunci când este într-adevăr doar o indicație a nivelului de putere al unui studiu. Un altul a fost acela că, dacă nu s-a găsit nicio semnificație care să însemne că nu s-a găsit nicio relație între variabile (în realitate, aceasta poate însemna pur și simplu că studiul nu a avut suficientă putere).

Soluțiile Schmidt sunt simple - raportați dimensiunile efectelor (estimări punctuale) și intervale de încredere în loc și eliminați cu totul testele de semnificație.

El a încheiat jefuirea noului accent pus pe metaanalize în cercetarea psihologică, chemând în mod special jurnalul Buletin psihologic. Într-un studiu încă de publicat, el și alți cercetători au examinat toate meta-analizele publicate în Buletin psihologic din 1978-2006 - 199 de studii în total.

Cercetătorii au descoperit că 65% din aceste studii examinate au folosit un model cu „efecte fixe” pentru meta-analiză. Schmidt a susținut că în modelele cu efecte fixe relațiile de date sunt subestimate (cu până la 50%) și că cercetătorii supraestimează cât de precise sunt (cât de puțină eroare există în această estimare). În schimb, Schmidt preferă modelele cu „efecte aleatorii” care să țină cont mai bine de aceste variații.

El a menționat, de asemenea, că, în 90% din studiile examinate, nu au fost efectuate corecții pentru eroarea de măsurare - unul dintre motivele majore pe care le menționează că datele pot „sta” în cercetarea psihologică.

Având în vedere această analiză, Schmidt sugerează că o mulțime de meta-analize publicate în reviste revizuite de colegi ajung la concluzii incorecte sau defecte.

Din păcate, este puțin probabil ca această stare să se schimbe în curând. În timp ce multe reviste psihologice au adoptat standarde mai stricte pentru publicarea cercetărilor care aderă mai bine la sugestiile lui Schmidt, multe încă nu fac și par să nu aibă intenția de a se schimba.

Ce înseamnă acest lucru pentru o persoană obișnuită este că nu puteți avea încredere în fiecare studiu publicat doar pentru că apare într-un jurnal evaluat de colegi, care este apoi publicat în mass-media ca „fapt” printr-un comunicat de presă. Astfel de fapte sunt maleabile, schimbătoare și defecte. Numai printr-o lectură atentă și o analiză a unor astfel de studii putem înțelege valoarea datelor pe care le prezintă.