Știința este moartă? Într-un Cuvânt: Nu

Acum câteva săptămâni, Jonah Lehrer a scris un articol oarecum amețit și senzaționalist pentru New York-ul intitulat, Adevărul se epuizează: Există ceva în neregulă cu metoda științifică? În el, Lehrer citează dovezi anecdotice (și puține date) pentru a susține afirmația că, probabil, metoda științifică - modul în care ne validăm științific ipotezele cu date și statistici - a mers oribil.

Dar ceea ce Lehrer nu a reușit să observe este că majoritatea cercetătorilor știu deja despre defectele pe care le descrie și lucrează cu sârguință la minimizarea impactului acestor probleme.

Metoda științifică nu este încălcată. Ceea ce Lehrer descrie este pur și simplu știința la locul de muncă - și munca.

Cel mai bun răspuns la acest eseu vine de la scriitorul ScienceBlogs PZ Myers, Știința nu este moartă. În această respingere, Myers subliniază principalele probleme cu știința atunci când nu poate reproduce concluziile anterioare:

1. Regresie la medie: pe măsură ce crește numărul de puncte de date, ne așteptăm ca valorile medii să regreseze la media reală ... și, de multe ori lucrarea inițială se face pe baza rezultatelor promițătoare timpurii, ne așteptăm ca mai multe date să uniformizeze fortuit rezultat semnificativ timpuriu.
2. Efectul sertarului de fișiere: rezultatele care nu sunt semnificative sunt greu de publicat și sfârșesc ascunse într-un dulap. Cu toate acestea, ca urmare a rezultatelor, rezultatele contrare devin mai interesante și publicabile.
3. Tendința investigatorului: este dificil să menții pasiunea științifică. Cu toții ne-ar plăcea să vedem ipotezele noastre validate, așa că avem tendința de a alege în mod conștient sau inconștient rezultatele care favorizează opiniile noastre.
4. Tendința comercială: companiile medicamentoase vor să câștige bani. Ei pot câștiga bani dintr-un placebo dacă există un sprijin statistic pentru acesta; există cu siguranță o tendință spre exploatarea valorilor aberante statistice pentru profit.
5. Varianța populației: Succesul într-un subgrup bine definit al populației poate duce la un pic de fluaj: dacă medicamentul ajută acest grup cu simptome bine definite, poate ar trebui să îl încercăm pe acest alt grup cu simptome marginale. Și nu ... dar aceste numere vor fi utilizate în continuare pentru estimarea eficacității sale generale.
6. Șansă simplă: am găsit că este una greu de comunicat cu oamenii. Dar dacă ceva este semnificativ la nivelul p = 0,05, asta înseamnă totuși că 1 din 20 de experimente cu un medicament complet inutil va prezenta în continuare un efect semnificativ.
7. Pescuit statistic: îl urăsc pe acesta și îl văd tot timpul. Experimentul planificat nu a arătat rezultate semnificative, astfel încât datele sunt analizate și orice corelație semnificativă este profitată și publicată ca și cum ar fi fost intenționată. Vezi explicația anterioară. Dacă setul de date este suficient de complex, veți găsi întotdeauna o corelație undeva, pur întâmplător.

Numărul 1 explică o mulțime de probleme pe care le găsim astăzi în știință, în special știința psihologică. Cunoașteți majoritatea experimentelor despre care ați citit Științe psihologice, publicația emblematică a Asociației pentru Știința Psihologică? Sunt o porcărie. Acestea sunt N = 20 de experimente efectuate pe eșantioane mici și omogene de studenți în mare parte caucazieni din universitățile din Midwest. Cele mai multe dintre ele nu sunt niciodată reproduse și mai puține sunt încă reproduse pe dimensiunile eșantionului, care probabil ar demonstra că rezultatele originale nu au fost altceva decât o întâmplare statistică.

Cercetătorii știu deja acest lucru, dar trăiesc după un manual de reguli foarte diferit de tine sau de mine. Mediul lor de trai depinde de continuarea lor de a face cercetări bune, publicabile. Dacă încetează să facă această cercetare (sau nu o pot publica într-un jurnal evaluat de colegi), riscă să își piardă locurile de muncă. Este cunoscut sub numele de „publică sau pier” în mediul academic și este o motivație foarte reală pentru publicarea oricărei cercetări, chiar dacă știi că este posibil ca rezultatele să nu fie reproductibile. Vezi numărul 3 de mai sus.

În cele din urmă, văd atât de mult din numărul 7 în studiile de cercetare pe care le revizuiesc, este aproape jenant. Metoda științifică funcționează bine și fiabil numai atunci când formulați ipoteze în prealabil, vă conduceți subiecții pentru a vă colecta datele și apoi analizați aceste date în funcție de ipotezele cu care ați început. Dacă decideți să începeți să schimbați ipoteza pentru a se potrivi cu datele sau să efectuați teste statistice pe care nu v-ați bazat, vă deteriorați concluziile. Începeți o expediție de pescuit pe care fiecare cercetător a făcut-o. Dar doar pentru că toată lumea a făcut acest lucru înseamnă că este un comportament bun sau etic în care să te angajezi.

Problema este că cercetarea necesită mult timp și adesea este costisitoare. Dacă tocmai ați condus 100 de subiecți printr-un proces și nu ați găsit nimic semnificativ (conform ipotezelor dvs.), nu numai că este puțin probabil să publicați acest studiu, dar ați pierdut doar luni (sau chiar ani) din viața dvs. profesională și $ X din bugetul dvs. de cercetare mereu limitat.

Dacă nu puteți vedea cum acest lucru ar putea duce la publicarea unor rezultate de cercetare mai puțin optime, atunci puteți fi puțin orbi față de psihologia și motivația umană de bază. Deoarece cercetătorii nu sunt super-oameni - au aceleași defecte, părtiniri și motivații ca oricine altcineva. Metoda științifică - atunci când este urmată riguros - ar trebui să dea seama de acest lucru. Problema este că nimeni nu veghează cu adevărat asupra cercetătorilor pentru a se asigura că o urmează și nu există nici un stimulent inerent pentru a face acest lucru.

Voi încheia cu această observație, din nou de la PZ Myers,

Asta este tot acest zbucium care spune cu adevărat [- s] uneori se arată că ipotezele sunt greșite și, uneori, dacă suportul pentru ipoteză se bazează pe dovezi slabe sau pe o interpretare extrem de derivată a unui set de date complex, poate dura mult timp răspunsul corect să apară. Asa de? Acest lucru nu este un eșec al științei, cu excepția cazului în care cumva aștepți satisfacție instantanee pentru orice sau confirmarea fiecărei idei prețuite.

Amin.

Alte păreri despre Eseul lui Lehrer

Știința nu este moartă - PZ Myers

În lauda erorii științifice - George Musser

Sunt oamenii problema metodei științifice? - Charlie Petit

Adevărul pe care îl vom îndoi: „Efectul declinului” înseamnă că toată știința este „adevărată”? - John Horgan

Efectul misterios al declinului - Jonah Lehrer