Bad Science: MyType iPad Research

Urăsc să dau presă unei „firme de cercetare” care nu știe primul lucru despre raportarea statisticilor sau metodologia de bază în propriul raport de „cercetare”. Cred că asta se întâmplă atunci când aduni o grămadă de oameni care sunt în mare parte tehnologi, nu statistici sau oameni de știință sociali.

În ultima săptămână, MyType, o aplicație de personalitate Facebook care vă ia datele și apoi vinde rapoarte agregate pe baza răspunsurilor dvs. la testul lor, a lansat un raport despre iPad. Ei au sugerat că proprietarii de iPad și cei care doresc să cumpere unul sunt „elite egoiste”, în timp ce cei care au criticat iPad-ul au fost caracterizați drept „geeks independenți”.

Puteți deja să spuneți că nu va fi exact o analiză științifică, nu?

În primul rând este raportarea MyType a rezultatelor sale. Ceea ce nu este inclus în raportul real sunt testele statistice reale utilizate, semnificația statistică (valorile p) și numărul de subiecți din fiecare grup studiat. Știți, tipurile de date de bază pe care le caută alți cercetători pentru a evalua rezultatele prezentate. Fără aceste informații de bază, acest tip de „cercetare” nu este mai bun decât o lucrare de licență pentru clasa lor de Psihologie 101.

O persoană pe nume John Hall i-a chemat în secțiunea de comentarii, moment în care a început să dea afirmații generale despre valorile p (dar din nou, fără detalii, descompunând fiecare analiză, ceea ce v-ați aștepta pe piață sau științific cercetare). Dr. F a încercat să educe oamenii MyType despre teoria statistică de bază, deoarece se pare că nu știu prea multe despre cum să proiecteze un studiu de cercetare bun.

Ceea ce este clar și din secțiunea de comentarii este că cineva editează comentariile pentru a elimina lucrurile pe care ulterior le-a regretat că le-a spus. Se pare că John Hall îl citează pe Tim Koelkebeck spunând că, pentru că are o diplomă în informatică (aparent licență), asta îl califică cumva în proiectarea și metodologia cercetării, precum și în statistici. Ciudat.

Dar cel mai mare cadou că acesta nu este un studiu serios de cercetare sunt adjectivele alese pentru a descrie cele două grupuri de oameni. Au luat câteva trăsături arbitrare de personalitate pentru a descrie fiecare grup. La fel de ușor ar fi putut spune că proprietarii non-iPad sunt nevrotici, nesiguri, mândri și neglijenți. Este totuși o caracterizare legitimă a proprietarilor care nu sunt iPad? Bineînțeles că nu, asta arată doar micul lor set de date părtinitor. Având în vedere că nici măcar nu trece testul mirosului, ar fi făcut ca majoritatea cercetătorilor să se oprească să se întrebe dacă merg pe un drum greșit.

Mergând după propriile date, ar fi putut să-i caracterizeze pe criticii iPad-ului ca fiind intoleranți, displace caritatea și prietenia, adolescenții agresivi și cinici. Uau, nicio surpriză acolo - ar trebui să ștergi dacă sexul sau vârsta înclină aceste rezultate (și oferi o explicație alternativă la trăsăturile menționate). „Cercetătorii” ar fi putut descrie, de asemenea, proprietarii de iPad-uri ca fiind adulți orientați spre familie, inteligenți, cu performanțe ridicate, care sunt atât imaginative, cât și sofisticate.

Dar nu au făcut-o. Au încercat să rezume o grămadă de trăsături disparate în fraze de marketing atrăgătoare pentru a face titluri de știri - fraze care nu erau nici deosebit de exacte, nici deosebit de valabile din punct de vedere științific. Asta nu a împiedicat zeci de știri legale, de masă, cum ar fi CNET, ZDNet și chiar Wired, să raporteze rezultatele fără a ridica o sprânceană despre lipsa de rigoare științifică sau metodă.