Înțelepciunea mulțimilor (selectate)

Din ce în ce mai multe companii folosesc înțelepciunea clienților și a utilizatorilor lor - o mulțime foarte selectă. Acestea fac acest lucru prin „date mari” - colectând comori de date anonime și apoi efectuând analize post-hoc.

Acest efort poate duce la unele perspective interesante. De asemenea, poate determina companiile să sugereze că rezultatele sunt generalizabile pentru întreaga populație.

Și această problemă din urmă este problema. Deoarece dacă începeți cu un eșantion auto-selectat, datele dvs. sunt relevante numai pentru oameni ca ei - nu pentru întreaga populație. Aceasta este doar una dintre problemele legate de măsurarea - și acțiunea - pe baza informațiilor din mulțimile selectate.

Site-urile web fac măsurători de „date mari” de aproape 20 de ani acum. De fiecare dată când vizitați un site web, acesta lasă o mică urmă de date pe serverul site-ului web. Proprietarii serverului iau aceste date și le rulează printr-o platformă de analiză a datelor (cum ar fi Google Analytics). Oferă proprietarului site-ului informații agregate despre tipurile de persoane care își vizitează site-ul.

Deoarece fiecare site web este unic, astfel de informații sunt relevante doar pentru acel site web. Un utilizator care vizitează CNN, de exemplu, poate avea puține lucruri în comun cu un utilizator care vizitează Match.com.

Problema Selectați mulțimile

În analiza datelor, statisticienii numesc o astfel de eșantionare „eșantion auto-selectat”, ceea ce duce la problema unei „părtiniri de auto-selecție”. Pur și simplu, aceasta înseamnă că, deoarece datele dvs. provin doar de la persoane care utilizează o anumită aplicație sau un anumit tip de social media, nu sunt reprezentative pentru populație în ansamblu. Și întrucât nu este reprezentativă pentru populație în ansamblu, nu puteți generaliza datele.

Eu numesc asta problema „selectați mulțimile”. Pentru că, dacă câștigi înțelepciunea ta din mulțime, ar fi bine să te asiguri că mulțimea este reprezentativă pentru populație dacă încerci să obții idei generalizabile din aceasta.

Există companii întregi care nu fac altceva decât să analizeze tendințele și datele de pe Twitter. Dar dacă te uiți la cine folosește Twitter - și la modul în care îl folosește - te-ai îngriji imediat de ceea ce înseamnă cu adevărat aceste date. De exemplu, utilizatorii Twitter sunt mult mai tineri decât populația generală, iar persoanele în vârstă sunt mult subreprezentate. Dacă conduceți o companie care se uită la tendințele de sănătate pe Twitter, veți vedea ceva foarte diferit decât dacă ați efectuat un sondaj telefonic randomizat.

Cu alte cuvinte, ce tendințe de pe Twitter pot avea sau nu vreo semnificație pentru peste 80% din americanii care nu folosesc Twitter.

Aplicațiile nu sunt mai bune

Aplicațiilor le place adesea să colecteze datele utilizatorilor lor, să le anonimizeze și apoi să le folosească pentru a compara performanța dvs. cu alte persoane care folosesc și aplicația. Acest lucru ar trebui să vă facă să vă simțiți ca și cum ați face parte dintr-o rețea socială care are aplicația în comun. Este o idee grozavă.

Pentru că dacă un anumit tip de persoană folosește acea aplicație? Ce se întâmplă dacă numai persoanele deprimate folosesc o aplicație de urmărire a dispoziției menită să ajute oamenii să scape de depresie, ajutându-i să-și urmărească starea de spirit, comparându-și progresul cu alții care folosesc și aplicația? Astfel de rezultate ar putea fi neintenționat deprimante în sine.

Poți motiva în mod pozitiv pe cineva prin comparație socială? Puteți, dar prea des, cercetarea arată, de asemenea, că astfel de comparații sociale îi determină pe oameni să se simtă mai rău decât înainte. Trebuie făcut cu o atenție deosebită - ceea ce cei mai obișnuiți dezvoltatori de aplicații nu înțeleg.

Lăsând în afară lucruri importante de măsurat

Orice aplicație sau serviciu este la fel de bun ca lucrurile pe care alege să le măsoare. Puteți introduce părtinire - intenționat sau neintenționat - în rezultatele dvs. prin ceea ce alegeți să măsurați - și nu măsurați.

Gândiți-vă astfel: vă gândiți să vă mutați într-un oraș nou cu mai puține ploi, așa că vă uitați doar la cantitatea medie anuală de ploaie pentru diferite orașe. Ai căuta un oraș ca Miami și te-ai gândi: „Știi, nu mă mut la Miami - au aproape 62 de centimetri pe an de ploaie! Comparați asta cu slabele 37 de centimetri de ploaie pe care Seattle le primește. Seattle trebuie să fie locul mai însorit și mai puțin ploios ”. Deoarece nu ați inclus alte valori importante în măsurare, ați face o alegere greșită pe baza informațiilor prea limitate.

Ceea ce crede un dezvoltator de aplicații sau site-uri web este important în măsurarea a ceva poate să nu fie la fel de important ca ceva pe care l-au lăsat deoparte. Imaginați-vă o aplicație care a măsurat doar reacția dvs. la medicamente, dar a lăsat deoparte toți ceilalți factori importanți care contribuie la starea de spirit și tratament.

Tratamentul nu are loc în vid cu dvs. și cu un singur medicament. Are loc într-un ecosistem bogat și complex, care poate include un medicament, dar include și multe alte lucruri importante pe care le faceți pentru a vă ajuta să vă recuperați. Poate fi cât de mult exersezi, sau nu rumezi, sau zile în care treci fără să ai un atac de panică sau să fii stresat de un membru al familiei sau de muncă.

Pe scurt, există o mulțime de lucruri care ar trebui urmărite de aplicații și alte servicii bine intenționate, dar nu sunt. Și aceasta oferă o perspectivă distorsionată a modului în care ceva care este măsurat este conectat la starea de spirit sau la progresul recuperării. Medicamentul este într-adevăr important în tratamentul multor persoane, dar este posibil să nu fie - și deseori nu este - cel mai important lucru.