Găsirea defectelor în cercetarea social media

Cercetătorii trebuie să fie atenți la capcanele serioase de a lucra cu seturi uriașe de date pentru rețelele sociale, potrivit informaticienilor de la Universitatea McGill din Montreal și Universitatea Carnegie Mellon din Pittsburgh.

Rezultatele defecte pot avea implicații uriașe: mii de lucrări de cercetare în fiecare an se bazează acum pe date culese de pe rețelele de socializare.

„Multe dintre aceste lucrări sunt folosite pentru a informa și justifica deciziile și investițiile în rândul publicului, în industrie și guvernare”, a spus dr. Derek Ruths, profesor asistent la Școala de Informatică a McGill.

Pentru oamenii de știință comportamentali, creșterea rețelelor sociale a părut o oportunitate fără precedent de a capta și apoi de a analiza cantități abundente de informații despre comportamentul uman.

Mulți oameni de știință cred că astfel de seturi de date coapte pot ajuta la prezicerea comportamentului uman la un nivel niciodată imaginat. În ultimii ani, studiile au afirmat capacitatea de a prezice totul, de la blockbustere de vară la fluctuațiile de pe piața de valori.

Dar într-un articol publicat în jurnal Ştiinţă, Ruths și Dr. Jürgen Pfeffer de la Carnegie Mellon’s Institute for Software Research evidențiază mai multe probleme implicate în utilizarea seturilor de date de pe rețelele sociale, împreună cu strategii pentru a le aborda. Printre provocări:

• Diferite platforme de socializare atrag utilizatori diferiți - Pinterest, de exemplu, este dominat de femei cu vârste cuprinse între 25 și 34 de ani - totuși cercetătorii rareori corectează imaginea distorsionată pe care o pot produce aceste populații;
• Fluxurile de date disponibile public utilizate în cercetarea social media nu oferă întotdeauna o reprezentare exactă a datelor globale ale platformei - iar cercetătorii sunt, în general, în întuneric despre momentul și modul în care furnizorii de social media își filtrează fluxurile de date;
• Proiectarea platformelor de social media poate dicta cum se comportă utilizatorii și, prin urmare, ce comportament poate fi măsurat. De exemplu, pe Facebook absența unui buton „Nu-mi place” face ca răspunsurile negative la conținut să fie mai greu de detectat decât „Apreciază” pozitive;
• Un număr mare de spammeri și roboți, care se fac mascați drept utilizatori normali pe rețelele de socializare, sunt încorporați în mod eronat în multe măsurători și predicții ale comportamentului uman;
• Cercetătorii raportează adesea rezultate pentru grupuri de utilizatori, subiecte și evenimente ușor de clasificat, făcând ca noile metode să pară mai exacte decât sunt de fapt. De exemplu, eforturile de a deduce orientarea politică a utilizatorilor de Twitter obțin o precizie de abia 65% pentru utilizatorii obișnuiți - chiar dacă studiile (concentrându-se pe utilizatorii activi politic) au pretins o precizie de 90%. Utilizatorii Twitter obțin o precizie de abia 65% pentru utilizatorii tipici - chiar dacă studiile (concentrându-se asupra utilizatorilor activi politic) au pretins 90% acuratețe.

Anchetatorii spun că multe dintre probleme sunt comune și în alte domenii, cum ar fi epidemiologia, statisticile și învățarea automată.

„Firul comun al tuturor acestor probleme este necesitatea ca cercetătorii să fie mai conștienți de ceea ce analizează de fapt atunci când lucrează cu datele din rețelele sociale”, spune Ruths.

Oamenii de știință sociali și-au perfecționat tehnicile și standardele pentru a face față acestui tip de provocare înainte.

„Infamul titlu„ Dewey îl învinge pe Truman ”din 1948 a rezultat din sondaje telefonice care au sub-eșantionat susținătorii Truman din populația generală”, notează Ruths.

„În loc să discrediteze permanent practica sondajului, acea eroare evidentă a dus la tehnici mai sofisticate de astăzi, standarde mai înalte și sondaje mai precise. Acum, ne aflăm la un punct de inflexiune tehnologic similar. Abordând problemele cu care ne confruntăm, vom reuși să realizăm potențialul extraordinar de bine promis de cercetările bazate pe rețelele sociale. ”

Sursa: Universitatea McGill