A pune în față știința: TweetPsych

Un nou serviciu lansat săptămâna aceasta de un dezvoltator web pe nume Dan Zarrella, numit TweetPsych. Zarrella este, de asemenea, manager de marketing pentru HubSpot, o firmă de marketing online. Zarrella se numește „om de știință”, pentru că cred că sună mai sexy decât „dezvoltator web” sau „manager de marketing”, dar el nu enumeră acreditări academice. (Nu aș menționa partea de om de știință sau acreditările, cu excepția faptului că Zarrella face afirmații științifice specifice despre noul său serviciu.)

Noul serviciu interesant este comercializat ca oferind „profilare psihologică” pe baza a ceea ce postezi pe Twitter. Dar este într-adevăr doar un serviciu de analiză a conținutului, care folosește două dicționare psihologice și ultimele 1.000 de tweet-uri. Zarrella susține că această analiză „construiește un profil psihologic al unei persoane”. Profilarea psihologică reală este o știință și se face de obicei cu mult mai mult decât o singură bucată din viața unei persoane (cum ar fi ceea ce scrie pe un serviciu de microblogging). TweetPsych face apoi afirmația contradictorie că este „doar în scopuri de divertisment”. Care este?

Există probleme cu unul dintre dicționarele pe care le folosește Zarrella și în analiză. Un dicționar - LIWC - este o bază de date validă de lingvistică psihologică. Cealaltă, Dicționarul Regresiv de Imagerie (RID), este mult mai puțin. RID este compus din aproximativ 3.200 de cuvinte și rădăcini atribuite a 43 de categorii de gândire și dispoziție. Principala problemă cu RID este că nu are, practic, niciun sprijin de cercetare (în ciuda faptului că Zarrella a citat un site web, făcându-l să pară ca și cum ar fi). A fost dezvoltat de un singur profesionist, care a scris apoi o grămadă de cărți despre acesta și despre alte procese psihanalitice. O carte nu este la fel ca un articol publicat într-un jurnal de cercetare (așa cum știu cercetătorii), iar RID nu are complet niciun sprijin empiric. Acest lucru sugerează că jumătate din analiză este invalidă înainte de a începe.

Al doilea dicționar, Linguistic Inquiry and Word Count (LIWC), se bazează în principal pe cuvântul scris - scrierile oamenilor - sau pe cuvântul vorbit - ca o sesiune de terapie sau o conversație între două persoane. Nu a fost dezvoltat pentru a analiza intrări scurte de 140 de caractere artificial, cum ar fi cele găsite pe Twitter. Oamenii prescurtează cuvinte atunci când trimit un tweet, din cauza limitei de caractere și nu este clar că simpla descriere va analiza cu exactitate toate cuvintele scrise cu abrevieri non-standard. Dar re-tweet-urile? O persoană care retweetează ceva nu neapărat „vorbește”, ci acționează, în schimb, ca un portavoc pentru cuvintele altcuiva. Serviciul se diferențiază? Fără să cunoașteți amploarea problemei, nu ați avea nici o idee dacă analiza dvs. este influențată artificial într-un fel (cu excepția cazului în care ați studiat mai întâi acest tip de probleme). Aceste probleme sunt abordabile, dar nu au fost abordate în acest serviciu.

Abilitatea lui Zarrella de a analiza rapid 1.000 de tweets și de a compara tot textul conținut de acestea cu aceste două dicționare în câteva secunde este o faptă admirabilă a programării lingvistice. Provocarea cu care s-a confruntat atunci este: „Cum prezint rezultatele analizei într-un mod atent, intuitiv și acționabil?” Aceasta este partea în care TweetPsych pur și simplu nu reușește să livreze.

Întrucât Zarrella pare să aibă un fond psihologic redus, rezultatele psihologiei sunt destul de nesatisfăcătoare. Veți primi o listă de „caracteristici” (a personalității dvs.? Tweetarea dvs.?) Care includ lucruri precum „Ocuparea și munca”. Alături este descrierea utilă, „Vorbești mult despre locuri de muncă și munca ta” și un scor.

Doamne, mulțumesc pentru înțelegerea minunată.

Nu aveți nicio idee despre ce înseamnă scorul, pentru că nu există context pentru acesta. Este un 47,87 pentru muncă bun sau rău? Care este media? Alte caracteristici includ „Prezent”, „Mișcare ascendentă”, „Emoții pozitive”, „Emoții negative” și alte trei duzini de alte categorii.

Această parte a analizei, bazată pe LIWC, este, de asemenea, la fel de bună ca și dicționarul de bază al LIWC. În timp ce categorii precum munca, realizarea și timpul liber sunt toate „preocupări actuale” pe care LIWC le poate identifica, nu are nicio categorie pentru ceva de genul „preocupări de relație”. Dar nu ai ști asta decât dacă ai cunoaște LIWC. S-ar putea să fie ceva pe care l-ai menționa persoanelor care iau analiza. Alte conținuturi populare de actualitate despre care s-a publicat în mod regulat - cum ar fi politica, tehnologia și celebritatea - nu fac parte, de asemenea, din LIWC. Așadar, din nou, nu vor apărea niciodată în analiză, chiar dacă despre asta vorbești. Deci, informațiile pe care LIWC - și, prin extensie, TweetPsych - le pot furniza sunt limitate. (Utilizarea unui dicționar personalizat rezolvă unele dintre aceste probleme, dar nu este un dicționar oferit de TweetPsych.)

„Conținutul primordial, conceptual și emoțional” din RID vine cu absolut nici o descriere și, din nou, nimic care să pună scorurile dvs. în orice tip de context sau înțelegere. Dar, deoarece nu este un dicționar științific pentru început, puteți ignora oricum scorurile. Ar fi putut fi dezvoltate aleatoriu și să ofere la fel de multe informații utile.

Ultima parte a analizei actuale este „Alții ca tine”, o componentă comună a oricărui serviciu de rețea socială. În mod curios, această componentă lipsea din prima versiune a acestui instrument. Bazându-se exclusiv pe ceea ce trimiteți pe Twitter, se afirmă „Unii oameni care gândesc ca dvs.” și vă oferă apoi o listă cu alte persoane care au accesat TweetPsych și au introdus numele de utilizator pentru a le analiza.

Desigur că este nu oameni care gândesc ca tine - oamenii care twittează ca tine. Aceasta este o distincție importantă. Un serviciu care analizează o mică parte din ceea ce scrieți în fiecare zi și bazat pe o analiză care poate fi defectă de utilizarea pe scară largă a abrevierilor de către utilizatorii săi, cu siguranță nu poate pretinde că analizează ceea ce gândi.

Cât de fiabil este TweetPsych? Ei bine, astăzi, în timp ce scriam acest articol, am observat că toate scorurile proprii ale lui Dan Zarrella s-au schimbat din cauza unui singur tweet (el a trimis doar o singură dată astăzi). Scorul său „ocupație și muncă” a scăzut cu 20%, iar scorul său „timp prezent” a crescut cu 16%. Scorul său de gândire abstractă a scăzut cu 16%. Cum s-ar putea întâmpla toate acestea dintr-un singur tweet? Un tweet - comparativ cu celelalte 999 tweets ale sale - nu ar trebui să poată afecta atât de mult scorul. Dacă nu se întâmplă altceva.(Comparați captura de ecran de mai jos, făcută la 14:55 ET, cu cea de mai sus, făcută astăzi la 9:00 ET.)

Rezultatele mele în analiza ultimelor 1.000 de tweet-uri ale Zarrella din programul LIWC2007 arată ceva foarte diferit. Nu cunosc metodologia lui Zarrella (din moment ce el nu a împărtășit-o), dar am luat textul ultimelor sale 1.000 de tweets și le-am procesat în două forme prin LIWC - stemmed și „așa cum este”. Niciunul nu a produs scoruri aproape de ceea ce apare pe TweetPsych. Acest lucru s-ar putea datora utilizării unei versiuni mai vechi a dicționarului sau a unui fel de variabilă de transformare pe care o adaugă la TweetPsych pe care nu a dezvăluit-o. Puteți vizualiza rezultatele acestei analize LIWC2007 aici. (Am evidențiat în lucruri galbene TweetPsych pe care le-a evidențiat și în alte zone verzi care nu mai sunt evidențiate de TweetPsych; rețineți diferența semnificativă în punctaj.) Totuși, vă face să vă întrebați exact ce se întâmplă cu serviciul. Dacă fiabilitatea și validitatea sa psihometrică sunt discutabile, cât de util este?

TweetPsych primește o mulțime de presă pozitivă, cu doar un pic de scepticism. Josh Lowensohn de la CNet a scris despre acest serviciu și a menționat doar în treacăt: „Acest lucru face mai puțin despre psihologie și mai mult despre lexiconul personal, dar rezultatele sunt încă destul de distracţie." Da, distracție! Ben Patterson la Yahoo! Tech a spus: „Din păcate, profilurile psihologice pe care le oferă TweetPsych nu sunt varietatea coerentă și narativă pe care s-ar putea să o auziți de la psihiatrul rezident pe„ Legea și ordinea: intenție penală ”.” Și totuși, nu este o narațiune coerentă mult mai utilă. decât unele categorii nedescriptibile? Niciunul dintre reporteri și nici articolul original despre Mashable (unde, surpriză !, Zarrella contribuie), nu remarcă lipsa de fond psihologic pe care Zarrella îl aduce la masă. Nimeni nu a legat punctele de ce rezultatele sunt atât de nesatisfăcătoare în interpretările lor. Se pare că jurnaliștii de tehnologie sunt buni la redistribuirea propriilor comunicate de presă pozitive, dar nu la fel de minunați când sunt jurnaliști reali care săpat în știința pretinsă a unui asemenea serviciu.

Desigur, Zarrella însuși recunoaște că nu s-a gândit prea mult la serviciu, așa cum a spus el NY Post, „„ Oamenilor le place doar să se compare cu alți oameni și să încerce să „pătrundă” în capul altora ”, spune Zarrella. „Este ca și cum ai fi o muscă pe perete la o sesiune de terapie.” „O sesiune de terapie? Este chiar atât de perspicace să găsești pe cineva care vorbește despre „mișcare ascendentă?” În graba de a pune serviciul online, se pare că Zarrella nu a pus niciodată întrebarea: „Este utilă vreuna dintre aceste informații?” Serviciul, așa cum există astăzi, este un gând neterminat pe care puțini îl vor revedea.

TweetPsych, în ciuda limitărilor sale, a deschis ușa către viitoarele servicii care oferă de fapt informații utile, utile și acționabile care ar avea probabil o valabilitate mai mare. Imaginați-vă că luați nu numai tweet-urile unei persoane, ci și informațiile conținute în profilul său Facebook, blog etc., și puneți-le într-un singur motor de analiză imens ... Un astfel de motor ar putea avea atunci capacitatea de a oferi o adevărată perspectivă psihologică asupra unei persoane bazate pe individ. despre ceea ce spun online.

Până în acel moment, avem eforturi de boboc ca TweetPsych, care ar trebui să fie numit „TweetFun!” Pentru că, deși este într-adevăr distractiv să te joci, oferă puține informații psihologice - cu excepția celor mai puțin adânci - asupra oricui.

(Puteți citi aici preocupări suplimentare legate de TweetPsych de Tyler Hayes.)