Clasamentele școlilor de partid, o profeție părtinitoare, care se împlinește?

Revista Princeton publică anuale liste de colegii „Best of ...” pe baza unui sondaj online realizat acum de studenți din fiecare colegiu. Acestea descriu procesul sondajului ca:

Sondajul Princeton Review pune elevilor 80 de întrebări despre universitățile / administrația școlii, viața din campus, corpul studențesc și despre ei înșiși. Conturile pentru clasamentul acestei ediții se bazează pe sondaje efectuate la 120.000 de studenți (aproximativ 325 pe campus) la 366 de școli din carte (nu la toate școlile din țară) în 2006-07 și / sau în anii anteriori doi.

Ceea ce sună bine și bine, până când citiți amprenta:

Sondajul nostru este mai degrabă calitativ și anecdotic decât cantitativ. Pentru a ne feri de producerea unei scrieri care nu este la îndemână pentru un anumit colegiu, trimitem contactului nostru administrativ la fiecare școală o copie a profilului pe care intenționăm să-l publicăm, cu posibilități ample de a răspunde cu corecții, comentarii și / sau direct obiecții. În fiecare caz în care primim solicitări de modificări, luăm măsuri atente pentru a examina sugestiile școlii împotriva datelor sondajului pe care le-am colectat și pentru a face modificări adecvate atunci când este justificat.

Ceea ce ne convinge cel mai mult despre cât de reprezentative sunt rezultatele sondajului nostru este acest lucru: cerem elevilor care participă la sondaj - după ce l-au finalizat - să revizuiască informațiile pe care le-am publicat despre școala lor în anul precedent și să ne evaluăm acuratețea și valabilitate. An de an am obținut note mari: anul acesta, 81% dintre studenți au spus că avem dreptate.

Așadar, practic recunosc că datele sondajului lor sunt menite să ofere o imagine subiectivă și narativă a colegiilor - nu lucruri din care poți trage generalizări largi. Și totuși, exact asta este Princeton Review continuă cu datele lor - trageți generalizări largi din sondajele lor și clasificați colegiile într-o manieră cantitativă. Colegiile în sine pot exercita o influență suplimentară necunoscută asupra faptului dacă școala lor apare pe o listă dată.Dacă procesul de clasare pare a fi mai puțin transparent și îmbrăcat în mister, acesta este intenționat.

Cum pot transforma cercetătorii datele anecdotice în date cantitative? Ei bine, din punct de vedere științific, nu puteți (de exemplu, nu există o procedură bazată pe cercetare pentru a face acest lucru, deoarece este literalmente o comparație cu mere sau portocale). Când o organizație de acest gen face ceva de această natură, puteți susține că orice astfel de clasamente sunt doar opiniile oamenilor care au pus lista împreună, pe baza opiniilor celorlalți ale celor care au participat de fapt la școală.

Toate acestea ar fi bine, cu excepția faptului că Revizuire pune toate aceste lucruri în liste care sugerează că au un sens generalizabil atunci când nu au. Lista „Cele mai bune 20 de școli de partid” nu este altceva decât opiniile unor persoane, bazate pe o „combinație de întrebări din sondaj privind consumul de alcool și droguri, ore de studiu în fiecare zi și popularitatea sistemului grecesc”. Aceștia ar fi putut alege la fel de ușor un set diferit de răspunsuri care ar fi distorsionat clasamentul școlilor în mod diferit.

Este puțin probabil ca școlile mai mari, cu corpuri studențești mai mari, să difere semnificativ în ceea ce privește dimensiunea sistemului lor grecesc (mare) și varietatea largă de oportunități sociale și non-academice pe care le oferă studenților lor (rezultând în mai puține ore de studiu în fiecare zi) . Oare aceasta face ca o astfel de școală să fie mai probabil să fie o „școală de petrecere” atunci când este combinată cu examinarea a ceea ce spun elevii cât bea? Desigur că nu. Poate însemna doar că școala este un loc minunat atât pentru a învăța, cât și pentru a socializa.

Un afiș prezentat la APS în weekendul trecut, intitulat „Profeția împlinită de sine și Revizuirea Princeton: descrieri sau prescripții pentru băut la facultate?” pune-mi în cap sugestia care măsoară ca Princeton Review au o oarecare validitate discutabilă. Cercetătorii au analizat datele reale referitoare la consumul de alcool pe parcursul unui deceniu pentru o singură universitate de dimensiuni medii situate în vestul New York-ului și le-au comparat cu diferite clasificări conexe din Princeton Review. Au găsit clasamentul în Princeton Review nu are nicio corelație sistematică cu niciunul dintre datele despre consumul de alcool pe care le-au examinat. Ceea ce au constatat este că datele privind consumul de alcool s-au corelat cu clasamentele publicate după ce au fost publicate - ceea ce sugerează o profeție de sine împlinită.

Cercetătorii au menționat că, din moment ce studiul lor a fost realizat la o singură universitate, cercetarea ar trebui să fie reprodusă la alte colegii și universități înainte ca cineva să poată generaliza din concluzii. Dar rezultatele sunt totuși interesante de remarcat.

Referinţă:

Clark, C.D. et. Al. (2008). Profeția care se împlinește și Revizuirea Princeton: descrieri sau prescripții pentru băut la facultate? Afiș prezentat la cea de-a 20-a convenție anuală a Asociației pentru Științe Psihologice, Chicago IL, 24 mai.