O legătură între legalizarea marijuanei și accidente auto? Prostii

• Să alegem statele noastre de control
• 11 analize, dar doar 3 semnificative
• Să punem în comun datele!
• Deci, ce arată datele?
• Ce înseamnă asta pentru marijuana?

În octombrie, Highway Loss Data Institute și Institutul de asigurări pentru siguranța rutieră au publicat un raport auto-publicat care sugerează că există o strânsă legătură corelațională între ratele accidentelor de automobile și legalizarea marijuanei în state. Aceasta ar fi o veste îngrozitoare dacă constatarea s-ar baza pe dovezi științifice puternice.

Din păcate, însă, pentru aceste institute, datele cercetării sunt, în cel mai bun caz, neclare. Și pentru că aceste organizații au auto-publicat raportul, mai degrabă decât să treacă prin procesul științific de evaluare inter pares, este greu să le luăm în serios concluziile.

Înainte de a începe să analizăm datele, cititorii ar trebui să înțeleagă că, deși Highway Loss Data Institute (HLDI) și Institutul de asigurări pentru siguranța rutieră (IIHS) sunt două distincte legal organizații, aceștia împărtășesc aceeași conducere superioară, aceeași adresă fizică și probabil mult mai mult. Se pare că acestea sunt două organizații independente, fără legătură, care au găsit rezultate similare atunci când și-au pus în comun mintea colectivă, dar nu este cazul.

De asemenea, trebuie să încep acest articol cu ​​reamintirea științifică obișnuită - corelația nu este egală cu cauzalitatea. Dacă voi efectua un studiu despre efectul oamenilor care își deschid umbrelele într-o zonă urbană a orașului, voi găsi o corelație pozitivă foarte puternică între acțiunea respectivă și prezența ploii. Știm însă că deschiderea unei umbrele nu provoacă căderea ploii. Cu toate acestea, știința va arăta cu ușurință o corelație puternică între cele două - conducând unii cercetători tristi, fără să știe, că există cu siguranță o relație cauzală.

Să alegem statele noastre de control

În noul studiu, un cercetător a analizat datele privind accidentele de pe autostrăzi pentru trei state țintă în care marijuana a devenit legalizată dincolo de consumul de medicamente (Monfort, 2018). Apoi a comparat ratele de accidente ale acestor state cu cinci state de control (state care în general se învecinează cu statele legalizate cu marijuana). De exemplu, Colorado a fost asociat cu trei state: Nebraska, Utah și Wyoming.

Vedeți problema deja, nu? Colorado are granițe cu șase state, nu doar cu trei: Arizona, New Mexico și Kansas. Vedem o problemă similară și cu celelalte stări de control alese. Statele de control ale Oregonului erau Idaho (un stat de comparație adecvat) și Montana - un stat fără ieșire la mare cu care împărtășește puțin în comun și fără frontieră.

Cercetătorul a justificat aceste alegeri, deoarece organizația-soră a IIHS a publicat un raport anterior, alegând aceste state. Acei cercetători fără nume au ales statele pe baza unei corelații - uneori nu foarte puternice - a asemănărilor dintre ratele lor de date de blocare. Nu demografie, geografie (drumuri montane întortocheate versus câmpuri plate) sau alt motiv.1 Se poate argumenta dacă „modelele sezoniere de prăbușire înainte de 2014” sunt o variabilă legitimă de comparație științifică pentru alegerea stărilor de control, atunci când alte variabile par mult mai potrivite.

Într-un e-mail de urmărire cu purtătorul de cuvânt al IIHS, el a spus că cercetătorul dorește „să folosească două seturi diferite de date și să vadă dacă rezultatele vor fi similare. Folosirea diferitelor stări de control nu ar avea sens. ”

După cum știu cititorii de multă vreme, cercetătorii își pot manipula destul de mult datele, analiza sau ipoteza pentru a demonstra rezultatele pe care doresc să le găsească. Acesta este unul dintre motivele pentru care mulți oameni sunt, în general, sceptici cu privire la cercetare. Există atât de multe moduri în care un cercetător poate manipula datele - de multe ori din motive foarte legitime și bune - încât poate fi dificil să detectezi părtinirea introdusă.

Totuși, nu a fost cazul acestui studiu. Cred că prejudecățile sunt, în opinia mea, destul de clar expuse.

11 analize, dar doar 3 semnificative

Al doilea semn pe care acest raport de cercetare este absolut o prostie este că, chiar și atunci când pachetul de cărți a fost stivuit într-un mod pe care cercetătorul însuși l-a ales, el încă nu a putut găsi o mare semnificație în date pentru majoritatea analizelor statistice pe care le-a efectuat. Convinge-te singur:

Vezi cele trei asteriscuri? Acestea sunt singurele trei analize care au fost semnificative statistic. Observați cum apare doar unul dintre aceste asteriscuri într-o comparație reală de la stat la stat - între Colorado și Utah. Toate celelalte analize de la un stat la altul nu au arătat nicio diferență semnificativă între un stat de control și statul legal de marijuana.

În cele șapte analize de la un stat la altul, doar una a venit la fel de semnificativă. Aceasta este o constatare destul de semnificativă, care a fost trecută în revistă în raport (și nu a fost menționată deloc de IIHS). În cercurile mele de cercetare, am numi acest lucru „slab”.

Să punem în comun datele!

Abia când cercetătorul a reunit o grămadă de stări de control, a găsit două corelații mai semnificative.

În general, înțeleg că cercetătorii se abțin de la punerea în comun a datelor din surse disparate, cu excepția cazului în care pot justifica decizia de a face acest lucru și se asigură că variabilele subiacente sunt omogene (sau asemănătoare).

Nu numai că trebuie să vă asigurați acest lucru pentru un grup de state, ca în cercetarea actuală. Însă cercetătorul a reunit date de-a lungul mai multor ani.

Nu este evident ce justificare a folosit cercetătorul pentru a alege anii pe care i-a făcut (2012-2016), în afară de a spune că aceștia au fost anii în care astfel de date au fost disponibile în toate aceste state. Cu toate acestea, în căutarea mea superficială a fiecăruia dintre site-urile guvernamentale ale statului, am găsit, în general, date despre accidente disponibile în mod fiabil încă din 2005.

Știm că datele anuale privind accidentele nu sunt omogene - pot varia considerabil de la an la an. De exemplu, în toate statele, ratele procentuale de accidente au crescut în 2014, 2015 și 2016 - indiferent de stat. Deci, ceea ce cercetătorul încearcă să măsoare dacă creșterea de 7,84% a Idaho în 2015 este diferită de creșterea de 7,09% a Oregonului, favorabilă marjiuanei. Sau dacă rata 2015 a Colorado, favorabilă marijuanei, cu o creștere de 4,37 la sută față de 2014 a numărului de accidente este semnificativ diferită de creșterea cu 9,96 la sută din Utah sau creșterea cu 10,19 la sută din New Mexico.

Mai mult, diferite state au avut dimensiuni diferite ale bazinului pentru lunile examinate, în funcție de momentul în care au intrat în vigoare vânzările cu amănuntul de marijuana. Asta a însemnat pentru Oregon, cercetătorul a adunat 2012, 2013, 2014 și cea mai mare parte a anului 2015 ca un singur set de date, iar 2016 + 2 luni în 2015 ca al doilea set de date (46 de luni față de 14 luni). Dar Colorado a legalizat marijuana în ianuarie 2014, deci avea doar doi ani de date de pre-legalizare și trei ani de date de post-legalizare.

Într-o comparație științifică corectă și precisă, toate seturile de date ar trebui să aibă o dimensiune similară în ceea ce privește perioada de timp examinată înainte și după variabila pe care încercați să o măsurați în analiza dvs. Mai ales când aceste date, știm, nu sunt omogene.

Deci, ce arată datele?

Cercetătorul nu a furnizat detaliile obișnuite de care ar fi nevoie pentru a-și replica munca. Deci, trebuie să examinăm datele brute și să ne uităm doar la problemele mai evidente.

Aruncând o privire asupra Colorado, putem compara rata sa de accidente în timp cu alte două state. Înainte de 2013, Colorado se bucura de scăderi de la an la an în ceea ce privește ratele totale de accidente (toate datele de pe site-ul web al fiecărui stat respectiv). Apoi, în 2013, statul a înregistrat o creștere de 6,29 la sută în accidente, care a continuat în 2014 (6,79 la sută) și 2015 (4,37 la sută). În 2016, statul a înregistrat doar o creștere de 0,35%.

Comparați aceste numere cu unul dintre statele de control, Utah, pe care cercetătorul le-a inclus. Utah a înregistrat, de asemenea, o creștere a accidentelor în 2013 (9,05%), care a scăzut în 2014 (-2,96%). Ratele de blocare ale statului au crescut din nou în 2015 și 2016 (9,96 la sută și respectiv 3,94 la sută).

Acum să comparăm aceste numere cu unul dintre statele de control nealese de cercetător, New Mexico. A înregistrat o scădere a ratelor de accident în 2013 (-4,78 la sută), dar apoi a crescut cu doi ani în 2014 și 2015 (3,64 la sută și respectiv 10,19 la sută). În 2016, New Mexico a înregistrat un declin de -0,53%.

Cred că motivul pentru care a fost ales Utah în locul New Mexico a fost simplu. Ratele de accidentare în anii 2014-2016 (anii cheie pentru comparația cu marijuana din Colorado) au crescut rata de accidentare cumulativ doar cu 10,94%. Dacă institutele ar fi folosit în schimb New Mexico, rata de accidentare pentru aceeași perioadă de timp a fost de 13,3%. În comparație cu 11,51% cumulat din Colorado, puteți vedea că Utah este mai scăzut - dar New Mexico (de asemenea, un stat vecin Colorado) este cu aproape 2 puncte procentuale mai mare.

Aruncați totul într-o analiză care contabilizează „caracteristicile statului” (care a inclus doar ratele șomajului și vremea) și voila! Datele care arată aparent vânzările de marijuana au impact asupra ratelor de blocare.

Ce înseamnă asta pentru marijuana?

Datele, chiar și din cercetările actuale, nu arată practic nicio semnificație statistică între vânzările cu amănuntul de marijuana și numărul de accidente auto într-un stat. Dacă există o corelație, aceasta este una foarte slabă și se găsește doar atunci când cercetătorul a folosit, după părerea mea, analize discutabile în studiu. Unele state învecinate Colorado - de exemplu, New Mexico - nu au fost incluse în analiză și au arătat creșteri mai mari ale creșterii ratelor lor de accidente în aceeași perioadă de timp decât Colorado.

Cred că acest tip de raport se reflectă slab atât asupra IIHS, cât și asupra HLDI. Aceste organizații, finanțate în principal de companiile de asigurări, publică, în opinia mea, concluzii înfricoșătoare pentru a transmite un obiectiv politic și de afaceri. Ei consideră aceste descoperiri drept „cercetare”, în ciuda faptului că uneori sunt publicate doar pe propriul site web al organizației și aparent nu sunt evaluate de colegi, așa cum se face în cercetarea științifică tradițională. („Cele mai recente cercetări privind legalizarea marijuanei de agrement și accidente raportate de poliție au fost trimise spre publicare jurnalului Analiza și prevenirea accidentelor”, Notează purtătorul de cuvânt al IIHS.)

Ceea ce avem aici este ceea ce aș numi „cercetare falsă” - cercetare care se întinde pentru a arăta o relație semnificativă în care în mod clar există doar un semn de întrebare mare. Și chiar dacă a existat o semnificație corelațională, această cercetare are un sprijin zero al unei relații cauzale. Am contactat organizațiile pentru comentarii și practic ne-au trimis înapoi la studiu pentru răspunsuri. De exemplu, purtătorul de cuvânt al IIHS a declarat: „Datele privind accidentele din statele marijuanei din studiul IIHS nu sunt reunite, dar rezultatele individuale din fiecare stat au fost combinate într-o meta-analiză, care este o metodă de cercetare acceptată. Rezultatele individuale pentru Colorado și Washington în analiza HLDI sunt semnificative statistic. ”

Când am subliniat că studiul actual a arătat semnificație doar pentru un stat - Colorado (și apoi numai în comparație cu un alt stat, Utah) - purtătorul de cuvânt m-a indicat spre studiul anterior. Se pare că nu știu că dacă mai nou cercetarea contrazice cercetările anterioare, nu puteți continua să indicați că aceste cercetări anterioare sunt încă valabile. Ceea ce arată noul studiu din IIHS este că nu mai există nicio corelație semnificativă între marijuana și accidente în Washington - exact opusul a ceea ce susține purtătorul de cuvânt.

IIHS este o organizație care încearcă să educe și să informeze factorii de decizie politică atunci când vine vorba de siguranța șoferilor. Din păcate, majoritatea politicienilor și cetățenilor nu vor înțelege sau nu își vor da seama că au fost înșelați și, în schimb, cred că acest tip de studiu este de fapt științific.

Pe scurt, nu există date puternice care să coreleze vânzările cu amănuntul de marijuana la creșterea accidentelor auto. Datele pe care le avem arată doar o corelație foarte limitată, slabă - nu cauzalitate - prin înșelăciune statistică.

De acum încolo, voi fi mult mai sceptic cu privire la tot ce publică IIHS sau HLDI.

Note de subsol:

1. Mai exact, „Stările de control au fost selectate pe baza apropierii de starea de studiu, precum și pe similaritatea modelelor de accident sezonier înainte de 2014. Această similitudine s-a bazat pe corelațiile dintre frecvențele lunare în starea de studiu și fiecare stare potențială de control în timpul 24 de luni 2012–13. Coeficientul de corelație Pearson pentru Colorado și Nebraska a fost de 0,85; pentru Wyoming, 0,79; iar pentru Utah, 0,60. Pentru Washington, statele Montana (0,67) și Idaho (0,63) au fost selectate ca controale. Pentru Oregon, s-au folosit statele Idaho (0,67) și Montana (0,83). ” [↩]