Imaginile creierului dezvăluie modul în care funcționează strategiile de învățare
Reîmprospătarea este necesară pentru a putea face predicții exacte despre aceste recompense în fața unui mediu în schimbare.
Deși exact modul în care creierul orchestrează acest proces rămâne neclar, noul studiu sugerează că o combinație a două strategii de învățare distincte ne ghidează comportamentul.
În jurnal va apărea o lucrare despre lucrare Neuron.
O strategie de învățare acceptată, numită învățare fără model, se bazează pe comparații de încercare și eroare între recompensa pe care o așteptăm într-o situație dată și recompensa pe care o primim de fapt.
Rezultatul acestei comparații este generarea unei „erori de predicție a recompensei”, care corespunde acelei diferențe.
De exemplu, o eroare de predicție a recompensei ar putea corespunde diferenței dintre rentabilitatea monetară proiectată a unei investiții financiare și câștigurile noastre reale.
În al doilea mecanism, numit învățare bazată pe model, creierul generează o hartă cognitivă a mediului care descrie relația dintre diferite situații.
„Învățarea bazată pe model este asociată cu generarea unei„ erori de predicție a stării ”, care reprezintă nivelul de surpriză al creierului într-o situație nouă, având în vedere estimarea actuală a mediului înconjurător”, spune Jan Gläscher, un cercetător postdoctoral la Caltech și lider autorul studiului.
„Gândiți-vă la o situație în care luați întotdeauna același traseu când conduceți acasă după serviciu, dar într-o anumită zi, calea obișnuită este blocată din cauza lucrărilor de construcție”, spune Gläscher.
„Un sistem de învățare fără model s-ar pierde neputincios; este preocupat doar de acțiuni care în trecut erau pline de satisfacții, așa că dacă acțiunile respective nu mai sunt disponibile, nu ar putea decide unde să meargă mai departe.
„Dar un sistem bazat pe modele ar putea să-și interogheze harta cognitivă și să-și dea seama un ocol eficient folosind o cale alternativă”.
„Deși mecanismul mai simplu de învățare fără model a fost bine studiat și mecanismul său de învățare de bază - care este condus de erorile de predicție a recompenselor - este relativ bine înțeles, mecanismele care stau la baza sistemului de învățare mai sofisticat bazat pe model, cu o bogată adaptabilitate și flexibilitate , sunt mai puțin bine înțelese ”, spune John P. O'Doherty, profesor de psihologie la Caltech.
Pentru a caracteriza în continuare bazele neurologice ale acestor două sisteme de învățare, Gläscher, O'Doherty și colegii lor au conceput o sarcină de luare a deciziilor pe computer care le-a permis să măsoare când și unde creierul calculează atât semnale de eroare de predicție, cât și recompensă, și pentru a determina dacă cele două tipuri de erori produc de fapt semnături neuronale diferite.
În cadrul sarcinii, subiecții trebuiau să facă alegeri între o mișcare stângă și dreaptă care le permitea să se deplaseze între diferite „stări” - notate de pictograme grafice - într-un mediu virtual; procesul este similar cu cel al navigării într-un joc video simplu.
Fiecare alegere de stânga sau de dreapta făcută în acest mediu virtual a condus subiectul la o nouă stare. Obiectivul lor era să atingă un anumit stat de obiectiv pentru a obține o recompensă monetară, „iar șansele lor de a ajunge în acel stat de obiectiv depindeau puternic de tiparul particular de alegeri secvențiale pe care le făceau”, explică O'Doherty.
Un sistem bazat pe modele poate afla despre structura mediului virtual și apoi poate utiliza aceste informații pentru a calcula acțiunile necesare pentru a ajunge la starea de recompensă, într-o manieră similară cu modul în care un jucător de șah ar putea încerca să se gândească la mișcările secvențiale de șah necesare pentru a câștiga un meci.
Un sistem fără model, pe de altă parte, ar învăța doar să aleagă orbește acele acțiuni care au dat recompensă în trecut, fără a evalua consecințele situației actuale.
Optsprezece participanți au fost scanați folosind imagistica prin rezonanță magnetică funcțională pe măsură ce au învățat sarcina. Scanările cerebrale au arătat semnătura neuronală distinctă, caracterizată anterior, a erorii de predicție a recompensei - generată în timpul învățării fără model - într-o zonă din mijlocul creierului numită striatul ventral.
Cu toate acestea, în timpul învățării bazate pe model, semnătura neuronală a unei erori de predicție a stării a apărut în două zone diferite de pe suprafața creierului în cortexul cerebral: sulul intraparietal și cortexul prefrontal lateral.
Aceste observații sugerează că două tipuri unice de semnale de eroare sunt calculate în creierul uman, apar în diferite regiuni ale creierului și pot reprezenta strategii de calcul separate pentru ghidarea comportamentului.
„Un sistem fără model funcționează foarte eficient în situații extrem de automatizate și repetitive - de exemplu, dacă iau în mod regulat același drum spre casă de la serviciu”, spune Gläscher, „în timp ce un sistem bazat pe modele, deși necesită creier mult mai mare- putere de procesare, este capabil să se adapteze flexibil la situații noi, cum ar fi nevoia de a găsi un nou traseu urmând un obstacol. ”
Aceste două mecanisme distincte de învățare servesc roluri complementare în controlul comportamentului uman, spune Gläscher.
„Deoarece puterea de procesare a creierelor noastre este limitată, nu are sens să implementăm sistemul bazat pe modele mai intens din punct de vedere al calculului pentru a controla tot ceea ce facem. În schimb, este mai bine să ne bazăm pe sistemul fără model pentru o mulțime de comportament de zi cu zi și să folosim sistemul bazat pe model numai pentru situații noi sau complexe. Un domeniu important pentru cercetări ulterioare va fi încercarea de a înțelege factorii care guvernează modul în care aceste sisteme interacționează împreună pentru a controla comportamentul și pentru a determina modul în care acest lucru este implementat în creier. ”
Sursa: Institutul de Tehnologie din California
