Big Data poate ajuta computerele să identifice emoțiile legate de imagini
Site-urile populare precum Twitter și Facebook și alte canale sunt acum pline de imagini care ajută o persoană să-și exprime mai bine gândurile și sentimentele. Noi cercetări sugerează „date mari” - orice colecție de seturi de date atât de mari sau complexe încât este dificil de procesat folosind aplicații tradiționale de procesare a datelor - poate fi folosită pentru a învăța computerele să interpreteze conținutul și sentimentele asociate cu imaginile.
Dr. Jiebo Luo, profesor de informatică la Universitatea din Rochester, în colaborare cu cercetătorii de la Adobe Research, a prezentat recent o lucrare la o conferință a Asociației Americane de Inteligență Artificială (AAAI), care descrie o rețea neuronală convoluțională profundă de formare progresivă (CNN) .
Computerul instruit poate fi apoi folosit pentru a determina ce sentimente pot provoca aceste imagini. Luo spune că aceste informații ar putea fi utile pentru lucruri la fel de diverse precum măsurarea indicatorilor economici sau prezicerea alegerilor.
Sarcina este totuși complexă. Analiza sentimentului textului de către computere este în sine o sarcină provocatoare. Și în social media, analiza sentimentelor este mai complicată, deoarece mulți oameni se exprimă folosind imagini și videoclipuri, care sunt mai greu de înțeles pentru un computer.
De exemplu, în timpul unei campanii politice alegătorii își vor împărtăși adesea opiniile prin imagini.
Două imagini diferite ar putea arăta același candidat, dar s-ar putea să facă declarații politice foarte diferite. Un om ar putea recunoaște unul ca fiind un portret pozitiv al candidatului (de exemplu, candidatul zâmbind și ridicând brațele), iar celălalt fiind negativ (de exemplu, o imagine a candidatului care pare învins).
Dar niciun om nu ar putea privi fiecare imagine distribuită pe social media - este cu adevărat „big data”. Pentru a putea face presupuneri în cunoștință de cauză despre popularitatea unui candidat, computerele trebuie să fie instruite pentru a digera aceste date, ceea ce abordarea Luo și colaboratorii săi pot face mai precis decât era posibil până acum.
Cercetătorii tratează sarcina de a extrage sentimentele din imagini ca pe o problemă de clasificare a imaginilor. Aceasta înseamnă că, într-un fel, fiecare imagine trebuie analizată și aplicate etichete.
Pentru a începe procesul de instruire, Luo și colaboratorii săi au folosit un număr mare de imagini Flickr care au fost etichetate vag de un algoritm mașină cu sentimente specifice, într-o bază de date existentă cunoscută sub numele de SentiBank (dezvoltată de grupul Dr. Shih-Fu Chang de la Columbia Universitate).
Acest lucru oferă computerului un punct de plecare pentru a începe să înțeleagă ce pot transmite unele imagini.
Dar etichetele generate de mașină includ și probabilitatea ca acea etichetă să fie adevărată, adică cât de sigur este computerul că eticheta este corectă?
Pasul cheie al procesului de instruire vine apoi, atunci când renunță la orice imagini pentru care sentimentul sau sentimentele cu care au fost etichetați s-ar putea să nu fie adevărate. Deci, ei folosesc doar imaginile etichetate „mai bune” pentru o formare suplimentară într-o manieră care se îmbunătățește progresiv în cadrul puternicei rețele neuronale convoluționale.
Resaercher a constatat că acest pas suplimentar a îmbunătățit semnificativ acuratețea sentimentelor cu care este etichetată fiecare imagine.
De asemenea, au adaptat acest motor de analiză a sentimentelor cu câteva imagini extrase din Twitter. În acest caz, au folosit „inteligența mulțimii”, mai mulți oameni ajutând la clasificarea imaginilor prin intermediul platformei Amazon Mechanical Turk.
Au folosit doar un număr mic de imagini pentru reglarea fină a computerului și totuși, prin aplicarea acestui proces de adaptare a domeniului, au arătat că pot îmbunătăți metodele de ultimă oră pentru analiza sentimentelor imaginilor de pe Twitter.
O constatare surprinzătoare este că acuratețea clasificării sentimentului imaginii a depășit-o pe cea a clasificării sentimentului textului pe aceleași mesaje Twitter.
Sursa: Universitatea din Rochester
