La mia ricerca attuale riguarda il problema del rilevamento e della comprensione delle azioni interattive e delle intenzioni degli utenti, con l’obiettivo di realizzare un’interazione uomo-computer multimodale in contesti naturali. Un aspetto critico di questo problema è che il volto e il corpo umano mostrano comportamenti dinamici complessi e ricchi, tutti non lineari, variabili nel tempo e dipendenti dal contesto (persona, compito, stato emotivo/affettivo). Il focus principale della mia ricerca è quindi lo sviluppo di modelli di interazione uomo-computer multimodale a partire da osservazioni multisensoriali. Le attività svolte finora hanno riguardato l’analisi del comportamento dell’utente (ad esempio espressioni facciali, postura del corpo e della testa, eye tracking, ecc.) nel suo ambiente personale (come casa o ufficio), così come il riconoscimento bimodale delle emozioni a partire da espressioni facciali e informazioni audio. Un ulteriore aspetto importante è lo studio di tecniche di multimedia information retrieval per l’estrazione di informazioni affettive dai dati multimediali.