Zoom sur les projets orientés data à l’école : le projet UVNI

Le projet UVNI (Understanding Verbal and Non verbal Interactions) a pour objet l’analyse automatique d’interactions entre deux groupes d’étudiants travaillant sur un même problème en visio-conférence. Commandité par le laboratoire Learning, Data & Robotics de l’école, il a été mené par six étudiants de la majeure 5A-DTE : Lucas Alias, Marko Klobucar, Antoine Lesparre, Rebecca Porchette, Agostino Rossi et Marine Tassel. Ils se sont organisés en trois équipes, chaque équipe traitant une source d’information différente.

La team « vidéo » s’est chargée du tracking des visages dans la vidéo. Ce tracking permet de connaître la position des éléments caractéristiques (bouche, yeux, sourcils …) du visage ainsi que son orientation. Ces informations permettent de déterminer le locuteur qui est en train de parler et à qui il s’adresse : une personne de son groupe ou du groupe en visio-conférence.

La team « audio » a réalisé l’analyse du flux audio de la vidéo. À l’issu de ce traitement, une retranscription écrite des dialogues est produite (speech to text).

Une identification du locuteur permet de répondre à la question qui dit quoi ? et quand ?

Enfin, la team « compréhension du langage naturel » (natural language understanding-NLU) a réussi à segmenter la transcription en phrases et à identifier le type d’interactions : les deux groupes sont-ils d’accord ou pas ? un sujet pose-t-il une question ou ne comprend pas un concept ? Ces informations permettent de repérer les phénomènes de « contagion » cognitive » quand les sujets d’un groupe (ou des deux) finissent par comprendre et résoudre le problème.

Pendant tout le projet, ces étudiants ont bénéficiés de l’encadrement des enseignant-chercheurs et doctorants du laboratoire et de l’expertise de nos partenaires Ubisoft et l’Institut Polytechnique de Paris.

Ces trois modules vont être intégrés à la plateforme d’analyse multimodale développée par le laboratoire. Il sera mis en œuvre dans un projet porté par l’ESIEA : le développement d’un système intelligent d’accompagnement d’un individu dans sa montée en compétences dans le domaine des soft skills et la maîtrise de la communication verbale et non verbale.