L’informatique affective est l’étude et le développement de systèmes et d’appareils ayant les capacités de reconnaître, d’exprimer, de synthétiser et de modéliser les émotions humaines. C’est un domaine de recherche interdisciplinaire couvrant les domaines de l’informatique, de la psychologie et des sciences cognitives qui consiste à étudier l’interaction entre technologie et sentiments.

Le domaine de l’informatique affective cherche à donner aux machines la capacité d’établir une communication dans les deux sens, à savoir pouvoir évaluer l’émotion d’un utilisateur et afficher une réaction émotionnelle, par exemple à l’aide d’avatars expressifs ^[1] G. Castellano, Movement expressivity analysis in affective computers : from recognition to expression of emotion, Genova: University of Genova, 2008 ^[2] S. a. P. C. G. Pasquariello, «A simple facial animation engine,» chez In 6th Online World Conference on Soft Computing in Industrial Appications, 2001. . L’informatique affective est donc directement liée au domaine de l’Interaction Homme Machine.

Historique de l’informatique affective

Les émotions remplissent de nombreuses fonctions chez l’humain, dont une fonction de communication lors d’interaction avec d’autres personnes. De nombreux domaines s’intéressent à l’émotion. La philosophie, l’histoire, l’ethnologie, l’éthologie, la neuroscience, la psychologie, ou encore les arts, pour lesquels l’émotion est une matière première.

Chez l’humain, l’empathie est la capacité de partager les émotions d’une autre personne, et de comprendre le point de vue de l’autre personne ^[3] M. W. Eysenck, Psychology, a student handbook, Hove: Psychology Press, 2000. . Les tentatives de faire comprendre et réagir des systèmes d’intelligence artificielle à leur environnement relèvent des domaines de la cognitique. Les tentatives de mesurer objectivement des émotions chez l’humain prennent leurs racines dans des débuts de la psychologie expérimentale du XIXe siècle ^[4] J. T. e. T. Tan, «Affective Computing and Intelligent Interaction,» Computer Science, p. 981–995, 2005. .

L’informatique s’est penchée sur l’émotion dans les années quatre-vingt-dix. En 1995, Rosalind Picard, chercheur informaticienne du Massachusetts Institut of Technology (MIT), publie un article qui pose les fondements de cette nouvelle discipline ^[5] R. Picard., Affective computing, Massachusetts: MIT press, 1997. . Elle met au point le premier robot social capable de traiter certaines informations sociales et affectives : Kismet.

Émotions

Le terme « émotion » est un terme couramment utilisé, mais qu’il est difficile de définir avec précision. Intuitivement, nous sentons que l’émotion est un phénomène à la fois physique et physiologique. Mais
que caractérise une émotion ? La colère est sans conteste une émotion. Qu’en est-il de l’amour, du stress, de la nervosité ou de l’hostilité ?

La notion d’émotion est très familière, nous avons tous la capacité de la définir. Cependant, cette notion est plus complexe que ce qu’il paraît. Les définitions intuitives que nous pouvons proposer ne permettent pas de cerner le sujet de manière précise. De plus, de nombreuses ambiguïtés existent. En particulier, sur des termes tels que : affect, humeur ou sentiment. Les liens entre ces concepts ainsi que leurs limites ne sont pas évidents.

La culture joue également un rôle important dans la compréhension de l’émotion. Par exemple, l’« ijirashii » ( い じ ら し い ) est un terme japonais
définissant l’émotion ressentie lorsque l’on voit une personne louable franchir une difficulté.

Nous pouvons nous baser sur des études effectuées sur les définitions de Paul R. Kleinginna ^[6] J. a. A. M. K. Paul R. Kleinginna, Categorized List of Emotion Definitions, with Suggestions for a Consensual Definition, 1996. . Nous pouvons définir l’émotion comme une réponse à la fois corporelle (neurologique, physiologique …) et cognitive (sociale, mémoire, connaissances …), rapide, déclenchée par un évènement extérieur (évènement, objet) ou intérieur (souvenir), qui capte l’attention de la personne.

Les émotions ont un caractère universel et inné. Elles possèdent une fonction adaptative. Leurs manifestations les plus facilement observables sont les expressions faciales. Celles-ci sont universellement reconnues et jouent sans aucun doute un rôle important dans les interactions sociales. Ces expressions ont été étudiées en particulier par Izard (1982) et Ekman et Friesen (1977). Ekman et Friesen (1977) ont répertorié au niveau du visage toutes les contractions musculaires possibles ou unités d’action.

De nombreux travaux de recherche montrent que l’expression d’émotions des Agents Conversationnels Animés (ACA) permet d’améliorer l’interaction humain-machine ^[7] R. D. B. &. N. K. Russell, «Super-recognizers: People with extraordinary face recognition ability,» Psychonomic Bulletin & Review, p. 252, 2009. . Cependant, pour garantir cet effet positif, les expressions des émotions doivent être appropriées aux événements et au contexte social de l’interaction. En effet, lorsque les expressions d’émotions de l’agent sont inappropriées, celui-ci est perçu plus négativement : moins crédible, moins agréable, etc. ^[8] R. N. a. C. P. M. Ochs, «How a virtual agent should smile? Morphological and dynamic characteristics of virtual agent’s smiles,» chez International Conference on Intelligent Virtual Agents , 2010. . C’est en effet l’incompréhension par l’utilisateur des expressions des émotions de l’agent qui détériore l’interaction. Pour une communication émotionnelle compréhensible, il est donc important que les émotions de l’agent soient à la fois correctement exprimées et exprimées au moment opportun durant l’interaction. Pour ce faire, un ACA doit tout d’abord être doté d’un riche répertoire d’expressions. Les personnages virtuels existants utilisent souvent des expressions stéréotypées, très intenses, limitées au visage, leur conférant un aspect très caricatural et limitant leur capacité de communication émotionnelle à quelques émotions typiques (joie, colère, surprise, tristesse, dégoût et peur). Or, une reconnaissance des émotions est une condition nécessaire à une bonne compréhension de l’agent. Comme le montrent ^[9] M. O. E. B. K. P. Q. A. L. Y. D. J. H. Radoslaw Niewiadomski, La compréhension machine à travers l’expression non-verbale, Paris: Greta Team, 2011. , certaines émotions comme l’embarras ou la fierté sont difficilement perceptibles à travers uniquement l’expression faciale.

Voix

La voix est un outil de communication, elle permet de se mettre en relation avec l’autre et de recevoir l’autre par sa voix. La voix est aussi un mode d’expression émotionnel, elle permet de transmettre et partager des informations et des émotions avec autrui.

L’étude de la voix est donc d’un intérêt particulier pour l’informatique affective : en effet, le comportement vocal et le ton employé jouent un rôle important dans l’interprétation par autrui dans un contexte donné notamment dans la détection du sarcasme et de l’ironie. Savoir écouter l’autre et dialoguer sur le même ton vocal ou son contraire est donc important pour la machine pour comprendre, et discerner les sous-entendus de son interlocuteur.

On distingue dans la voix 3 paramètres caractéristiques :

• L’intensité : L’air, expulsé des poumons, remonte dans le larynx, vers les cordes vocales. La pression (variable) de l’air exercée sous les cordes vocales va définir l’intensité de la voix (qui se mesure en décibels). 50 à 60 dB pour une conversation, jusqu’à 120 dB pour le chant lyrique.
• La fréquence : L’air traverse les cordes vocales, qui (commandées par le cerveau) s’ouvrent et se ferment. Le nombre d’ouvertures/fermetures par seconde correspond à la fréquence de la voix (ou tonalité ou hauteur), grave, aigüe ou médium, qui se mesure en hertz. Une voix médium : 100 Hz pour un homme, 200 Hz pour une femme.
• Le timbre : L’air circule alors dans les résonateurs (gorge, bouche, fosses nasales) et va prendre son timbre. Elle peut être nasillarde, chaude, sensuelle, métallique, blanche, etc.

Expression faciale

Les émotions ont un caractère universel et inné. Elles possèdent une fonction adaptative. Leurs manifestations les plus facilement observables sont les expressions faciales. Celles-ci sont universellement reconnues et jouent sans aucun doute un rôle important dans les interactions
sociales. Le visage est une source d’information importante. En dehors de la synchronisation entre la parole et l’animation du visage, les détails d’un visage jouent un rôle important pour transmettre une émotion ^[10] N. T. C. C. J.-C. M. Mathieu Courgeon, «Postural Expressions of Action Tendency,» Nonverbal Behaviour, 2009. .

On distingue principalement deux informations portées par le visage : l’identité et les expressions :

• L’identité est déterminée quasi intégralement par la forme et la position des os du crâne. Ces caractéristiques, uniques pour chaque individu permettent de le distinguer des autres.
• Les expressions sont déterminées par l’activation des muscles faciaux. De plus, certains processus émotionnels peuvent faire changer localement la couleur de la peau, en la colorant localement par un afflux sanguin plus important qu’à l’accoutumée.

Le visage humain se caractérise par une grande richesse expressive, dépassant de loin ce que l’on observe chez les autres primates ^[11]C. -. Skolnikoff, «Facial expression of emotion in nonhuman primates,» Nonverbal Behaviour, 1973., ^[12]Redican, «Nonverbal communication in human interaction,» Nonverbal Behaviour, 1982.. Cette particularité, résultant de la différenciation de la musculature faciale humaine, est nettement mise en évidence dans les systèmes de codification qui ont vu le jour au cours des deux dernières décennies. Ainsi, le Facial Action Coding System (FACS), développé par ^[13]E. e. Friesen, «A New Pan-Cultural Facial Expression of Emotion,» Nonverbal Behaviour, pp. 159-168, 1978., distingue 46 unités d’action qui correspondent chacune à un changement distinct d’apparence faciale. Ces 46 unités d’action peuvent être produites séparément ou sous forme de combinaisons pouvant comprendre jusqu’à une dizaine d’éléments. Les auteurs estiment que le
nombre de combinaisons qui peuvent être produites par le visage humain atteindrait plusieurs milliers.

Les nombreuses expressions du visage seraient révélatrices de la nature de l’émotion, de son intensité, du degré de contrôle dont elle fait l’objet et de certaines particularités de la situation qui la provoque. Bien que les efforts visant à répertorier les expressions faciales des émotions en sont toujours à leur début, les données actuelles conduisent à penser que chacune des émotions fondamentales serait
exprimée par plusieurs configurations distinctes. Des propositions très intéressantes à cet égard ont été faites par Friesen ^[14]E. e. Friesen, «A New Pan-Cultural Facial Expression of Emotion,» Nonverbal Behaviour, pp. 159-168, 1978. . Le répertoire que ces auteurs proposent contient près d’une centaine d’expressions.
Selon les théories psycho-évolutionnistes ^[15]Ekman, «Felt, false and miserable smiles,» Nonverbal Behaviour, pp. 238-252, 1982., ^[16]Izard, Emotions, personality, and psychotherapy, New York: Plenum Press, 1991., l’expressivité du visage est clairement mise à profit dans la communication émotionnelle et dans la régulation des interactions sociales. Les expressions du visage permettraient aux protagonistes impliqués dans une interaction de faire une appréciation de l’état émotionnel de l’autre et ce serait en partie sur cette appréciation que chaque protagoniste ajusterait son comportement. Ce système de régulation serait avantageux pour l’espèce parce qu’il favoriserait une réduction des conflits et une augmentation de la cohésion sociale ^[17]Izard, Emotions, personality, and psychotherapy, New York: Plenum Press, 1991..

Le comportement non verbal du visage accompagnant la parole, comme, par exemple, un léger hochement de tête ou un rapide soulèvement des sourcils, permet d’augmenter la compréhensibilité de la parole ^[18]J. A. J. D. E. C. T. K. V.-B. K. G. Munhall, Visual Prosody and Speech Intelligibility, British Columbia: Queen’s University, Kingston, Ontario, 2004., et surtout de refléter l’émotion du locuteur. Même si des recherches ont confirmé que le comportement non verbal est lié fortement à la parole synchronisée ^[19] J. A. J. D. E. C. T. K. V.-B. K. G. Munhall, Visual Prosody and Speech Intelligibility, British Columbia: Queen’s University, Kingston, Ontario, 2004. .

Expression corporelle

La communication non verbale ou langage corporel désigne dans une conversation tout échange n’ayant pas recours à la parole. Elle ne repose pas sur les mots, mais sur les gestes, actions et réactions, les attitudes, les expressions faciales, dont les micro-expressions, ainsi que d’autres signaux,
conscients ou inconscients. Tout le corps fait passer un message aussi efficace que les mots que l’on prononce. De plus, les interlocuteurs réagissent inconsciemment aux messages non verbaux mutuels. La communication non verbale ajoute donc une dimension supplémentaire au message, parfois en contradiction avec celui-ci. C’est pourquoi il est intéressant, pour une communication homme- machine, que les machines puissent aisément identifier les expressions corporelles et réagir en conséquence.

De nombreux travaux ont montré l’importance du comportement non verbal dans la communication. Plus de la moitié des informations dans une interaction interpersonnelle sont en effet exprimées à travers les comportements non verbaux ^[20]Mehrabian, Nonverbal concomitants of perceived and intended persuasiveness., Los Angeles, 1969.. Dans une interaction humain-machine, il est donc essentiel que les agents virtuels soient capables de produire des gestes expressifs communicatifs.

Toutefois, la reconnaissance des expressions corporelles a ses limites. En effet, bien qu’il existe des similitudes, les expressions corporelles n’ont pas toujours la même signification à travers les cultures.
De plus, le langage corporel n’est pas un langage appris explicitement, mais plutôt implicitement par intériorisation et imitation. Il n’y a donc pas d’interprétation clairement définie du langage corporel.

Indicateurs physiologiques

L’activité physiologique d’un individu est étroitement liée à ses états émotionnels. Le système nerveux autonome notamment les branches sympathiques et parasympathiques contrôle différentes réponses physiologiques qui peuvent être mesurées par des techniques simples. Par exemple, des modifications du rythme cardiaque, de la pression artérielle, de la température corporelle, des rythmes électro-encéphalograhiques, de la conductance cutanée, peuvent intervenir à la suite d’événements
émotionnellement chargés.