Introduction à l’Informatique Affective

L’informatique affective est l’étude et le développement de systèmes et d’appareils ayant les capacités de reconnaître, d’exprimer, de synthétiser et de modéliser les émotions humaines. C’est un domaine de recherche interdisciplinaire couvrant les domaines de l’informatique, de la psychologie et des sciences cognitives qui consiste à étudier l’interaction entre technologie et sentiments.

Le domaine de l’informatique affective cherche à donner aux machines la capacité d’établir une communication dans les deux sens, à savoir pouvoir évaluer l’émotion d’un utilisateur et afficher une réaction émotionnelle, par exemple à l’aide d’avatars expressifs ^{1 2}. L’informatique affective est donc directement liée au domaine de l’Interaction Homme Machine.

Historique de l’informatique affective

Les émotions remplissent de nombreuses fonctions chez l’humain, dont une fonction de communication lors d’interaction avec d’autres personnes. De nombreux domaines s’intéressent à l’émotion. La philosophie, l’histoire, l’ethnologie, l’éthologie, la neuroscience, la psychologie, ou encore les arts, pour lesquels l’émotion est une matière première.

Chez l’humain, l’empathie est la capacité de partager les émotions d’une autre personne, et de comprendre le point de vue de l’autre personne ³. Les tentatives de faire comprendre et réagir des systèmes d’intelligence artificielle à leur environnement relèvent des domaines de la cognitique. Les tentatives de mesurer objectivement des émotions chez l’humain prennent leurs racines dans des débuts de la psychologie expérimentale du XIXe siècle ⁴ .

L’informatique s’est penchée sur l’émotion dans les années quatre-vingt-dix. En 1995, Rosalind Picard, chercheur informaticienne du Massachusetts Institut of Technology (MIT), publie un article qui pose les fondements de cette nouvelle discipline ⁵ . Elle met au point le premier robot social capable de traiter certaines informations sociales et affectives : Kismet.

Kismet

Clippy

Dans les années 2000, des prototypes d’ordinateur montrant de l’empathie, de la sympathie et des habiletés d’écoute active, sont mis au point et testés. L’objectif de ces prototypes est de permettre aux ordinateurs de gérer la frustration de leurs utilisateurs.

Les systèmes de reconnaissance ont au fil des années considéré les différents vecteurs de la communication émotionnelle, en commençant par le visage et la voix, pour ensuite s’intéresser à la gestuelle et enfin aux réactions physiologiques de l’émotion.

Émotions

Le terme « émotion » est un terme couramment utilisé, mais qu’il est difficile de définir avec précision. Intuitivement, nous sentons que l’émotion est un phénomène à la fois physique et physiologique. Mais

que caractérise une émotion ? La colère est sans conteste une émotion. Qu’en est-il de l’amour, du stress, de la nervosité ou de l’hostilité ?

La notion d’émotion est très familière, nous avons tous la capacité de la définir. Cependant, cette notion est plus complexe que ce qu’il paraît. Les définitions intuitives que nous pouvons proposer ne permettent pas de cerner le sujet de manière précise. De plus, de nombreuses ambiguïtés existent. En particulier, sur des termes tels que : affect, humeur ou sentiment. Les liens entre ces concepts ainsi que leurs limites ne sont pas évidents.

La culture joue également un rôle important dans la compréhension de l’émotion. Par exemple, l’« ijirashii » ( い じ ら し い ) est un terme japonais

définissant l’émotion ressentie lorsque l’on voit une personne louable franchir une difficulté.

Nous pouvons nous baser sur des études effectuées sur les définitions de Paul R. Kleinginna ⁶. Nous pouvons définir l’émotion comme une réponse à la fois corporelle (neurologique, physiologique …) et cognitive (sociale, mémoire, connaissances …), rapide, déclenchée par un évènement extérieur (évènement, objet) ou intérieur (souvenir), qui capte l’attention de la personne.

Les émotions ont un caractère universel et inné. Elles possèdent une fonction adaptative. Leurs manifestations les plus facilement observables sont les expressions faciales. Celles-ci sont universellement reconnues et jouent sans aucun doute un rôle important dans les interactions sociales. Ces expressions ont été étudiées en particulier par Izard (1982) et Ekman et Friesen (1977). Ekman et Friesen (1977) ont répertorié au niveau du visage toutes les contractions musculaires possibles ou unités d’action.

De nombreux travaux de recherche montrent que l’expression d’émotions des Agents Conversationnels Animés (ACA) permet d’améliorer l’interaction humain-machine ⁷. Cependant, pour garantir cet effet positif, les expressions des émotions doivent être appropriées aux événements et au contexte social de l’interaction. En effet, lorsque les expressions d’émotions de l’agent sont inappropriées, celui-ci est perçu plus négativement : moins crédible, moins agréable, etc. ⁸ . C’est en effet l’incompréhension par l’utilisateur des expressions des émotions de l’agent qui détériore l’interaction. Pour une communication émotionnelle compréhensible, il est donc important que les émotions de l’agent soient à la fois correctement exprimées et exprimées au moment opportun durant l’interaction. Pour ce faire, un ACA doit tout d’abord être doté d’un riche répertoire d’expressions. Les personnages virtuels existants utilisent souvent des expressions stéréotypées, très intenses, limitées au visage, leur conférant un aspect très caricatural et limitant leur capacité de communication émotionnelle à quelques émotions typiques (joie, colère, surprise, tristesse, dégoût et peur). Or, une reconnaissance des émotions est une condition nécessaire à une bonne compréhension de l’agent. Comme le montrent ⁹, certaines émotions comme l’embarras ou la fierté sont difficilement perceptibles à travers uniquement l’expression faciale.

Voix

La voix est un outil de communication, elle permet de se mettre en relation avec l’autre et de recevoir l’autre par sa voix. La voix est aussi un mode d’expression émotionnel, elle permet de transmettre et partager des informations et des émotions avec autrui.

L’étude de la voix est donc d’un intérêt particulier pour l’informatique affective : en effet, le comportement vocal et le ton employé jouent un rôle important dans l’interprétation par autrui dans un contexte donné notamment dans la détection du sarcasme et de l’ironie. Savoir écouter l’autre et dialoguer sur le même ton vocal ou son contraire est donc important pour la machine pour comprendre, et discerner les sous-entendus de son interlocuteur.

On distingue dans la voix 3 paramètres caractéristiques :

• L’intensité : L’air, expulsé des poumons, remonte dans le larynx, vers les cordes vocales. La pression (variable) de l’air exercée sous les cordes vocales va définir l’intensité de la voix (qui se mesure en décibels). 50 à 60 dB pour une conversation, jusqu’à 120 dB pour le chant lyrique.
• La fréquence: L’air traverse les cordes vocales, qui (commandées par le cerveau) s’ouvrent et se ferment. Le nombre d’ouvertures/fermetures par seconde correspond à la fréquence de la voix (ou tonalité ou hauteur), grave, aigüe ou médium, qui se mesure en hertz. Une voix médium : 100 Hz pour un homme, 200 Hz pour une femme.
• Le timbre : L’air circule alors dans les résonateurs (gorge, bouche, fosses nasales) et va prendre son timbre. Elle peut être nasillarde, chaude, sensuelle, métallique, blanche, etc.

Expression faciale

Les émotions ont un caractère universel et inné. Elles possèdent une fonction adaptative. Leurs manifestations les plus facilement observables sont les expressions faciales. Celles-ci sont universellement reconnues et jouent sans aucun doute un rôle important dans les interactions

sociales. Le visage est une source d’information importante. En dehors de la synchronisation entre la parole et l’animation du visage, les détails d’un visage jouent un rôle important pour transmettre une émotion ¹⁰.

Source https://imotions.com/blog/facial-action-coding-system/

On distingue principalement deux informations portées par le visage : l’identité et les expressions :

• L’identité est déterminée quasi intégralement par la forme et la position des os du crâne. Ces caractéristiques, uniques pour chaque individu permettent de le distinguer des autres.
• Les expressions sont déterminées par l’activation des muscles faciaux. De plus, certains processus émotionnels peuvent faire changer localement la couleur de la peau, en la colorant localement par un afflux sanguin plus important qu’à l’accoutumée.

Le visage humain se caractérise par une grande richesse expressive, dépassant de loin ce que l’on observe chez les autres primates ¹¹, ¹². Cette particularité, résultant de la différenciation de la musculature faciale humaine, est nettement mise en évidence dans les systèmes de codification qui ont vu le jour au cours des deux dernières décennies. Ainsi, le Facial Action Coding System (FACS), développé par ¹³, distingue 46 unités d’action qui correspondent chacune à un changement distinct d’apparence faciale. Ces 46 unités d’action peuvent être produites séparément ou sous forme de combinaisons pouvant comprendre jusqu’à une dizaine d’éléments. Les auteurs estiment que le nombre de combinaisons qui peuvent être produites par le visage humain atteindrait plusieurs milliers.

Les nombreuses expressions du visage seraient révélatrices de la nature de l’émotion, de son intensité, du degré de contrôle dont elle fait l’objet et de certaines particularités de la situation qui la provoque. Bien que les efforts visant à répertorier les expressions faciales des émotions en sont toujours à leur début, les données actuelles conduisent à penser que chacune des émotions fondamentales serait exprimée par plusieurs configurations distinctes. Des propositions très intéressantes à cet égard ont été faites par Friesen ¹³. Le répertoire que ces auteurs proposent contient près d’une centaine d’expressions.

Selon les théories psycho-évolutionnistes ¹⁴, ¹⁵, l’expressivité du visage est clairement mise à profit dans la communication émotionnelle et dans la régulation des interactions sociales. Les expressions du visage permettraient aux protagonistes impliqués dans une interaction de faire une appréciation de l’état émotionnel de l’autre et ce serait en partie sur cette appréciation que chaque protagoniste ajusterait son comportement. Ce système de régulation serait avantageux pour l’espèce parce qu’il favoriserait une réduction des conflits et une augmentation de la cohésion sociale ¹⁵.

Le comportement non verbal du visage accompagnant la parole, comme, par exemple, un léger hochement de tête ou un rapide soulèvement des sourcils, permet d’augmenter la compréhensibilité de la parole ¹⁶, et surtout de refléter l’émotion du locuteur. Même si des recherches ont confirmé que le comportement non verbal est lié fortement à la parole synchronisée ¹⁶.

Expression corporelle

La communication non verbale ou langage corporel désigne dans une conversation tout échange n’ayant pas recours à la parole. Elle ne repose pas sur les mots, mais sur les gestes, actions et réactions, les attitudes, les expressions faciales, dont les micro-expressions, ainsi que d’autres signaux,

conscients ou inconscients. Tout le corps fait passer un message aussi efficace que les mots que l’on prononce. De plus, les interlocuteurs réagissent inconsciemment aux messages non verbaux mutuels. La communication non verbale ajoute donc une dimension supplémentaire au message, parfois en contradiction avec celui-ci. C’est pourquoi il est intéressant, pour une communication homme- machine, que les machines puissent aisément identifier les expressions corporelles et réagir en conséquence.

De nombreux travaux ont montré l’importance du comportement non verbal dans la communication. Plus de la moitié des informations dans une interaction interpersonnelle sont en effet exprimées à travers les comportements non verbaux ¹⁷. Dans une interaction humain-machine, il est donc essentiel que les agents virtuels soient capables de produire des gestes expressifs communicatifs.

Toutefois, la reconnaissance des expressions corporelles a ses limites. En effet, bien qu’il existe des similitudes, les expressions corporelles n’ont pas toujours la même signification à travers les cultures.

De plus, le langage corporel n’est pas un langage appris explicitement, mais plutôt implicitement par intériorisation et imitation. Il n’y a donc pas d’interprétation clairement définie du langage corporel.

Indicateurs physiologiques

L’activité physiologique d’un individu est étroitement liée à ses états émotionnels. Le système nerveux autonome notamment les branches sympathiques et parasympathiques contrôle différentes réponses physiologiques qui peuvent être mesurées par des techniques simples. Par exemple, des modifications du rythme cardiaque, de la pression artérielle, de la température corporelle, des rythmes électro-encéphalograhiques, de la conductance cutanée, peuvent intervenir à la suite d’événements

émotionnellement chargés.

Empathie

Empathie vient du mot grec « empatheia », em signifie « dans » et pathos signifie « sentiment ». Cette notion réfère aux capacités que possède un individu pour comprendre (empathie cognitive), ressentir (empathie émotionnelle) ce qu’une autre personne vit et agir en conséquence (empathie compassionnelle), par la détection et l’interprétation des sentiments et pensées de cette tierce personne ¹⁸.

Empathie cognitive

Selon un vieil adage « Marchez un kilomètre à la place de quelqu’un d’autre et vous comprendrez », cela semble décrire l’empathie pour beaucoup, mais c’est en fait presque exclusivement une empathie cognitive. La cognition, c’est penser ou savoir. C’est le processus d’évaluation d’une situation et de

connaissance de ce qu’une autre personne traverse, car il est possible de saisir la situation grâce à nos propres connaissances. C’est une forme d’empathie, car elle consiste à projeter notre savoir sur un type de situation similaire et à reconnaître à l’autre personne que nous comprenons son expérience parce que nous avons, par exemple, vécu une situation similaire. Malheureusement, ce type de réponse empathique est souvent utilisé par les gens pour manipuler les autres plutôt que pour le rendre compatissant. Montrer ce type d’empathie peut être positif ou négatif.

Empathie émotionnelle

Le niveau suivant de la définition de l’empathie, l’empathie émotionnelle, comprend non seulement la connaissance de ce qui arrive à quelqu’un d’autre, mais aussi la capacité de ressentir ce qu’il ressent. Avoir une réaction émotionnelle lorsqu’on est mis au courant de la douleur émotionnelle d’un autre, cela provoque une contagion émotionnelle.En d’autres termes, notre réaction à leur sort provoque une réaction émotionnelle contagieuse. Les personnes le ressentent, selon des psychologues tels que Daniel Goleman dans son livre « Social Intelligence », en raison du système de neurones miroirs. Ce système permet aux humains et certains mammifères de refléter ce qu’ils voient ou constatent chez l’autre. Il peut s’agir de postures ou d’émotions.

Empathie compassionnelle

C’est une réponse plus profonde que simplement savoir ou ressentir ; c’est ce type d’empathie qui pousse une personne à agir à cause de ce que vit une autre personne. L’empathie compassionnelle correspond à ce que nous entendons par compassion : ressentir la douleur de quelqu’un et agir en conséquence. Comme la sympathie, elle consiste à ressentir la douleur et l’inquiétude pour quelqu’un, mais avec une action visant à atténuer le problème. Elle pousse les personnes à agir lorsqu’ils voient

une autre personne en détresse.

Reconnaissance d’émotions

La reconnaissance d’émotions est un domaine jeune, mais dont la maturité grandissante implique de nouveaux besoins en termes de modélisation et d’intégration dans des modèles existants. Elle consiste à associer une émotion à une image de visage, un son ou à des données physiologiques. Le but est donc de déterminer, d’après cette modalité l’état émotionnel interne de la personne.

Reconnaissance d’émotion par modalité vocale

La reconnaissance vocale est une technique informatique qui permet d’analyser la voix humaine captée au moyen d’un microphone pour la transcrire sous la forme d’un texte exploitable par une machine. De nos jours, l’apprentissage profond à la reconnaissance vocale permet d’atteindre des taux d’erreurs relativement faibles, 5,5% pour la reconnaissance vocale d’IBM, alors que l’humain à un taux d’erreurs de 5.1%.Toutefois, la reconnaissance vocale a ses limites. En effet, pouvant être facilement usurpée, elle ne peut pas servir de moyen d’authentification par exemple. Aussi, les différents accents au sein d’une langue peuvent poser problème à la compréhension.

Cependant ces techniques utilisées pour la reconnaissance vocale peuvent être appliquées à la compréhension d’émotions. C’est-à-dire se concentrer sur la manière dont une phrase est prononcée que sur son contenu.Shiqing Zhang dans ¹⁹ propose une nouvelle méthode de reconnaissance des émotions de la parole dans un signal de parole en utilisant Fuzzy Least Squares Support Vector Machines (FLSSVM) basé sur l’extraction de caractéristiques de prosodie et de qualité vocale à partir d’un discours émotionnel.

Reconnaissance d’expressions faciales

La reconnaissance faciale semble être la technologie biométrique la plus naturelle et la plus simple à mettre en pratique. En effet, les expressions faciales sont naturellement utilisées pour envoyer des messages émotionnels entre individus. C’est pourquoi il est intéressant, pour une communication homme-machine, que les machines puissent aisément reconnaître et comprendre les expressions du visage et réagir en conséquence.

Les logiciels de reconnaissance faciale sont capables d’identifier les individus selon la morphologie de leur visage à partir d’une image ou d’un capteur photo. L’efficacité de la reconnaissance faciale dépend de trois facteurs clés :

• La qualité de l’image ;
• L’algorithme d’identification ;
• La fiabilité de la base de données.

Ces mêmes techniques peuvent être appliqués à la reconnaissance des expressions faciales. Dans la littérature plusieurs techniques ont été proposées pour facilement reconnaitre les expressions : ²⁰,²¹, ²², ²³, ²⁴, ²⁵, ²⁶, ²⁷, ²⁸ proposent une approche multimodale pour la reconnaissance des huit émotions. Leur approche intègre des informations provenant d’expressions faciales, mouvements du corps et gestes et discours. ²⁹Reconnaissance d’émotions par les expressions corporellesDarwin ³⁰ a été le premier à proposer plusieurs principes décrivant en détail comment le langage corporel et la posture sont associés aux émotions chez l’homme et les animaux. Bien que les recherches de Darwin sur l’analyse des émotions se sont concentrées sur le langage du corps et la posture ³¹, ³², ³³, les systèmes de détection des émotions existants négligent l’importance de la posture du corps par rapport aux expressions faciales et à la reconnaissance vocale. Cette étude ³⁴ suggère aussi que les informations véhiculées par les expressions corporelles n’ont pas été suffisamment explorées.

De plus, la posture corporelle peut fournir des informations qui parfois ne peuvent pas être transmises par canaux non verbaux conventionnels tels que les expressions faciales et la parole. Le plus grand avantage de la reconnaissance des émotions à partir des informations corporelles est que ceux-ci sont inconscients, non intentionnels et, par conséquent, non susceptibles à l’environnement comparé aux expressions faciales et à la parole. ³⁵ , ³⁶, ³⁷, ³⁸, dans leurs études de la tromperie, montrent qu’il est beaucoup plus facile de dissimuler la duperie par l’expression du visage que le canal de la posture du corps moins contrôlable. La posture du corps peut communiquer des catégories d’émotions discrètes et émotionnelles ³⁵, ³⁶. ³⁹ et ⁴⁰ proposent une approche en temps réel pour reconnaître automatiquement les émotions à partir des mouvements du corps.

Reconnaissance d’émotions par les indicateurs physiologiques

Il a été démontré que les changements physiologiques occupent une place importante lors d’expériences émotionnelles ⁴¹. L’émotion est un processus psychophysiologique, produit par l’activité du système limbique en réponse à un stimulus, ce qui conduit à l’activation du système somatosensoriel ⁴². En outre, différents changements physiologiques périphériques entraînent différentes émotions et un retour d’information corporel est nécessaire à l’émergence de l’émotion. ⁴¹.

Dans ⁴³, ⁴⁴, ⁴⁵, les auteurs utilisent l’électro-cardiographie (ECG) pour classifier les émotions d’unepersonne donnée. Dans ⁴⁶ l’électro-encéphalographie (EEG) a été utilisé. Dans ⁴⁷, les auteurs utilisent plusieurs caractéristiques physiologiques telles que la température cutanée, la photopléthysmographie, l’activité électrodermique et l’électrocardiogramme.

1872.

«Unsupervised Learning in Reservoir Computing for EEG-based Emotion Recognition,» 2018.