Annelies Braffort : les promesses de l'informatique linguistique pour les sourds

Entretien avec Annelies Braffort, chargée de recherche au Limsi

(Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur, unité propre du CNRS, Orsay) spécialiste d'informatique linguistique en langue des signes.

Propos recueillis par Isabelle Bellin.

Aujourd'hui, la plupart de vos recherches concernent la modélisation informatique de la langue des signes, comment vous êtes vous intéressée à cette problématique ?

Mon parcours de chercheur est plutôt atypique. Mon premier bagage scientifique était un DUT (Diplôme universitaire de technologie) de mesures physiques, obtenu à Orsay (91). J'ai travaillé pendant 8 ans en tant que technicienne dans un laboratoire de recherches du Commissariat à l'énergie atomique à Saclay (91). Cela ne me satisfaisait pas complètement. Mais, ayant découvert à cette occasion que l'informatique permettait d'être très créatif - beaucoup plus que ne le laissait supposer l'aperçu que j'en avais eu auparavant - j'ai repris des études d'informatique en cours du soir pour décrocher une licence au bout de deux années. Puis, j'ai sollicité un congé formation d'un an pour faire une maîtrise en informatique à l'université d'Orsay.

Finalement, j'ai poursuivi mes études jusqu'à la thèse. C'est lors de mon stage de DEA que je suis entrée au Limsi.

Utilisation de gants numériques pour capter et reconnaître les gestes des mains.

Or il se trouve que le laboratoire venait de s'équiper d'un « gant numérique », une sorte de gant en tissu équipé de capteurs qui permet de mesurer la forme de la main, sa position et son orientation dans l'espace. J'ai voulu le mettre à profit dans le cadre de mon stage dont le but initial était de remplacer le maniement de la souris et du clavier en informatique par des commandes par gestes, par exemple pour contrôler le défilement de transparents lors de présentations orales.

Du geste de commande à la langue des signes utilisée par les sourds pour communiquer, il n'y a qu'un pas… que j'ai vite franchi. Une collègue du Limsi m'a mis en contact avec le spécialiste français linguiste en langue des signes, Christian Cuxac, professeur à l'université Paris VIII. J'ai tout de suite été passionnée par cette langue étonnante et formidablement riche. J'ai pu suivre le cours de linguistique du professeur Cuxac et apprendre la Langue des signes française (LSF) à l'IVT (International visual theatre).

Voilà comment, de fil en aiguille, j'ai finalement consacré ma thèse à l'étude de la traduction de la LSF, depuis la capture du geste jusqu'au français écrit. J'ai mis au point un module de reconnaissance et de compréhension de courts énoncés en LSF pour les traduire en français écrit. Depuis, j'ai poursuivi mes recherches dans ce domaine au Limsi, d'abord en tant que maître de conférences puis chargée de recherche depuis l'an dernier.

Que sait-on aujourd'hui de ces langues de signes et plus particulièrement de la langue des signes française ?

La langue des signes est réellement fascinante. Ce qui la caractérise avant tout c'est sa grammaire, spatiale et iconique, qui permet de montrer les choses tout en les disant . Par exemple, on peut « montrer » le déplacement d'une personne ou d'un objet par rapport à un autre à l'aide des deux mains, la main dite « dominée » ayant le rôle de locatif référent et la main dite « dominante » montrant le déplacement. Ou encore, on peut « conjuguer » certains verbes en utilisant l'espace. Ces procédés, très sophistiqués et efficaces, peuvent se combiner avec l'emploi d'un lexique de signes.

Ce lexique comporte plusieurs milliers de signes « institutionnalisés », qui permettent d'exprimer des concepts aussi bien concrets qu'abstraits . Ce lexique varie d'un pays à l'autre, et même d'une région à l'autre.

À ce titre, le lexique n'est pas universel ; cependant, les structures grammaticales spatiales et iconiques sont quant à elles communément employées dans tous les pays, ce qui donne à ce type de langue un caractère universel. Ainsi, en quelques jours, deux sourds étrangers parviendront à se comprendre.

En France, la LSF a été interdite dans l'enseignement pendant plus d'un siècle , de 1880 à 1991. Pendant cette longue période, on a voulu imposer aux enfants sourds l'emploi du français comme langue d'apprentissage des savoirs, alors que le français n'est pas leur langue naturelle. Cela impliquait un apprentissage du français très douloureux : comment apprendre, bien après l'âge où se fait l'apprentissage linguistique, une langue dont on n'a pas idée des productions, et selon une grammaire totalement étrangère ? Le résultat était souvent un enfant, puis un adulte, qui avait très peu de compétences linguistiques.

Ce type d'éducation est encore malheureusement très fréquent, tandis que les approches de type bilingue, où l'on utilise la LSF comme langue première et où le français est acquis avec des techniques d'apprentissage d'une deuxième langue, ne sont pas encore suffisament soutenues par les institutions .

Probablement du fait de sa longue interdiction, la LSF s'est pratiquée en France de manière totalement déconnectée de la communauté entendante, et a donc préservé son intégrité. Aux États-Unis, où l'interdiction n'a pas été aussi forte, la Langues des Signes Américaine semble avoir subi une influence de l'anglais oral dans ses structures linguistiques, d'autant plus que dans ce pays, il y a plus d'entendants que de sourds qui signent !

Du coup, la grammaire de la LSF est particulièrement riche. Les recherches en France sur la langue des signes se sont rapidement orientées vers l'étude de cette grammaire spatiale singulièrement développée en LSF. De ce fait, nos recherches sont naturellement pluridisciplinaires. De plus en plus de projets communs sont montés depuis trois ans, associant informaticiens et linguistes pour concevoir des modèles informatiques et des outils spécifiques adaptés à la grammaire de la LSF, en liaison avec des sociologues, à l'écoute des besoins réels des sourds et de leurs usages spécifiques.

Nous sommes aujourd'hui une petite équipe d'une douzaine de chercheurs en France à collaborer régulièrement à des recherches pluridisciplinaires sur la LSF. Outre mon équipe au Limsi, sont particulièrement impliqués celle de Christian Cuxac à l'université de Paris VIII, de Patrice Dalle à l'IRIT (Institut de recherche en informatique de Toulouse) et des associations de sourds en particulier à Toulouse et Paris. Nous envisageons d'ailleurs de constituer un véritable groupe de recherche, formel, pour pérenniser ces collaborations.

Quels sont les principaux projets auxquels vous participez actuellement ?

Parmi les recherches qui nous tiennent le plus à cœur, plusieurs ont clairement pour objectif d'apporter des solutions adaptées à la problématique de l'enseignement bilingue (LSF/français) pour les sourds. Comment mettre à profit leur maîtrise de la langue des signes pour leur apprendre le français ? Il s'agit entre autres d'utiliser autant que possible les nouvelles technologies à notre disposition, les ordinateurs, les assistants personnels, la vidéo… pour développer de nouveaux outils d'apprentissage en LSF et permettre ensuite d'aborder l'apprentissage du français écrit avec moins de difficulté. Cette absence d'écriture en LSF reste, aujourd'hui encore, un des principaux arguments des opposants à l'enseignement en LSF.

Développer un système d'écriture suppose avant tout de proposer une représentation graphique de la langue des signes française.

Exemple d'écriture avec SignWriting : correspondance entre l'anglais, l'ASL (langue des signes américaine) et la notation en SignWriting pour « lire » et « ouvrir un journal ». Voir le site web de SignWriting .

Nous réfléchissons donc à un système de notation, une écriture spécifique pour la LSF avec ses propres formes graphiques. Quelques systèmes de notations existent déjà et sont plus ou moins utilisés. Mais même les plus connus comme le système américain baptisé SignWriting, utilisé aux Etats-Unis dans l'enseignement, ne s'avèrent pas réellement satisfaisants. D'abord, ces systèmes nous paraissent inadaptés pour décrire la LSF. Ensuite, aucun n'a été conçu à partir des modèles linguistiques des langues de signes mais plutôt à partir de représentations des gestes des sourds. Ils sont constitués de petites icônes représentant les mains et le visage, agencées dans l'espace pour décrire les signes.

Nous avons imaginé plusieurs applications éducatives à notre système graphique. L'une d'entre elles permettrait aux sourds d'échanger à l'écrit sachant que la plupart ne sont pas du tout à l'aise avec notre alphabet et le français écrit. Nous imaginons un appareil aussi simple et mobile qu'un assistant personnel, qui leur permettrait grâce à ce système de notation graphique de communiquer par écrit et dans leur langue. Ce projet baptisé LS-Script vient juste de démarrer, nous avons obtenu les premiers financements. Nous espérons que sa poursuite ne sera pas remise en cause par les choix budgétaires actuels... Pour l'instant, nous menons les premières études de terrain avec des sociologues pour préciser les besoins des sourds, voir dans quels cadres ils seraient intéressés par de telles applications et s'assurer de leur participation au projet.

Dans un premier temps, nous imaginons un système graphique qui pourrait éventuellement être complété par de la vidéo. Avec un système de reconnaissance des formes, une phrase ainsi écrite en langue des signes pourrait être traduite par exemple en animant un « avatar », un personnage de synthèse en trois dimensions qui reproduise les gestes correspondants à l'énoncé entré. Pour évaluer ces propositions théoriques, nous proposons de réaliser une maquette informatique : les élèves sourds pourraient interroger un site avec ce système d'écriture spécifique pour connaître leur emploi du temps. La réponse leur serait fournie par l'intermédiaire de l'avatar animé.

Dans un avenir plus lointain, on peut imaginer disposer de systèmes de reconnaissance automatique de gestes utilisant des caméras vidéo mais cela impliquera encore beaucoup de recherche fondamentale.

La vidéo est un outil de choix, comment l'utilisez-vous ?

Beaucoup de chercheurs dans le monde travaillant sur la langue des signes utilisent des techniques de traitement d'images : ils tentent de déterminer dans des vidéos mettant en scène des discours en langue des signes où sont positionnés les mains, le visage et essayent ensuite de traduire les énoncés filmés. Malheureusement, bon nombre d'entre eux ne connaissent pas la langue des signes. Ils cherchent simplement à appliquer des méthodologies testées sur des langues orales à des langues gestuelles. Or, le seul ordre des gestes ne suffit pas à comprendre un énoncé en LSF. Il faut tenir compte de l'espace.

ARC-LSF : Prise de vue à trois caméras. Visionner la vidéo - Durée : 40 s. © LIMSI/CNRS 2004.

Pour notre part, nous utilisons évidemment aussi beaucoup la vidéo, mais pour faire du traitement d'images spécifiquement dédié à l'étude de la LSF.

Nous avons en particulier réalisé deux corpus vidéo. L'un permet de fournir des données pour les chercheurs en linguistique. Il a été réalisé avec trois caméras pour accéder à trois prises de vues simultanées : plan rapproché, plan américain et vue de dessus. L'autre, réalisé pour un projet de l'INRIA (Institut national de recherche en informatique et en automatique), est avant tout destiné à une évaluation des méthodes informatiques développées par les chercheurs en traitement d'image.

Par ailleurs, nous utilisons aussi ces corpus vidéo pour développer des outils informatiques d'annotation d'informations spatiales, autrement dit pour préciser de façon automatique le contenu linguistique de chaque image. Pour l'instant, ce travail est fastidieusement réalisé à la main, image par image. Là encore, la représentation spatiale de la LSF est au cœur du sujet.