Le projet « Eye On Line » (EOL ) soutenu par l’Agence Nationale pour la Recherche (ANR) vise à développer et tester un dispositif original d’écriture et de dessin avec les yeux. EOL associe des chercheurs du CNRS, des cliniciens de l’hôpital de la Pitié-Salpêtrière, un artiste Michel Paysant, et l’entreprise Pertech. L’objectif principal est de fournir à des patients n’ayant plus la possibilité de se mouvoir et de parler un outil de communication basé sur la mobilité du regard. La nouveauté du dispositif à l’étude est de permettre la réalisation directe de mouvements oculaires lisse et continu, enregistrés par une caméra proche de l’œil, qui restitue ensuite le tracé effectué. Basé sur une illusion perceptive générée par les mouvements des yeux, ce dispositif diffère des dispositifs de sélection d’informations prédéfinies présentées sur un écran. Cette nouvelle approche offre ainsi une grande liberté d’expression, une identité graphique et émotionnelle : signatures, dessins et bientôt musiques pourront être produits directement par l’utilisateur.
Le dispositif EOL sera développé sur 2 ans et devrait voir la naissance d’un prototype commercialisé, facile d’utilisation et de mise en œuvre.
Une première étape vise à entrainer des volontaires sains, car l’acquisition des compétences motrices permettant le contrôle des mouvements oculaires n’est pas immédiate. Une seconde étape, en partenariat avec le service de Neurologie de l’APHP, proposera à des patients atteints de sclérose latérale amyotrophique (ALS), maladie entrainant la paralysie progressive des membres et de la face, des sessions de tests, afin de déterminer s’ils parviennent à contrôler le dispositif et à l’utiliser pour communiquer avec leur entourage.
En parallèle, des développements informatiques réalisés par Julien Diard à Grenoble (au LNCP, laboratoire mixte Université-CNRS) permettront la reconnaissance automatique des tracés et la correction des erreurs ou imperfections.
Michel Paysant, artiste contemporain travaillant à la charnière art/science et producteur d’Eye-Drawings (Voir son portrait sur ce site et ses toiles au musée Georges Pompidou) explorera les possibilités de ce nouveau dispositif et en particulier ses possibilités d’expressivité graphique.
La société Pertech (dirigée par M. Jérôme Baujon) développe des systèmes précis et léger de suivi oculaires. Partenaire du projet, elle adaptera ses modèles aux contraintes particulières du système EOL.
Fonctionnement du dispositif EOL:
L’originalité du dispositif EOL est de faire appel aux capacités oculomotrices des utilisateurs, et en particulier à celles du système de poursuite oculaire, utilisé dans la vie courante pour suivre des cibles en mouvement (ce sont par exemple les mouvements produits lorsque l’on suit des yeux le vol d’un oiseau). Avec EOL, il est possible de transformer les yeux en crayon ou stylo, qui deviennent ainsi de véritables outils pour agir. La difficulté vient de ce qu’il faut réaliser des mouvements lisses –comme les mouvements de la mine d’un crayon. Pour permettre cette performance, Jean Lorenceau s’est appuyé sur une illusion visuelle qui donne l’impression qu’une image immobile se déplace lorsque les yeux bougent. De cette façon les mouvements des yeux, que l’on ignore habituellement, produisent un mouvement illusoire qui rend possible le contrôle de la poursuite oculaire. Il faut cependant noter que cette transformation des mouvements oculaires en outil de communication peut s’avérer difficile et exige un apprentissage (comme pour faire du surf ou du tennis, par exemple). On trouvera sur ce site des démonstrations du dispositif et un espace pour s’entrainer (demo).
En pratique, le dispositif EOL utilise un écran qui présente l’illusion de mouvement et une caméra fixée près d’un œil pour enregistrer les mouvements en continu. Un ordinateur gère l’ensemble du dispositif (stimulation visuelle et enregistrement des mouvements oculaires). Si on le souhaite un logiciel de reconnaissance automatique permet la transformation des traces oculaires -qui sont parfois maladroites- en signes facilement lisibles (chiffres, lettres, mots, etc..). Le système offre également la possibilité de produire des sons qui reflètent les mouvements des yeux, permettant alors une production de sons et de musique.
Le projet EOL vise à tester et développer un dispositif d’écriture utilisant la poursuite oculaire lisse pour la production de lettres, de mots et dessins
Les verrous scientifiques et techniques sont les suivants:
* Optimiser les paramètres de stimulation permettant la génération endogène de mouvements de poursuite, limitant la fatigue et la charge attentionnelle du sujet
* Tester un protocole d’apprentissage conduisant à une maitrise rapide du dispositif dans une population contrôle
* Maximiser l’expressivité en intégrant les composantes du regard disponibles (pupil micro mouvement) et automatiser la segmentation des traces enregistrées, la reconnaissance de mots et de textes et leur restitution sur des supports variés
* Réaliser un prototype intégrant l’ensemble des fonctions en un dispositif matériel et logiciel unique, léger et adapté à une utilisaation en routine dans des situations non-contraintes
* Tester ce dispositif chez des patients atteints de sclérose latérale amyotrophique
1. Coordination du projet et réalisation d’un site internet collaboratif
2. Étude des conditions optimales de contrôle de la poursuite dirigée
3. Définition et test de protocoles d’apprentissage et quantification des progrès sur un groupe contrôle
4. Exploration des possibilités d’expressivité émotionnelle du dispositif et de la variabilité intra- et inter-individuelle
5. Conception d’alphabets adaptés aux contraintes intrinsèques du système oculo-moteur et aux styles individuels d’écriture manuscrite.
6. Automatisation des procédures d’acquisition, de traitements (segmentation, reconnaissance, rendus graphiques)
7. Intégration des fonctionnalités logiciels sur un matériel unique, léger et mobile
8. Tests d’un prototype avec des patients atteints de sclérose latérale amyotrophique (SLA).
9. Rédaction de rapports, articles, présentations dans des services hospitaliers, diffusion
La conception et la réalisation d’un prototype de Poursuite Dirigée du projet EyeOnLine a des impacts scientifiques, économiques et sociaux potentiellement importants. Au plan scientifique, ce nouveau paradigme facilitera la compréhension des mécanismes d’apprentissage oculo-moteur et leurs liens avec le développement de compétences cognitives (contrôle moteur, attention, émotion, écriture, lecture). La Poursuite Dirigée pourra constituer un moyen novateur de remédiation et d’augmentation cognitive chez des patients ayant perdu la motricité des membres supérieurs ou des sujets sains permettant une grande expressivité personnelle, une liberté d’action et d’initiative, une rapidité et une facilité de communication accrue entre des patients et leurs proches. La Poursuite Dirigée pourra être aussi étendue à des activités artistiques proposant une nouvelle modalité de création graphique s’appuyant sur les dynamiques intrinsèques des micro-saccades et des saccades, de la poursuite lisse et des mouvements pupillaires et être utilisée comme méthode pour augmenter la maitrise des mouvements oculaires et leur utilisation pour le pilotage de dispositifs chez des experts (chirurgiens, pilotes, sportifs,..)