Mimiche
08/02/2013, 13h19
Par Marc Zaffagni, Futura-Sciences
Un système de reconnaissance des gestes, expérimental et basé sur le Kinect de Microsoft, permet aux chirurgiens de manipuler des images durant les interventions. Sa spécificité est qu’il prend en compte les informations contextuelles sur la position du torse et le regard du praticien.
Lors d’une opération chirurgicale, les médecins utilisent couramment l’IRM (http://www.futura-sciences.com/fr/news/t/medecine/d/en-video-joli-comme-un-coeur-qui-bat-sous-irm_43109/) (imagerie par résonance (http://www.futura-sciences.com/fr/definition/t/physique-2/d/resonance_4079/) magnétique). La manipulation de ces images nécessite que le praticien (ou une personne qui l’assiste) accède à l’ordinateur (http://www.futura-sciences.com/fr/definition/t/informatique-3/d/ordinateur_586/) pour afficher les clichés au cours de l’intervention. Ces manipulations peuvent parasiter la concentration et ajoutent un problème de stérilisation (http://www.futura-sciences.com/fr/news/t/technologie-1/d/ecrans-tactiles-phonesoap-une-lampe-uv-contre-les-microbes_42388/) du matériel informatique, souris et clavier (http://www.futura-sciences.com/fr/news/t/medecine/d/les-distributeurs-de-billets-aussi-sales-que-des-toilettes-publiques_27748/) pouvant être des vecteurs de contamination (http://www.futura-sciences.com/fr/definition/t/medecine-2/d/contamination_3178/).
Une alternative qui est en train de s’imposer repose sur la technologie de détection des mouvements (http://www.futura-sciences.com/fr/news/t/informatique/d/leap-motion-linterface-de-controle-en-3d-qui-menace-la-souris_38871/), afin de permettre aux chirurgiens de manipuler l’outil informatique et les contenus dont ils ont besoin par leurs seuls gestes. Le capteur (http://www.futura-sciences.com/fr/definition/t/technologie-2/d/senseur_8460/) Kinect (http://www.futura-sciences.com/fr/news/t/informatique/d/en-video-kinect-bientot-dans-les-appareils-mobiles_44031/) de Microsoft a ouvert de nombreuses possibilités dans ce domaine et donné lieu à diverses applications. Récemment, des chercheurs de l’université Purdue (https://engineering.purdue.edu/IE/rethinkIE/wachs) aux États-Unis ont présenté un système de manipulation des IRM (http://www.futura-sciences.com/fr/definition/t/medecine-2/d/irm_8096/) par les gestes qui a la particularité d’intégrer les informations contextuelles sur la position du torse, l’angle des bras, l’orientation de la tête et le regard de l’utilisateur pour déterminer quelle est son intention. « Les chirurgiens effectuent de nombreux gestes durant une intervention pour communiquer avec leurs confrères et les infirmiers. Le défi principal est de créer un algorithme capable de comprendre la différence entre ces gestes des commandes spécifiques pour consulter les images », explique Juan Pablo Wachs, l’un des chercheurs qui travaillent sur ce projet.
http://www.futura-sciences.com/uploads/RTEmagicC_kinect_2_txdam34859_e510af.jpghttp://www.futura-sciences.com/fileadmin/templates/v4/bg/logitech/pt-loupe.gif (http://www.futura-sciences.com/uploads/RTEmagicP_kinect_2_txdam34859_e510af.jpg)
Dans cette simulation réalisée par les chercheurs de l’université Purdue, on peut voir comment un chirurgien manipule des IRM par les gestes de sa main gauche. On aperçoit le capteur Kinect dans le coin supérieur gauche de la fenêtre (http://www.futura-sciences.com/fr/definition/t/maison-2/d/fenetre_10681/) en bas au centre de l’écran. L’algorithme interprète la nature des gestes et déduit s’il s’agit ou non d’une commande pour manipuler une image. © Université Purdue La main créée par le Kinect dirigée par les gestes
Pour définir les gestes les plus utiles pour manipuler les images (http://www.futura-sciences.com/fr/doc/t/technologie/d/realite-augmentee_977/c3/221/p1/), ils ont demandé à des chirurgiens vétérinaires de dresser une liste. Au final, dix gestes spécifiques ont été retenus : pivoter à droite et à gauche, zoomer et dézoomer, défiler vers la droite ou vers la gauche, vers le haut ou vers le bas, augmenter et réduire la luminosité (http://www.futura-sciences.com/fr/definition/t/high-tech-1/d/luminosite_1976/).
L’algorithme va alors comparer les mouvements (http://www.futura-sciences.com/fr/definition/t/physique-2/d/mouvement_316/) du chirurgien avec cette base de données (http://www.futura-sciences.com/fr/definition/t/informatique-3/d/base-de-donnees_518/) pour déterminer si le geste effectué appelle une manipulation d’image. Si tel est le cas, la trajectoire en 3D de la main créée par le capteur Kinect est décomposée en une série de symboles qui représentent la vitesse de déplacement sur différents axes. La séquence est reconnue en utilisant un modèle de Markov caché (http://www.futura-sciences.com/fr/news/t/informatique/d/un-gant-capable-de-reconnaitre-lecriture-tracee-dans-le-vide_43890/) (modèle statistique employé pour la reconnaissance de forme et en intelligence artificielle (http://www.futura-sciences.com/fr/doc/t/robotique-1/d/robots-et-avatars_936/c3/221/p3/)) qui est combiné avec la dernière commande gestuelle effectuée et le délai écoulé entre les commandes.
Le Kinect reconnaît 97 % des commandes
En tenant compte des informations contextuelles, la précision de l’algorithme augmente de façon significative. Dans leur rapport, les chercheurs de l’université Purdue indiquent que grâce à cette méthode, le pourcentage de faux positifs (le système confond un geste anodin avec une commande) est passé de 20,8 % à 2,3 %. La précision moyenne pour traduire un mouvement en commande est de 97 %.
Cependant, les scientifiques admettent que l’algorithme doit être amélioré dans le suivi de l’opérateur, car il arrive qu’il soit perturbé lorsque plusieurs personnes sont présentes dans le champ du capteur Kinect (http://www.futura-sciences.com/fr/news/t/technologie-1/d/kinect-peut-peser-quelquun-a-distance_35912/). Le développement du système va se poursuivre avec notamment la prise en compte de nouvelles informations contextuelles comme la position de l’instrument chirurgical dans le corps du patient afin d’anticiper le type d’IRM dont le chirurgien va avoir besoin. S’ensuivra un test à grande échelle sur un mannequin d’entraînement, comme ceux dont se servent les internes en chirurgie (http://www.futura-sciences.com/fr/definition/t/medecine-2/d/chirurgie_3137/) pour répéter des interventions.
Un système de reconnaissance des gestes, expérimental et basé sur le Kinect de Microsoft, permet aux chirurgiens de manipuler des images durant les interventions. Sa spécificité est qu’il prend en compte les informations contextuelles sur la position du torse et le regard du praticien.
Lors d’une opération chirurgicale, les médecins utilisent couramment l’IRM (http://www.futura-sciences.com/fr/news/t/medecine/d/en-video-joli-comme-un-coeur-qui-bat-sous-irm_43109/) (imagerie par résonance (http://www.futura-sciences.com/fr/definition/t/physique-2/d/resonance_4079/) magnétique). La manipulation de ces images nécessite que le praticien (ou une personne qui l’assiste) accède à l’ordinateur (http://www.futura-sciences.com/fr/definition/t/informatique-3/d/ordinateur_586/) pour afficher les clichés au cours de l’intervention. Ces manipulations peuvent parasiter la concentration et ajoutent un problème de stérilisation (http://www.futura-sciences.com/fr/news/t/technologie-1/d/ecrans-tactiles-phonesoap-une-lampe-uv-contre-les-microbes_42388/) du matériel informatique, souris et clavier (http://www.futura-sciences.com/fr/news/t/medecine/d/les-distributeurs-de-billets-aussi-sales-que-des-toilettes-publiques_27748/) pouvant être des vecteurs de contamination (http://www.futura-sciences.com/fr/definition/t/medecine-2/d/contamination_3178/).
Une alternative qui est en train de s’imposer repose sur la technologie de détection des mouvements (http://www.futura-sciences.com/fr/news/t/informatique/d/leap-motion-linterface-de-controle-en-3d-qui-menace-la-souris_38871/), afin de permettre aux chirurgiens de manipuler l’outil informatique et les contenus dont ils ont besoin par leurs seuls gestes. Le capteur (http://www.futura-sciences.com/fr/definition/t/technologie-2/d/senseur_8460/) Kinect (http://www.futura-sciences.com/fr/news/t/informatique/d/en-video-kinect-bientot-dans-les-appareils-mobiles_44031/) de Microsoft a ouvert de nombreuses possibilités dans ce domaine et donné lieu à diverses applications. Récemment, des chercheurs de l’université Purdue (https://engineering.purdue.edu/IE/rethinkIE/wachs) aux États-Unis ont présenté un système de manipulation des IRM (http://www.futura-sciences.com/fr/definition/t/medecine-2/d/irm_8096/) par les gestes qui a la particularité d’intégrer les informations contextuelles sur la position du torse, l’angle des bras, l’orientation de la tête et le regard de l’utilisateur pour déterminer quelle est son intention. « Les chirurgiens effectuent de nombreux gestes durant une intervention pour communiquer avec leurs confrères et les infirmiers. Le défi principal est de créer un algorithme capable de comprendre la différence entre ces gestes des commandes spécifiques pour consulter les images », explique Juan Pablo Wachs, l’un des chercheurs qui travaillent sur ce projet.
http://www.futura-sciences.com/uploads/RTEmagicC_kinect_2_txdam34859_e510af.jpghttp://www.futura-sciences.com/fileadmin/templates/v4/bg/logitech/pt-loupe.gif (http://www.futura-sciences.com/uploads/RTEmagicP_kinect_2_txdam34859_e510af.jpg)
Dans cette simulation réalisée par les chercheurs de l’université Purdue, on peut voir comment un chirurgien manipule des IRM par les gestes de sa main gauche. On aperçoit le capteur Kinect dans le coin supérieur gauche de la fenêtre (http://www.futura-sciences.com/fr/definition/t/maison-2/d/fenetre_10681/) en bas au centre de l’écran. L’algorithme interprète la nature des gestes et déduit s’il s’agit ou non d’une commande pour manipuler une image. © Université Purdue La main créée par le Kinect dirigée par les gestes
Pour définir les gestes les plus utiles pour manipuler les images (http://www.futura-sciences.com/fr/doc/t/technologie/d/realite-augmentee_977/c3/221/p1/), ils ont demandé à des chirurgiens vétérinaires de dresser une liste. Au final, dix gestes spécifiques ont été retenus : pivoter à droite et à gauche, zoomer et dézoomer, défiler vers la droite ou vers la gauche, vers le haut ou vers le bas, augmenter et réduire la luminosité (http://www.futura-sciences.com/fr/definition/t/high-tech-1/d/luminosite_1976/).
L’algorithme va alors comparer les mouvements (http://www.futura-sciences.com/fr/definition/t/physique-2/d/mouvement_316/) du chirurgien avec cette base de données (http://www.futura-sciences.com/fr/definition/t/informatique-3/d/base-de-donnees_518/) pour déterminer si le geste effectué appelle une manipulation d’image. Si tel est le cas, la trajectoire en 3D de la main créée par le capteur Kinect est décomposée en une série de symboles qui représentent la vitesse de déplacement sur différents axes. La séquence est reconnue en utilisant un modèle de Markov caché (http://www.futura-sciences.com/fr/news/t/informatique/d/un-gant-capable-de-reconnaitre-lecriture-tracee-dans-le-vide_43890/) (modèle statistique employé pour la reconnaissance de forme et en intelligence artificielle (http://www.futura-sciences.com/fr/doc/t/robotique-1/d/robots-et-avatars_936/c3/221/p3/)) qui est combiné avec la dernière commande gestuelle effectuée et le délai écoulé entre les commandes.
Le Kinect reconnaît 97 % des commandes
En tenant compte des informations contextuelles, la précision de l’algorithme augmente de façon significative. Dans leur rapport, les chercheurs de l’université Purdue indiquent que grâce à cette méthode, le pourcentage de faux positifs (le système confond un geste anodin avec une commande) est passé de 20,8 % à 2,3 %. La précision moyenne pour traduire un mouvement en commande est de 97 %.
Cependant, les scientifiques admettent que l’algorithme doit être amélioré dans le suivi de l’opérateur, car il arrive qu’il soit perturbé lorsque plusieurs personnes sont présentes dans le champ du capteur Kinect (http://www.futura-sciences.com/fr/news/t/technologie-1/d/kinect-peut-peser-quelquun-a-distance_35912/). Le développement du système va se poursuivre avec notamment la prise en compte de nouvelles informations contextuelles comme la position de l’instrument chirurgical dans le corps du patient afin d’anticiper le type d’IRM dont le chirurgien va avoir besoin. S’ensuivra un test à grande échelle sur un mannequin d’entraînement, comme ceux dont se servent les internes en chirurgie (http://www.futura-sciences.com/fr/definition/t/medecine-2/d/chirurgie_3137/) pour répéter des interventions.