Des effets spéciaux… à la réalité augmentée au service de la neurochirurgie | Réseau de l'Université du Québec

Des effets spéciaux… à la réalité augmentée au service de la neurochirurgie

Image de l'article

Simon Drouin, nouveau professeur en LOG-TI.

2019-11-05

Des effets spéciaux… à la réalité augmentée au service de la neurochirurgie

Au tournant des années 1990, Montréal devient en quelques années une plaque tournante pour l’industrie naissante des logiciels d’effets spéciaux. Simon Drouin est immédiatement fasciné par les prouesses techniques de compagnies montréalaises comme Softimage, dont le logiciel est utilisé pour la production des effets révolutionnaires du film «  Jurassic Park  ». Dès lors, il n’y a aucun doute dans son esprit, il deviendra ingénieur en informatique pour prendre part à ce mouvement. Depuis, ses différentes expériences l’ont amené à toucher à presque tous les aspects de l’imagerie numérique. 

On peut certainement qualifier son parcours d’éclectique. Outre ses nombreuses activités de recherche dans le cadre de sa maîtrise, de son doctorat et du postdoctorat qu’il poursuivait -- au Brigham and Women’s Hospital et à la Harvard Medical School, à Boston -- juste avant de se joindre à l’ÉTS, il cumule plus de 15 ans d’expérience pratique en tant que programmeur dans diverses compagnies et organisations, notamment à Ubisoft et à l’ONF. Il vient de se joindre à l’équipe du Département de génie logiciel et des technologies de l’information de l’ÉTS à titre de professeur-chercheur. 

«  Pour l’essentiel de ma carrière d’informaticien et de chercheur, j’ai étudié la relation entre l’utilisateur d’un système informatique et des objets virtuels représentés graphiquement. Je me suis penché sur diverses applications, mais chaque fois j’ai cherché à identifier des moyens pour un utilisateur d’interagir de la façon la plus naturelle possible avec les entités modélisées dans l’ordinateur  », explique-t-il. 

Parce que selon lui, la manipulation d’objets 3D virtuels devrait être aussi naturelle et intuitive que celle d’objets physiques. Il cherche à combiner des principes de perception visuelle humaine, de vision par ordinateur, d’interaction humain-machine et d’infographie pour y arriver. 

Tout d’abord, les arts numériques

Après l’obtention de son baccalauréat en génie informatique de l’École Polytechnique de Montréal, Simon Drouin a travaillé pendant quelques années chez Ubisoft, où il a fait partie d’une équipe dont le mandat était d’implanter un nouveau modèle pour la création et le rendu d’animation de personnages de jeux. 

Il a ensuite fait une maîtrise en informatique au Mobile Robotics Lab de l’Université McGill, s’intéressant à la rotoscopie assistée. Il a modélisé la relation entre les dessins de l’artiste, la séquence vidéo de référence et les images à produire à l’aide de champs aléatoires de Markov. Il est d’avis qu’aujourd’hui, il serait d’ailleurs pertinent de revisiter ce projet en considérant les avancées en matière d’apprentissage profond.

Puis, il s’est joint à l’Office national du film du Canada, où il a travaillé au développement d’un logiciel d’animation (le système SANDDE) qui permet le dessin de lignes tridimensionnelles à l’aide d’un outil localisé en 3D qui est manipulé par l’artiste (un ancêtre de Google TiltBrush). 

Changement de cap : la chirurgie guidée par l’image

S’intéressant à l’imagerie médicale, il a ensuite obtenu un doctorat en génie biomédical de l’Université McGill, travaillant essentiellement à l’Institut neurologique de Montréal, axant ses recherches sur l’utilisation d’images médicales pour guider des opérations de neurochirurgie. Il s’est particulièrement intéressé à l’amélioration des techniques de rendu graphique pour la réalité augmentée et aux modes d’interaction chirurgien-machine qui sont susceptibles d’améliorer la compréhension des images produites.

«  Les systèmes de neurochirurgie guidée par l’image (NGI) permettent à un chirurgien de visualiser les scans préopératoires d’un patient en salle d’opération afin de mieux cibler une opération. Ils permettent aussi d’établir une correspondance entre ces scans et l’anatomie grâce au suivi temps-réel d’instruments chirurgicaux. Dans les systèmes de NGI existants, l’interaction entre le chirurgien et la machine demeure exigeante sur le plan cognitif, et très limitée sur le plan pratique  », explique-t-il. 

La plateforme Ibis : la RA au service de la neurochirurgie

Pour son doctorat, le chercheur a développé la plateforme logicielle IBIS, qui propose une technologie de NGI visant à améliorer le paradigme de visualisation et d’interaction chirurgien-machine de ce type de système, en permettant la visualisation en réalité́ augmentée (RA) et l’interaction directe entre le chirurgien et l’ordinateur. La plateforme IBIS, distribuée sous forme de logiciel libre, est maintenant utilisée par plusieurs autres chercheurs à l’Institut neurologique de Montréal (INM) ainsi qu’à l’Université Concordia et à l’Université de Sherbrooke. 

Au-delà des images médicales

Le professeur-chercheur nouvellement arrivé à l’ÉTS a l’intention de continuer d’axer une grande partie de ses recherches sur des applications de visualisation interactive d’images médicales et de poursuivre sa collaboration avec l’Institut neurologique de Montréal. Il désire également tirer profit de ses expériences et contacts dans le milieu des jeux vidéo et des arts numériques pour proposer aux étudiants des projets pratiques stimulant en collaboration avec des organisations telles que l’ONF, la Société des arts technologiques (SAT) et des compagnies comme Ubisoft.

Source :
Service des communications
ÉTS, 4 novembre 2019

Toutes les actualités de l'École de technologie supérieure >>>