De l’image Médicale au clone digital appliqué à la chirurgie par réalité virtuelle ou augmentée

L’image médicale TDM ou IRM d’un patient contient de nombreuses informations anatomiques visibles mais complexes à interpréter pour un cerveau humain du fait de deux éléments : les images sont en niveaux de gris alors que nos photorécepteurs de la zone fovéale sont majoritairement des cônes (récepteurs couleur), et les images sont en coupes 2D alors que notre cerveau est entrainé à percevoir selon deux angles de vue différents permettant une interprétation en 3D de l’environnement. En d’autres termes, l’interface homme-machine initialement développée sur les imageurs médicaux n’est pas idéale et surtout non adaptée à la perception humaine. L’informatique est venue corriger ce défaut en proposant de nouvelles interfaces homme-machine permettant de voir le contenu de l’image médicale en couleur et en 3D. Une première solution consiste à réaliser un rendu volumique qui peut s’avérer efficace pour les structures anatomiques fortement contrastée. Couplé à un système de visualisation 3D, cela permet un premier progrès. Cependant, la perception des structures anatomiques reste limitée lié au fait que plusieurs structures auront la même densité dans l’image. La seconde solution consiste donc à détecter et labéliser dans l’image les structures anatomiques et pathologiques afin de reconstruire un clone numérique 3D du patient. Cette « segmentation » de l’image permet de modéliser en 3D et en couleur chacune des structures ainsi détectées. Dans ce domaine, les progrès récents des algorithmes d’intelligence artificielle et des systèmes de calcul permettent des prouesses jusqu’alors inimaginables comme par exemple la modélisation 3D des bronches, des artères pulmonaires, des veines pulmonaires, des lésions, des lobes et des territoires bronchiques à partir d’une image médicale TDM non injectée. Ils permettent aussi par exemple de modéliser le côlon, la tumeur ou les tumeurs coliques, les artères et veines digestives ainsi que les ganglions lymphatiques à partir d’une image TDM injectée d’un patient mais sans préparation colique. Une fois le patient modélisé en 3D, il est alors possible de planifier une opération chirurgicale optimale exploitant un rendu 3D interactif en couleur en adéquation avec l’humain. Cela réduit les erreurs de planification, les complications per et postopératoires, le temps d’opération ainsi que le temps d’hospitalisation. Ce clone numérique peut aussi être utilisé pour la formation en exploitant notamment la visualisation 3D fournie par les casques de réalité virtuelle, mixte et augmentée. Mais la dernière révolution en marche est la vision temps réel du patient en « transparence virtuelle » durant l’opération. Les organes virtuels sont alors déformés et superposés en temps réel pour suivre les déformations et déplacements des organes réels durant l’opération. Le patient devient alors virtuellement transparent, ouvrant la voie au guidage peropératoire et à l’automatisation de certaines opérations par l’ajout de robots chirurgicaux.