Contexte : Afin de proposer des outils de navigation pour personne en situation de handicap, motorisée ou non, il est d’abord nécessaire de fournir une perception de leur environnement pour pouvoir interagir avec celui-ci et prendre la bonne décision. Les systèmes de perception sont multiples: caméra, laser par exemple. Dans ce cadre, le laboratoire IETR (https://www.ietr.fr/) fait l’acquisition en 2024 d’un backpack composé de différents capteurs (caméras, lidars, gps, centrale inertielle) qui permet d’effectuer une capture de nuages de point 3D colorisés d’un environnement extérieur ou intérieur. Une fois ce nuage de points obtenu, et post-traité éventuellement, il est nécessaire pour l’exploiter d’en tirer des informations de plus haut niveau: reconstruction de primitives géométriques (plans par exemple), de bâtiments, de mobiliers urbains et/ou d’intérieur,… Il est également intéressant d’être capable de mettre en correspondance le modèle 3D obtenu par reconstruction des modèles géographiques portant une information autre que celle captée par le backpack (plans d’architecte avec la fonctionnalité de chaque salle par exemple).
Sujet : Le stage aurait pour objectif de continuer l’exploitation des données de la capture du campus de l’INSA Rennes, dans le cadre des travaux de l’IH2A auquel participent l’IETR et le LGCGM. Pour proposer une modélisation 3D qui permettent de fournir des informations de navigation à une personne en situation de handicap. Concrètement, cela se traduirait par établir une carte 3D exploitable pour une navigation. Pour l’instant, nous disposons d’une reconstruction du campus de l’INSA ou en partie, extérieur et intérieur sous forme d’un seul nuage de point 3D cohérent. Il faut à partir de ce nuage de point effectuer des post-traitements de réalignement si nécessaire :
– Mettre en place une segmentation la plus automatique du nuage de point par objet : bâtiment par
exemple, avec une reconstruction 3D de primitives géométriques de plus haut niveau (plans, droites,
…)
– Appliquer l’état de l’art de segmentation 3D pour extraire automatiquement du mobilier urbain ou
d’intérieur. Autre que l’objectif scientifique de ce stage autour des outils de reconstruction 3D d’environnements, l’objectif à plus long terme est de proposer des données pour une application de type Handicité (page web handicité)
Nature du travail à réaliser : Pour réaliser ces objectifs, il sera nécessaire de se former à la vision par
ordinateur, d’effectuer un état de l’art de la reconstruction 3D et segmentation 2D et/ou 3D à partir de nuages de points. A noter que ces outils se basent essentiellement sur du deep-learning. Il s’agira de s’approprier de codes existants et d’étudier leurs performances, notamment ceux benchmarqués sur https://paperswithcode.com/task/3d-semantic-segmentation . Cela proposera la problématique de la définition d’indicateurs de performance pertinents. Un rapport de cet état de l’art sera à fournir en fin de stage, en plus du rapport de stage.
Environnement : Le stagiaire sera notamment amené à travailler en C++/python sous Linux
Compétences attendues
– Appétence pour la méthodologie scientifique
– Programmation en C++/python
– PyTorch, TensorFlow
– Linux
– Git
Infos pratiques
Stage de 6 mois à partir de février 2025.
Gratification mensuelle de 669,9 euros.
Le stage s’effectuera sur le campus de l’INSA Rennes, bat 18.
Contacter le contact ci-dessous pour toutes questions et candidatures (prenom.nom @ insa-rennes.fr )
Encadrante: Muriel Pressigout (INSA Rennes, IETR)
