Thèse: Modèles génératifs profonds pour la correction semi-supervisée d’environnements reconstruits par photogrammétrie.
Mots clés: Méthodes génératives, photogrammétrie, réalité virtuelle.
Contact et encadrement: Maxime Lhuillier (chargé de recherches CNRS, HDR), maxime.lhuillier@uca.fr
Lieu: équipe ComSEE à l’Institut Pascal (UMR 6602, CNRS/UCA), Clermont Ferrand.
Période: 1/10/2026-31/09/2029
La reconstruction 3D d’un environnement complet à partir d’images est utile dans plusieurs applications incluant la réalité virtuelle [Lhuillier23]. Plusieurs méthodes de vision par ordinateur et de photogrammétrie sont nécessaires pour résoudre ce problème. Elles incluent l’estimation de la géometrie (paramètres de caméra et nuage de points) et la reconstruction de surface. Une voie prometteuse de recherche est la conception de méthodes d’apprentissage profond (AP) qui corrigent les erreurs de l’étape de reconstruction de surface avec des a priori de formes. Il faudrait aussi éviter l’AP supervisé, qui nécessite un jeu de données composé d’environnements générés par un scanner 3D. Il y a plusieurs raisons à cela: le prix/la disponibilité/les conditions expérimentales d’utilisation du scanner et le temps/l’effort d’acquisition. Ici le jeu de données inclus de grands environnements reconstruits par une méthode précédante (qui n’est pas AP, ex [Lhuillier18]), avec une minorité de corrections manuelles. Il peut aussi contenir des morceaux de surface, que l’on sait être très probable dans les environnements, et qui sont générés synthétiquement. Puis un réseau apprend à remplacer un morceau de surface incorrect ou improbable par un autre plus probable. Grâce à l’AP, on s’attend à améliorer des méthodes précédantes de reconstruction de surface (qui ne sont pas AP), par exemple quand les conditions expérimentales sont plus difficiles. Deux types de méthodes d’AP peuvent potentiellement faire cela. Les méthodes non-génératives (ex: auto-encoder) calculent un seul résultat, ie une surface corrigée, et ont des inconvénients: l’incertitude du résultat est inconnue et l’utilisateur ne peut pas choisir le meilleur parmi plusieurs résultats. Les méthodes génératives (ex: auto-encoder variationnel [Kingma14], méthodes de diffusion [Ho20, Song19] et de flots rectifiés [Liu22]) peuvent supprimer ces inconvénients car elles calculent plusieurs résultats.
On se focalise surtout sur des environnements extérieurs dont tous les composants (bâtiments, sol, végétation …) sont reconstruits à partir d’un vidéo prise avec une caméra 360 [Lhuillier18, Lhuillier23]. Cette caméra est montée sur un casque et se déplace d’au moins plusieurs centaines de mètres. Les modèles 3D du jeu de données sont fournis sous la forme d’une représentation volumique standard des méthodes non AP: une triangulation de Delaunay 3D dont les tétrahèdres sont étiquetés « vide » ou « matière ». La surface est alors définie par l’ensemble des faces triangulaires séparant vide et matière.
Bibliographie
- [Ho20], J.Ho, A.Jain, P.Abbeel. Denoising diffusion probabilistic models. NeurIPS 2020.
- [Kingma14], D.P.Kingma, M.Welling. Auto-encoding variational Bayes. ICLR 2014.
- [Lhuillier18], M.Lhuillier. Surface reconstruction from a sparse point cloud by enforcing visibility consistency and topology constraints. CVIU 175, 2018.
- [Lhuillier23], M.Lhuillier. Estimating the vertical direction in a photogrammetric 3D model, with application to visualization. CVIU 236, 2023.
(https://maximelhuillier.fr) - [Liu22], X.Liu, C.Gong, Q.Liu. Flow straight and fast: learning to generate and transfer data with rectified flow. arXiv preprint 2209.03003, 2022.
- [Song19], Y.Song, S.Ermon. Generative modeling by estimating gradients of the data distribution. NIPS 2019.
Compétences requises
- Master M2 et/ou 3eme année de cursus ingénieur, spécialisation en IA et/ou mathématiques appliquées.
- Compétences techniques requises: apprentissage profond, Python, Pytorch, Linux.
- niveau de francais requis: B1
- niveau d’anglais requis: C1
Candidature
Les candidat(e)s doivent envoyer leur CV, lettre de motivation, notes (à partir de bac+1) et lettres de recommendation à maxime.lhuillier@uca.fr avant le lundi 4 mai 2026.
