[stageM2, stageIng] Apprentissage de Métriques de Similarité pour l’Analyse des Gestes Dynamiques

Lieu: Le Centre de Robotique de MINES Paris – PSL
Durée: 5-6 mois
Profil recherché: Étudiant(e) en M2 ou élève-ingénieur(e)

Objectifs et Missions

Ce stage vise à explorer des métriques de similarité pour l’analyse des gestes humains dans des environnements complexes. L’objectif est de développer une méthode d’apprentissage permettant de structurer un espace de représentation du mouvement, en mettant l’accent sur la recherche et l’identification de gestes similaires à différents niveaux d’abstraction. Le travail se focalisera sur la vision par ordinateur et l’analyse d’images RGB.

Deux validations seront réalisées :

En escalade, où la recherche d’actions similaires dans des vidéos peut aider les grimpeurs à optimiser leurs mouvements.
Dans les gestes professionnels, pour analyser des séquences gestuelles et identifier des optimisations ou des transferts de savoir-faire.

Le stage consistera à :

Développer une métrique de similarité robuste pour comparer des gestes en prenant en compte :
- La dynamique du mouvement.
- L’environnement et les interactions avec des objets.
- La structure globale et locale des séquences gestuelles.
Explorer différentes approches d’apprentissage métrique et de représentation latente, en testant :
- Apprentissage contrastif pour modéliser les relations entre gestes.
- Warping temporel dynamique appliqué aux trajectoires gestuelles.
- Réseaux neuronaux à graphes pour modéliser les relations entre segments corporels et objets manipulés.
Adapter et exploiter des bases de données existantes :
- Des séquences de mouvements en escalade (Ego-Exo 4D, CIMI4D).
- Des enregistrements de gestes professionnels issus de protocoles ergonomiques.
Valider l’approche dans les deux domaines d’application.

Profil Recherché

Nous recherchons un(e) étudiant(e) en M2 ou élève-ingénieur(e) avec un parcours en apprentissage automatique, vision par ordinateur, ou data science, ayant les compétences suivantes :

Compétences scientifiques

Solides connaissances en deep learning et apprentissage contrastif.
Expérience en vision par ordinateur (suivi de pose, segmentation d’objets).
Compréhension des systèmes dynamiques et de l’analyse du mouvement.
Familiarité avec les modèles de graphes et l’apprentissage métrique.

Compétences techniques

Programmation en Python, avec PyTorch, TensorFlow.
Expérience avec OpenCV, NumPy, SciPy, scikit-learn.
Maîtrise des outils de traitement et visualisation de données (t-SNE, UMAP, PCA).

Le Centre de Robotique

Le Centre de Robotique de MINES Paris – PSL est l’un des principaux centres de recherche du Département Mathématiques et Systèmes. Il mène des recherches appliquées sur les véhicules et transports intelligents, la robotique mobile et collaborative, et l’interaction homme-machine. Situé à Paris, avec une extension sur le site de Satory à Versailles, il développe des solutions avancées pour des systèmes en temps réel et embarqués, notamment en intelligence artificielle appliquée aux gestes humains et à la modélisation du mouvement.

Contexte

Ce stage s’inscrit dans le cadre du projet ReSource, financé par le programme PIA4 . Ce projet réunit 21 partenaires pour créer des systèmes de formation innovants. ReSource rassemble des laboratoires de recherche de différentes disciplines, des entreprises, des acteurs locaux et des campus de métiers afin de concevoir et produire des méthodes, des outils technologiques et des contenus permettant d’analyser et de mieux comprendre, de revisiter des gestes et actions humaines afin qu’elles puissent être transmises aux nouvelles générations.

Encadrement et Lieu de Recherche

Le stage sera encadré par Sascha Hornauer et Sotiris Manitsaris, au Centre de Robotique
de MINES Paris – PSL, situé 60 boulevard Saint-Michel, 75006, Paris.