Assemblée Générale du GdR, 6-8 octobre 2025
La prochaine Assemblée Générale du GdR se déroulera à La Grande-Motte Presqu’Ile du Ponant, du...
Annonce
Réseaux de convolutions sur graphes pour la détection et quantification des mouvements répétitifs d’enfants avec autisme
22 Janvier 2024
Catégorie : Stagiaire
La détection précoce des troubles du spectre autistique (TSA) représente un enjeu crucial car elle permet de mettre en place une prise en charge adaptée à un âge où certains processus de développement peuvent encore être modifiés. Beaucoup de ces études reposent sur l’observation intensive de vidéos afin d’analyser le comportement naturel de l’enfant et de déceler d’éventuels troubles caractérisés par des anormalités dans les interactions sociales, la communication ainsi que par un comportement répétitif. Ces approches exigent un temps d’analyse manuelle relativement long et imposent une formation étendue des professionnels de santé et de la petite enfance. Elles sont peu pratiques pour les recherches cliniques sur de larges populations.
L’objectif de ce stage est de développer une technique non-intrusive de détection et d’analyse des mouvements répétitifs en utilisant un capteur 3D de type KINECT Azur,commercialisé par Microsoft.
La KINECT Azur permet d'obtenir un flux vidéo classique avec profondeur, mais aussi un squelette 3D des personnes. En plus d'être invariant à tout changement de position de la caméra, l'avantage d'une telle représentation est de rendre disponible et interprétable l'information sur la posture et le mouvement de la silhouette. Suite à des travaux réalisés en 2022 ayant montré le potentiel d'analyse du graphe constitué d'une séquence de squelettes 3D connectés joint à joint dans le temps, ce stage va explorer les Graph Convolution Networks (GCN) afin d'extraire des représentations pertinentes pour la détection de mouvements répétitifs.
Les convolutions de graphes sont une forme de réseaux de neurones capable d'exploiter les relations de proximité entre les noeuds d'un graphe pour propager l'information pertinente à un contexte (Zhang et al, 2019). Ils ont été étudiés pour la reconnaissance d'actions à partir de squelettes 3D (Yan et al, 2018) et ont montré leur intérêt pour obtenir des systèmes de prédiction interprétables. L'objectif sera donc de proposer des architectures de GCN capables de détecter les types de mouvements répétés qui intéressent les médecins, de localiser et de compter les répétitions.
Comme les données sur la tâche cible sont peu nombreuses, les modèles seront pré-entraînés sur de grandes bases de données synthétiques crées en répétant des captures d'actions individuelles disponibles dans de grands jeux de données comme NTU RGB+D (Shahroudy et al, 2016). Ils seront ensuite affinés sur les données cibles. L'implémentation sera réalisée avec des outils de deep learning standard comme Pytorch.
Contributions attendues :
- proposition de fonctions de coût pour évaluer la tâche de détection de répétitions ;
- implémentation de GCN spécialisés dans la détection de répétitions ;
- évaluation sur des données métier ;
- écriture d'un article scientifique présentant les résultats.
Profil recherché
Le ou la candidate aura le profil suivant :
- formation de Master 2 recherche ou école d’ingénieur en informatique ;
- maîtrise de l'apprentissage automatique et des outils standard comme Pytorch/Tensorflow ;
- excellentes compétences en programmation (Python) ;
- compétences en vision par ordinateur souhaitées ;
- solides compétences de communication, en particulier écriture en anglais ;
- passion et rigueur, intérêt pour la recherche.
Informations administratives
Encadrants : Benoit Favre, Djamal Merad
Laboratoire d'accueil : LIS, Aix-Marseille Université, site Luminy
Durée du stage : 5 à 6 mois
Période : printemps 2024
Contacts : envoyer CV, lettre de motivation et feuille de notes à Benoit.Favre@lis-lab.fr et Djamal.Merad@lis-lab.fr
Références
(Yan et al, 2018) Yan, Sijie, Yuanjun Xiong, and Dahua Lin. "Spatial temporal graph convolutional networks for skeleton-based action recognition." Thirty-second AAAI conference on artificial intelligence. 2018.
(Zhang et al, 2019) Zhang, Si, et al. "Graph convolutional networks: a comprehensive review." Computational Social Networks 6.1 (2019): 1-23.
(Shahroudy et al, 2016) Shahroudy, A., Liu, J., Ng, T. T., & Wang, G. (2016). Ntu rgb+ d: A large scale dataset for 3d human activity analysis. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1010-1019).