Stage M1 ou M2 sur la perception multimodale pour le véhicule autonome

5 Avril 2024

---

Catégorie : Stagiaire

---

Contexte : L'introduction des systèmes avancés d'aide à la conduite (ADAS) a considérablement amélioré l'expérience de conduite en permettant l'automatisation des tâches de conduite, comme l'aide au maintien de la trajectoire, le régulateur de vitesse contextuel, le freinage d'urgence automatisé, etc. La sécurité et le confort de conduite sont au cœur de ces changements. La fiabilité des fonctions ADAS dépend fortement de la robustesse du système de perception qui les sous-tend. Le système de perception fusionne les informations provenant de différents capteurs (par exemple, la caméra avant, le radar avant, les radars latéraux, le LIDAR, le sonar, ...) afin d'obtenir une description fiable de l'environnement mondial. De même manière qu’avec le véhicule, ces fonctions de perception ont grandement amélioré l’expérience de navigation en robotique en permettant l'automatisation des tâches du robot, comme la localisation, cartographie, l’asservissement visuel etc

Bien que les performances des fonctions ADAS (et donc du système de perception) soient largement validées dans des conditions standard d’acquisition comme par exemple une visibilité bien dégagée, il est clair qu'une dégradation des performances est attendue dans des conditions difficiles quand la visibilité est réduite comme par exemple la nuit, en présence de brouillard ou en cas de forte pluie/neige. Ceci concerne également la navigation de robotique d’intérieur en présence de fumée ou de luminosité médiocre ou des conditions de visibilité pour la robotique en extérieur.C'est pourquoi chaque capteur doit fournir un niveau de dégradation afin d’améliorer la perception des systèmes autonomes quel que soit l’environnement de navigation.

L'état de l'art propose souvent des solutions basées sur la fusion « dure » de capteurs caméra-lidar [Kumar2020] ou caméra-radar [Dong2021]. Par dure, nous signifions une fusion de la même quantité d’information provenant de chaque capteur, sans jamais tenir compte de la qualité des images provenant de ces capteurs.Ceci peut baisser les performances de la fusion dans le cas où un capteur est défaillant face à une condition d’acquisition extérieure (nuit, tunnel, brouillard, capteur défaillant,…). Il convient donc d’effectuer le processus de fusion en tenant compte de la fiabilité des différents capteurs utilisés selon les conditions d’acquisition. Cette fiabilité peut être obtenue par différentes manières : soit en étudiant les performances physiques internes des capteurs via le processus d’instrumentation dans chaque condition extérieure, processus qui peut s’avérer très couteux et instable ou en se basant sur la qualité de l’image provenant du capteur.

 

Objectif : Le sujet de stage proposé porte sur l’élaboration d’une approche d’estimation de la fiabilité d’un capteur selon la condition extérieure d’acquisition. Cela pourrait se faire par l’étude de la physique interne du capteur via le calcul des erreurs systématiques qui revient à l’analyse statistique supervisée de la réponse de chaque capteur pour chaque condition. Ceci est quasiment impossible vu qu’on ne peut pas balayer toutes les conditions météo extérieures existantes. L’objectif de ce travail de stage est donc de mettre en place des indicateurs de performance des capteurs (fiabilité, imprécision) en analysant la qualité des images provenant de ces capteurs d’une manière non supervisée indépendamment des conditions d’acquisition extérieures. Dans les méthodes de l’état de l’art, l’étude de la qualité des images s’est principalement portée sur la modalité RGB [Wang2011, Ou2019, Zhai2020, Golestaneh2022]. Il n’existe pas à notre connaissance de méthodes équivalentes pour les autres modalités non conventionnelles par exemple (Lidar, Radar, Polarimétrie). Il est important de noter que les méthodes développées pour la modalité RGB ne sont pas généralisable aux autres modalités vues que les critères de qualité de l’image ne sont pas les mêmes.Le but de ce travail de stage est dans un premier temps de mettre en place des critères de qualité des images provenant de capteurs non conventionnels tels que les capteurs polarimétriques ou les LIDARS. Ensuite, il s’agit de définir un score de fiabilité des capteurs en tenant compte de ces critères. Les techniques qui seront utilisés pour calculer ces critères seront basées soit sur une étude statistiques classiques ou apprentissage automatique selon la quantité de données que nous avons en notre possession.

 

Base de données d’entrée :

Les données d’entrée que nous allons exploiter dans ce projet de stage proviennent de plusieurs sources : Des données Polarimétriques/RGB/Infrarouges annotées existantes au LITIS et des données Caméras/LIDAR/RADAR en cours d’acquisition et d’annotation provenant d’un projet ANR INARI porté par le LITIS accepté en 2023. Ces données sont, dans un premier temps, acquises en simulation dans la plateforme PAVIN de Clermont Ferrand, partenaire du Projet INARI. La validation sera ensuite faite sur des données réelles en intérieure dans la plateforme PERMIS (Robotique) et en extérieure via la plateforme PVAC (Plateforme Véhicule autonome et connecté).

 

Références :

[Golestaneh2022] S. Alireza Golestaneh, Saba Dadsetan and Kris M. Kitani. “No-Reference Image Quality Assessment via Transformers, Relative Ranking, and Self-Consistency”. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2022, pp. 1220-1230.

[Dong2021] : Xu Dong, Binnan Zhuang, Yunxiang Mao, and Langechuan Liu. “Radar Camera Fusion via Representation Learning in Autonomous Driving”. In: CoRR (2021). arXiv: 2103.07825. url: https://arxiv.org/abs/2103.07825.

[Kumar2020]: G Ajay Kumar, Jin Hee Lee, Jongrak Hwang, Jaehyeong Park, Sung Hoon Youn, and Soon Kwon. “LiDAR and Camera Fusion Approach for Object Distance Estimation in Self-Driving Vehicles”. In: Symmetry (Feb. 2020), p. 324. doi: 10.3390/sym12020324.

[Zhai2020] Guangtao Zhai and Xiongkuo Min. “Perceptual image quality assessment: a survey”. In:Science China Information Sciences. Vol. 63, 211301 (2020).doi: 10.1007/s11432-019-2757-1.

[Ou2019] Fu-Zhao Ou, Yuan-Gen Wang and Guopu Zhu. “A Novel Blind Image Quality Assessment Method Based on Refined Natural Scene Statistics”. IEEE International Conference on Image Processing (ICIP), Taipei, Taiwan, 2019, pp. 1004-1008. doi: 10.1109/ICIP.2019.8803047.

[Wang2011] Zhou Wang and Alan C. Bovik. “Reduced- and No-Reference Image Quality Assessment”. In: IEEE Signal Processing Magazine. Vol. 28, pp. 29-40 (Nov.2011). doi: 10.1109/MSP.2011.942471.