Cette thèse vise à concevoir une nouvelle génération de réseaux de neurones binarisés ou fortement quantifiés pour le traitement de données issues de caméras à événements sur plateformes embarquées. Contrairement aux caméras conventionnelles, les caméras événementielles produisent des flux asynchrones et parcimonieux décrivant les variations locales de luminance, offrant une latence minime robuste aux mouvements très rapides et une grande dynamique. Ces propriétés sont particulièrement adaptées à la robotique, aux drones, aux véhicules autonomes et aux systèmes de perception basse consommation.
L’objectif de la thèse est de dépasser l’approche consistant à convertir les événements en pseudo-images traitées par des réseaux classiques. Il s’agira de co-concevoir les représentations événementielles, les architectures neuronales ultra-basse précision, binarisés (BNN) ou quantifiés (QNN), les stratégies d’apprentissage et les contraintes de déploiement matériel. Les modèles étudiés combineront potentiellement couches binaires, quantification mixte, mémoire temporelle, récurrence légère, attention parcimonieuse, focalisation dynamique et inférence partielle.
Les contributions attendues pourront porter sur :
- l’étude des représentations événementielles compatibles avec la binarisation ;
- la conception de blocs BNN/QNN adaptés aux flux asynchrones ;
- le développement de méthodes d’entraînement robustes par distillation, quantization-aware training et apprentissage progressif ;
- l’évaluation conjointe en précision, latence, mémoire, énergie et robustesse ;
- la validation sur benchmarks publics et plateformes robotiques embarquées.
Les architectures proposées seront évaluées sur des jeux de données de référence en vision événementielle, notamment pour la classification, la reconnaissance de gestes, la détection d’objets, le suivi ou la perception robotique. Une attention particulière sera portée aux benchmarks réalistes comme Gen1 Automotive Detection, MVSEC ou DSEC, ainsi qu’à la comparaison avec des modèles événementiels récents non quantifiés.
Cette thèse contribuera ainsi à rapprocher la vision neuromorphique, l’apprentissage profond frugal et l’intelligence artificielle embarquée, avec pour ambition de produire des modèles capables d’exploiter la nature asynchrone des événements tout en respectant des contraintes strictes de temps réel et de consommation énergétique.
Références
Vision événementielle, neuromorphique, frugalité et edge AI
- Gallego, G. et al. Event-based Vision: A Survey, IEEE TPAMI, 2022.
- Zheng, X. et al. Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks, 2024.
- Rebecq, H. et al. Events-to-Video: Bringing Modern Computer Vision to Event Cameras, CVPR 2019.
- Gehrig, M., Scaramuzza, D. Recurrent Vision Transformers for Object Detection with Event Cameras, CVPR 2023.
- Peng, Y. et al. GET: Group Event Transformer for Event-Based Vision, ICCV 2023.
- Gehrig, D. et al. Low-latency automotive vision with event cameras, Nature, 2024.
- Cordova-Cardenas, R. et al. Edge AI in Practice: A Survey and Deployment Framework, 2025.
- Cazzato, D. et al. An Application-Driven Survey on Event-Based Neuromorphic Vision, 2024.
- Cimarelli, C. et al. Hardware, Algorithms, and Applications of the Neuromorphic Vision Sensor: a Review.
Binarisation, quantification et compression
- Courbariaux, M. et al. Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1, 2016.
- Rastegari, M. et al. XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks, ECCV 2016.
- Liu, Z. et al. Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm, ECCV 2018.
- Liu, Z. et al. ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions, ECCV 2020.
- Jacob, B. et al. Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, CVPR 2018.
Université et laboratoire d’accueil :
Université de Technologie de Compiègne
Heudiasyc UMR CNRS 7253, équipe SyRI (Systèmes Robotiques en Interaction)
Encadrants et personnes à contacter :
Julien MOREAU (first_name.last_name@hds.utc.fr), MCF, UTC, Heudiasyc UMR CNRS 7253
Franck DAVOINE (first_name.last_name@cnrs.fr), DR CNRS, LIRIS UMR CNRS 5205
Sylvain ROUSSEAU (first_name.last_name@hds.utc.fr), MCF, UTC, Heudiasyc UMR CNRS 7253
Consignes pour postuler :
Merci répondre aux demandes suivantes :
- Tout élément tangible démontrant des acquis sur les compétences que nous recherchons
- Vos relevés de notes aux études universitaires
- Les coordonnées de référents que nous pourrions contacter
