Les images acquises par une caméra sont généralement traitées à l’aide d’algorithmes qui reposent
de plus en plus souvent sur des réseaux de neurones. Il faut alors optimiser les paramètres de l’objectif pour améliorer les performances de ce traitement. Cet enjeu soulève la question de la conception conjointe d’une optique dédiée à un réseau de neurones [1-5]. L’idée générale est de modéliser l’image, telle que capturée par un capteur donné, avec un modèle différentiable par rapport aux paramètres de l’objectif. Ainsi, les outils d’optimisation de descente de gradient peuvent être utilisés pour optimiser conjointement les paramètres optiques et ceux du réseau de neurones. Dans ce contexte, plusieurs domaines d’application ont été étudiés dans l’état de l’art, tels que l’extension de la profondeur de champ [1,4], l’estimation de la profondeur [2], l’estimation de la pose tout en préservant la vie privée [3] ou la détection d’objets [2]. L’ONERA travaille depuis plusieurs années sur la conception conjointe d’objectifs et de réseaux de neurones. Nos travaux s’appuient sur l’utilisation d’un modèle optique différentiable basé sur le tracé de rayons (Formidable). Ce modèle prend en entrée un système optique défini par un ensemble d’objectifs et simule sa réponse impulsionnelle ainsi que son jacobien par rapport aux paramètres de l’objectif. En utilisant cet outil, nous avons réalisé la conception conjointe des paramètres de l’objectif pour une tâche unique telle que la restauration d’image [4]. Cependant, ce travail n’a considéré que l’optimisation de lentille réfractive avec un champ de vision réduit.
L’objectif de ce stage est de pousser plus loin l’étude de la conception conjointe d’une caméra avec un champ de vision (FOV) accru et un modèle optique différentiable basé sur le tracé de rayons. La première étape consistera à développer des outils de simulation d’images de grand FOV à partir d’une base de données d’images idéales, en tenant compte des aberrations optiques simulées à l’aide de Formidable, puis à développer des méthodes de co-conception pour l’optimisation de la caméra et du réseau de neurones. Pour relever ce défi, il sera possible d’étudier l’apprentissage par curriculum learning tel que proposé dans la littérature [5]. L’application de la méthode proposée sera réalisée dans un premier temps sur une tâche de restauration d’image, puis sur une tâche d’analyse de scène plus élevée telle que la segmentation d’image.
Pour postuler envoyer un CV et une lettre de motivation à pauline.trouve@onera.fr
Bibliographie
[1] S. Elmalem et al., “Learned phase coded aperture for the benefit of depth of field extension,” Opt. Express 26, 2018.
[2] J. Chang and G. Wetzstein, “Deep optics for monocular depth estimation and 3d object detection,” ECCV 2019.
[3] C. Hinojosa et al., “Learning privacy-preserving optics for human pose estimation”, ICCV, 2021.
[4] M. Dufraisse et al., (2023). Deblur or denoise: the role of an aperture in lens and neural network co-
design. Optics Letters, 48(2), 231-234.
[5] X. Yang et al., “Curriculum learning for ab initio deep learned refractive optics “, Nature communications, 2024.
