Annonce

Les commentaires sont clos.

Stage de fin d'études : Évaluation des performances de super-résolution d’images infrarouge thermique de la mission TRISHNA dans les milieux urbains par apprentissage profond

31 Octobre 2024

Catégorie : Stagiaire

Stage de fin d’études en traitement d’images et apprentissage profond

Évaluation des performances de super-résolution d’images infrarouge thermique de la mission TRISHNA dans les milieux urbains par apprentissage profond
Sujet au format pdf

Avec le réchauffement climatique, les vagues de chaleur sont attendues pour être plus fréquentes et plus intenses. En particulier du fait de la structure 3D des villes et de leur composition, ces vagues vont avoir un impact direct sur les habitants, on parle alors d’effets d’Ilot de Chaleur Urbain (ICU). Ceux-ci peuvent entraîner des risques de mortalité, de dégradation de la qualité de l’air et de l’eau ou encore une augmentation de la consommation d’énergie. L’intensité d’ICU est estimée à partir de l’écart entre la température de l’air mesurée en un point de la ville et celle mesurée en zone rurale. Bien que les grandes villes s‘équipent de plus en plus de stations météorologiques pour mesurer la température de l’air, ces mesures restent parcellaires et ne couvrent pas toute la ville de façon continue. La télédétection satellitaire dans l’infrarouge thermique (ASTER, LANDSAT ou TRISHNA) permet de lever cette limitation. En particulier, la mission TRISHNA, fruit d’une collaboration entre le CNES (Centre National d’Études Spatiales) et l’ISRO (Indian Space Research Organization), dont le lancement est prévu en 2026, fournira des données dans l’IRT (InfraRouge Thermique) avec une combinaison de résolution spatiale et revisite inédite (57m nadir et 2-3 jours). Néanmoins, ces missions présentent plusieurs inconvénients dont celui de ne donner accès qu’à la température de surface à une résolution spatiale insuffisante pour l’étude du milieu urbain.

Des méthodes de super-résolution (également appelé désagrégation) ont été développées à l’ONERA afin d’améliorer la résolution spatiale des images IRT en les couplant à des images acquises dans le domaine réflectif (0.4-2.4μm) avec une résolution spatiale plus fine. Cette classe de méthode est basée sur l’invariance d’échelle d’une relation empirique reliant la température de surface à un indice spectral estimé dans le VNIR (Visible and Near InfraRed). Des travaux récents ont montré des limitations de cette loi à l’invariance d’échelle notamment lorsque la résolution spatiale ciblée est inférieure à 20-30m. De plus, cette loi ne dépend que d’un seul paramètre alors que la morphologie de la ville et la radiométrie influent directement sur le comportement en température. Récemment, la littérature fait état de nouvelles approches par apprentissage automatique [1], [2], basées sur les réseaux de neurones, dont l’application à la désagrégation de données thermiques à très haute résolution (~10m) semble pertinente.

L’objectif de ce stage est d’évaluer le potentiel d’une nouvelle approche basée sur l’apprentissage profond [3], [4], [5] à même d’exploiter des informations radiométriques et géométriques. Pour valider sa méthode, l’étudiant·e aura à sa disposition des images aéroportées du capteur hyperspectral HYTES1 (JPL-NASA, https://hytes.jpl.nasa.gov/), acquises sur des paysages urbains, qui seront utilisées pour simuler des acquisitions TRISHNA. Des images Sentinel-2 (ESA) serviront de support pour estimer les indices radiométriques. Des indices morphologiques calculés à partir de cartes de classification et de modèles numériques de surfaces dérivés d’images Pléiades seront également préparés au préalable sur les zones d’intérêts.

Le travail à effectuer se décompose en plusieurs étapes :

  • État de l’art des méthodes de super-résolution/désagrégation exploitant des réseaux de neurones profonds,
  • Génération des jeux de données synthétisant des images TRISHNA à partir du capteur aéroporté HYTES pour plusieurs facteurs d’échelles et en incorporant diverses stratégies d’augmentation de données,
  • Constitution du jeu de données d’apprentissage, test et validation à partir des images Pléiades et/ou Sentinel 2 et HyTES
  • Développement d’une ou des méthodes de super-résolution/désagrégation à partir de méthodes géostatistiques et de réseau convolutif profond,
  • Évaluation des performances des méthodes proposées,
  • Comparaison avec des résultats obtenus par une méthode de l’état de l’art, proposée dans l’équipe.

Ces travaux se feront dans le cadre d’une collaboration en étroite entre l’IRAP, l’ONERA-DOTA et le Lab’OT (Laboratoire d’Observation de la Terre) du CNES.

Profil recherché :
Étudiant·e en Master 2 ou 3ème année d’école d’Ingénieur·e·s ayant de bonnes connaissances en traitement d’image et en apprentissage automatique.
Compétences en programmation Python, PyTorch ou Keras. Des connaissances en télédétection et une expérience de manipulations de données géospatiales seront appréciées.

Le stage, d’une durée de 5 à 6 mois, se déroulera à Toulouse, entre l’ONERA et l’IRAP, en lien avec le CNES (respectivement 2, 14 et 18 Avenue Édouard Belin).

Personnes à contacter :

Références : [1] M. Noman, M. Naseer, H. Cholakkal, R. M. Anwar, S. Khan, et F. S. Khan, « Rethinking Transformers Pre-training
for Multi-Spectral Satellite Imagery », 8 mars 2024, arXiv:2403.05419, doi:10.48550/arXiv.2403.05419.
[2] X. Han, X. Ma, H. Li, et Z. Chen, « A Global-Information-Constrained Deep Learning Network for Digital
Elevation Model Super-Resolution », Remote Sensing, vol. 15, no 2, p. 305, janv. 2023, doi:10.3390/rs15020305.
[3] J. Chen, L. Jia, J. Zhang, Y. Feng, X. Zhao, et R. Tao, « Super-Resolution for Land Surface Temperature Retrieval
Images via Cross-Scale Diffusion Model Using Reference Images », Remote Sensing, vol. 16, no 8, p. 1356, avr. 2024,
doi:10.3390/rs16081356.
[4] Z. Zhao, Y. Zhang, C. Li, Y. Xiao, et J. Tang, « Thermal UAV Image Super-Resolution Guided by Multiple Visible
Cues », IEEE Trans. Geosci. Remote Sensing, vol. 61, p. 1-14, 2023, doi:10.1109/TGRS.2023.3234058.
[5] Z. Zhao, C. Wang, C. Li, Y. Zhang, et J. Tang, « Modality Conversion Meets Super-resolution: A Collaborative
Framework for High- Resolution Thermal UAV Image Generation », IEEE Trans. Geosci. Remote Sensing, vol. 62,
p. 1-14, 2024, doi:10.1109/TGRS.2024.3354878.