[Stage M2] Méthodes de fusion de données multispectrales à de multiples résolutions et à données manquantes. Application aux images Sentinel-2 et Sentinel-3

27 Novembre 2023

---

Catégorie : Stagiaire

---

Description du sujet

L’observation satellitaire de notre planète connaît depuis plusieurs décennies d'importantes avancées instrumentales, avec des développements conséquents que ce soit en terme de résolution spatiale (par exemple en télédétection de la couleur de l’eau à haute résolution spatiale 10-60 m) et en terme de résolution spectrale (imagerie hyper-spectrale). Une image Multi-Spectrale (MS) ou Hyper-Spectrale (HS) consiste en un cube de données dont deux axes décrivent les variations spatiales et un axe décrit les variations spectrales. La principale différence entre une image HS et une image MS réside dans le nombre très réduit de bandes spectrales observées dans cette dernière.

Cependant, à cause de contraintes physiques, l'augmentation du nombre de bandes spectrales dans une image HS entraîne une diminution de sa résolution spatiale. Ainsi, aujourd'hui, notre planète est observée à la fois par des imageurs MS ayant une très bonne résolution spatiale mais une faible résolution spectrale et par des imageurs HS ayant une très bonne résolution spectrale mais une faible résolution spatiale (et un ensemble d'imageurs aux propriétés intermédiaires).

Dans le cadre de ce stage, nous nous intéressons à l'observation marine côtière via les données des satellites Sentinel-2 et Sentinel-3. Les images obtenues par ces deux satellites permettent d'étudier la couleur de l'océan, c'est-à-dire la répartition spatiale et temporelle de la concentration en phytoplancton, en matière en suspension et en matière organique. Les données Sentinel-2 consistent en des cubes avec 13 bandes spectrales pour une résolution spatiale variant de 10 à 60~m en fonction des bandes, acquises tous les 5 jours environ. Les données Sentinel-3 sont des cubes avec 21 bandes spectrales pour une résolution spatiale de 300~m, acquises tous les jours. En observation marine, pour comprendre les phénomènes complexes qui se passent en milieu côtier, il est nécessaire que les données à disposition combinent :

• une bonne résolution spectrale pour mieux analyser le milieu biogéochimique (chlorophylle, particules en suspension, etc) ;
• une bonne résolution spatiale pour mieux appréhender les phénomènes de répartition de ce milieu qui sont beaucoup plus complexes en milieu côtier qu'en pleine mer ;
• une courte période d'acquisition de ces images pour repérer des phénomènes très concentrés dans le temps (blooms de phytoplanctons par exemple).

Aucune donnée satellitaire ne permet aujourd'hui de respecter ces trois contraintes.

Nos récents travaux en multi-sharpening [1,2], en fusion spatio-temporelle [3] et en fusion spatio-(spectro-)temporelle [4] nous ont permis commencer à traiter différents problèmes :

• Dans [1], nous avons étudié les performances des méthodes de multi-sharpening (ou fusion spatio-spectrale) classiques pour la fusion spatio-spectrale de données Sentinel-2 et Sentinel-3.
• Nous avons proposé une méthode de deep learning spécifique pour ce même problème dans [2].
• Ensuite, nous avons complété la série temporelle de données Sentinel-2 à partir des données observées et des données Sentinel-3 [3].
• Enfin, nous avons proposé une approche de fusion spatio-(spectro-)temporelle basée sur les réseaux génératifs antagonistes [4].

Dans le cadre de ce stage, nous proposons de traiter conjointement des données Sentinel-2 et Sentinel-3 acquises approximativement le même jour (fusion spatio-spectrale), afin de générer des données combinant le nombre de bandes spectrales de Sentinel-3 et la résolution spatiale de Sentinel-2. En particulier, ce stage se différencie de nos précédents travaux [1-4] sur plusieurs points :

1. Nous souhaitons traiter des données qui ont subi une correction atmosphérique [5] (afin de permettre à terme une comparaison avec des mesures in situ). Cependant, ce traitement entraîne des problématiques comme la présence de données manquantes (au niveau des terres, des nuages et des navires) ou des valeurs négatives sans signification phynicolas.gasnier@cnes.frsique.
2. Nous souhaitons traiter conjointement les trois résolutions spatiales de Sentinel-2 avec l'unique résolution spatiale de Sentinel-3, espérant ainsi améliorer la qualité de fusion.
3. Nous souhaitons effectivement réaliser des comparaisons avec des mesures in situ.

Les méthodes envisagées feront appel à un formalisme régularisé de factorisation matricielle / tensorielle et/ou à un formalise de type apprentissage profond.

Le stage pourra être poursuivi par la préparation d'une thèse dans le domaine de l'apprentissage comprimé pour la fusion spatio-spectro-temporelle d'images satellitaires.

Encadrement

Le stage aura lieu dans la nouvelle antenne de Longuenesse du LISIC, dédiée actuellement à l'imagerie hyperspectrale. Cette antenne, créée récemment, compte à ce jour 6 chercheurs permanents, 1 chercheur post-doctorant et 4 doctorants. Le ou la stagaire sera encadré(e) par Claire Guilloteau, Mattthieu Puigt et Gilles Roussel qui apporteront leur expertise respective en traitement des images MS/HS et en machine learning (deep learning, factorisation matricielle, optimisation) pour l'imagerie satellitaire.

De nombreux échanges auront lieu avec le LOG, situé à Wimereux (et plus particulièrement avec Cédric Jamet et Vincent Vantrepotte). Le LOG apportera ses compétences sur la couleur de l'océan, notamment sur l'analyse des images fusionnées et leur validation. Le LOG fournira les mesures in-situ de validation et des images dans des zones côtières d'intérêt (Manche orientale, Guyane, Cambodge, Vietnam).

Ces deux laboratoires sont situés au coeur du Parc naturel régional des caps et marais d'Opale, à proximité directe de Lille, de l'Angleterre, de la Belgique et de l'Europe du Nord (Amsterdam à 4h de route de Longuenesse).

Candidater

Issu(e) d'une filière scientifique en sciences de données (traitement du signal et des images, informatique avec une dominante en intelligence artificielle/apprentissage/machine learning, mathématiques appliquées), vous êtes curieux(se) et très à l'aise en programmation (Matlab, Python). Vous lisez et parlez avec aisance l'anglais courant. Bien que non-obligatoire, une première expérience en factorisation de données (décomposition de matrices ou tenseurs, séparation de sources, apprentissage de dictionnaire, etc) ou en deep learning sera appréciée.

Pour candidater, merci d'envoyer un courriel à [claire.guilloteau, matthieu.puigt, gilles.roussel] [at] univ-littoral.fr en y annexant les documents pouvant supporter votre candidature :

• votre CV,
• une lettre de motivation,
• vos relevés de notes de Licence 3, Master 1, Master 2 (si ces dernières sont disponibles) ou d'Ecole d'Ingénieurs (première à troisième année),
• deux lettres de recommandation ou les noms et moyens de contact de deux référents académiques.

Références

[1] A. Alboody, M. Puigt, G. Roussel, V. Vantrepotte, C. Jamet, T.-K. Tran, Experimental comparison of multi-sharpening methods applied to Sentinel-2 MSI and Sentinel-3 OLCI images. Proc. WHISPERS, 2021.

[2] A. Alboody, M. Puigt, G. Roussel, V. Vantrepotte, C. Jamet, T.-K. Tran, DeepSen3: Deep multiscale learning model for spatial-spectral fusion of Sentinel-2 and Sentinel-3 remote sensing images. Proc. WHISPERS, 2022.

[3] C. T. Cissé, A. Alboody, M. Puigt, G. Roussel, V. Vantrepotte, C. Jamet, T.-K. Tran, A new deep learning method for multispectral image time series completion using hyperspectral data. Proc. ICASSP, 2022.

[4] A. Hadir, A. Alboody, M. Puigt, G. Roussel, V. Vantrepotte, C. Jamet, T.-K. Tran, Réseau antagoniste génératif pour la fusion spatio-temporelle d'images satellitaires multi-spectrales. Actes du colloque GRETSI, 2023.

[5] F. Steinmetz, D. Ramon, Sentinel-2 MSI and Sentinel-3 OLCI consistent ocean colour products using POLYMER. Proc. SPIE "Remote Sensing of the Open and Coastal Ocean and Inland Waters", vol. 10778, 2018.

 

https://www-lisic.univ-littoral.fr/%7Epuigt/jobs_opening.html