Réunion

Self-supervision and forward-backward optical flow consistency for change detection in air-to-ground images

   Nao Nicolas, Hélion du Mas des Bourboux 

   Thales, Land and Air Systems, France 

   2, Av. Gay Lussac, 78990, Elancourt, France

We estimate changes in pairs of air-to-ground images through methods that do not rely on labeled data. These estimated changes are presented to annotators in a labeling platform as prior contours. These priors help to reduce the time spent per image and the annotation error. 

Two types of change priors are developed. The first one is based on forward-backward consistency. It is computed through the discrepancies between the forward and the backward dense optical flow. The second method is based on self-supervision. We create virtual change pairs by punching holes into a given image and smoothly fill it with the content of another, thereby simulating realistic changes for model training. 

While we show some correlations between the detected changes from forward-backward flow consistency and the labeled ones, the self-supervised method is found to be superior. We then investigate how self-supervised pre-training can help reduce the amount of labeled data required, and then establish a new state of the art on the OSCD 3-channels dataset. 

Satellite Image Time Series Semantic Change Detection: Novel Architecture and Analysis of Domain Shift 

Elliot Vincent, Jean Ponce, Mathieu Aubry 

Satellite imagery plays a crucial role in monitoring changes happening on Earth's surface and aiding in climate analysis, ecosystem assessment, and disaster response. In this paper, we tackle semantic change detection with satellite image time series (SITS-SCD) which encompasses both change detection and semantic segmentation tasks. We propose a new architecture that improves over the state of the art, scales better with the number of parameters, and leverages long-term temporal information. However, for practical use cases, models need to adapt to spatial and temporal shifts, which remains a challenge. We investigate the impact of temporal and spatial shifts separately on global, multi-year SITS datasets using DynamicEarthNet and MUDS. We show that the spatial domain shift represents the most complex setting and that the impact of temporal shift on performance is more pronounced on change detection than on semantic segmentation, highlighting that it is a specific issue deserving further attention.

Towards near-real time monitoring of volcanic deformation and lava flow mapping using Capella SAR images

Arthur Hauck, Raphaël Grandin, Fidel Costa IPGP 

Syn-eruptive monitoring of volcanic deformation and surface changes is crucial for timely hazard assessment. Spaceborne Synthetic Aperture Radar (SAR) can reliably provide visually-interpretable images of volcanic edifices at high spatial resolution during day and night, regardless of the weather conditions. Yet, most traditional change detection methods only work between SAR images acquired by the same sensor with the same observation geometry, preventing revisit times of less than several days. 

Here, we present a novel method for detecting and measuring syn-eruptive topographic changes on a sub-daily basis using (i) Capella Space high-resolution SAR images acquired with varying geometries during the eruption, that we compare with (ii) a high-resolution Digital Elevation Model acquired years before the eruption. The syn-eruptive SAR amplitude image is correlated against a synthetic image generated from a radiometric terrain model combining the knowledge of the SAR sensor geometry and pre-eruptive topography. The cross-correlation score is used for lava flow mapping, which enables to track the progress of lava flows over time with daily or even sub-daily temporal resolution. Estimated offsets between real and synthetic images provide two independent components of the ground displacement field (in the line-of-sight and in azimuth). Combining multiple images acquired with different viewing geometries gives access to the three components of the displacement field. We apply the method to the Piton de la Fournaise volcano, validating the results against ground-truth data from the OVPF observatory, including daily-resolved lava flow maps produced from traditional approaches and GNSS displacement vectors from permanent and campaign stations.

Bitemporal and Multimodal Landslide Detection in Haiti with Deep Learning: Dataset and Translation-based Approach

Antoine Bralet, IRISA UMR 6074, Université Bretagne Sud, 56000 Vannes, France 

Emmanuel Trouvé, Université Savoie Mont Blanc, LISTIC, 74940 Annecy, France 

Jocelyn Chanussot, Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK, 38000 Grenoble, France. 

Abdourrahmane M. Atto, Université Savoie Mont Blanc, LISTIC, 74940 Annecy, France 

The detection of landslide collapses triggered by natural hazards, such as earthquakes, floods or intense rainfall, allows rapid response to limit the susceptible toll caused by such disasters. Remote sensing images are highly considered for such applications because of their wide coverage and their high revisit frequency, which are critical properties for large-scale early threat response. Yet, since optical images are sensitive to weather conditions, their use for emergency response is limited. In this work, we propose a novel dataset to encourage the development of new deep learning approaches for sudden landslide detection on bitemporal and multimodal remote sensing images. Specifically, the dataset focuses on the massive earthquake that struck Haiti in 2021, triggering thousands of landslides. NASA provides a cartography of these hazards that is made available in the NASA Global Landslide Catalog, which we used as ground truth. Based on the location of these annotations, we collected and coregistered Sentinel-1 and Sentinel-2 patches acquired shortly before and after the event. Sentinel-1 patches are provided under VV and VH polarization, while Sentinel-2 patches are limited to RGB channels. The dataset contains a total of 1,713 six-tuple of patches: pre- and post-event ascending and descending SAR patches, and pre- and post-event optical patches. The interest of this dataset is that optical landslide patterns can be accurately associated with SAR patterns because the former are only partially covered by clouds. In this way, the dataset aims to promote the development of all-weather landslide detection by combining pre-optical and post-SAR images. Indeed, this is the most likely configuration in practice. First experiments have been performed under this multimodal configuration by exploiting a recently proposed SAR-to-optical translator: SARDINet. Three different ResU-Net variations have then been trained to process the pre-event optical image and the translation of the post-event SAR image resulting from the translator. These experiments demonstrate the difficulty of such the landslide detection task on this dataset due to the presence of strong SAR distortions, dense vegetation, partial cloud cover and variable object size and shape. This makes the dataset even more interesting and challenging to develop novel approaches that could address these issues while still accurately detecting landslides. The dataset is available on IEEE Dataport (https://ieee-dataport.org/documents/multimodal-remote-sensing-dataset-landslide-change-detection-haiti).

Supervised and unsupervised deep learning for change detection in 3D point clouds 

Iris de Gélis, Sébastien Lefèvre, Thomas Corpetti 

Whether caused by geomorphic processes or by human activities, contemporary times are accompanied by ever more rapid and frequent changes in our landscapes. Monitoring these changes requires regular modeling of our environment. In landscapes with a complex geometry (e.g., urban environment), vertical information is a very useful source of knowledge that highlights changes and classifies them into different categories. Rather than limiting ourselves to a two-dimensional representation, it seems appropriate to use 3D data to embody our world, using point clouds for example. However, the complexity of this data format makes it necessary to create specific methodologies for their analysis. In this presentation, we focus on change detection in 3D point clouds with deep learning. 

Siamese architectures have proven effective for change detection using deep learning. In this presentation, we will show that using change information in the early steps of deep networks considerably improves change detection in both supervised and unsupervised context. In particular, the proposed architecture called, Encoder Fusion SiamKPConv, overtakes the state-of-the-art approaches (i.e., classical Siamese architecture) by more than 5% of the mean of the IoU over the classes of change in a supervised scheme. Concerning unsupervised context, we propose DeepCluster 3D Change Detection (DC3DCD), to detect and categorize multiclass changes at point level. Our method builds upon the DeepCluster approach, originally designed for image classification, to handle complex raw 3D PCs and perform change segmentation task. The proposed method outperforms traditional fully supervised machine learning algorithms and is competitive with fully supervised deep learning networks applied to 3D PC rasterization. In this unsupervised context, the choice of architecture appears even more crucial.

Détection non supervisée de changements en imagerie radar à synthèse d'ouverture via la modélisation des incertitudes de débruitage

Thomas Bultingaire*, Christophe Kervazo*, Loïc Denis†,*, Florence Tupin* 

* LTCI, Télécom Paris, Institut Polytechnique de Paris, 91120 Palaiseau, France 

† Université Jean Monnet Saint-Etienne, CNRS, Institut d’Optique Graduate School, Laboratoire Hubert Curien UMR 5516, F-42023, Saint-Étienne, France

La détection de changements en imagerie de télédétection a beaucoup d'applications comme la gestion de catastrophes naturelles, la surveillance de fonte de glace ou encore de déforestation. L'imagerie radar à synthèse d'ouverture (Synthetic Aperture Radar, SAR) a de forts avantages pour ces applications car elle a la capacité d'acquérir des images quelles que soient les conditions météorologiques. Ceci est très utile pour surveiller des zones avec une couverture nuageuse fréquente ou en cas d'urgence. Cependant, l'imagerie SAR souffre de fortes fluctuations à cause du phénomène de chatoiement (speckle), ce qui rend la détection de changements difficile. La réduction du chatoiement peut être appliquée en tant que pré-traitement mais l'efficacité de cette étape de débruitage varie selon le contenu de la scène (structures complexes, contours, zones homogènes). 

Dans ces travaux, nous proposons de modéliser l'incertitude de la réduction de chatoiement à l'échelle d'un patch et de la prendre en compte dans une nouvelle méthode de détection de changements. À l'intérieur d'un patch débruité ainsi modélisé, la localisation des changements est effectuée grâce à la résolution d'un problème d'optimisation visant à déceler les variations ne pouvant être imputées uniquement aux incertitudes du débruitage.

Augmentation par rééchantillonnage pour l'apprentissage contrastif des séries temporelles : application à la télédétection

Antoine Saget, Baptiste Lafabregue, Pierre Gançarski, Antoine Cornuéjols

L'apprentissage auto-supervisé (Self-Supervised Learning - SSL) est une approche prometteuse pour exploiter de grandes quantités de données issues de séries temporelles d'images satellites non étiquetées. 

Cependant, concevoir des augmentations de données efficaces pour l'apprentissage contrastif reste un défi pour les séries temporelles. 

Nous introduisons une nouvelle stratégie d'augmentation par rééchantillonnage qui génère des paires positives en suréchantillonnant les séries temporelles, puis en y extrayant des sous-séquences disjointes tout en préservant leur couverture temporelle. 

Nous validons notre approche sur plusieurs datasets de classification agricole utilisant des images Sentinel-2, démontrant que le rééchantillonnage surpasse les alternatives d'augmentation courantes telles que le bruit, le redimensionnement et le masquage. 

De plus, nous dépassons l'état de l'art sur le jeu de données S2-Agri100, dépassant des méthodes plus complexes basées sur le masquage. 

Finalement, nous montrons que le pré-entraînement sur des données non étiquetées issues du même domaine que la tâche cible permet à une simple régression logistique d'atteindre également l'état de l'art sur le jeu de données S2-Agri100. 

L'apprentissage robuste de features peut ainsi être largement dissocié de la classification supervisée lorsqu'il existe des données provenant d'une distribution similaire à celle de la tâche cible. 

Détection de changement par différentiel de cartes de couverture du sol par intelligence artificielle (CoSIA) 

Eva Bookjans 1, Agnieszka Tarko 2, Lucas Martelet 2, Elliot Vincent 3, Floryn Roche 3, Anatol Garioud 1 

1 - SIMV de l'IGN; 2 - DOT de l'IGN; 3 - SV3D de l'IGN 

L’IGN a mis en place un modèle d’intelligence artificielle (IA) pour accélérer la classification de la couverture du sol à partir d’images aériennes haute résolution. La création de ce modèle IA et son déploiement à l’échelle de la France métropolitaine ont dû répondre au défi de la généralisation spatiale (diversité des paysages) et temporelle (variabilité des dates d’acquisition). 

Le défi scientifique FLAIR-1 (https://ignf.github.io/FLAIR/ ; datapaper : https://arxiv.org/abs/2211.12979), lancé par l’IGN, a permis de définir le modèle actuellement utilisé en production. L’architecture de ce modèle consiste en la combinaison d’un modèle d’attention Swin Transformer (encodeur) suivi d’un UPerNet (décodeur). Le produit tout automatique obtenu est appelé CoSIA, une carte de couverture du sol en 15 classes pouvant servir comme donnée d’entrée pour cartographier le territoire français sur diverses thématiques, dont la détection de changement. 

Très récemment, l’IGN a étudié l’utilité de CoSIA pour générer des alertes de changement dans le cadre de la mise à jour de CORINE Land Cover (CLC), un inventaire paneuropéen de l’occupation du sol, qui fait partie du Copernicus Land Monitoring Service. Nous proposons d'illustrer l’utilité et les limites de CoSIA pour la détection de changement post-classification sur l’exemple concret de CLC. Les problématiques sont présentées dans un cadre opérationnel ayant pour objectif de mettre en place une chaîne de production la plus automatisée et efficace possible, tout en respectant les spécifications requises.

Génération de données pour la détection de changements sémantiques en imagerie aérienne Très Haute Résolution 

Yanis Benidir, Nicolas Gonthier, Clément Mallet 

La détection de changements bi-temporels sur des images à Très Haute Résolution (THR) est un enjeu majeur pour le suivi de l'évolution du territoire. Ce problème reste néanmoins encore peu exploré à grande échelle. Les approches existantes ont principalement recours à l'apprentissage supervisé et se heurtent à une limitation majeure : la faible disponibilité de données de changement variées, annotées et de bonne qualité. De plus, la plupart des méthodes actuelles manquent de flexibilité pour s'adapter efficacement à la variabilité temporelle et spatiale. La génération de jeux de données synthétiques apparaît comme une solution clé, mais les travaux ayant exploré cette voie peinent encore à capturer la complexité des scènes du monde réel. Dans ce travail, nous présentons HySCDG, une approche générative permettant de créer un grand jeu de données hybride adapté à la détection sémantique de changements. Ce dernier, nommé FSC-180k, combine des images THR réelles et des images modifiées par inpainting, auxquelles sont associées des cartes sémantiques d'occupation du sol et de changement. Guidé à la fois spatialement et sémantiquement par un ControlNet, HySCDG génère des images réalistes, garantissant ainsi un dataset robuste, hybride et adapté au transfert de modèles. Nous évaluons FSC-180k sur cinq scénarios de détection de changements (binaires et sémantiques), en couvrant plusieurs stratégies d'apprentissage : apprentissages mixé, séquentiel et sur données limitées, et évaluation "zero-shot". Nos expériences démontrent que le pré-entraînement sur FSC-180k améliore significativement les performances des modèles, surpassant SyntheWorld, un dataset entièrement synthétique, dans toutes les configurations testées.

Un outil d’assistance pour le suivi des catastrophes naturelles

Christian Hümmer, Dimitri Lallement, David Youssef 

Dans le cadre de la gestion de crise, le CNES développe un outil de d´détection de changement [1] qui exploite l’hybridation des données satellitaires 2D et 3D afin d’aider les autorités et les secours lors d’aléas climatiques et de catastrophes naturelles à travers le monde. Cet outil est composé d’un pipeline de détection de changement en 2D, basé sur des réseaux neuronaux profonds à l’état de l’art qui détectent les changements sémantiques entre les images satellites à très haute résolution ( 50cm). En complément de ce premier pipeline 2D, un pipeline 3D confirme et complète les changements d´détectés grâce à de la de fusion de données. Nous présentons l’intégration de l’estimation d’incertitude 2D pour la segmentation sémantique et de l’ambiguïté 3D pour la reconstruction afin d’introduire une qualification des résultats de détection des changements multimodaux et d’améliorer leur fiabilité. Etant donné qu’après une catastrophe la modalité 2D est toujours disponible dans le cas de la cartographie rapide, une priorité est accordée à la robustesse et la transférabilité des modèles qui sont étayés par des estimations fiables de leur incertitude. Il s’agit notamment d’intégrer des techniques avancées d’augmentation de données afin de créer des modèles robustes à des conditions d’acquisition variables et parfois dégradées (off-nadir, nuageuse, etc.) ainsi qu’à la transférabilité entre des capteurs d’acquisition différents. En plus de la visualisation de l’impact de l’intégration de l’incertitude dans la partie 2D, la présentation inclut également un aperçu des différentes approches de base pour réaliser cette estimation d’incertitude à partir d’architectures modernes de réseaux neuronaux profonds. Bien que la disponibilité de l’acquisition stéréo THR soit actuellement assez limitée d’un point de vue global et donc plutôt adaptée aux acquisitions programmées dans le cas du risk & recovery, des nouvelles constellations de satellites comme la mission CO3D augmenteront fortement l’accessibilité de la modalité 3D. Ce travail peut donc également être considéré comme un travail préparatoire à l’arrivée de cette nouvelle source de données, en prévision de futures approches de détection des changements tirant parti de ces informations supplémentaires. Basé sur des outils open source comme CARS [2] et Bulldozer [3], le pipeline 3D permet également l’intégration des méthodes d’estimation de l’incertitude plus sophistiquées, en plus de l’intégration du concept d’ambiguïté. La présentation comprend une évaluation des performances de notre méthode dans le contexte de catastrophes naturelles avec les cas du tremblement de terre en Turquie de février 2023 et des feux de forêt au Chili en février 2024 pour lesquels des experts qui travaillent sur des activités de cartographie pour la Charte internationale Espace et Catastrophes Majeures ont annotés les dégâts. En outre, les méthodes présentées sont également illustrées à travers d’autres catastrophes plus récentes, comme le cyclone qui a touché Mayotte en décembre 2024. Enfin, la présentation d’un Dashboard de visualisation mettra en évidence l’intégration des approches susmentionnées dans un outil de démonstration combinant tous les concepts importants d’une manière contextualisée dans une interface simple d’utilisation.

Suivi urbain SAR/optique haute résolution spatial

Elise Colin (ONERA - DTIS) et Aurélien Plyer (ONERA -DTIS)

La détection de changements à partir de données SAR haute résolution représente une problématique de premier ordre pour le suivi du tissu urbain. En effet, le capteur SAR, grâce à sa capacité d’observation continue et indépendante des conditions d’ensoleillement ou météorologiques, offre une surveillance quasi ininterrompue de la scène, ce qui le rend particulièrement adapté pour le monitoring dynamique des environnements urbains. Toutefois, la richesse temporelle et la sensibilité du signal SAR s’accompagnent d’une complexité d’interprétation, pour pallier ces difficultés, une approche visant à reprojeter les images SAR sur des référentiels optiques est envisagée, les données optiques offrant une meilleure lisibilité visuelle et facilitant ainsi l’identification et l’analyse des changements observés. Cependant, cette opération de fusion se heurtent des difficultés due à la différence de modèle géométrique des deux capteurs. Dans cette présentation nous détaillerons les travaux menés à l'ONERA autour du suivi et de la mise à jour de maquette numérique à partir de donnée de télédetection multi-modales. 

PeGazUs : Une approche fondée sur les graphes de connaissances pour construire des gazetiers urbains perpétuels

Charly Bernard (1), Solenn Tual (1), Nathalie Abadie (1), Bertrand Duménieu (2), Julien Perret (1, 2), Joseph Chazalon (3) 

(1) LaSTIG - Université Gustave Eiffel - IGN/ENSG 

(2) LaDéHiS - CRH - EHESS 

(3) LRE - Laboratoire de Recherche de l'EPITA 

Les gazetiers, en tant que bases de connaissances sur les lieux nommés, sont des ressources centrales sur le Web de données, car ils fournissent un référentiel commun pour lier et intégrer de nombreuses ressources textuelles ou structurées sur le Web. Les gazetiers associent généralement les noms de lieux à un type d'entités géographiques et à une localisation, le plus souvent représentée par des coordonnées. Plus récemment, les gazetiers historiques, qui visent à représenter des lieux du passé, ont fait l'objet d'une attention croissante. La création de ces gazetiers pose des problèmes spécifiques, notamment la définition de l'identité des lieux en évolution, la représentation de leurs évolutions dans le temps (la manière dont ils changent, quand les changements se produisent) et leur peuplement à partir de sources historiques fournissant le plus souvent des informations fragmentaires et hétérogènes.  

Dans ce travail, nous proposons une approche pour créer un gazetier historique urbain sur l'évolution de deux types de lieux urbains majeurs à grande échelle, à savoir les adresses et les parcelles. Notre proposition s'inspire des approches de création de graphes de connaissances et tire partir des possibilités de représentation des connaissances et de raisonnement offertes par les standards du Web sémantique pour pallier les difficultés mentionnées précédemment. Cette approche a été mise en œuvre sur les adresses et les parcelles du quartier de la Butte aux Cailles à Paris, dont nous avons reconstitué l'évolution au cours du 19ème siècle à partir de données extraites de diverses sources historiques. Le graphe de connaissances qui en résulte peut être utilisé à diverses fins, notamment pour le géocodage historique de documents anciens, l'identification de l'utilisation d'un terrain à une date donnée ou le recensement des événements qui ont conduit à son état actuel.

Multi-scale and multi-modal remote sensing segmentation of paleo-landslides from residual U-Net

François Faure, Swann Zerathe and Sophie Giffard-Roisin

Paleo-landslides are one of the main erosion processes, making them a major source of information for geomorphological research. Moreover, in order to mitigate landslide hazards, a better knowledge of their structure and triggering conditions is needed. However, manually mapping paleo-landslides is time-consuming (visual satellite image analysis, field-work) and those geomorphological objects are not always easily visible in the landscape and on satellite images. This is why we developed an automatic paleo-landslide mapping method based on an adapted Residual U-Net architecture applying image segmentation on Sentinel-2 optical images and TanDEM-X Digital Elevation Model (DEM) in the Atacama Desert (Peru). This model is trained on a database containing about 1000 manually mapped landslides over 455.000km$2$. We first analyse the best input data combination by trying different Sentinel-2 bands and DEM derivatives. We show that combining RGB bands (n°2, n°3, n°4) and infrared band (n°8) with the DEM and its first derivative (slope) show the best results. Furthermore, as landslide size vary a lot, we use a multi-scale approach. It increases the number of example by taking both small and large landslides and helps the model extracting information at small and large scale. Reaching, for a 0.5 probability map threshold, an Intersection Over Union of 0.37 and an F1-score of 0.54, the model is able to detect landslides, but still presents some false positives (due to landslide-similar areas such as river erosion processes) and false negatives (especially on large or eroded landslides). Even if it is not a stand-alone landslide mapper, experts can use it as a "premapping" tool for a faster manual landslide mapping