Université : Université du Littoral Côte d’Opale (ULCO)
Laboratoire : Laboratoire d’Informatique Signal et Image de la Côte d’Opale (LISIC)
Equipe : LoRAL (Low Rank Approximation and Learning)
Site : Saint-Omer / Calais
Direction de thèse : Nicolas Vandenbroucke (PU) et Alice Porebski (MCF)
Mots clés : surveillance de la qualité de l’eau, pollution plastique, intelligence artificielle, modèle d’apprentissage léger, imagerie couleur et hyperspectrale, analyse de données multidimensionnelles et multimodales
Résumé
La pollution de l’eau par les déchets, notamment plastiques, demeure l’une des menaces environnementales les plus préoccupantes pour les écosystèmes marins, affectant la biodiversité et la santé humaine. La surveillance de la pollution aquatique exige la mise en œuvre de systèmes d’observation automatisés. Dans ce contexte, le LISIC développe des méthodes automatiques de détection et d’identification des déchets basées sur des modèles d’apprentissage profond légers, entrainés sur des images hyperspectrales [1]. Ces méthodes offrent des performances prometteuses en termes de résultat et d’efficacité computationnelle mais doivent être étendues à des données acquises en conditions réelles [3]. L’objectif de cette thèse consiste à déployer ces approches sur le terrain en utilisant un système d’imagerie hyperspectrale embarqué dans un véhicule téléopéré aquatique dont le prototype a été élaboré au LISIC à l’ULCO (voir figure ci-dessous) [2]. A travers cette application, les travaux menés visent à développer des méthodes de correction des images déformées par les conditions réelles d’observation ainsi que des méthodes d’apprentissage permettant d’entrainer le modèle avec des données nouvelles acquises in situ tout en maintenant un niveau élevé de performance. Pour cela, l’objectif est également de faire évoluer le prototype avec des capteurs supplémentaires associés à des méthodes de fusion multi-capteurs qui combinent des approches de classification de matériaux et de reconnaissance d’objets par intelligence artificielle. Ce projet multidisciplinaire a pour objectif final de mettre en œuvre un système automatisée de surveillance de la pollution aquatique.
Contexte et objectifs
Ce nouveau projet de thèse consiste à déployer, sur le terrain et dans des conditions réelles, les approches développées dans une précédente thèse en utilisant un système d’imagerie hyperspectrale embarqué dans un véhicule téléopéré (ROV : Remotely Operated Vehicle) aquatique dont le prototype a été élaboré au LISIC en collaboration avec le LOG (Laboratoire d’Océanologie et de Géosciences) et l’Unité Mixte de Recherche transfrontalière (UMRt) BioEcoAgro dans le cadre du CPER IDEaL (Contrat de Plan Etat-Région « approche Intégrée des DÉfis maritimes et Littoraux » pour la période 2021-2027) [2].
L’approche proposée repose sur un réseau de neurones convolutifs (CNN) léger pour la classification d’images hyperspectrales de débris aquatiques [1]. Ce modèle d’apprentissage profond, entrainé sur un nombre restreint de données, est capable d’en extraire des informations spatiales et spectrales (texture hyperspectrale) sous forme d’attributs afin de répondre à des applications de classification de textures contenues dans les images hyperspectrales. Son architecture comprend un nombre limité de couches, réduisant le nombre de paramètres à apprendre, ainsi qu’un module capable de donner un poids d’importance à chaque bande spectrale de l’image.
Ce projet de thèse vise des objectifs multiples qui consistent à :
- lever les verrous liés aux conditions variables d’acquisition (variation de vitesse, mouvement de l’eau, trajectoires des débris, variation de la luminosité ambiante, …) et aux caractéristiques des matériaux (plastiques noirs et transparents, débris semi submergés dans l’eau, vieillissement et altération des matériaux) ;
- enrichir le modèle CNN développé au laboratoire par des données d’apprentissage acquises en conditions réelles et améliorer ses performances en temps de traitement en réduisant la dimension de l’espace de représentation des données ;
- comparer et coupler les images acquises par le dispositif d’imagerie hyperspectrale observant dans l’infrarouge à des images acquises par une caméra couleur observant dans le visible pour améliorer les performances de reconnaissance mais aussi l’opérationnalité du système.
Méthode et résultats attendus
Les 3 principaux objectifs décrits précédemment nécessitent le développement :
- de méthodes de corrections des images déformées par les conditions d’observation : plus particulièrement, on s’intéressa ici, d’une part aux méthodes de rééchantillonnage des images-lignes acquises par la caméra dans le sens du défilement en fonction des variations de vitesses mesurées (vitesse du ROV et vitesse des débris aquatiques en mouvement) et d’autre part, à la correction des distorsions géométriques dues au mouvement de l’eau (houle) et à la trajectoire des débris aquatiques. Dans ce contexte, le ROV devra être équipé d’instruments de mesures adéquates et davantage protégé des phénomènes extérieurs comme les variations de luminosité ;
- de méthodes d’apprentissage permettant d’entrainer ou ré-entrainer un modèle CNN léger avec des données nouvelles (apprentissage incrémental, apprentissage par transfert) tout en maintenant réduite la dimension de l’espace de représentation de ces données : on s’intéressera ici, d’une part, à savoir comment intégrer des données nouvelles pour mieux entrainer le modèle et d’autre part, à étudier comment des données hyperspectrales issues de dispositifs d’acquisition différents (résolution du capteur, résolution spatiale de la scène, domaine spectral, nombre de bandes spectrales, …) peuvent permettre de construire un modèle qui soit transférable pour d’autres applications. Dans ce cadre, la capacité des modèles à sélectionner les bandes spectrales les plus discriminantes sera étudiée afin d’optimiser ce transfert tout en visant une réduction de dimension qui satisfera des contraintes d’efficacité computationnelle ;
- de méthodes de fusion multi-capteurs (recalage d’images multimodalités, fusion de données) qui combinent des approches de classification de matériaux et de reconnaissance d’objets par intelligence artificielle : on s’intéressera ici à étudier comment fusionner ces données et comment cette fusion peut permettre de reconnaitre des déchets spécifiques comme les débris submergés qui ne peuvent être vus dans l’infrarouge absorbé par l’eau, ainsi que des plastiques noirs et transparents qui réfléchissent très peu la lumière diffuse reçue ou qui sont dégradés par le temps. Dans ce contexte, des données identiques devront être acquises par le système d’imagerie hyperspectrale embarqué sur le ROV et par un système d’imagerie couleur à mettre en œuvre qui devra, par ailleurs, aider à la navigation à distance par un retour visuel.
En terme scientifique, les travaux contribueront au développement de modèles d’apprentissage visant un compromis entre performance, légèreté des modèles et efficacité computationnelle et pouvant être transférables. L’amélioration des résultats repose également sur la fusion multi-capteurs issue de méthodes de reconnaissance d’objets à partir d’images couleur et de classification de matériaux à partir d’images hyperspectrales. Ces méthodes visent, d’une part, à renforcer l’identification de la nature des matériaux et en particulier des polymères constituant les plastiques et d’autre part, à reconnaitre des débris partiellement submergés, ainsi que des plastiques transparents, noirs ou ayant subi des altérations de par leur vieillissement et leur exposition prolongée en milieu extérieur. Dans ce contexte, l’enceinte de vieillissement également acquise via le CPER IDEaL par le LOG et l’UMRt BioEcoAgro pourra être utilisée pour augmenter les données par des plastiques altérés. Enfin les méthodes de réduction de dimension basée sur la sélection de bandes et/ou d’attributs de texture doivent permettre de répondre à des contraintes de temps de traitement, de ressource mémoire, d’interprétabilité et de transférabilité.
En terme technologique, l’action vise à rendre opérationnel un système d’observation innovant qui pourrait servir de référence pour quantifier la présence de polluants en milieu marin et notamment les macro- et micro- plastiques sans devoir les prélever directement sur sites pour les analyser manuellement et éviter ainsi cette opération fastidieuse. Le dispositif pourrait être utilisé partout dans le monde et sur différentes étendues d’eau afin de surveiller sa qualité et fournir des données comparables pour des études ultérieures sur les risques liés aux contaminants chimiques par exemple. Les travaux menés feront l’objet d’articles scientifiques sur le système d’observation, l’acquisition et l’analyse automatique des images, ainsi qu’à moyen terme sur l’analyse des polluants en milieu marin grâce aux données fournies par le système d’imagerie.
Références bibliographiques
[1] Adam El Bergui, Alice Porebski et Nicolas Vandenbroucke, “A lightweight spatial and spectral CNN model for classifying floating marine plastic debris using hyperspectral images,” Marine Pollution Bulletin, 2025, 216, pp.117965, https://doi.org/10.1016/j.marpolbul.2025.117965
[2] Ahed Alboody, Nicolas Vandenbroucke, Alice Porebski, Rosa Sawan, Florence Viudes, Perine Doyen, et Rachid Amara, “A New Remote Hyperspectral Imaging System Embedded on an Unmanned Aquatic Drone for the Detection and Identification of Floating Plastic Litter Using Machine Learning,” Remote Sensing, vol. 15, no. 14: 3455, 2023. https://doi.org/10.3390/rs15143455
[3] Adam El Bergui, Florian Sellier, Alice Porebski, Nicolas Vandenbroucke, Périne Doyen, Rosa Swan, Florence Viudes, Guillaume Veillet, Rachid Amara, Jean-Valéry Facq et Benoît Gomez, “Benchmark dataset and classification of marine plastic waste acquired by a remote hyperspectral imaging system embedded on an aquatic drone,” 5th Edition of the International Conference MICRO 2024, September 2024, Lanzarote Canary Islands, Spain. https://hal.science/hal-04978174
Candidatures
Les candidats peuvent contacter Nicolas Vandenbroucke (nicolas.vandenbroucke@univ-littoral.fr) et Alice Porebski (alice.porebski@univ-littoral.fr) et joindre au mail :
- une lettre de motivation,
- un CV,
- une copie des derniers diplômes obtenus et une copie des notes de Master ou diplôme équivalent obtenues jusqu’alors.
