- OBJECTIF
Dans le cadre de l’exploitation du MOBILEX CAOR Mines – Safran il est envisagé d’implémenter
un système de perception sur une plate-forme mobile, permettant d’identifier les zones
“franchissables” à résistance réduite et de fournir une cartographie de navigation englobant ces
informations.
Il est privilégié d’identifier une technologie, une méthode et des algorithmes, afin de réaliser un
dispositif indépendant des équipements du robot mobile et qui installé à bord, permettrait de
caractériser seuls la franchissabilité de l’environnement.
La technologie envisagée est l’analyse multi/hyperspectrale d’image de la scène et la fusion avec
l’analyse de l’image spatiale 2D ou 2D + profondeur.
Ce que nous cherchons n’est pas forcément une carte précise en tout point du parcours, mais
plutôt d’identifier certaines zones, où la franchissabilité serait en-dessous d’un certain seuil et qui
permettrait au robot mobile de passer.
La thèse s’articulera autour des travaux suivants :
– État de l’art sur la perception des différents matériaux et leur degré de franchissabilité;
– Identification de solutions de capture d’images spectrales et spatiales des catégories
d’obstacles;
– Évaluation des différentes méthodes d’analyse multi / hyperspectrale et fusion avec
l’information spatiale pour la classification des obstacles selon leur “franchissabilité”;
– Segmentation de scène et détection d’objets dans le domaine spatial avec leur
positionnement et structure 3D.
1.1. ETAT DE L’ART ET OBTENTION D’IMAGES EXPLOITABLES
L’état des lieux sur l’imagerie multi/hyper spectrale permettra d’identifier les caractéristiques
physiques déterminant la franchissabilité des matériaux qui composent les principales catégories
d’obstacles (végétaux, minéraux, métalliques, pré-fabriqués, etc), susceptibles de bloquer la
route du robot. De ces caractéristiques et des retours d’expérience de Safran et du CAOR/Mines
sur la perception de l’environnement, des méthodes d’identification de matériaux par analyses
d’image et machine learning seront à définir et à évaluer. Cet état des lieux sera complété d’un
état des lieux de solutions embarquées à bord des robots mobiles de type off-road et AGV, basé
sur le traitement d’image. Il permettra d’identifier et de définir les points critiques d’environnement
à maîtriser.
1.2. EVALUATION DES DIFFERENTES METHODES D’ANALYSE
HYPERSPECTRALE
Ce sujet de thèse se veut initialement ouvert et exploratoire. Il s’agira donc d’identifier un panel
d’approches possibles, d’en caractériser la faisabilité et la fiabilité, ainsi que la capacité à être
adaptées à l’environnement off-road et non-structuré (obstacles végétaux, rochers, artefacts,
etc). A partir de cet état des lieux, la ou les solutions les plus prometteuses seront explorées plus
profondément.
L’analyse hyperspectrale d’images étend les possibilités de l’analyse d’images classique, étant
largement appliquée dans différents domaines d’application tels que l’imagerie spatiale,
l’agriculture, l’industrie pharmaceutique et la médecine et finalement l’analyse chimique. La
plupart des applications utilisant l’imagerie hyperspectrale relèvent de deux classes de
traitements :
– La détection et la classification des matériaux constituant chaque pixel de l’image de
l’objet ;
– La réduction de volume de bandes spectrales tout en minimisant les pertes d’information
pour une vitesse de traitement accrue.
Les capteurs hyperspectraux fournissent des centaines de bandes spectrales par pixel, ce qui
rend le traitement des images très coûteux en termes de calculs. Des méthodes de réductions
de tailles des données sans pertes d’information pourront être abordées. Dans la plupart des cas
le matériel observé est composé de plusieurs types de matériaux distincts, considérés « purs ».
Chaque matériau distinct comporte une signature considérée comme étant « pure ». Une
signature d’un matériau composite quelconque sera donc un assemblage de signatures « pures »
(« endmembers ») de matériaux constituants. Différentes techniques de classification des pixels
« hyperspectraux » ont déjà été utilisées, le plus souvent des mesures de distances ou
probabilistes. L’ensemble des techniques qui se proposent de déterminer la décomposition en
« endmembers » et leur proportion dans la signature analysée, se retrouve dans la littérature
sous le nom de techniques de séparation de sources (« unmixing techniques »).
Des techniques de séparation linéaire de sources ont été utilisées avec succès pour améliorer la
précision des différents algorithmes de classification des images hyperspectrales. Parmi les
approches qui ont été proposées [7] pour une comparaison exhaustive, une attention particulière
sera accordée aux algorithmes qui combinent la séparation linéaire des sources et les techniques
éparses [8], ou les champs aléatoires de Markov [9] et les algorithmes de coupes de graphes
[10], qui à eux seuls (sans séparation des sources) ont donné des résultats intéressants dans
d’autres domaines de classification d’images.
- DEFINITION DE LA METHODE RETENUE
Dans cette thèse, l’approche qui sera implémentée mettra l’accent sur la recherche des
caractéristiques multi-dimensionnelles, dans le parallélépipède « 2D + lambda » (bande
spectrale), qui nous permettrait de constituer une base de signatures « pures » correspondant
aux différents types de matériaux composant les obstacles. Une base de caractéristiques multidimensionnelles
sera donc créée à partir d’une collection d’images multi-spectrales, annotées et
sélectionnées.
Par la suite, différentes techniques de classification par du deep learning et machine learning
seront testées (AdaBoost, SVM ou Random Forests, etc.) afin de choisir les signatures « pures »
qui caractérisent le mieux possible les obstacles et les matériaux qui les composent.
L’apprentissage sera effectué donc sur une base d’images exemples pour chaque élément
constituant d’obstacle, tandis que l’évaluation s’effectuera sur une vérité terrain constituée par
des différents mélanges connus, d’éléments « purs ». Cette évaluation nous permettra de
sélectionner l’algorithme d’apprentissage optimal pour notre application.
2.1. EVALUATION DE LA SOLUTION
Cette dernière phase permettra d’évaluer la solution retenue. Sur la base des développements
réalisés et des hypothèses prises en compte pour l’évaluation des obstacles, une évaluation
multicritère de la “franchissabilité” sera réalisée. Elle permettra de caractériser les points
suivants :
– Fiabilité de détection des zones à faible adhérence
– Capacité à être intégré dans un robot mobile off-road
– Réponses aux objectifs de sûreté de fonctionnellement
- BIBLIOGRAPHIE
[1] Parente, M. and Plaza, A., Survey of geometric and statistical unmixing algorithms for
hyperspectral images, in IEEE GRSS Workshop on Hyperspectral Image and Signal
Processing: Evolution in Remote Sensing-WHISPERS’10, Reykjavik, Iceland, 2010.
[2] Imec introduces hyperpectral CMOS camera for snapshot and video”, EETimes February
2013, Julien Happich. ONLINE: http://www.electronics-eetimes.com/en/imec-introduceshyperpectral-
cmos-camera-for-snapshot-and -video.html?cmp_id=7&news_id=222915621#
[3] A. Plaza and C.-I. Chang, High performance computing in remote sensing. CRC Press
Florida, 2007.
[4] A. Plaza, J. Plaza, A. Paz and S. Sanchez, “Parallel hyperspectral image and signal
processing,” IEEE Signal Processing Magazine, vol. 28, no. 3, pp. 119-126, May 2011.
[5] S. Bernabe, S. Lopez, A. Plaza and R. Sarmiento, ‘GPU Implementation of an Automatic
Target Detection and Classification Algorithm for Hyperspectral Image Analysis’, IEEE
Geoscience and Remote Sensing Letters, accepted for publication, 2012
[6] US 2010/0056928 A1. Date: Mar.4, 2010. “Digital Light Processing Hyperspectral Imaging
Apparatus”. K. Zuzak; J. Cadeddu; R. Ufret-Vincenty; R. Francis; E. Livingston.
[7] Dopido, I. ; Villa, A. ; Plaza, A. ; Gamba, P. “A Quantitative and Comparative Assessment of
Unmixing-Based Feature Extraction Techniques for Hyperspectral Image Classification” IEEE
Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Volume: 5 ,
Issue: 2, 2012 , Page(s): 421 – 435.
[8] Le Sun ; Zebin Wu ; Zhihui Wei ; Jianjun Liu ; Xingxiu Li, “Supervised hyperspectral image
classification combining sparse unmixing and spatial constraint”, 2012 International Conference
on Computer Vision in Remote Sensing (CVRS), 2012 , Page(s): 110 – 115
[9] Eches, O. ; Benediktsson, J.A. ; Dobigeon, N. ; Tourneret, J.-Y., “Adaptive Markov Random
Fields for Joint Unmixing and Segmentation of Hyperspectral Images” IEEE Transactions on
Image Processing, Volume: 22 , Issue: 1, 2013 , Page(s): 5 – 16
[10] Jun Bai ; Shiming Xiang ; Chunhong Pan, “A Graph-Based Classification Method for
Hyperspectral Images”, IEEE Transactions on Geoscience and Remote Sensing, Volume: 51 ,
Issue: 2, 2013 , Page(s): 803 – 817
[11] Daniel D. Lee & H. Sebastian Seung (1999). “Learning the parts of objects by non-negative
matrix factorization”. Nature. 401 (6755): 788–791. Bibcode:1999 Natur.401..788L.
doi:10.1038/44565. PMID 10548103. S2CID 4428232.
Profil du candidat : BAC+5, Grande école d’Ingénieur, nationalité Union Européenne
Contacts :
Bogdan Stanciulescu: MINES Paris PSL, bogdan.stanciulescu@minesparis.psl.eu
Paula Lakomicki, SAFRAN Electronics & Defense, paula.lakomicki@safrangroup.com
Christophe Guettier, SAFRAN Electronics & Defense, christophe.guettier@safrangroup.com
