Annonce

Laboratoires : Laboratoire GREYC (UMR CNRS 6072), CHU de Normandie
Adresses email : wiem.takrouni@unicaen.fr
Stage : Durée de 5-6 mois, à Caen, au Campus 2, ENSICAEN, Bâtiment F.

Contexte : Avec la prolifération des deepfakes, la détection précise des contenus manipulés devient
essentielle. Les modèles actuels reposent principalement sur l’analyse globale du visage ou des textures de
la peau. Cependant, les micro-mouvements oculaires (clignements, saccades, dilatation pupillaire) sont
difficiles à reproduire parfaitement par les générateurs de deepfake et peuvent constituer une signature fiable
pour la détection.
Ce projet s’inscrit dans le cadre de la sécurisation des contenus multimédias et l’analyse des comportements
subtils du visage, en combinant la vision et deep learning pour détecter automatiquement les anomalies dans
les mouvements oculaires.
Sujet : L’objectif de ce stage est de concevoir, implémenter et évaluer un modèle de deep learning capable
de détecter des deepfakes à partir des micro-mouvements oculaires et des clignements.
Le projet comportera les axes suivants :
— Extraction des régions oculaires et suivi des yeux (eye-tracking) dans les vidéos.
— Détection et comptage des clignements, saccades et micro-expressions autour des yeux.
— Développement d’un modèle profond pour analyser la séquence temporelle des mouvements
oculaires.
— Evaluation comparative des performances : approche traditionnelle (feature engineering) vs deep
learning.
— Analyse qualitative et quantitative: interprétation des décisions du modèle, étude des limites et des
biais potentiels.
Plan de travail :

1. Revue bibliographique : Études sur la détection de deepfakes, biométrie faciale, suivi des yeux, micro
   expressions.
2. Extraction et prétraitement des données : Détection des yeux, suivi des clignements, transformation
   en séquences exploitables par un réseau neuronal.
3. Développement du modèle : Intégration possible de modèles existants pour eye-tracking et deepfake
   detection
4. Apprentissage et évaluation :Entraînement sur datasets publics de deepfakes (FaceForensics++,
   Celeb-DF). Évaluation quantitative (accuracy, F1-score) et qualitative (visualisation des anomalies)
5. Interprétation et discussion : Analyse des résultats, visualisation des zones critiques,
   recommandations pour la détection fine de deepfakes.

Profil recherché :
— Etudiant.e en Master 2 Recherche ou en dernière année d’école d’ingénieur, spécialisé en
informatique, image et/ou intelligence artificielle .
— Une formation en machine et deep learning est indispensable.
— Solides compétences en deep learning (PyTorch ou TensorFlow).
— Autonomie, rigueur et intérêt pour la recherche appliquée à la sécurité numérique et à la détection de
contenus manipulés.
Candidature : Pour postuler, envoyer par email à l’encadrant un dossier comprenant un CV, une lettre de
motivation, les relevés de notes des deux dernières années de formation, ainsi que toute pièce susceptible de
renforcer la candidature (lettre de recommandation, etc.).
Références

1. Li, Y., et al., Learning Temporal Facial Motion for DeepFake Detection, ICCV 2021.
2. Agarwal, S., et al., Protecting Eyes: Eye-blink as a Signal for Deepfake Detection, CVPR Workshops
   3. FaceForensics++: https://github.com/ondyari/FaceForensics
3. OpenFace GitHub: https://github.com/TadasBaltrusaitis/OpenFace
4. EyeBlink Detection GitHub: https://github.com/HaohanWang/Eye-Blink-Detection