Stage M2/Ingénieur : Amélioration de la robustesse de l’apprentissage fédéré

4 December 2023

---

Catégorie : Stagiaire

---

Localisation :Annecy (74) au Laboratoire d'Informatique, Systèmes, Traitement de l'Information et de la Connaissance (LISTIC) www.univ-smb.fr/listic/

 

Multidisciplinaire: développement, recherche

Mots clés: Deep learning, Federated Learning, apprentissage par renforcement.

Sujet:

Ce stage prend racine dans le cadre d’un projet exploratoire financé par l’université Savoie Mont Blanc. L’objectif de ce projet est, entre autres, de développer des algorithmes d’intelligence artificielle plus robustes et moins coûteux énergétiquement. Durant ce stage, nous nous concentrons plus spécifiquement sur l’apprentissage fédéré, une méthode d’apprentissage décentralisée, en nous focalisant sur l’utilisation de l’apprentissage par renforcement pour en améliorer la robustesse et la pertinence.

L’apprentissage fédéré est une méthode d’apprentissage récente développée par Google en 2016. Elle consiste en l'optimisation de modèles (souvent de deeplearning) placés chez une multitude de clients et agrégés régulièrement sur un serveur. Cette méthode d’apprentissage est très utilisée dans l’embarqué ou dans des contextes spécifiques comme le médical pour optimiser des modèles généraux en utilisant les données produites localement et sans nécessiter leur déplacement vers un serveur central. Elle permet par ce biais de maintenir leur confidentialité. Ainsi, chaque client possède un jeu de données local qui lui permet de s’entraîner et partager ensuite sa connaissance. Ce partage permet l’agrégation des modèles, une étape critique qui consiste en la fusion des paramètres obtenu par chaque client pour créer un modèle global plus généralet redistribué à tous les participants. Néanmoins, les méthodes d’agrégation de l’état de l’artprennent peu en compte l’aspect dynamique des clients, de leurs données et de leur disponibilité dans un environnement distribué dynamique sujet aux pannes et à la latence. Ces aléas illustrent pourtant les cas d’utilisation réels et augmentent le risque de pénaliser les performances du modèle général. Le stage proposé s’intéresse à cette problématique.La piste envisagée consiste en l’étude de méthodes basées sur l’apprentissage par renforcementpour la découverte automatique de politique de crises et leur prise en compte pour s’adapter à la dynamicité des systèmes embarqués. Nous nous concentrerons notamment sur deux aspects : (1) la conception destratégies de communication qui s’adaptent dynamiquement au contexte des clients (performance, disponibilité et fiabilité) à l’aide d’approches basées sur l’apprentissage par renforcement, (2) la conception deméthodes d’agrégation des modèlesclients plus robustes face aux erreurs et aux pannes du réseau grâce à un apprentissage itératif des modes de fonctionnement des clients et des pannes les plus courantes.

Le travail sera réalisé à l’aide d’un framework développé au laboratoire. Les tâchesseront les suivantes :

• Prise en main et enrichissement du frameworkpour préparer l’environnement de travail.
• Etat de l’art sur l’apprentissage fédéré, les fonctions d’agrégation et les stratégies de communication et l’apprentissage par renforcement.
• Proposition d’une solution pour améliorer la robustesse de l’apprentissage fédéré dans un système dynamique
• Rédaction d’un article de recherche

Encadrement:

Alexandre Benoit - alexandre.benoit@univ-smb.fr

Mickaël Bettinelli - mickael.bettinelli@univ-smb.fr

Christpohe Lin-Kwong-Chon - christophe.lin-kwong-chon@univ-smb.fr