CLOUD-TO-EDGE · RLProjet de fin d’études · ENSAI × IRISA
Smart Bidding
Où exécuter une fonction serverless entre cloud, fog et edge ? Une enchère inversée de Vickrey (GIRAFF), des heuristiques gloutonnes et un agent Dueling Double DQN comparés dans le simulateur FaaS-Sim. Projet d’équipe avec Richard Gozan et Lynn Siewe.
Indicateur clé
100%
SLA acceptées par l’agent DQN, contre 92,8 % pour GIRAFF · topologie de 27 nœuds
Charge mixte · topologie de 27 nœuds
SLA acceptées%coût moyen
RL (DQN)100,00,99
Edge-Furthest93,21,08
GIRAFF92,81,22
Edge-First87,61,67
Edge-Ward84,61,48
Coût moyen par SLA acceptée, en millièmes d’euro · rapport de PFE, tableau 1
Architecture
Smart Bidding
Les composants, les flux de données et les frontières de confiance du système.
Faites défiler le schéma →
Technologies
Python
FaaS-Sim
Vickrey auction
Dueling Double DQN
MDP · action masking
Energy cost model
LaTeX
Choix d’architecture
01
Enchère inversée au second prix : chaque nœud annonce son vrai coût énergétique marginal, le moins cher gagne et reçoit la deuxième offre, ce qui rend la sincérité optimale sans regrouper les requêtes.
02
Le coût est le surplus d’énergie induit par la fonction, P(u + uₛ) − P(u) : un nœud déjà chargé s’exclut de lui-même, d’où un équilibrage de charge émergent.
03
L’agent RL ne choisit que parmi les nœuds faisables (masquage d’actions), et sa récompense reproduit l’objectif global acceptation − coût normalisé ; λ₂ = 20 donne le meilleur compromis.
04
Chaque nœud étant une action, l’apprentissage se fait sur 27 nœuds ; les ~700 nœuds de la phase I appellent des approches multi-agents (MARL).
Le problème
Dans le continuum cloud-edge, les nœuds sont hétérogènes et appartiennent à des acteurs différents. Placer chaque fonction en ligne, sous contraintes de latence, de CPU et de mémoire, en arbitrant entre taux d’acceptation et coût énergétique, est un problème NP-difficile (réduction depuis le bin packing en deux dimensions).
Ce que j’ai construit
Formulation du problème et modèle de coût énergétique marginal P(u) = au² + bu + c. Intégration dans FaaS-Sim de GIRAFF (enchère inversée au second prix, propagation des offres en largeur), de trois heuristiques (Edge-First, Edge-Furthest, Edge-Ward) et d’un agent Dueling Double DQN modélisé comme un MDP avec masquage des actions infaisables.
Résultat et compromis
Sur ~700 nœuds, GIRAFF reste proche du meilleur taux d’acceptation tout en coûtant moins qu’Edge-Furthest et Edge-First. Sur la topologie réduite de 27 nœuds, l’agent DQN (λ₂ = 20) accepte 100 % des SLA et réduit le coût total de 12 % par rapport à GIRAFF, avec une répartition plus équilibrée entre edge, fog et cloud.
Périmètre et limites
Résultats en simulation, avec une décision centralisée et une observabilité complète. L’agent RL est évalué sur 27 nœuds, car chaque nœud est une action : passer à l’échelle demandera des approches multi-agents (MARL). L’énergie, l’équité entre nœuds et les pénalités de violation de SLA restent à évaluer.
