Nous considérons une architecture réseau multi-tier représentée par deux noeuds multiserveur en tandem dans laquelle un agent autonome contrôle le nombre de serveurs de chaque noeud. On s'intéresse à l'apprentissage de stratégies d'autoscaling afin d'optimiser à la fois les performances et la consommation énergétique du système global. Nous comparons dans ce travail plusieurs algorithmes d'apprentissage par renforcement model-based avec les algorithmes
classiques model free. L'intérêt attendu des algorithmes basés modèle tient dans une mise à jour plus rapide de la Q fonction en ajoutant des phases additionnelles de planning permises par la connaissance d'un modèle approximé de la
dynamique de l'environnement. Nous considérons également des modèles de contrôle adaptatif.

Dans un second temps nous considérons ce mme modèle de file en tandem avec des arrivées suivant un processus de Poisson modulé (Markov modulated Poisson process). Dans ce cas, le taux des arrivées évolue dans le temps mais
cette évolution reste cachée à l'agent. Notre but est d'évaluer la robustesse de nos algorithmes et particulièrement ceux basés modèles.

Travail conjoint avec Thomas Tournaire, Jeanne Barthélémy et Hind Castel