Nos tableaux de bord montraient que certaines requêtes de l’API étaient lentes. Ils ne disaient pas si l’API faisait un travail coûteux ou si elle attendait un autre système.
Cette distinction a changé toute l’enquête.
Sur la plateforme d’API publique de Club Med, j’ai mis en place des tableaux de bord Kibana qui montrent le comportement route par route et séparent le temps de traitement de l’API du temps passé à attendre les systèmes en aval. Les tests de charge ont ensuite montré quelles routes consommaient le plus. Le profilage en local et les flamegraphs nous ont permis d’inspecter le code derrière ces routes.
L’ordre comptait :
- observer le système route par route ;
- reproduire la charge avec des tests ;
- profiler les routes que le monitoring avait déjà désignées ;
- corriger les goulots d’étranglement, puis relancer les tests.
Ce travail a aidé la plateforme à absorber plus de trafic : en production, elle est passée d’environ 10 à 25 millions de requêtes par jour.
Je précise « en production » parce qu’un chiffre de performance perd sa valeur quand on lui retire ses conditions. Un pic en production, un test synthétique et une estimation théorique ne répondent pas à la même question.
La leçon est simple : un graphe doit aider à décider quoi inspecter ensuite. Le temps de réponse total était une alerte. Le découper par route, entre travail applicatif et attente des dépendances, l’a rendu utile.