Mesures
Ce qui est bien, et tout autant frustrant, avec Internet, c'est qu'il existe en fait peu d'idées, et beaucoup de gens pour les réaliser. Statistiquement, ce que l'on pense être une bonne idée à réaliser, existe déjà. C'est bon signe, ça veut dire qu'à défaut d'être ultime, cette idée est au moins viable. En ce moment précis, les astres sont favorables pour les gens qui veulent afficher des courbes et tout ce qui va bien autour. Les marketeux ont envie de bouffer du log!
Kibana
Kibana, bien que tout récent, fait déjà partie des classiques. Il vient démontrer qu'il est possible de proposer une UI décente et vendeuse pour afficher des graphes et créer des tableaux de bord. Un peu court pour faire un réel diagnostic ou un postmortem, il est par contre bluffant et bien pratique pour donner des tendances ou une vue d'avion. Kibana, même accompagné de Logstash n'est pas l'arme ultime. Sa consommation en disque dur est sans limites. Au-delà d'un mois de rétention de données, on a dépasse la limite du raisonnable. Logstash transforme vos logs en big data !
Grafana
Grafana est un fork de Kibana pour afficher les données de graphite. L'UI historique de Graphite est datée et pénible. Une fois apprivoisée, elle est utilisable, mais reste confuse, et son incapacité à gérer plusieurs graphiques est juste pitoyable. Grafana semble avoir réalisé la fusion de deux époques. Le stockage à long terme de Graphite, avec une interface esthétique et intuitive.
Graphite-api
Graphite-api est un fork agressif de Graphite, où toutes les vieilleries, comme Django, ont été bazardée en échange de tests unitaires et d'un code respectant les normes actuelles (PEP8). Le POC que j'avais fait avec Whirlwind est ici directement abouti. À tester avec enthousiasme. Le code que j'ai vu est suffisamment propre pour que l'on puisse implémenter des ACL (tel utilisateur ne peut voir que les métriques de telles machines), et proposer un hébergement mutualisé tout en laissant la main aux utilisateurs. Étonnement, graphite-api ne fait pas allusion à Carbon ou a un éventuel remplaçant. Dans les exemples, il utilise des données issues de Collectd (des bêtes données RRD Tool), et son repo github héberge une solution à base de Cassandra. La partie "documentation et unités" des mesures n'est pas prévue, mais on peut tout à fait la gérer avec des patterns de chemins, un peu comme sont définies les durées de rétention. La nouvelle API, plus simple, laisse la place à ce genre de développement spécifique.
Diamond
Les tests faits sur Elasticsearch (face au challenge de Marvel) montrent que Diamond permet simplement d'aller à la pêche aux métriques, pour peu que le service maintienne des compteurs. Ces mesures sont d'ailleurs tout à fait complémentaires avec l'ultra-précision de Atop. On peut repérer un comportement étrange, sans que ce soit une erreur, et ensuite aller à la pêche aux informations. Pour les applications distribuées, ce genre de centralisation me semble indispensable.
Numpy, pandas et l'écosystème python pour les scientifiques
Des tests faits avec la mesure de qualité de la connexion Internet de la grotte montrent que l'entassement de mesures, pour ensuite les analyser avec un outil adéquat, est prometteuse. Les analyses ont été faites avec Pandas, un outil conçu à l'origine pour l'analyse de flux financiers. Cet outil python rend utilisable le puissant et aride numpy. Pandas prend toute son ampleur quand il est utilisé avec iPython, et encore mieux, Notebooks. Il doit être possible d'analyser puis de commenter un incident avec un Notebook que l'on publie. Ces outils sortent les métriques du classique schéma de seuil déclenchant une alerte. Les métriques ont une valeur supplémentaire avec la notion de temporalité. La notion d'incident est primordiale, mais celle de qualité ou de comportement anormal amène des perspectives très intéressantes. On passe de "Vous n'êtes pas mort" à "Vous allez bien, et il est possible de faire un petit effort sur un point précis", ce qui est une belle évolution. Tous ces outils sont dans l'air du temps. Certains sont l'héritage du big data et des clusteurs de tailles délirantes, d'autres viennent de l'industrie traditionnelle. Le monitoring et le contrôle qualité sont en train de fusionner. Mesurer pour dimensionner plus finement devient indispensable, il est trop facile de faire fondre sa carte bleue pour tenir une charge que son architecture ne peut tenir les yeux fermés.
