Des mesures dans Prometheus, des tableaux de bord dans Grafana, des journaux dans Loki, des traces distribuées dans Tempo, des alertes via Alertmanager, tous auto-hébergés à côté de la plateforme qu’ils surveillent.La surveillance est la partie d’un projet qui est réduite lorsque le budget est serré, et c’est la partie dont l’absence coûte le plus cher.
| Mesure | Valeur | Source | Mesurées |
|---|---|---|---|
| Composants d'observabilité en cours d'exécution | 5 (Prometheus, Grafana, Loki, Tempo, Alertmanager) | kubectl get deployments,statefulsets -n monitoring | |
| Services sous collecte métrique | 65 deployments in the platform namespace | kubectl get deployments -n kamo |
Quel bâtiment il nous a appris
Presque tous les systèmes que nous sommes appelés à reprendre ont le même écart. Il n'y a aucun moyen de savoir s'il fonctionne, sauf en l'utilisant. Personne ne sait à quoi ressemble la normale, donc personne ne peut dire quand il s'arrête. Le premier signe de problème est une plainte du client, ce qui signifie que l'horloge a commencé bien avant que personne ne regarde.
Dans un système de quarante services, « la page est lente » n'est pas un diagnostic, c'est le début d'une dispute entre les équipes. Une trace met fin à la dispute en une minute environ en montrant exactement quel appel a pris le plus de temps. Nous instrumentons les systèmes clients pour cela avant le lancement, car le réaménagement du traçage dans un système en cours d'exécution est plusieurs fois plus difficile que de l'intégrer.
Cela change également la conversation d’assistance. Lorsqu’un client signale qu’un widget est cassé peu de temps après un changement de schéma, nous pouvons déduire des mesures que les pools de connexions en sont la cause et que le problème s’effacera lui-même, plutôt que de redémarrer les services et d’aggraver la situation.Savoir quand ne rien faire est une compétence opérationnelle et dépend entièrement de la capacité de voir.
Construit avec
- Prometheus
- Grafana
- Loki
- Tempo
- Alertmanager
- kube-state-metrics
Dites-nous ce que vous essayez de faire
Une courte conversation est généralement suffisante pour savoir si nous sommes les bonnes personnes, si nous ne le sommes pas, nous le dirons et vous indiquerons quelque part mieux.