Métricas en Prometheus, paneles de control en Grafana, registros en Loki, trazas distribuidas en Tempo, alertas a través de Alertmanager, todo autoalojado junto con la plataforma que se supervisa.La monitorización es la parte de un proyecto que se recorta cuando se ajusta el presupuesto, y es la parte cuya ausencia cuesta más.
| Medida | Valor | Fuente | Medido |
|---|---|---|---|
| Ejecución de componentes de observabilidad | 5 (Prometheus, Grafana, Loki, Tempo, Alertmanager) | kubectl get deployments,statefulsets -n monitoring | |
| Servicios bajo recolección métrica | 65 deployments in the platform namespace | kubectl get deployments -n kamo |
Qué edificio nos enseñó
Casi todos los sistemas que se nos pide que nos hagamos cargo tienen la misma brecha. No hay manera de saber si está funcionando, excepto al usarlo. Nadie sabe cómo se ve normal, por lo que nadie puede decir cuándo se detiene. La primera señal de problemas es una queja del cliente, lo que significa que el reloj comenzó mucho antes de que nadie mirara.
El rastreo distribuido es la pieza que falta con más frecuencia y la que con más frecuencia es decisiva. En un sistema de cuarenta servicios, "la página es lenta" no es un diagnóstico, es el comienzo de una discusión entre equipos. Un rastreo termina la discusión en aproximadamente un minuto mostrando exactamente qué llamada tomó el tiempo. Instrumentamos los sistemas cliente para esto antes del lanzamiento, porque reequipar el rastreo en un sistema en ejecución es varias veces el trabajo de construirlo.
También cambia la forma en que se desarrolla una conversación de soporte. Cuando un inquilino informa que un widget se ha roto poco después de un cambio de esquema, podemos saber por las métricas que los grupos de conexiones son la causa y que se limpiará por sí mismo, en lugar de reiniciar los servicios y empeorar la situación.
Construido con
- Prometheus
- Grafana
- Loki
- Tempo
- Alertmanager
- kube-state-metrics
Cuéntanos lo que estás tratando de hacer
Una breve conversación suele ser suficiente para saber si somos las personas adecuadas, si no lo somos, lo diremos y le indicaremos un lugar mejor.