Métricas em Prometheus, painéis em Grafana, logs em Loki, rastreamento distribuído em Tempo, alertas através do Alertmanager — tudo auto-hospedado ao lado da plataforma que eles observam.O monitoramento é a parte de um projeto que é cortada quando o orçamento é apertado, e é a parte cuja ausência custa mais.
| Medida | Valor | Fonte | Medido |
|---|---|---|---|
| Componentes de observabilidade em execução | 5 (Prometheus, Grafana, Loki, Tempo, Alertmanager) | kubectl get deployments,statefulsets -n monitoring | |
| Serviços sob coleta métrica | 65 deployments in the platform namespace | kubectl get deployments -n kamo |
Que edifício nos ensinou
Quase todos os sistemas que nos pedem para assumir temos a mesma lacuna. Não há como dizer se está funcionando, exceto usando-o. Ninguém sabe como é o normal, então ninguém pode dizer quando ele pára. O primeiro sinal de problema é uma reclamação do cliente, o que significa que o relógio começou bem antes que alguém olhasse.
Em um sistema de quarenta serviços, "a página está lenta" não é um diagnóstico — é o início de uma discussão entre equipes. Um rastreamento termina a discussão em cerca de um minuto, mostrando exatamente qual chamada levou o tempo. Nós instrumentamos os sistemas do cliente para isso antes do lançamento, porque adaptar o rastreamento a um sistema em execução é várias vezes o trabalho de construí-lo.
Isso também muda o que é uma conversa de suporte. Quando um locatário relata que um widget está quebrado logo após uma alteração de esquema, podemos dizer pelas métricas que os pools de conexão são a causa e que ele se limpará sozinho, em vez de reiniciar os serviços e piorar a situação.Saber quando não fazer nada é uma habilidade operacional e depende inteiramente de ser capaz de ver.
Construído com
- Prometheus
- Grafana
- Loki
- Tempo
- Alertmanager
- kube-state-metrics
Diga-nos o que você está tentando fazer
Uma breve conversa geralmente é suficiente para dizer se somos as pessoas certas, se não formos, diremos isso e indicaremos um lugar melhor.