Метрики в Prometheus, панели управления в Grafana, журналы в Loki, распределенные отслеживания в Tempo, оповещения через Alertmanager — все самостоятельно размещается наряду с платформой, которую они наблюдают. Мониторинг является частью проекта, который получает сокращение, когда бюджет ужесточается, и это часть, отсутствие которой стоит больше всего.
| Мера | Стоимость | Источник | Измеряемые |
|---|---|---|---|
| Запуск компонентов наблюдаемости | 5 (Prometheus, Grafana, Loki, Tempo, Alertmanager) | kubectl get deployments,statefulsets -n monitoring | |
| Услуги по сбору метрических данных | 65 deployments in the platform namespace | kubectl get deployments -n kamo |
Чему здание нас научило
Практически в каждой системе, которую нас просят взять на себя, есть такой же пробел. Нет способа сказать, работает ли она, кроме как ее использовать. Никто не знает, как выглядит нормально, поэтому никто не может сказать, когда она останавливается. Первым признаком проблемы является жалоба клиента, что означает, что часы начали работать задолго до того, как кто-либо посмотрел.
Распределённая трассировка — это наиболее часто отсутствующая и наиболее часто решающая часть. В системе из сорока сервисов "страница медленна" не является диагнозом — это начало спора между командами. Трассировка завершает спор примерно через минуту, показывая точно, какой вызов занял больше времени. Мы инструментализуем клиентские системы для этого до запуска, потому что перестройка трассировки в работающую систему в несколько раз больше работы, чем ее встроение.
Когда арендатор сообщает, что один виджет не работает вскоре после изменения схемы, мы можем по данным показателей определить, что причиной являются пулы подключений, и что это самопроизвольно исчезнет, а не перезапустит службы и ухудшит ситуацию. Знание того, когда ничего не делать, является оперативным навыком, и оно полностью зависит от способности видеть.
Построен с
- Prometheus
- Grafana
- Loki
- Tempo
- Alertmanager
- kube-state-metrics
Расскажите нам, что вы пытаетесь сделать
Обычно достаточно короткого разговора, чтобы узнать, являемся ли мы подходящими людьми. Если нет, мы скажем вам об этом и покажем вам куда-нибудь лучше.