Metrik di Prometheus, dashboard di Grafana, log di Loki, jejak terdistribusi di Tempo, peringatan melalui Alertmanager — semuanya dihost sendiri di samping platform yang mereka perhatikan. Pemantauan adalah bagian dari proyek yang dipotong ketika anggaran mengecil, dan bagian yang tidak hadirnya akan berdampak paling besar.
| Ukuran | Nilai | Sumber | Diukur |
|---|---|---|---|
| Komponen observasi sedang berjalan | 5 (Prometheus, Grafana, Loki, Tempo, Alertmanager) | kubectl get deployments,statefulsets -n monitoring | |
| Layanan di bawah koleksi metrik | 65 deployments in the platform namespace | kubectl get deployments -n kamo |
Apa gedung itu mengajarkan kita
Hampir setiap sistem yang kami minta untuk mengambil alih memiliki celah yang sama. Tidak ada cara untuk mengatakan apakah itu bekerja kecuali dengan menggunakannya. Tidak ada yang tahu seperti apa yang normal, jadi tidak ada yang dapat mengatakan kapan itu berhenti. Tanda pertama masalah adalah keluhan pelanggan, yang berarti jam mulai jauh sebelum seseorang melihat.
Pelacakan terdistribusi adalah bagian yang paling sering hilang dan paling sering menentukan. Dalam sistem empat puluh layanan, 'halaman ini lambat' bukanlah diagnosis — ini adalah awal dari argumen antara tim. Sebuah pelacakan mengakhiri argumen dalam sekitar satu menit dengan menunjukkan tepatnya panggilan mana yang mengambil waktu. Kami menyesuaikan sistem klien untuk ini sebelum diluncurkan, karena menyesuaikan pelacakan ke dalam sistem yang berjalan adalah beberapa kali lebih banyak pekerjaan daripada membangunnya.
Ini juga mengubah bagaimana percakapan dukungan terlihat. Ketika seorang penyewa melaporkan bahwa satu widget rusak tak lama setelah perubahan skema, kita dapat mengatakan dari metrik bahwa kolam koneksi adalah penyebabnya dan bahwa itu akan dibersihkan sendiri, daripada memulai kembali layanan dan membuatnya lebih buruk. Mengetahui kapan tidak melakukan apa-apa adalah keterampilan operasi dan itu sepenuhnya tergantung pada kemampuan untuk melihat.
Dibangun dengan
- Prometheus
- Grafana
- Loki
- Tempo
- Alertmanager
- kube-state-metrics
Katakan pada kami apa yang Anda coba lakukan
Sebuah percakapan singkat biasanya cukup untuk mengatakan apakah kami orang yang tepat. jika kami tidak, kami akan mengatakannya dan menunjukkan tempat yang lebih baik.