Supervision Remote Write

# Supervision Remote Write #### Présentation Équipe Monitoring 24/05/2022 ---  # Concepts QueueConfig ![](/uploads/upload_6d01b8636488d7dd207c993e0918a11d.png =500x500) --- # Problématique * Les métriques permettant de superviser le Remote Write se trouvent dans le Prometheus zone cliente. * En cas de panne, absence (totale ou partielle) de ces métriques : le serpent se mord la queue... * Il faut donc récupérer ces métriques sans utiliser Remote Write. --- # Métriques remote write - Métriques utilisées pour l'alerting et pour le dashboard - Utilisation de la fédération pour récupérer ces métriques - fédération sur cloud-client seulement - elles ne sont pas envoyées via Remote Write sur cloud-client - pas de configuration/fédération spécifique pour cloud-app - Voir la liste dans [#PrometheusRemoteWriteMetrics](https://git.corp.caascad.com/caascad/terraform/envs-ng/-/blob/5d63fa69e8e40fd39c3b8b5e1bc9ee63afbed2d5/mom-federate-remote-write-metrics.cue#L3) - Ajout d'un label `cluster` avec la même valeur que `cc_prom_source`, utile pour certains dashboards upstream. --- # Liste des alertes Alertes upstream -> alertes custom (déjà déplacées) : - `PrometheusRemoteStorageFailures` (`for` = 5m au lieu de 15m) - `PrometheusRemoteWriteBehind` (`for` = 5m au lieu de 15m) - `PrometheusRemoteWriteDesiredShards` (description réparée/améliorée) Création d'alerte (à déployer) : - `PrometheusRemoteWriteMetricsAbsent` --- # Alerte PrometheusRemoteStorageFailures - Description : - Échec d'envoi sur le remote endpoint - Perte définitive de métriques - Pannes : - Problèmes d'envoi des métriques - Manifestion des pannes : - Erreur 4xx visibles dans les logs - Panel `Failed Samples` sur le dashboard --- # Alerte PrometheusRemoteWriteBehind - Description : - Problème de réception sur le remote endpoint - Absence (temporaire) de métriques - Perte définitive de métriques après 1h d'interruption - Pannes : - Problèmes à la réception des métriques - ou problèmes réseau - ou trop de métriques à envoyer par rapport à ce qu'on peut envoyer d'un coup - Manifestion des pannes : - Erreur 5xx visibles dans les logs - Panel `Highest Timestamp In vs. Highest Timestamp Sent` sur le dashboard --- # Alerte PrometheusRemoteWriteDesiredShards - Description : - Le nombre de shards nécessaire dépasse la valeur max configurée - Pannes : - Problèmes de latence à l'envoi - ou réseau trop lent par rapport au nombre de métriques à envoyer - ou tout simplement trop de métriques à envoyer (problème ponctuel ou de tuning) - Manifestion des pannes : - Panel `Max Shards` au maximum sur le dashboard - Panel `Desired Shards` supérieur au maximum sur le dashboard --- # Alerte PrometheusRemoteWriteMetricsAbsent - Description : - Au moins une des métriques Remote Write récupérées via la fédération est absente - Pannes : - Problème de fédération - Prometheus client down - Zone Cliente injoignable - Manifestation des pannes : - Logs "federation failed" - Dashboard "Remote Write" vide ou incomplet - Présence possible d'autres alertes --- # Liste de métriques remontées par fédération * La liste des métriques est écrite à 2 endroits : - [caascad-prometheus-rules](https://git.corp.caascad.com/caascad/applications/caascad-prometheus-rules/-/blob/473ae89016160299e234d1a99389c72077da4219/rules/caascad-prometheus-remote-write-absent.cue) - [envs-ng/mom-federate-remote-write-metrics.cue](https://git.corp.caascad.com/caascad/terraform/envs-ng/-/blob/5d63fa69e8e40fd39c3b8b5e1bc9ee63afbed2d5/mom-federate-remote-write-metrics.cue#L3) - parce qu'il n'y a pas de lien facile entre *envs-ng* et *caascad-prometheus-rules* * Modifications de la liste - si suppression dans envs-ng, cela se verra par la manifestation de l'alerte - si ajout dans envs-ng, cela ne se verra pas dans l'alerte. Il faut être vigilant ! Ne pas oublier de l'ajouter dans l'alerte aussi ! --- # Dashboard Remote Write - **General** / **Prometheus** / **Remote Write** - Origine : [github.com/prometheus/prometheus](https://github.com/prometheus/prometheus/blob/main/documentation/prometheus-mixin/dashboards.libsonnet) - Installation depuis [helm-charts/.../kube-prometheus-stack](https://github.com/prometheus-community/helm-charts/blob/main/charts/kube-prometheus-stack/templates/grafana/dashboards-1.14/prometheus-remote-write.yaml) - Panels notables : - `Highest Timestamp In vs. Highest Timestamp Sent` : retard d'envoi (en secondes) sur Remote Write - `Current Shards`, `Max Shards`, `Desired Shards` : nombre de shards (en cours d'utilisation, max et souhaité) - `Pending Samples` : indique un problème d'envoi quand cela "gonfle" - `Failed Samples` : indique des pertes de métriques (DANGER) - `Dropped Samples` : indique des suppressions prévues de métriques (metricsRelabeling) --- # Conclusion - [PR upstream](https://github.com/prometheus/prometheus/pull/10721) pour corriger un bug du dashboard - fin du ticket [PF-881](https://jira.corp.cloudwatt.com/browse/PF-881) - les alertes (sauf une) sont déployées - le Remote Write est défini dans *envs-ng* pour echo - le Remote Write (et la fédération spécifique) est laissé sur echo - ticket d'industrialisation [PF-937](https://jira.corp.cloudwatt.com/browse/PF-937) - généraliser la configuration posée sur echo - upgrader la version de la chart helm `kube-prometheus-stack` - déployer définivement le dashboard - déployer l'alerte manquante <style type="text/css"> p { font-size: smaller; } .reveal ul ul li { font-size: smaller; } .reveal section { text-align: left; } } .reveal h3 { color: orange; text-align: center; border-bottom: 1px solid orange; } .reveal h1 { color: orange; text-align: center; border-bottom: 1px solid orange; margin-bottom: 0.4em; font-size: smaller; } .reveal code { color: aquamarine; font-size: smaller; } </style>