Référentiel de logs et d'indicateurs
Principes
Ces référentiels centralisés ne sont pas nouveaux dans les SI. Ils ont gagnés en maturité avec des solutions opensources et accessibles.
Ces plateformes sont un regroupement d'au moins 3 modules:
- Collecte des logs
- Stockage des logs
- Visualisation des logs.
Les notions de log et d'indicateur sont souvent entremélées car leur manipulation est inclusive:
- un log est une trace avec
- des métadonnées
- des indicateurs de performance
Architecture
L'architecture de référence est calquée sur ELK.
Le module de collecte, similaire à un ETL, récupère les données, les formate et les poussent dans le moteur de persistance.
Le module de stockage est organisé en espace ou index. Chaque ligne de trace contient des metadonnées qui sont valorisées. Cela correspond à un système clée / valeur.
Enfin le module de visualisation récupère les données du moteur de persistence pour les représenter sous la forme de tableaux et de graphiques.
Produits
Il existe 2 familles de produits:
- orienté trace / log
- orienté indicateur / données historisées
Le stockage est alors très différents.
Pour un usage d'analyse et d'exploitation des traces d'exécution, une solution log est pertinente. Les cas d'usages sont:
- la supervision sur contenu,
- la corrélation d'erreurs,
- la recherche de traitements distribués
- une analyse par types d'erreur.
Pour un usage d'analyse des performances, les indicateurs doivent être historisés, aggrégés, moyennés, etc. Le cas d'usages sont:
- le suivi de la performance d'indicateurs
- la supervision sur indicateurs.
Produit | Famille |
---|---|
ELK | Log |
GrayLog | Log |
InfluxData | Données historisées |
Middleware Solutions https://www.middleware-solutions.fr