Référentiel de logs et d'indicateurs

Objectif(s)
  1. Regrouper les traces dans un entrepôt central
  2. Suivre la performance d'indicateurs techniques et/ou fonctionnels
Cible(s) 

Principes

Ces référentiels centralisés ne sont pas nouveaux dans les SI. Ils ont gagnés en maturité avec des solutions opensources et accessibles.

Ces plateformes sont un regroupement d'au moins 3 modules:

  1. Collecte des logs
  2. Stockage des logs
  3. Visualisation des logs.

Les notions de log et d'indicateur sont souvent entremélées car leur manipulation est inclusive:

  • un log est une trace avec 
    • des métadonnées
    • des indicateurs de performance


Architecture

L'architecture de référence est calquée sur ELK.

Le module de collecte, similaire à un ETL, récupère les données, les formate et les poussent dans le moteur de persistance.

Le module de stockage est organisé en espace ou index. Chaque ligne de trace contient des metadonnées qui sont valorisées. Cela correspond à un système clée / valeur.

Enfin le module de visualisation récupère les données du moteur de persistence pour les représenter sous la forme de tableaux et de graphiques. 

ElasticSearch process

Produits

Il existe 2 familles de produits:

  • orienté trace / log
  • orienté indicateur / données historisées

Le stockage est alors très différents.

Pour un usage d'analyse et d'exploitation des traces d'exécution, une solution log est pertinente. Les cas d'usages sont:

  • la supervision sur contenu,
  • la corrélation d'erreurs,
  • la recherche de traitements distribués
  • une analyse par types d'erreur.

Pour un usage d'analyse des performances, les indicateurs doivent être historisés, aggrégés, moyennés, etc. Le cas d'usages sont:

  • le suivi de la performance d'indicateurs
  • la supervision sur indicateurs.
ProduitFamille
ELKLog
GrayLogLog
InfluxDataDonnées historisées