Aller au contenu principal

Avant de commencer

Cette page fournit le contexte essentiel, les conditions préalables et les outils dont vous aurez besoin avant de vous plonger dans la documentation sur les pipelines de données.
Que vous soyez novice en matière de pipelines d'observabilité ou simplement novice dans cette série de documents, commencez ici.

Une petite préparation vous aidera grandement à comprendre plus facilement la référence API, les guides pratiques et les concepts d'architecture.

Ce que vous apprendrez dans cette section​

Cette section de la documentation couvre :

  1. Concepts fondamentaux
    Comprendre les flux d'événements, les couches de traitement, le routage et les destinations.

  2. Mécanismes d'ingestion
    Comment envoyer des journaux et des métriques directement dans un pipeline à l'aide d'une API à haut débit.

  3. Workflows pratiques
    Comment acheminer les journaux d'applications cloud, vérifier l'ingestion et livrer les données à différentes destinations.

Si vous souhaitez explorer la documentation dans l'ordre recommandé :

Commencez par les concepts​

Flux d'événements et pipelines d'observabilité

Apprenez ensuite l'API d'ingestion​

Ingérer des événements à l'aide de l'API d'ingestion en continu

Suivez ensuite le guide pratique​

Acheminer les journaux d'applications cloud vers un pipeline

Outils nécessaires​

Vous tirerez le meilleur parti des exemples si vous avez installé les éléments suivants :

  • cURL ou Postman
    Pour envoyer des requêtes API et tester l'ingestion.
  • Un éditeur de code, de préférence VS Code
    Pour modifier les exemples de charges utiles JSON.
  • Un terminal ou un shell
    macOS, Linux ou Windows PowerShell fonctionnent tous.
  • Un navigateur
    Pour afficher les événements en direct, les règles de routage et les diagrammes de pipeline une fois mis en œuvre.

Aucun de ces outils n'est nécessaire pour lire la documentation, mais ils permettent de profiter pleinement de l'expérience pratique.

Accès et identifiants dont vous pourriez avoir besoin​

Quelques exemples de référence :

  • Un jeton API compatible avec l'ingestion
  • Un identifiant de flux
  • Des exemples de journaux JSON de base

Il s'agit là des exigences standard des pipelines d'événements, même si ce portefeuille ne dépend pas d'un backend API réel.

Considérez-les comme des espaces réservés réalistes que vous rencontreriez dans une plateforme d'observabilité réelle.

À qui s'adresse cette documentation ?​

J'ai rédigé ces documents en pensant à plusieurs profils :

ProfilBesoins
Ingénieurs de plateformeCréer des workflows d'ingestion et de routage évolutifs
SRE / DevOpsNormaliser les journaux, réduire le bruit, créer des tableaux de bord
Ingénieurs en sécuritéAcheminer les journaux d'authentification et d'audit vers le SIEM
DéveloppeursEnvoyer les journaux et les métriques des applications dans les pipelines
ArchitectesComprendre le flux de données de bout en bout et les modèles de conception

Si vous travaillez dans l'un de ces domaines ou dans un domaine connexe, vous êtes au bon endroit.

Ce que vous devez déjà savoir​

Vous n'avez pas besoin d'être un expert. Ces documents supposent que vous :

  • Connaissez les bases du JSON
  • Êtes à l'aise avec les commandes de ligne de commande de base
  • Avez une connaissance générale des journaux, des événements ou des métriques
  • Avez une compréhension générale des environnements cloud ou microservices

Si vous ne savez pas ce qu'est une requête POST, no problème : les guides vous expliquent tout.

Modèle conceptuel à garder à l'esprit​

La plupart des exemples suivent un flux similaire à celui-ci :

flowchart LR
    A["Applications cloud"] --> B["Ingestion"]
    B --> C["Traitement<br/>Analyse • Enrichissement • Masquage"]
    C --> D["Routage<br/>Filtres • Règles • Échantillonnage"]
    D --> E{{"Destinations"}}