Aller au contenu principal

Avant de commencer

Cette page fournit le contexte essentiel, les prérequis et les outils dont vous aurez besoin avant de plonger dans la documentation sur les pipelines de données.
Que vous soyez novice en matière de pipelines d'observabilité ou simplement nouveau dans cet ensemble de documents, commencez ici.

Un peu de préparation permet de mieux comprendre la référence de l'API, les guides pratiques et les concepts d'architecture.

Ce que vous apprendrez dans cette section​

Cette section de la documentation couvre :

  1. Concepts de base Comprendre les flux d'événements, les couches de traitement, le routage et les destinations.

  2. **Mécanismes d'ingestion Comment envoyer des logs et des métriques directement dans un pipeline en utilisant une API à haut débit.

  3. Flux de travail pratique Comment acheminer les logs d'une application cloud, vérifier l'ingestion et fournir des données à différentes destinations.

Si vous souhaitez explorer les documents dans l'ordre recommandé :

Commencer par les concepts​

Flux d'événements et pipelines d'observabilité

Apprenez ensuite l'API d'ingestion​

Ingérer des événements en utilisant l'API Streaming Ingest

Puis suivre le guide pratique​

Route Cloud Application Logs Into a Pipeline

Outils nécessaires​

Vous tirerez le meilleur parti des exemples si vous avez installé les outils suivants :

  • cURL ou Postman Pour envoyer des requêtes API et expérimenter l'ingestion.
  • Un éditeur de code, de préférence VS Code Pour éditer les échantillons de charges utiles JSON.
  • Un terminal ou un shell macOS, Linux ou Windows PowerShell fonctionnent tous.
  • Un navigateur Pour visualiser les événements en direct, les règles de routage et les diagrammes de pipeline une fois mis en œuvre.

Aucun de ces outils n'est nécessaire pour lire la documentation, mais ils permettent de profiter pleinement de l'expérience pratique.

Accès et identifiants dont vous pourriez avoir besoin​

Quelques exemples de référence :

  • Un jeton API activé pour les questions
  • Un Identifiant de flux
  • Exemples de journaux JSON de base

Il s'agit d'exigences standard dans les pipelines d'événements, même si ce portefeuille ne dépend pas d'une API back-end réelle.

Considérez-les comme des paramètres réalistes que vous rencontrerez dans une véritable plateforme d'observabilité.

A qui s'adresse cette documentation​

J'ai écrit cette documentation en pensant à plusieurs personas :

PersonaBesoins
Ingénieurs de plateformeConstruire des workflows d'ingestion et de routage évolutifs
SRE / DevOpsNormaliser les logs, réduire le bruit, créer des tableaux de bord
Ingénieurs en sécuritéAcheminer les logs d'authentification et d'audit vers le SIEM
DéveloppeursEnvoyer les logs d'application et les métriques dans des pipelines.
ArchitectesComprendre les flux de données de bout en bout et les modèles de conception.

Si vous travaillez dans ou près de l'un de ces domaines, vous êtes au bon endroit.

Ce que vous devriez déjà savoir​

Vous n'avez pas besoin d'être un expert - ces documents partent du principe :

  • Une familiarité de base avec JSON
  • Une aisance à exécuter des commandes de base en ligne de commande
  • Une connaissance générale des logs, des événements ou des métriques
  • Une compréhension de haut niveau des environnements cloud ou microservices

Si vous ne savez pas ce qu'est une requête POST, pas de problème : les guides vous guident.

Modèle conceptuel à garder à l'esprit​

La plupart des exemples suivent un flux comme celui-ci :

flowchart LR
    A["Cloud Apps"] --> B["Ingestion"]
    B --> C["Traitement<br/>Expliciter - Enrichir - Masquer"]
    C --> D["Routage<br/>Filtres - Règles - Échantillonnage"]
    D --> E{{"Destinations"}}