メインコンテンツまでスキップ

開始する前に - クラウドとAIの並列オブザーバビリティ

このページでは、パイプラインおよび可観測性に関するドキュメントを進める前に必要な前提条件、ツール、および概念モデルについて説明します。Datadogでのログ取り込みの設定、Galileoでの大規模言語モデル（LLM）呼び出しのトレース、あるいはその両方を行う場合でも、まずはここから始めてください。

このセクションの内容​

このドキュメントでは、相互に補完し合う 2 つの可観測性ワークフローについて説明します。

  1. Datadog による運用ログの取り込みとルーティング

    • Datadog Log Ingestion API を使用してクラウドアプリから JSON ログを取り込み、パイプラインプロセッサを適用し、データを下流の宛先にルーティングします。

  2. Galileo による LLM のトレースと評価

    • Galileo ソフトウェア開発キット（SDK）を使用して AI 搭載サービスに計測機能を組み込み、すべての LLM 呼び出しのトレース、スパン、および評価メトリクスを取得します。

ドキュメントは推奨される順序に従って進めてください：

  1. イベントストリームとオブザーバビリティ・パイプライン—概念的なアーキテクチャと、DatadogとGalileoの連携方法について詳しく見ていきましょう。
  2. Ingest events using the Datadog Log Ingestion API—エンドポイントのパラメータ、認証、およびペイロードのスキーマについて学びましょう。
  3. クラウドアプリのログをパイプラインにルーティングする—実践的なガイドに従って、サンプルアプリのログを送信し、確認してください。

必要なツール​

Datadogログの取り込み用​

  • cURL または Postman—Datadog Log Ingestion API への API リクエスト送信にこれらのツールを使用します。
  • ターミナルまたはシェル—macOS、Linux、または Windows PowerShell のいずれでも動作します。
  • jq（オプションですが推奨）—JSONペイロードを送信する前に検証するために使用します。

Galileo LLMトレース用​

  • Python 3.9以上 または Node.js 18以上—Galileo SDKは両方の環境をサポートしています。
  • pip または npm—SDKのインストールに使用します。
pip install galileo

必要な認証情報​

Datadog​

認証情報確認場所
APIキーDatadog → 組織設定 → APIキー
Datadog サイトのアドレスご利用のリージョンによって異なります。例：datadoghq.com（米国）または datadoghq.eu（EU）。詳細は Datadog サイト をご参照ください

Galileo​

認証情報確認場所
APIキーapp.galileo.ai → 設定 → APIキー
プロジェクト名Galileoで新しいプロジェクトを設定した際に作成されます
ログストリーム名dev、staging、production などの環境ごとに作成されます。

Galileo ドキュメントの プロジェクトキーはどこで確認できますか？ を参照してください。

このドキュメントの対象者​

役割主な用途
プラットフォームエンジニアスケーラブルな Datadog ログパイプラインの構築と保守
サイト信頼性エンジニア (SRE) および DevOpsログの正規化、ノイズの低減、ルーティングとアラートの設定
AI および機械学習 (ML) エンジニアGalileo を使用した LLM サービスの計測とモデル品質の評価
セキュリティエンジニア監査および認証ログをセキュリティ情報イベント管理（SIEM）システムへルーティングする
開発者インフラに関する深い知識がなくても、アプリログを送信し、LLM呼び出しを追跡する

前提知識​

このドキュメントでは、以下の知識があることを前提としています：

  • JSONの基本的な知識
  • コマンドライン操作に慣れていること
  • ログ、イベント、またはメトリクスに関する一般的な理解
  • クラウドまたはマイクロサービス環境に関する知識

これまでPOSTリクエストを送信したことがない場合は、ハンズオンガイドで手順を順を追って説明しています。

概念モデル​

このセクションのすべてのワークフローは、2つのトラックからなる可観測性モデルに従っています：

可観測性パイプラインのアーキテクチャ

Datadog は、インフラストラクチャのログ、エラー率、ルーティングルール、アラートなど、運用テレメトリを処理します。

Galileo は、LLM の入力と出力、スパンごとのレイテンシ、評価スコアなど、AI テレメトリを処理します。

これらを組み合わせることで、最新のクラウドアプリケーションの両レイヤーにわたるフルスタックの可視性を提供します。