跳到主要内容

云和 AI 并行可观测性:开始之前

准备好管道和可观测性工作所需的工具。设置 Datadog 日志采集。在 Galileo 中追踪大型语言模型调用。您可以同时使用这两个工具。

涵盖的工作流​

本节包含两个工作流:

  1. 使用 Datadog 采集并路由运维日志

    • 从云应用采集 JSON 日志。使用 Datadog 日志采集 API。应用管道处理器。将数据路由到下游目标。
  2. 使用 Galileo 追踪并评估 LLM

    • 将 Galileo 添加到 AI 服务。捕获调用追踪和跨度。

请按推荐的顺序阅读文档:

  1. 事件流和可观测性管道。了解概念架构,以及 Datadog 和 Galileo 如何协同工作。
  2. 使用 Datadog 日志采集 API 发送事件。了解端点参数、身份验证和载荷模式。
  3. 将云应用日志路由到管道中。跟随实践指南发送并验证示例应用日志。

所需工具​

Datadog 日志采集​

  • cURL 或 Postman 向 Datadog 日志采集 API 发送 API 请求。
  • 终端或 shell 在 macOS、Linux 和 Windows PowerShell 上均可使用。
  • jq 在发送前校验 JSON 载荷。此工具可选,但推荐使用。

Galileo 大型语言模型追踪​

  • Python 3.9+ 或 Node.js 18+ 支持 Galileo SDK。
  • pip 或 npm 安装 SDK。
pip install galileo

所需凭据​

Datadog​

凭据获取位置
API 密钥Datadog → 组织设置 → API 密钥
Datadog 站点地址取决于您的区域。在美国使用 datadoghq.com。在欧盟使用 datadoghq.eu。请参阅 Datadog 站点。

Galileo​

凭据获取位置
API 密钥app.galileo.ai → 设置 → API 密钥
项目名称在 Galileo 中创建新项目时设置。
日志流名称按环境定义,例如 dev、staging 或 production。
备注

更多信息请参阅 Galileo 文档中的 查找项目密钥。

目标读者​

角色主要用途
平台工程师构建和维护 Datadog 日志管道
站点可靠性工程师 (SRE) 和 DevOps规范化日志、减少噪声,并设置路由和告警
AI 和机器学习 (ML) 工程师为 LLM 服务添加插桩,并使用 Galileo 为模型质量评分
安全工程师将审计和身份验证日志路由到安全信息和事件管理 (SIEM) 目标
开发人员无需深入了解基础设施,即可发送应用日志并追踪大型语言模型调用

应具备的背景知识​

本文档假设您:

  • 基本熟悉 JSON
  • 能自如运行命令行命令
  • 对日志、事件或指标有总体了解
  • 了解云或微服务环境

实践指南会逐步讲解 POST 请求。

概念模型​

这些工作流使用两条轨道:

可观测性管道架构

Datadog 采集日志。它记录错误。它路由告警。

Galileo 采集 AI 数据。它记录模型输入。它记录模型输出。它测量速度。它为输出质量评分。

这两个工具结合,可端到端覆盖现代云应用。