开始之前 - 面向云和 AI 的并行可观测性
本页面介绍了在阅读管道和可观测性文档之前所需的先决条件、工具及概念模型。无论您是正在 Datadog 中配置日志采集,还是在 Galileo 中追踪大型语言模型 (LLM) 调用,抑或两者兼而有之,都请从这里开始。
本节涵盖内容
本文档涵盖两个互补的可观测性工作流:
-
使用 Datadog 进行运维日志采集与路由
- 通过 Datadog 日志采集应用程序接口 (API) 从云应用采集 JSON 日志,应用管道处理器,并将数据路由到下游目标。
-
使用 Galileo 进行 LLM 追踪与评估
- 通过 Galileo 软件开发工具包 (SDK) 对 AI 驱动的服务进行插桩,以捕获每次 LLM 调用的追踪、跨度及评估指标。
请按推荐顺序阅读文档:
先了解概念
接着学习摄入 API
然后按照动手指南操作
所需工具
用于 Datadog 日志摄入
- cURL 或 Postman—使用这些工具向 Datadog 日志摄入 API 发送 API 请求。
- 终端或 shell—macOS、Linux 或 Windows PowerShell 均可。
jq(可选但推荐)—使用此工具在发送前验证 JSON 有效负载。
用于 Galileo LLM 追踪
-
Python 3.8+ 或 Node.js 18+ — Galileo SDK 同时支持这两种环境。
-
pip或npm— 使用这些工具安装 SDK。- Python
- TypeScript
pip install galileonpm install galileo -
代码编辑器,建议使用 VS Code (Cursor、Antigravity 或 Codex 均为可接受的替代方案)。
所需凭据
Datadog
| 凭据 | 获取位置 |
|---|---|
| API 密钥 | Datadog → 组织设置 → API 密钥 |
| Datadog 网站地址 | 取决于您的地区,例如 datadoghq.com(美国)或 datadoghq.eu(欧盟)。 参见 Datadog 站点 |
Galileo
| 凭据 | 获取位置 |
|---|---|
| API 密钥 | app.galileo.ai → 设置 → API 密钥 |
| 项目名称 | 在 Galileo 中创建新项目时生成 |
| 日志流名称 | 按环境创建,例如 dev、staging 或 production。 |
请参阅 Galileo 文档中的 如何查找我的项目密钥?。
本文档的适用对象
| 角色 | 主要用途 |
|---|---|
| 平台工程师 | 构建和维护可扩展的 Datadog 日志管道 |
| 站点可靠性工程师 (SRE) 和 DevOps 人员 | 规范化日志、减少噪声,并配置路由和告警 |
| AI 和机器学习 (ML) 工程师 | 使用 Galileo 对 LLM 服务进行监控,并评估模型质量 |
| 安全工程师 | 将审计和身份验证日志路由至安全信息和事件管理(SIEM)目标 |
| 开发人员 | 无需深入了解基础设施即可发送应用日志并追踪 LLM 调用 |
您应具备的知识
本文档假设您:
- 基本了解 JSON
- 熟悉运行命令行命令
- 对日志、事件或指标有基本了解
- 了解云或微服务环境
如果您之前从未发送过 POST 请求,动手指南将逐步引导您完成该过程。
概念模型
本节中的所有工作流均遵循双轨可观测性模型:
- Mermaid (图片)
- Mermaid (代码)
- ASCII
flowchart LR
A["云应用"] -->|HTTP POST| B["Datadog<br/>日志采集 API"]
B --> C["管道<br/> • 解析<br/> • 增强<br/> • 路由"]
C --> D{{"目标<br/> • S3<br/> • SIEM<br/> • 警报"}}
A -->|Galileo SDK| E["Galileo<br/>日志流"]
E --> F["Galileo AI 代理"]
F --> G{{"指标与<br/>评估"}}
[云应用]
/ \
|HTTP POST| |Galileo SDK|
v v
[Datadog] [Galileo]
[数据采集 API] [日志流]
| |
v v
[管道] [Galileo]
(解析、路由) [AI 代理]
| |
v v
[目标] [指标与]
(S3, SIEM) [评估 ]
Datadog 负责处理您的 运维遥测数据,包括基础设施日志、错误率、路由规则和告警。
Galileo 负责处理您的 AI 遥测数据,包括 LLM 输入和输出、每个跨度(span)的延迟以及评估分数。
二者结合,可为现代云应用的两个层级提供全栈可视性。