事件流和可观测性管道
现代系统会产生大量遥测数据。日志、指标、追踪、安全事件和大型语言模型 (LLM) 交互会同时到达。本文说明 可观测性管道 如何实时采集、整形、路由和评估这些数据。本文还会说明 Datadog 和 Galileo 在其中所处的位置。
为什么可观测性管道重要
原始遥测数据会产生费用,而其中大部分到达时带有噪声,结构也不齐整。可观测性管道位于应用和监控工具之间,用于解决这些问题:
- 降低成本:在高流量日志到达昂贵的存储或安全信息和事件管理 (SIEM) 工具之前,对其进行过滤或采样。
- 提升数据质量:通过解析、规范化和元数据增强实现。
- 保护隐私:在管道早期屏蔽或移除个人身份信息 (PII)。
- 衡量质量:在采集运维遥测数据的同时捕获并评估 LLM 交互。
工程团队、站点可靠性工程 (SRE) 团队和 AI 团队都需要能指向具体修复动作的快速数据。
运维遥测和模型遥测
混合传统云服务和 LLM 驱动功能的技术栈包含两个不同的遥测层。每一层都需要各自的工具。
使用 Datadog 的运维遥测
Datadog 处理基础设施和应用层。它采集日志和指标,然后通过管道将事件路由到告警和归档。您可以发送 payment-gateway 错误日志,并应用 Grok 解析器提取 transaction_id。随后,将 status:error 事件路由到 Slack 告警或 S3 归档。
Datadog 提供 日志管理,用于采集和管道处理。可观测性管道 通过您自有基础设施中的 Worker 大规模路由遥测数据。日志浏览器 提供实时搜索和 Live Tail。
使用 Galileo 的模型遥测
Galileo 处理 LLM 层。它追踪每次模型调用,并记录每个跨度的输入、输出和延迟。然后它用评估指标为每个响应评分。您可以查看 payment-query LLM 函数是否返回准确、有依据且简洁的答案,以及一次部署是否改变了这一结果。
Galileo 面向 AI 应用。它将评估与可观测性结合,其 Python 和 TypeScript SDK 可接入主流 LLM 提供商。
这两层协同工作。Datadog 报告问题 确实 发生。Galileo 揭示模型质量 为何 下降。
高层管道架构
- Mermaid (图片)
- Mermaid (代码)
- ASCII
flowchart TD
A["事件源<br/>• 云应用<br/>• 容器<br/>• LLM 服务"] --> B["采集层"]
B --> B1["Datadog<br/>日志采集 API"]
B --> B2["Galileo SDK"]
B1 --> C["处理层<br/>• 解析<br/>• 增强<br/>• 屏蔽"]
C --> D["路由引擎<br/>• 过滤器<br/>• 采样<br/>• 规则"]
D --> E{{"运维目标"}}
E --> E1["S3 归档"]
E --> E2["SIEM"]
E --> E3["告警和仪表盘"]
B2 --> F["Galileo 日志流<br/>• 追踪<br/>• 跨度<br/>• 会话"]
F --> G{{"AI 评估"}}
G --> G1["指标和评分"]
G --> G2["实验"]
[事件源]
(云应用、容器、LLM 服务)
|
v
[采集层]
/ \
v v
[Datadog API] [Galileo SDK]
| |
v v
[处理层] [日志流]
| |
v v
(解析、增强、屏蔽) (追踪和跨度)
| |
v v
[路由引擎] [AI 评估]
| |
v v
(过滤器和规则) (Luna 评分器)
| |
v v
[运维目标] [实验]
| |
v v
(S3、SIEM、告警) [指标和评分]
事件流概念
事件流 按时间顺序、无间隙地传递遥测数据。在现代应用技术栈中,事件流会同时来自多个来源:
- 应用日志,例如
payment-gateway错误事件 - 基础设施指标,例如 CPU 负载、内存和延迟
- 来自应用性能监控 (APM) 工具的分布式追踪跨度
- 安全审计和身份验证日志
- LLM 调用记录,涵盖提示词、生成内容、延迟和令牌数量
- 容器和 Kubernetes 事件
- 物联网设备遥测数据
LLM 调用记录 是最近加入这一列表的成员。随着更多应用添加 AI 功能,捕获和评估这些交互与捕获传统应用日志同样重要。
核心管道组件
1. 采集层
原始遥测数据在采集层进入系统。
对于运维数据,您将 JSON 载荷发送到 Datadog 日志采集 API。将请求指向 https://http-intake.logs.{dd_site}/api/v2/logs,并使用 DD-API-KEY 请求头进行身份验证。将 {dd_site} 替换为您所在区域的主机,例如 datadoghq.com 或 datadoghq.eu。
JSON 格式错误时,Datadog 返回 400 Bad Request。
对于 LLM 数据,您用 @log 装饰器或 GalileoLogger 实例包装函数。Galileo SDK 随后会为您捕获追踪信息。
Galileo SDK 从 GALILEO_API_KEY 环境变量读取密钥,并从 GALILEO_PROJECT 和 GALILEO_LOG_STREAM 解析目标项目和日志流。
2. 处理层
数据进入 Datadog 管道后,处理器会在路由前对其进行转换:
- 敏感数据扫描器:在下游存储之前模糊处理 PII。它可以识别电子邮件地址和信用卡号等模式。
- Grok 解析器:从原始日志字符串中提取结构化字段。
- 重映射器:将嵌套属性(例如
meta.customer_id)重映射为顶级属性,以便更轻松地过滤和分面。 - 查找处理器:使用外部参考数据丰富日志,例如将
service名称映射到team_owner标签。
在 Galileo 中,您在每个日志流上配置 指标。Luna SLM 评分器会为每条记录的响应在正确性、上下文遵循度和语气方面评分。
3. 路由层
路由层控制处理后事件的去向。路由规则取决于内容、业务需求或合规要求。在 Datadog 中,您通过 日志管道 和 索引 配置路由:
- 将
status:error日志同时路由到值班告警和 S3 归档。 - 应用采样规则,减少进入索引的
status:info日志量。 - 将安全相关事件转发到 SIEM 集成。
- 使用 日志转发 功能将特定日志子集发送到外部 HTTP 端点。
在 Galileo 中,您通过将记录分组到项目和日志流来路由遥测数据。这种结构让您可以评估和比较 dev、staging 和 production 追踪。
4. 目标层
可观测性管道将处理后的事件传递到各自专注单一任务的下游目标:
| 目标类型 | 示例 |
|---|---|
| 对象存储 | Amazon S3、Google Cloud Storage (GCS)、Azure Blob Storage |
| SIEM | Splunk、Chronicle、QRadar |
| 搜索和分析 | Elastic、OpenSearch、Snowflake |
| 监控和告警 | Datadog Log Explorer、仪表盘、监控器 |
| AI 评估 | Galileo 日志流、实验结果 |
更精细的路由可降低成本和查询时间。推送到 SIEM 的原始日志会占用可观测性预算的很大一部分。
常见用例
使用 Datadog 的运维遥测
- 错误告警:将
payment-gateway的status:error日志实时路由到 PagerDuty 或 Slack。 - 降低成本:在建立索引前对
status:info日志应用 10% 的采样规则。 - 安全分析:将身份验证失败和审计日志转发到 SIEM。
- 数据规范化:使用 Grok 解析器统一不同语言编写的服务间的日志格式。
使用 Galileo 的质量信号
- LLM 追踪:捕获 AI 功能中的每个提示词和生成内容,并按会话和追踪分组。
- 响应评估:应用 Luna 评分器,为模型输出在正确性和上下文遵循度方面评分。
- 提示词实验:在部署到
production日志流之前,在 Galileo 实验中针对提示词变更运行 A/B 测试。 - 跨环境比较:使用相同标准比较模型在
staging和production中的行为。
管道设计原则
- 现代应用产生两种遥测流。一种保存运维日志,另一种保存 LLM 交互记录。
- Datadog 使用为高吞吐量基础设施数据构建的基于管道的模型,处理运维数据的采集、处理和路由。
- Galileo 通过 SDK 插桩追踪和基于指标的评估,处理 LLM 驱动功能的 AI 遥测数据。
- 处理环节清理并丰富数据。路由环节将每条记录发送到需要它的目标。
- 设计良好的管道可降低成本并保持数据可靠。它在同一套可观测性策略中,将基础设施和 AI 质量信号与模型质量信号并列呈现。