跳到主要内容

事件流和可观测性管道

现代系统会产生大量遥测数据。日志、指标、追踪、安全事件和大型语言模型 (LLM) 交互会同时到达。本文说明 可观测性管道 如何实时采集、整形、路由和评估这些数据。本文还会说明 Datadog 和 Galileo 在其中所处的位置。

为什么可观测性管道重要​

原始遥测数据会产生费用,而其中大部分到达时带有噪声,结构也不齐整。可观测性管道位于应用和监控工具之间,用于解决这些问题:

  • 降低成本:在高流量日志到达昂贵的存储或安全信息和事件管理 (SIEM) 工具之前,对其进行过滤或采样。
  • 提升数据质量:通过解析、规范化和元数据增强实现。
  • 保护隐私:在管道早期屏蔽或移除个人身份信息 (PII)。
  • 衡量质量:在采集运维遥测数据的同时捕获并评估 LLM 交互。

工程团队、站点可靠性工程 (SRE) 团队和 AI 团队都需要能指向具体修复动作的快速数据。

运维遥测和模型遥测​

混合传统云服务和 LLM 驱动功能的技术栈包含两个不同的遥测层。每一层都需要各自的工具。

使用 Datadog 的运维遥测​

Datadog 处理基础设施和应用层。它采集日志和指标,然后通过管道将事件路由到告警和归档。您可以发送 payment-gateway 错误日志,并应用 Grok 解析器提取 transaction_id。随后,将 status:error 事件路由到 Slack 告警或 S3 归档。

Datadog 提供 日志管理,用于采集和管道处理。可观测性管道 通过您自有基础设施中的 Worker 大规模路由遥测数据。日志浏览器 提供实时搜索和 Live Tail。

使用 Galileo 的模型遥测​

Galileo 处理 LLM 层。它追踪每次模型调用,并记录每个跨度的输入、输出和延迟。然后它用评估指标为每个响应评分。您可以查看 payment-query LLM 函数是否返回准确、有依据且简洁的答案,以及一次部署是否改变了这一结果。

Galileo 面向 AI 应用。它将评估与可观测性结合,其 Python 和 TypeScript SDK 可接入主流 LLM 提供商。

这两层协同工作。Datadog 报告问题 确实 发生。Galileo 揭示模型质量 为何 下降。

高层管道架构​

事件源流入 Datadog 日志采集和 Galileo SDK,然后经过处理、路由和 AI 评估到达各自的目标

事件流概念​

事件流 按时间顺序、无间隙地传递遥测数据。在现代应用技术栈中,事件流会同时来自多个来源:

  • 应用日志,例如 payment-gateway 错误事件
  • 基础设施指标,例如 CPU 负载、内存和延迟
  • 来自应用性能监控 (APM) 工具的分布式追踪跨度
  • 安全审计和身份验证日志
  • LLM 调用记录,涵盖提示词、生成内容、延迟和令牌数量
  • 容器和 Kubernetes 事件
  • 物联网设备遥测数据

LLM 调用记录 是最近加入这一列表的成员。随着更多应用添加 AI 功能,捕获和评估这些交互与捕获传统应用日志同样重要。

核心管道组件​

1. 采集层​

原始遥测数据在采集层进入系统。

对于运维数据,您将 JSON 载荷发送到 Datadog 日志采集 API。将请求指向 https://http-intake.logs.{dd_site}/api/v2/logs,并使用 DD-API-KEY 请求头进行身份验证。将 {dd_site} 替换为您所在区域的主机,例如 datadoghq.com 或 datadoghq.eu。

JSON 格式错误时,Datadog 返回 400 Bad Request。

对于 LLM 数据,您用 @log 装饰器或 GalileoLogger 实例包装函数。Galileo SDK 随后会为您捕获追踪信息。

Galileo SDK 从 GALILEO_API_KEY 环境变量读取密钥,并从 GALILEO_PROJECT 和 GALILEO_LOG_STREAM 解析目标项目和日志流。

2. 处理层​

数据进入 Datadog 管道后,处理器会在路由前对其进行转换:

  • 敏感数据扫描器:在下游存储之前模糊处理 PII。它可以识别电子邮件地址和信用卡号等模式。
  • Grok 解析器:从原始日志字符串中提取结构化字段。
  • 重映射器:将嵌套属性(例如 meta.customer_id)重映射为顶级属性,以便更轻松地过滤和分面。
  • 查找处理器:使用外部参考数据丰富日志,例如将 service 名称映射到 team_owner 标签。

在 Galileo 中,您在每个日志流上配置 指标。Luna SLM 评分器会为每条记录的响应在正确性、上下文遵循度和语气方面评分。

3. 路由层​

路由层控制处理后事件的去向。路由规则取决于内容、业务需求或合规要求。在 Datadog 中,您通过 日志管道 和 索引 配置路由:

  • 将 status:error 日志同时路由到值班告警和 S3 归档。
  • 应用采样规则,减少进入索引的 status:info 日志量。
  • 将安全相关事件转发到 SIEM 集成。
  • 使用 日志转发 功能将特定日志子集发送到外部 HTTP 端点。

在 Galileo 中,您通过将记录分组到项目和日志流来路由遥测数据。这种结构让您可以评估和比较 dev、staging 和 production 追踪。

4. 目标层​

可观测性管道将处理后的事件传递到各自专注单一任务的下游目标:

目标类型示例
对象存储Amazon S3、Google Cloud Storage (GCS)、Azure Blob Storage
SIEMSplunk、Chronicle、QRadar
搜索和分析Elastic、OpenSearch、Snowflake
监控和告警Datadog Log Explorer、仪表盘、监控器
AI 评估Galileo 日志流、实验结果

更精细的路由可降低成本和查询时间。推送到 SIEM 的原始日志会占用可观测性预算的很大一部分。

常见用例​

使用 Datadog 的运维遥测​

  • 错误告警:将 payment-gateway 的 status:error 日志实时路由到 PagerDuty 或 Slack。
  • 降低成本:在建立索引前对 status:info 日志应用 10% 的采样规则。
  • 安全分析:将身份验证失败和审计日志转发到 SIEM。
  • 数据规范化:使用 Grok 解析器统一不同语言编写的服务间的日志格式。

使用 Galileo 的质量信号​

  • LLM 追踪:捕获 AI 功能中的每个提示词和生成内容,并按会话和追踪分组。
  • 响应评估:应用 Luna 评分器,为模型输出在正确性和上下文遵循度方面评分。
  • 提示词实验:在部署到 production 日志流之前,在 Galileo 实验中针对提示词变更运行 A/B 测试。
  • 跨环境比较:使用相同标准比较模型在 staging 和 production 中的行为。

管道设计原则​

  • 现代应用产生两种遥测流。一种保存运维日志,另一种保存 LLM 交互记录。
  • Datadog 使用为高吞吐量基础设施数据构建的基于管道的模型,处理运维数据的采集、处理和路由。
  • Galileo 通过 SDK 插桩追踪和基于指标的评估,处理 LLM 驱动功能的 AI 遥测数据。
  • 处理环节清理并丰富数据。路由环节将每条记录发送到需要它的目标。
  • 设计良好的管道可降低成本并保持数据可靠。它在同一套可观测性策略中,将基础设施和 AI 质量信号与模型质量信号并列呈现。

下一步​