跳到主要内容

将云应用日志路由到管道

本指南将一条 JSON 日志从云应用发送到 Datadog 日志采集 API。随后您在日志浏览器中追踪该事件,并将其路由到目标。

在路由之前验证采集​

先验证采集路径。确认事件到达后,再构建解析规则或将数据路由到昂贵的 SIEM 工具。 此工作流确认三件事:

  1. 您的 Datadog API 密钥通过身份验证。
  2. 日志采集 API 接受您的 JSON 数组。
  3. 事件出现在日志浏览器中。

开始之前​

确认您已准备好:

  • 具有日志采集权限的 Datadog API 密钥。在 组织设置 → API 密钥 中找到它。
  • 您的 Datadog 站点地址,例如 datadoghq.com 或 ap2.datadoghq.com。
  • 可运行 curl 的 终端访问权限,或 Postman。

管道概述​

云应用将 JSON 日志发送到日志采集 API,该 API 将事件路由到日志浏览器或默认目标

1. 创建或选择索引​

  1. 转到 日志 > 配置 > 索引。
  2. 选择 添加索引,或选择存储云应用日志的索引。
  3. 将索引命名为 app-logs。
  4. 设置合规策略要求的保留期。

2. 创建示例日志事件​

将以下数组保存为 app-log.json,以模拟云应用日志。

app-log.json
[
{
"message": "Transaction failed: Gateway timeout",
"ddsource": "java",
"ddtags": "env:prod,region:us-east-1",
"hostname": "payments-host-01",
"service": "payment-gateway",
"status": "ERROR",
"timestamp": "2025-11-15T08:30:00Z",
"transaction_id": "txn_998877",
"customer_id": "cus_554433"
}
]
备注

对 timestamp 使用国际标准化组织 (ISO) 8601 协调世界时 (UTC) 格式。Datadog 使用此值对齐日志浏览器中的日志时间线。没有时间戳的日志使用采集时间。

3. 发送日志事件​

使用 curl 按应用的方式发送日志。

cURL
export DD_API_KEY="your_datadog_api_key_here"
export DD_SITE="datadoghq.com"

curl -X POST "https://http-intake.logs.$DD_SITE/api/v2/logs" \
-H "DD-API-KEY: $DD_API_KEY" \
-H "Content-Type: application/json" \
-d @app-log.json

预期响应​

Response
{}

带有空 JSON 正文的 202 Accepted 响应表示日志采集 API 已接受载荷。

4. 在日志浏览器中验证日志​

  1. 打开 日志浏览器。
  2. 按 service:payment-gateway 过滤。
  3. 选择 Live Tail。

事件在几秒内出现:

Live tail output
[ERROR] 2025-11-15T08:30:00Z service=payment-gateway msg="Transaction failed..."

5. 将日志路由到目标​

创建一个匹配错误事件的管道:

  1. 转到 日志 > 配置 > 管道。
  2. 选择 新建管道。
  3. 将过滤器查询设置为 status:ERROR。
  4. 将管道命名为 error-routing。
  5. 选择 保存。

再次发送同一请求。管道会匹配该事件,因此您可以对其采取操作。

  • 打开 日志 > 配置 > 归档,创建一个指向 S3 存储桶的 s3-archive 归档,以此归档匹配的日志。
  • 使用查询 status:ERROR 创建日志监控器,然后将通知路由到 Slack 频道,以此对匹配的日志告警。

6. 优化管道​

流程跑通后,向管道添加处理器:

  • 重映射器 将 customer_id 移动到可清晰分面和过滤的属性。
  • Grok 解析器 从原始 message 字符串中提取错误代码或交易 ID。
  • 查找处理器 根据 service 名称添加 team_owner 标签。
  • 敏感数据扫描器 在 customer_id 包含个人身份信息 (PII) 时对其进行屏蔽。

故障排除​

问题 / 状态代码可能原因 / 解决方法
401 Unauthorized添加 DD-API-KEY 请求头。
403 Forbidden验证 API 密钥具有日志采集权限。
400 Bad Request验证 JSON 语法,并以 JSON 数组形式发送载荷。
413 Payload Too Large拆分批次,或使用 Content-Encoding: gzip 压缩载荷。
Log not in Log Explorer检查是否有排除该事件的管道过滤器,然后检查索引过滤器。
Timestamp out of order在事件发生后 18 小时内发送 ISO 8601 UTC 时间戳,例如 2025-11-15T08:30:00Z。

下一步​