将云应用日志路由到管道
本指南将一条 JSON 日志从云应用发送到 Datadog 日志采集 API。随后您在日志浏览器中追踪该事件,并将其路由到目标。
在路由之前验证采集
先验证采集路径。确认事件到达后,再构建解析规则或将数据路由到昂贵的 SIEM 工具。 此工作流确认三件事:
- 您的 Datadog API 密钥通过身份验证。
- 日志采集 API 接受您的 JSON 数组。
- 事件出现在日志浏览器中。
开始之前
确认您已准备好:
- 具有日志采集权限的 Datadog API 密钥。在 组织设置 → API 密钥 中找到它。
- 您的 Datadog 站点地址,例如
datadoghq.com或ap2.datadoghq.com。 - 可运行
curl的 终端访问权限,或 Postman。
管道概述
- Mermaid (图片)
- Mermaid (代码)
- ASCII
flowchart LR
A["云应用"] -->|JSON 日志| B["日志摄取 API"]
B --> C{"日志管道"}
C -->|status:ERROR| D["Log Explorer"]
C -->|无匹配| E["默认索引"]
ASCII diagram
[云应用]
|
| JSON 日志
v
[日志摄取 API]
|
v
{ 日志管道 }
|
+-----------------------+
| |
v status:ERROR v 无匹配
+-----------------------+ +-----------------------+
| Log Explorer | | 默认索引 |
+-----------------------+ +-----------------------+
1. 创建或选择索引
- 转到 日志 > 配置 > 索引。
- 选择 添加索引,或选择存储云应用日志的索引。
- 将索引命名为
app-logs。 - 设置合规策略要求的保留期。
2. 创建示例日志事件
将以下数组保存为 app-log.json,以模拟云应用日志。
app-log.json
[
{
"message": "Transaction failed: Gateway timeout",
"ddsource": "java",
"ddtags": "env:prod,region:us-east-1",
"hostname": "payments-host-01",
"service": "payment-gateway",
"status": "ERROR",
"timestamp": "2025-11-15T08:30:00Z",
"transaction_id": "txn_998877",
"customer_id": "cus_554433"
}
]
备注
对 timestamp 使用国际标准化组织 (ISO) 8601 协调世界时 (UTC) 格式。Datadog 使用此值对齐日志浏览器中的日志时间线。没有时间戳的日志使用采集时间。
3. 发送日志事件
使用 curl 按应用的方式发送日志。
cURL
export DD_API_KEY="your_datadog_api_key_here"
export DD_SITE="datadoghq.com"
curl -X POST "https://http-intake.logs.$DD_SITE/api/v2/logs" \
-H "DD-API-KEY: $DD_API_KEY" \
-H "Content-Type: application/json" \
-d @app-log.json
预期响应
Response
{}
带有空 JSON 正文的 202 Accepted 响应表示日志采集 API 已接受载荷。
4. 在日志浏览器中验证日志
- 打开 日志浏览器。
- 按
service:payment-gateway过滤。 - 选择 Live Tail。
事件在几秒内出现:
Live tail output
[ERROR] 2025-11-15T08:30:00Z service=payment-gateway msg="Transaction failed..."
5. 将日志路由到目标
创建一个匹配错误事件的管道:
- 转到 日志 > 配置 > 管道。
- 选择 新建管道。
- 将过滤器查询设置为
status:ERROR。 - 将管道命名为
error-routing。 - 选择 保存。
再次发送同一请求。管道会匹配该事件,因此您可以对其采取操作。
- 打开 日志 > 配置 > 归档,创建一个指向 S3 存储桶的
s3-archive归档,以此归档匹配的日志。 - 使用查询
status:ERROR创建日志监控器,然后将通知路由到 Slack 频道,以此对匹配的日志告警。
6. 优化管道
流程跑通后,向管道添加处理器:
- 重映射器 将
customer_id移动到可清晰分面和过滤的属性。 - Grok 解析器 从原始
message字符串中提取错误代码或交易 ID。 - 查找处理器 根据
service名称添加team_owner标签。 - 敏感数据扫描器 在
customer_id包含个人身份信息 (PII) 时对其进行屏蔽。
故障排除
| 问题 / 状态代码 | 可能原因 / 解决方法 |
|---|---|
401 Unauthorized | 添加 DD-API-KEY 请求头。 |
403 Forbidden | 验证 API 密钥具有日志采集权限。 |
400 Bad Request | 验证 JSON 语法,并以 JSON 数组形式发送载荷。 |
413 Payload Too Large | 拆分批次,或使用 Content-Encoding: gzip 压缩载荷。 |
Log not in Log Explorer | 检查是否有排除该事件的管道过滤器,然后检查索引过滤器。 |
Timestamp out of order | 在事件发生后 18 小时内发送 ISO 8601 UTC 时间戳,例如 2025-11-15T08:30:00Z。 |
下一步
- 日志采集 API
- 事件流和可观测性管道
- 并行可观测性概览
- 创建 Postman 模拟服务器
- 尝试发送不同类型的日志,例如虚拟机日志、容器日志和 API 事件。