故障排查
按“数据在哪一段停住”排查,比从头猜快。
主机不在线
systemctl status diting-agent- 看
/var/log/diting/agent.log - 确认主机到 gateway 的网络与端口
- 确认令牌有效
主机在线但没有数据
- 看
/kernel-capabilities与心跳里的通道状态 - 确认采集模式不是
disabled - 确认有实际流量经过被采集的网卡
- 检查时钟是否同步
采集通道降级
tc_ebpf不可用时看内核版本与权限socket_syscall不可用时看RLIMIT_MEMLOCK与 SELinux- 没有 BTF 的内核会走兼容路径,部分能力缺失
任何降级都会给出原因,不会静默失败。
数据没有入库
按链路逐段确认:
- gateway 是否收到数据
- Kafka 是否有堆积
- collector 是否在消费
- ClickHouse 是否可写
Kafka 堆积时先看 collector 日志与分区数量,不要直接重启。
查询回退
查询变慢或回退到本地时,先看 ClickHouse 的写入与合并压力,再看查询是否命中分区裁剪。
日志位置
- agent:
/var/log/diting/agent.log - 平台组件:按部署形态查看对应 Pod 或 systemd 单元
还是不行
带上这些信息再找人:
- 主机内核与发行版
- agent 版本
/kernel-capabilities输出- 出错时间点与相关 trace_id