后端架构

日采 TB 级日志,Kafka 零拷贝和 ES 直写到底差多少资源?我们跑了一周实测

日均1.2TB日志写入场景下,引入Kafka作为缓冲层后,ES集群CPU使用率从72%降至31%,写入延迟P99从2.3秒收敛到180ms。Kafka利用零拷贝技术,以极低CPU开销实现高效数据转发,核心价值在于削峰填谷,避免ES因写入脉冲与合并操作叠加导致的性能断崖。整体资源账算下来,CPU净省29个核,磁盘成本因使用HDD而几乎可忽略,链路稳定性显著提升。