日志生命周期管理

日志不是越多越好。当日志量增长到一定规模,存储成本、查询性能、维护复杂度都会急剧上升。更重要的是,过期日志的法律风险也在增加——GDPR、个人信息保护法等法规要求,企业必须明确知道「什么日志保留多久、为什么保留、保留期间如何保护」。

日志生命周期管理(Lifecycle Management,ILM)是将日志从产生到消亡的全过程进行规范化管理的一套方法论。一个完善的生命周期管理策略,应该在数据价值最大化成本可控之间取得平衡。

日志生命周期的五个阶段

阶段时间范围存储要求查询需求典型操作
热数据0-7 天SSD,高性能高频,实时全量保留,高性能查询
暖数据7-30 天普通磁盘中频,历史分析降采样或压缩存储
冷数据30-90 天大容量存储低频,审计需求归档压缩,深度归档
冻结数据90 天-1 年冷存储/对象存储极少,法规要求完全压缩或快照
销毁超过保留期--安全删除,保留审计记录

ILM 策略设计

设计 ILM 策略需要回答三个问题:保留多久(Retention Period)、如何保留(存储格式和压缩)、保留多少(是否全量或采样)。

保留期限取决于业务需求和合规要求。金融行业通常要求交易日志保留 5 年以上,普通业务系统 30-90 天足够。存储格式上,热数据保留完整 JSON 格式以支持全文检索;温数据可以进行字段精简或转换为列式存储;冷数据可以压缩为只读快照。

在 Elasticsearch 中,ILM 策略通过 PUT _ilm/policy/<policy_name> API 配置,可以自动执行 rollover(滚动创建新索引)、force merge(合并分片减少资源占用)、shrink(缩减分片数量)、freeze(冻结索引减少内存占用)等操作。