日志生命周期管理
日志不是越多越好。当日志量增长到一定规模,存储成本、查询性能、维护复杂度都会急剧上升。更重要的是,过期日志的法律风险也在增加——GDPR、个人信息保护法等法规要求,企业必须明确知道「什么日志保留多久、为什么保留、保留期间如何保护」。
日志生命周期管理(Lifecycle Management,ILM)是将日志从产生到消亡的全过程进行规范化管理的一套方法论。一个完善的生命周期管理策略,应该在数据价值最大化和成本可控之间取得平衡。
日志生命周期的五个阶段
ILM 策略设计
设计 ILM 策略需要回答三个问题:保留多久(Retention Period)、如何保留(存储格式和压缩)、保留多少(是否全量或采样)。
保留期限取决于业务需求和合规要求。金融行业通常要求交易日志保留 5 年以上,普通业务系统 30-90 天足够。存储格式上,热数据保留完整 JSON 格式以支持全文检索;温数据可以进行字段精简或转换为列式存储;冷数据可以压缩为只读快照。
在 Elasticsearch 中,ILM 策略通过 PUT _ilm/policy/<policy_name> API 配置,可以自动执行 rollover(滚动创建新索引)、force merge(合并分片减少资源占用)、shrink(缩减分片数量)、freeze(冻结索引减少内存占用)等操作。