【大数据】Kafka过期数据清理（约224字）

Kafka过期数据清理

日志清理的策略只有delete和compact两种
1）delete日志删除：将过期数据删除
log.cleanup.policy = delete 所有数据启用删除策略
（1）基于时间：默认打开。以segment中所有记录中的最大时间戳作为该文件时间戳。
（2）基于大小：默认关闭。超过设置的所有日志总大小，删除最早的segment。
log.retention.bytes，默认等于-1，表示无穷大。
2）compact日志压缩
对于不同key的不同value值，只保留最后一个版本。
log.cleanup.policy = compact 所有数据启用压缩策略

注意： 压缩后的offset可能是不连续的，当从这些offset消费消息时，将会拿到比这个offset大的offset对应的消息开始消费。
这种策略只适合特殊场景，比如消息的key是用户ID，value是用户的资料，通过这种压缩策略，整个消息里就保存了所有用户最新的资料。