Kafka

压测 IO瓶颈

日志保存时间 7天

容量 7天数据量

副本 2-3个

topic数=日志种类数

ack机制，确保发送消息的可靠性

ack=0，发送消息即成功；

ack=1,接受到leader relipca 的ack就发送成功offset+1；

ack=-1，接受到所有的relipca的ack才算发送成功，offset+1；

kafka ISR队列：维护分区主副本的运作，一旦leader挂掉，会从isr队列中选择一个成为leader，仁义维度阈值超限都会被放到OSR中（无效，如延迟时间超过10000ms）

kafka数据积压怎么办：

增加分区数和消费者数，分区数与消费者数保持大致一致

如果是下游消费太慢，可以增加没批次的数据量

生产者kafka幂等性（相同序号头）：保证数据不漏不重，指生产者在server端只会持久化一次数据，有条件：

1.单个会话内才能保证，重启后失效。

2.跨topic-partition也无法保证幂等。只能保证单个partition内的幂等性。

消费者幂等：offset，处理成功提交位移。