900字范文,内容丰富有趣,生活中的好帮手!
900字范文 > Kafka 消息传递语义 Exactly Once(精准一次) 相关知识

Kafka 消息传递语义 Exactly Once(精准一次) 相关知识

时间:2020-01-23 14:32:21

相关推荐

Kafka 消息传递语义 Exactly Once(精准一次) 相关知识

消息传递语义:

消息传递语义一共有三种,至少一次(at least once),至多一次(at most once ) 以及精准一次(exactly once )

kafka 默认实现了前两种

Kafka中如何配置呢?

如果只用kafka的来实现的话

设置ack=0就是至多一次 ack=1是至少一次 默认是ack=1 ack=1就是leader副本响应ack就行 ,

而ack=-1/all 是指所有副本都需要确认收到才继续下一次生产数据。而ack=-1也有可能造成数据的丢失,当我们ISR(同步副本队列)中只有leader一个副本的时候,而这个leader宕掉了,其他副本没有保存数据,这个时候就会造成数据丢失,需要设置副本数>1就行

kafka有两次消息传递,生产者生产数据kafka,消费者从topic消费数据,两次都是精准一次才能保证最终精准一次,先来说一下生产者精准一次吧。首先要设置ack=-1(all),然后开启幂等性,同一个消息可能会被生产者发送多次,但是在broker端只会写入一次,再+上事务,这样可以保证生产端实现精准一次。

还有一种方法可以用kafka自己的流处理引擎,就是kafka stream可以解决这个问题 。然后消费端可以设置手动提交offset 默认是自动提交的,而这又有可能导致重复消费,当消费者宕掉之后没有提交offset,恢复后又要重新消费,如果确实要维护消费者端的精准一次,最后在下一级进行去重。但是这太耗费资源了,得具体问题看具体分析了。

Kafka配合其他组件

可以使用Kafka搭配一些支持事务的数据库,将offset以事务的形式存储到数据库中。Eg:Mysql。

Kafka中的ISR、AR又代表什么?

ISR:与leader保持同步的follower集合AR:分区的所有副本

Kafka中的HW、LEO等分别代表什么?

LEO:每个副本的最后一条消息的offsetHW:一个分区中所有副本最小的offset

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。