千锋教育-做有情怀、有良心、有品质的职业教育机构

手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

【热点话题】 零基础学IT IT学习教程 IT学习笔记 IT技术干货 IT培训机构 IT应聘面试 IT职场就业
当前位置:首页  >  关于学院  >  技术干货  > Kafka Partition 如何保证副本数据的一致性

Kafka Partition 如何保证副本数据的一致性

来源:千锋教育
发布人:qyf
时间: 2022-08-31 17:18:31 1661937511

  为了保证可用性,Kafka 的分区是多副本的,可以在创建分区时通过 replication-factor 参数指定该分区的副本数,某一副本丢失并不会造成实际数据的丢失,从其他副本获取数据即可。但同时引出了另外一个问题,各个副本之间的数据如何保证一致性?

  首先,分区的副本根据角色的不同可分为:Leader 副本、 Follower 副本

  - Leader 副本:Leader 负责与 Producer 和 Consumer 交互,即数据的读写。

  - Follower 副本:被动地备份 leader 副本中的数据,不与 Client 端做任何交互。

  另外,不得不提的是 ISR,即(in-sync Replica)副本同步队列:它包含了 Leader 副本和所有与 Leader 副本保持同步的 Follower 副本。那么如何判断 Follower 副本与 Leader 是同步的? Leader 副本和 Follower 副本有两个重要的属性值,如图 LEO 日志末端位移和 HW 水位线。

  * LEO(log end offset):记录日志的末端位移值,即数据写到的最新的位置。

  * HW(high watermark):取最小的 LEO 作为 HW,即 Committed 过的最新数据。consumer 最多只能消费到 HW 所在的位置,因为小于等于 HW 值的数据才是 Committed 备份过的。

  我们再来看一下,LEO和HW的更新时机

  Leader 除了 HW 和 LEO 还会有 RemoteLEO 这个属性,表示 Follwer 的 LEO。Leader 在以下情况下会更新这三个属性。

  * LEO:Producer 端有数据写入成功时 Leader 会自动地更新 LEO 值

  * HW:有请求的时候(Producer 或 Follower 的请求)会对比自己 LEO和Remote LEO 取小值更新HW

  * Remote LEO:Leader 处理 Follower 的 Fetch 请求时,将 Remote LEO 更新为 Follwer 请求中附带的 LEO 值。

  Follower 只有 HW 和 LEO 两个属性,更新时机为:

  * LEO:同样是有数据写入成功时就会自动地更新 LEO 值。

  * HW:Follower 更新 HW 发生在其更新 LEO 之后,一旦 Follower 向 log 写完数据,它会尝试更新它自己的 HW 值。更新的条件是比较当前 LEO 值与 Response 中 Leader 的 HW 值,取两者的小者作为新的 HW 值,如图的 HW:1 会在此时更新为 2。

  更多关于“大数据培训”的问题,欢迎咨询千锋教育在线名师千锋教育多年办学,课程大纲紧跟企业需求,更科学更严谨,每年培养泛IT人才近2万人。不论你是零基础还是想提升,都可以找到适合的班型,千锋教育随时欢迎你来试听。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

10年以上业内强师集结,手把手带你蜕变精英

请您保持通讯畅通,专属学习老师24小时内将与您1V1沟通

免费领取

今日已有369人领取成功

刘同学 138****2860 刚刚成功领取
王同学 131****2015 刚刚成功领取
张同学 133****4652 刚刚成功领取
李同学 135****8607 刚刚成功领取
杨同学 132****5667 刚刚成功领取
岳同学 134****6652 刚刚成功领取
梁同学 157****2950 刚刚成功领取
刘同学 189****1015 刚刚成功领取
张同学 155****4678 刚刚成功领取
邹同学 139****2907 刚刚成功领取
董同学 138****2867 刚刚成功领取
周同学 136****3602 刚刚成功领取

推荐阅读

最新文章

开班信息
北京校区
  • 北京校区
  • 大连校区
  • 广州校区
  • 成都校区
  • 杭州校区
  • 长沙校区
  • 合肥校区
  • 南京校区
  • 上海校区
  • 深圳校区
  • 武汉校区
  • 郑州校区
  • 西安校区
  • 青岛校区
  • 重庆校区
  • 太原校区
  • 沈阳校区