千锋教育-做有情怀、有良心、有品质的职业教育机构

手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

【热点话题】 零基础学IT IT学习教程 IT学习笔记 IT技术干货 IT培训机构 IT应聘面试 IT职场就业 Java培训机构哪些好
当前位置:首页  >  应聘面试  >  大数据面试题  > 必看!拿下这9个大数据面试题,轻松拿下offer

必看!拿下这9个大数据面试题,轻松拿下offer

来源:千锋教育
发布人:syq
时间: 2022-08-09 14:33:14

  1. “消费组中的消费者个数如果超过topic的分区,那么就会有消费者消费不到数据”这句话是否正确?如果正确,那么有没有什么hack的手段?

  答案:正确,可以通过自定义分区分配策略,将消费者指定到某个分区

大数据面试题

  2. 有哪些情形会造成重复消费或消息丢失?

  答案:

  1)当poll部分消息集后,立即提交offset,在这部分消息集处理,可能会发生异常,这就导致部分消息丢失。

  2)位移提交的动作是在消费完所有拉取到的消息之后才执行的,中间可能发生异常,恢复后重新重新拉取,可能会导致重复消费

  3. KafkaConsumer是非线程安全的,那么怎么样实现多线程消费?

  答案:

  1)在每个线程中新建一个KafkaConsumer

  2)单线程创建KafkaConsumer,多个处理线程处理消息(难点在于是否要考虑消息顺序性,offset的提交方式)

  4. 当你使用kafka-topics.sh创建(删除)了一个topic

  答案:

  创建:

  1)会在zookeeper中的/brokers/topics节点下创建一个新的topic节点,如:/brokers/topics/first

  2)触发Controller的监听程序

  3)kafka Controller 负责topic的创建工作,并更新metadata cache

  删除:

  调用脚本删除topic会在zk上将topic设置待删除标志,kafka后台有定时的线程会扫描所有需要删除的topic进行删除

  5. topic的分区数,增减问题

  答案:分区只能增加,不能减少(若是减少分区需要考虑的问题太多,事物性问题,顺序性问题,时间戳问题,但是收益太小),副本可以减少

  6. 内部topic

  _consumeroffsets:作用是保存 Kafka 消费者的位移信息,logCleaner线程来完成清除无用的提交(没有消息消费了,默认5s一直在提交);

  _transactionstate:用来存储事务日志消息

  7. 优先副本选举

  答案:解决当某个主机down机后,部分主机会有多个leader 副本,导致负载不均衡,优先副本选举就是解决此问题,生产上不建议开启,可以手动控制。

  8. 副本怎么同步?

  答案:所谓同步,必须满足两个条件:

  副本节点必须能与zookeeper保持会话(心跳机制)

  副本能复制leader上的所有写操作,并且不能落后太多(卡主或滞后的副本控制由replica.lag.time.max.ms配置)

  利用HW,LEO进行复制同步。

  9. 如果我指定了一个offset,Kafka怎么查找到对应的消息?

  答案:

  1)跳跃表找到分段文件

  2)利用稀疏索引(.index),通过二分法定位到相邻的offset

  3)接着在segment顺序查找

  更多关于大数据培训的问题,欢迎咨询千锋教育在线名师,如果想要了解我们的师资、课程、项目实操的话可以点击咨询课程顾问,获取试听资格来试听我们的课程,在线零距离接触千锋教育大咖名师,让你轻松从入门到精通。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

10年以上业内强师集结,手把手带你蜕变精英

请您保持通讯畅通,专属学习老师24小时内将与您1V1沟通

免费领取

今日已有369人领取成功

刘同学 138****2860 刚刚成功领取
王同学 131****2015 刚刚成功领取
张同学 133****4652 刚刚成功领取
李同学 135****8607 刚刚成功领取
杨同学 132****5667 刚刚成功领取
岳同学 134****6652 刚刚成功领取
梁同学 157****2950 刚刚成功领取
刘同学 189****1015 刚刚成功领取
张同学 155****4678 刚刚成功领取
邹同学 139****2907 刚刚成功领取
董同学 138****2867 刚刚成功领取
周同学 136****3602 刚刚成功领取

推荐阅读

最新文章

开班信息
北京校区
  • 北京校区
  • 大连校区
  • 广州校区
  • 成都校区
  • 杭州校区
  • 长沙校区
  • 合肥校区
  • 南京校区
  • 上海校区
  • 深圳校区
  • 武汉校区
  • 郑州校区
  • 西安校区
  • 青岛校区
  • 重庆校区
  • 太原校区
  • 沈阳校区