千锋教育-做有情怀、有良心、有品质的职业教育机构
1.延迟队列，重试队列，死信队列
延迟队列：用户登录过时，订单30分钟自动取消
重试队列：可以利用延迟队列实现，即该消息处理失败后，多久时间重试
死信队列：消息处理失败的队列
2.afka高吞吐量
1）消息顺序写到磁盘
2）分区
3）零拷贝：跳过“用户缓冲区”的拷贝，消费者直接通过offset位置，批量拉取消息
4）生产者，通过缓存批量发送消息
3.kafka优缺点
1）只能支持统一分区内消息有序，无法实现全局消息有序
2）会丢失数据和重复消费数据
4.kafka分区数过多引发的弊端
1）分区数过多，客户端内存会有小幅度增加;当分区数远大于消费端，线程频繁切换，影响性能;
2）文件句柄开销
3）broker主机down恢复问题，如果分区数过多，单一broker就会承载很多分区，在down过程涉及到的leader重选举和恢复过程中的在均衡时间消耗就比较长。
更多关于“大数据培训”的问题，欢迎咨询千锋教育在线名师。千锋教育多年办学，课程大纲紧跟企业需求，更科学更严谨，每年培养泛IT人才近2万人。不论你是零基础还是想提升，都可以找到适合的班型，千锋教育随时欢迎你来试听。
上一篇
大数据面试题：kafka下一篇
干货!!! 如何根据简历准备面试
hive外部表是使用external关键字并指定一个hdfs目录创建的表。hive内部表在创建时会在对应hive目录下创建相应的文件夹，外部表则以指定文件夹为...详情>>
2022-09-02 17:21:00
Checkpoint是为runtime准备的，Savepoint 是为用户准备的。Checkpoint 机制的目标在于保证Flink作业意外崩溃重启不影响exactly once 准确性，通...详情>>
2022-09-02 16:59:22
State：指一个具体的Task/Operator的状态。State可以被记录，在失败的情况下数据还可以恢复，Flink中有两种基本类型的State： Keyed State， Op...详情>>
2022-09-02 16:59:19
Flink 内部是基于producer-consumer模型来进行消息传递的，Flink的反压设计也是基于这个模型。Flink 使用了高效有界的分布式阻塞队列，就像 Jav...详情>>
2022-09-02 16:59:16
虽说水位线(Watermark)表明早于它的事件不应该再出现，但是接收到水位线以前的的消息是不可避免的，这就是所谓的迟到事件。实际上迟到事件是乱...详情>>
2022-09-02 16:59:00
京公网安备 11010802030320号