千锋教育-做有情怀、有良心、有品质的职业教育机构
1. MapReduce是Hadoop的一个核心技术、是一个基于分布式的对大数据集进行并行处理的一个计算框架。
2. 核心思想是移动计算而非数据。
3. 整个计算流程分为两个阶段，一个是map阶段，一个是reduce阶段
- map阶段 一个mapreduce作业在map阶段会先对数据进行逻辑分片处理，一个逻辑分片对应一个MapTask。
每一个MapTask在处理数据的时候，都会将每一行数据解析成键值对的形式，作为输入。
输入给map函数。map函数处理后，也会以键值对的形式作为输出。
之后会对数据进行分区，排序等处理
- reduce阶段 在进入reduce阶段之前。
reduceTask会将自己要处理的分区数据fetch到reduceTask所在的机器节点上,然后以键值对
上一篇
mapreduce二次排序
hive外部表是使用external关键字并指定一个hdfs目录创建的表。hive内部表在创建时会在对应hive目录下创建相应的文件夹，外部表则以指定文件夹为...详情>>
2022-09-02 17:21:00
Checkpoint是为runtime准备的，Savepoint 是为用户准备的。Checkpoint 机制的目标在于保证Flink作业意外崩溃重启不影响exactly once 准确性，通...详情>>
2022-09-02 16:59:22
State：指一个具体的Task/Operator的状态。State可以被记录，在失败的情况下数据还可以恢复，Flink中有两种基本类型的State： Keyed State， Op...详情>>
2022-09-02 16:59:19
Flink 内部是基于producer-consumer模型来进行消息传递的，Flink的反压设计也是基于这个模型。Flink 使用了高效有界的分布式阻塞队列，就像 Jav...详情>>
2022-09-02 16:59:16
虽说水位线(Watermark)表明早于它的事件不应该再出现，但是接收到水位线以前的的消息是不可避免的，这就是所谓的迟到事件。实际上迟到事件是乱...详情>>
2022-09-02 16:59:00
京公网安备 11010802030320号