千锋教育-做有情怀、有良心、有品质的职业教育机构
静态分区 SP(static partition)
1、静态分区是在编译期间指定的指定分区名
2、支持load和insert两种插入方式
2.1load方式
1)会将分区字段的值全部修改为指定的内容
2)一般是确定该分区内容是一致的时候才会使用
2.2insert方式
1)必须先将数据放在一个没有设置分区的普通表中
2)该方式可以在一个分区内存储一个范围的内容
3)从普通表中选出的字段不能包含分区字段
3、适用于分区数少，分区名可以明确的数据 动态分区 DP(dynamic partition)
1、根据分区字段的实际值，动态进行分区
2、是在sql执行的时候进行分区
3、需要先将动态分区设置打开(set hive.exec.dynamic.partition.mode=nonstrict )
4、只能用insert方式
5、通过普通表选出的字段包含分区字段，分区字段放置在最后，多个分区字段按照分区顺序放置 静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数据来进行判断。
hive外部表是使用external关键字并指定一个hdfs目录创建的表。hive内部表在创建时会在对应hive目录下创建相应的文件夹，外部表则以指定文件夹为...详情>>
2022-09-02 17:21:00
Checkpoint是为runtime准备的，Savepoint 是为用户准备的。Checkpoint 机制的目标在于保证Flink作业意外崩溃重启不影响exactly once 准确性，通...详情>>
2022-09-02 16:59:22
State：指一个具体的Task/Operator的状态。State可以被记录，在失败的情况下数据还可以恢复，Flink中有两种基本类型的State： Keyed State， Op...详情>>
2022-09-02 16:59:19
Flink 内部是基于producer-consumer模型来进行消息传递的，Flink的反压设计也是基于这个模型。Flink 使用了高效有界的分布式阻塞队列，就像 Jav...详情>>
2022-09-02 16:59:16
虽说水位线(Watermark)表明早于它的事件不应该再出现，但是接收到水位线以前的的消息是不可避免的，这就是所谓的迟到事件。实际上迟到事件是乱...详情>>
2022-09-02 16:59:00
京公网安备 11010802030320号