千锋教育-做有情怀、有良心、有品质的职业教育机构
1. Nginx的日志可以通过Flume抽取到HDFS上。
2. Mysql的数据可以通过 Sqoop 抽取到 Hive 中，同样 Hive 的数据也可以通过 Sqoop 抽取到 Mysql 中。
3. HDFS上的一些数据不规整，有很多垃圾信息，可以用Hadoop或者Spark 进行处理并重新存入HDFS中。
4. Hive的表也可以通过 Hive 再做一些计算生成新的 Hive 表。
这些都算是ETL，其中 1 和 2 都比较典型，它们把数据从一个存储引擎转移到另一个存储引擎，在转移的过程中做了一定的转换操作。
3 和4也同样是ETL只是它们更侧重的是数据的加工。
到了这一步，我们不再纠结于具体的ETL概念是什么，仅从自己的直观理解上来定义ETL，不管严谨不严谨，反正这些活ETL工程师基本都要干。
ETL是对数据的加工过程，它包括了数据抽取、数据清洗、数据入库等一系列操作，大部分和数据处理清洗相关的操作都可以算是ETL。
上一篇
迟到的数据该怎样处理？下一篇
数据清洗问题你怎么看
hive外部表是使用external关键字并指定一个hdfs目录创建的表。hive内部表在创建时会在对应hive目录下创建相应的文件夹，外部表则以指定文件夹为...详情>>
2022-09-02 17:21:00
Checkpoint是为runtime准备的，Savepoint 是为用户准备的。Checkpoint 机制的目标在于保证Flink作业意外崩溃重启不影响exactly once 准确性，通...详情>>
2022-09-02 16:59:22
State：指一个具体的Task/Operator的状态。State可以被记录，在失败的情况下数据还可以恢复，Flink中有两种基本类型的State： Keyed State， Op...详情>>
2022-09-02 16:59:19
Flink 内部是基于producer-consumer模型来进行消息传递的，Flink的反压设计也是基于这个模型。Flink 使用了高效有界的分布式阻塞队列，就像 Jav...详情>>
2022-09-02 16:59:16
虽说水位线(Watermark)表明早于它的事件不应该再出现，但是接收到水位线以前的的消息是不可避免的，这就是所谓的迟到事件。实际上迟到事件是乱...详情>>
2022-09-02 16:59:00
京公网安备 11010802030320号