01  scala-01

安装idea配置环境变量

Maven本地库配置

JDK环境变量配置

scala编译器的使用

计算表达式

内置变量

声明变量

声明val与var

声明多个变量

指定变量类型

数据类型和操作符

八大数据类型

基本操作符

函数调用与apply函数

函数调用

01  scala-02

Apply函数

if表达式的定义

if表达式的类型推断

语句终结符、块表达式

块表达式的定义

语句终结符

输入和输出

print和println(输出)

printf(输出)

readLine(输入)

while do循环

for循环

跳出循环

高级for循环

多重for循环

01  scala-03

for循环推导式

定义函数

递归函数与返回类型

匿名函数与非匿名函数

默认参数

带名参数

lazy的基本操作

定长数组

变长数组

遍历数组

数组的常见操作

数组转换

Map的基本操作

Map的转换

Map的遍历

01  scala-04

集合的拉链操作

Tuple的基本操作

Tuple的拉链操作

定义一个简单的类

field的getter与setter详解

constructor详解

内部类介绍

半生类

创建半生对象

Apply方法详解

Main方法与APP方法

用Object实现Java中的枚举

继承

Override与super的应用

isInstanceOf和asInstanceOf

01  scala-05

getClass和classOf

抽象类与抽象变量

trait基础知识

trait高级知识

函数式编程

将函数赋值给变量

匿名函数

高阶函数

高阶函数的类型推断

Scala的常用高阶函数

闭包

Currying函数

样例类

偏函数

01  scala-06

Scala的集合体系结构

List

LinkedList

Set

集合的函数式编程

模式匹配的基础语法

模式匹配的基础语法

对Array和List的元素进行模式匹配

case class与模式匹配

Option与模式匹配

泛型类

泛型函数

上边界Bounds

下边界Bounds

View Bounds

01  scala-07

Context Bounds

Manifest Context Bounds

协变和逆变

隐式转换

使用隐式转换加强现有类型

隐式转换函数的作用域与导入

隐式转换的发生时机

隐式参数

Actor的创建、启动和消息收发

收发case class类型的消息

Actor之间互相收发消息

同步消息和Future

实现Master端通信

实现Worker端通信

自定义RPC

01  scala-08

自定义模拟Master

自定义模拟Worker

模拟Master与Worker通信

线程池

创建线程池

线程池的基本操作

并行与并发思想理念

02  Spark Crore-01

大数据架构体系

架构详解

Spark集群介绍

Spark集群配置

Spark集群安装

Spark集群启动

Spark高可用配置

WebUI查看

Spark Shell单机启动

Spark Shell集群启动

Spark基本工作原理

Spark基本工作原理

内存模型详解

堆内内存、堆外内存

迭代式计算详解

02  Spark Crore-02

Spark实现经典案例（WordCount详解）

Java实现WordCount

Scala实现WordCount

底层原理梳理

算子之间的转换调用

RDD的概念详解

RDD的两种类型

创建RDD(集合、本地文件、HDFS文件)

操作RDD(transformation和action)

RDD的血缘关系

键值对RDD的转化操作

键值对RDD的行动操作

键值对RDD的数据分区

常用算子

常用算子的基本操作

02  Spark Crore-03

广播变量的概念

广播变量的使用

RDD缓存级别

持久化RDD

案例练习：基站停留时间TopN需求

案例练习：基站停留时间TopN实现

案例练习：学科模块访问量需求

案例练习：学科模块访问量实现

案例练习：cache缓存的使用

案例练习：自定义分区器

Spark工作原理内部剖析

宽依赖与窄依赖深度剖析

基于Yarn的两种提交模式深度剖析

DAGScheduler原理剖析与源码分析

TaskScheduler原理剖析与源码分析

02  Spark Crore-04

Task原理剖析与源码分析

最佳位置算法剖析

Shuffle原理剖析与源码分析

shuffle操作过程中进行数据排序

会触发shuffle操作的算子

shuffle操作对性能消耗的原理详解

shuffle操作所有相关参数详解以及性能调优

算子原理剖析

Checkpoint原理剖析

union算子内部实现原理剖析

groupByKey算子内部实现原理剖析

reduceByKey算子内部实现原理剖析

distinct算子内部实现原理剖析

cogroup算子内部实现原理剖析

intersection算子内部实现原理剖析

02  Spark Crore-05

join算子内部实现原理剖析

sortByKey算子内部实现原理剖析

coalesce算子内部实现原理剖析

repartition算子内部实现原理剖析

Accumulator（累加器）

其他算子等

集群提交模式

standalone模式原理讲解

yarn-client模式原理讲解

yarn-cluster模式原理讲解

Spark算子的闭包原理详解

Spark 新特性

易用性：标准化SQL支持以及更合理的API

高性能：让Spark作为编译器来运行

智能化：Structured Streaming介绍

02  Spark Crore-06

Spark x与x对比以及分析

Spark核心进阶

Spark集群架构概览

Spark集群架构的几点特别说明

Spark的核心术语讲解

Spark Standalone集群架构

单独启动master和worker脚本详解

worker节点配置以及spark-evnsh参数详解

实验：local模式提交spark作业

实验：standalone client模式提交spark作业

实验：standalone cluster模式提交spark作业

standalone模式下的多作业资源调度

standalone模式下的作业监控与日志记录

实验：运行中作业监控以及手工打印日志

yarn-client模式原理讲解

02  Spark Crore-07

yarn-cluster模式原理讲解

实验：yarn-client模式提交spark作业

yarn模式下日志查看详解

yarn模式相关参数详解

spark工程打包以及spark-submit详解

spark-submit示例以及基础参数讲解

SparkConf、spark-submit以及spark-defaultsconf

spark-submit多个示例以及常用参数详解

Spark性能优化：

性能优化概览

诊断内存的消耗

高性能序列化类库

优化数据结构

对多次使用的RDD进行持久化或Checkpoint

使用序列化的持久化级别

02  Spark Crore-08

Java虚拟机垃圾回收调优

提高并行度

广播共享数据

数据本地化

reduceByKey和groupByKey

shuffle性能优化

Spark高级编程

高级编程之基于排序机制的wordcount程序

高级编程之二次排序

高级编程之topn

transformation操作开发实战

action操作开发实战

Task任务详解

Task的执行流程

Task的回馈流程

03  Spark SQL

Spark SQL的发展历史

Spark SQL的原理介绍

DataFrame概述

创建DataFrame的方式

DSL语法风格操作DataFrame

SQL语句风格操作DataFrame

通过反射推断Schema信息

通过StructType指定Schema信息

从MySQL中加载数据

将数据写入到MySQL中

Spark SQL案例练习

04  Spark Streaming

Spark Streaming概述

Spark Streaming的原理介绍

Spark Streaming与Storm对比

DStream的概念

DStream原语类型介绍

DStream的Transformation（转换）

DStream的Output（输出）

updateStateByKey原语介绍

transform原语介绍

窗口操作概念分析

窗口操作应用场景

窗口操作的batch duration

窗口长度参数分析

滑动间隔参数分析

用Spark Streaming实现单词计数

05  Kafka-01

Kafka的基本概念

Kafka的发展历史

Kafka的应用背景

JMS基础

JMS消息传输模型

JMS的核心组件介绍

Destination：消息发送的目的地

Producer： 消息的生产者

MessageConsumer：消息接受者

常见JMS消息中间件

Kafka的组件介绍

Topic：消息分类

Producer：生产者

Consumer消费者

Broker：集群实例

05  Kafka-02

Kafka集群部署

Kafka版本查看

下载安装包

解压安装包

配置文件的修改

分发安装包

集群的启动

Kafka的常用操作命令

查看所有topic

创建topic

删除topic

通过shell模拟生产者

通过shell模拟消费者

查看消费位置

查看topic详细信息

05  Kafka-03

Kafka可视化管理器

生产者Java API熟悉

消费者Java API熟悉

Kafka文件存储机制

Kafka文件存储基本结构

Kafka分区中的Segment

Kafka怎样查找消息

Kafka是怎么做到消息快速存储的

如何消费已经消费过的数据

Kafka分区和消费者的关系

Kafka的topic数据如何同步副本

如何设置生存周期

Zookeeper如何管理Kafka

06  ElasticSearch

全文检索技术简介

ES安装配置入门

ES插件安装

ES基本操作

Index的概念

Document的概念

Type的概念

map映射的概念

CURL操作REST命令

Windows安装CURL

创建索引

插入一个文档

查询文档内容

更新文档内容

检查搜索返回对象

06  ElasticSearch-01

使用Java操作客户端

新建文档（自动创建索引和映射）

搜索文档数据（单个索引）

搜索文档数据（多个索引）

更新文档数据

删除文档数据

条件查询QueryBuilder

queryStringQuery搜索内容查询

wildcardQuery通配符查询

termQuery词条查询

boolQuery布尔查询

fuzzyQuery模糊查询

regexpQuery正则表达式查询

matchAllQuery查询所有数据

IK分词器集成ES

06  ElasticSearch-02

ES常用编程操作

索引相关操作

映射相关操作

文档相关操作

IK分词器自定义词库

查询文档分页操作

在Query的查询中定义加权

在Field字段的映射中定义加权

范围过滤器

布尔过滤器

Kibana介绍

Kibana环境准备

Kibana安装

Kibana演示

07  Logstash

Logstash介绍

Input组件介绍

Filter组件介绍

Output组件介绍

Logstash与Flume比较

Logstash的安装

Logstash运行

Logstash配置讲解

Logstash结合Kafka、ES数据对接

08  Kibana

Kibana介绍

Kibana环境准备

Kibana安装

Kibana演示

"Discovery" 菜单界面

"Visualize 菜单界面

"Dashboard" 菜单界面

Timelion的可视化

"Dev Tools" 菜单界面

09  Redis-01

NoSQL数据库的分类

Redis介绍

Redis发展历史

Redis的应用场景

下载Redis

安装环境设置

Redis安装

启动Redis

Redis自带客户端

Redis桌面管理工具

Java客户端（Jedis）

Jedis介绍

环境准备和工程搭建

单机连接Redis

连接池连接Redis

09  Redis-02

Redis数据类型

String类型

Hash类型

List类型

Set类型

SortedSet类型

Keys命令介绍

设置key的生存时间

Redis的持久化

rdb方式

aof方式

Redis主从复制

环境准备

主机配置

从机配置

09  Redis-03

主从启动及操作

Redis的事务功能

事务功能的相关命令

事务的使用方法

事务内部的错误

为什么Redis不支持事务回滚

丢弃命令队列

通过CAS操作实现乐观锁

WATCH命令详解

Redis脚本和事务

Redis集群

Redis集群架构图

容错机制

集群搭建

Ruby环境搭建