千锋教育-做有情怀、有良心、有品质的IT职业教育机构

400-811-9990

全栈大数据开发更懂企业需求

更好满足学员就业与发展

全栈大数据开发课程大纲

  1. 第一阶段 Java语言基础

    01 Java开发介绍

    - Java的发展历史
    - Java的应用领域
    - Java语言的特性
    - Java面向对象
    - Java性能分类
    - 搭建Java环境
    - Java工作原理

    02 熟悉Eclipse开发工具

    - Eclipse简介与下载
    - 安装Eclipse的中文语言包
    - Eclipse的配置与启动
    - Eclipse工作台与视图
    - “包资源管理器”视图
    - 使用Eclipse
    - 使用编辑器编写程序代码

    03 Java语言基础

    - Java主类结构
    - 基本数据类型
    - 变量与常量
    - Java运算符
    - 数据类型转换
    - 代码注释与编码规范
    - Java帮助文档

    04 Java流程控制

    - 复合语句
    - 条件语句
    - if条件语句
    - switch多分支语句
    - while循环语句
    - do…while循环语句
    - for循环语句

    05 Java字符串

    - String类
    - 连接字符串
    - 获取字符串信息
    - 字符串操作
    - 格式化字符串
    - 使用正则表达式
    - 字符串生成器

    06 Java数组与类和对象

    - 数组概述
    - 一维数组的创建及使用
    - 二维数组的创建及使用
    - 数组的基本操作
    - 数组排序算法
    - Java的类和构造方法
    - Java的对象、属性和行为

    07 数字处理类与核心技术

    - 数字格式化与运算
    - 随机数与大数据运算
    - 类的继承与Object类
    - 对象类型的转换
    - 使用instanceof操作符判断对象类型
    - 方法的重载与多态
    - 抽象类与接口

    08 I/O与反射、多线程

    - 流概述与File类
    - 文件 输入/输出流
    - 缓存 输入/输出流
    - Class类与Java反射
    - Annotation功能类型信息
    - 枚举类型与泛型
    - 创建、操作线程与线程安全

    09 Swing程序与集合类

    - 常用窗体
    - 标签组件与图标
    - 常用布局管理器与面板
    - 按钮组件与列表组件
    - 常用事件监听器
    - 集合类概述
    - Set集合与Map集合及接口

  2. 第二阶段 HTML、CSS与JavaScript

    01 PC端网站布局

    - HTML基础,CSS基础,CSS核心属性
    - CSS样式层叠,继承,盒模型
    - 容器,溢出及元素类型
    - 浏览器兼容与宽高自适应
    - 定位,锚点与透明
    - 图片整合
    - 表格,CSS属性与滤镜
    - CSS优化

    02 HTML5+CSS3基础

    - HTML5新增的元素与属性
    - CSS3选择器
    - 文字字体相关样式
    - CSS3位移与变形处理
    - CSS3 2D、3D 转换与动画
    - 弹性盒模型
    - 媒体查询
    - 响应式设计

    03 WebApp页面布局

    - 移动端页面设计规范
    - 移动端切图
    - 文字流式/控件弹性/图片等比例/特殊设计的布局
    - 等比缩放布局
    - viewport/meta
    - rem/vw的使用
    - flexbox详解
    - 移动web特别样式处理

    04 原生JavaScript交互功能开发

    - 什么是JavaScript
    - JavaScript使用及运作原理
    - JavaScript基本语法
    - JavaScript内置对象
    - 事件,事件原理
    - JavaScript基本特效制作
    - cookie存储
    - 正则表达式

    05 Ajax异步交互

    - Ajax概述与特征
    - Ajax工作原理
    - XMLHttpRequest对象
    - 同步与异步
    - Ajax异步交互
    - Ajax跨域问题
    - Ajax数据的处理
    - 基于WebSocket和推送的实时交互

    06 JQuery应用

    - 各选择器使用,及应用优化
    - Dom节点的各种操作
    - 事件处理、封装、应用
    - jQuery中的各类动画使用
    - 可用性表单的开发
    - jQuery Ajax、函数、缓存;
    - jQuery编写插件、扩展、应用
    - 理解模块式开发及应用

  3. 第三阶段 JavaWeb和数据库

    01 数据库

    - Mysql数据库
    - JDBC开发
    - 连接池和DBUtils
    - Oracle介绍
    - MongoDB数据库介绍
    - apache服务器/Nginx服务器
    - Memcached内存对象缓存系统

    02 JavaWeb开发核心

    - XML
    - HTTP及Tomcat
    - Servlet工作原理解析
    - 深入理解Session与Cookie
    - Tomcat的系统架构与设计模式
    - JSP语法与内置对象
    - JDBC技术
    - 大浏览量系统的静态化架构设计

    03 JavaWeb开发内幕

    - 深入理解Web请求过程
    - Java I/O的工作机制
    - Java Web中文编码
    - Javac编译原理
    - class文件结构
    - ClassLoader工作机制
    - JVM体系结构与工作方式
    - JVM内存管理

  4. 第四阶段 Linux基础

    01 Linux安装与配置

    - Linux常见版本及VMware
    - 安装Linux至硬盘及虚拟机安装Linux系统
    - 虚拟机网络配置(IP地址、主机名、防火墙)
    - 超级用户root
    - 关于硬件驱动程序
    - 进阶:配置Grub
    - CSS预处理器LESS框架使用
    - CSS组件框架编写

    02 系统管理与目录管理

    - Shell基本命令
    - 使用命令行补全和通配符
    - find命令、locate命令
    - 查找特定程序:whereis
    - Linux文件系统的架构
    - 移动、复制和删除
    - 文件和目录的权限
    - 文件类型与输入输出

    03 用户与用户组管理

    - 软件包管理
    - 磁盘基本管理命令(df、du、fdisk、mount)
    - 高级硬盘管理RAID和LVM
    - 进阶:备份你的工作和系统
    - 用户与用户组管理
    - 内存使用监控命令(top、free等)
    - 软件安装方式(rpm、tar、yum)
    - 进程管理

    04 Shell编程

    - Shell脚本编程概述
    - 正则表达式
    - 字符集和单词、字符类
    - Shell脚本编程
    - 脚本执行命令和控制语句
    - Shell定制
    - 个性化设置:修改.bashrc文件
    - Shell脚本调试

    05 服务器配置

    - 系统引导
    - 管理守护进程
    - 通过xinetd启动SSH服务
    - 配置inetd
    - Apache基础
    - 设置Apache服务器
    - PHP基础
    - 配置DHCP服务器

    06 Vi编辑器与Emacs编辑器

    - vi中的常用命令
    - vi中的字符与文件操作
    - vi中的窗口操作
    - emacs概述
    - emacs文本编辑
    - emacs缓冲区和窗口
    - emacs的扩展工具

  5. 第五阶段 Hadoop生态体系

    01 Hadoop起源与安装

    - 大数据概论
    - Google与Hadoop模块
    - Hadoop生态系统
    - Hadoop常用项目介绍
    - Hadoop环境安装配置
    - Hadoop安装模式
    - Hadoop配置文件

    02 MapReduce快速入门

    - WordCount准备开发环境
    - MapReduce编程接口体系结构
    - MapReduce通信协议
    - 导入Hadoop的JAR文件
    - MapReduce代码的实现
    - 打包、部署和运行
    - 打包成JAR文件

    03 Hadoop分布式文件系统

    - 认识HDFS及其HDFS架构
    - Hadoop的RPC机制
    - HDFS的HA机制
    - HDFS的Federation机制
    - Hadoop文件系统的访问
    - JavaAPI接口与维护HDFS
    - HDFS权限管理

    04 Hadoop文件I/O详解

    - Hadoop文件的数据结构
    - HDFS数据完整性
    - 文件序列化
    - Hadoop的Writable类型
    - Hadoop支持的压缩格式
    - Hadoop中编码器和解码器
    - gzip、LZO和Snappy比较

    05 MapReduce工作原理

    - MapReduce函数式编程概念
    - MapReduce框架结构
    - MapReduce运行原理
    - Shuffle阶段和Sort阶段
    - 任务的执行与作业调度器
    - 自定义Hadoop调度器
    - YARN架构及其工作流程

    06 MapReduce编程开发

    - WordCount案例分析
    - 输入格式与输出格式
    - 压缩格式与MapReduce优化
    - 辅助类与Streaming接口
    - MapReduce二次排序
    - MapReduce中的Join算法
    - 从MySQL读写数据
    - Hadoop系统调优

    07 Hive数据仓库工具

    - Hive工作原理、类型及特点
    - Hive操作及Hive复合类型
    - Hive的JOIN详解
    - Hive优化策略
    - Hive内置操作符与函数
    - Hive用户自定义函数接口
    - Hive的权限控制

    08 开源数据库HBase

    - HBase访问接口
    - HBase存储结构与格式
    - HBase设计
    - 关键算法和流程
    - HBase的Shell操作
    - HBase客户端 - HBase的特点

    09 Sqoop与Oozie

    - 安装部署Sqoop
    - Sqoop数据迁移
    - Sqoop使用案例
    - Oozie简介
    - Oozie与Hive
    - Azkaban工作流

  6. 第六阶段 Spark生态体系

    01 Hadoop起源与安装

    - 什么是Spark - Spark大数据处理框架 - Spark的特点与应用场景 - Spark SQL原理和实践 - Spark Streaming原理和实践 - GraphX SparkR入门 - Spark的监控和调优

    02 Spark部署和运行

    - WordCount准备开发环境
    - MapReduce编程接口体系结构
    - MapReduce通信协议
    - 导入Hadoop的JAR文件
    - MapReduce代码的实现
    - 打包、部署和运行
    - 打包成JAR文件

    03 Spark程序开发

    - 启动Spark Shell - 加载text文件 - RDD操作及其应用 - RDD缓存 - 构建Eclipse开发环境 - 构建IntelliJ IDEA开发环境 - 创建SparkContext对象 - 编写编译并提交应用程序

    04 Spark编程模型

    - RDD特征与依赖
    - 集合(数组)创建RDD
    - 存储创建RDD
    - RDD转换 执行 控制操作
    - 广播变量
    - 累加器

    05 作业执行解析

    - Spark组件
    - RDD视图与DAG图
    - 基于Standalone模式的Spark架构
    - 基于YARN模式的Spark架构
    - 作业事件流和调度分析
    - 构建应用程序运行时环境
    - 应用程序转换成DAG

    06 Spark SQL与DataFrame

    - Spark SQL架构特性
    - DataFrame和RDD的区别
    - 创建操作DataFrame
    - RDD转化为DataFrame
    - 加载保存操作与Hive表
    - Parquet文件JSON数据集
    - 分布式的SQL Engine
    - 性能调优 数据类型

    07 深入Spark Streaming

    - Spark Streaming工作原理
    - DStream编程模型
    - Input DStream
    - DStream转换 状态 输出
    - 优化运行时间及内存使用
    - 文件输入源
    - 基于Receiver的输入源
    - 输出操作

    08 Spark MLlib与机器学习

    - 机器学习分类级算法
    - Spark MLlib库
    - MLlib数据类型
    - MLlib的算法库与实例
    - ML库主要概念
    - 算法库与实例

    09 GraphX与SparkR

    - Spark GraphX架构
    - GraphX编程与常用图算法
    - GraphX应用场景
    - SparkR的工作原理
    - R语言与其他语言的通信
    - SparkR的运行与应用
    - R的DataFrame操作方法
    - SparkR的DataFrame

    10 spark项目实战

    - 大数据分析系统
    - 系统资源分析平台
    - 在Spark上训练LR模型
    - 获取二级邻居关系图

    11 scala编程

    - scala编程介绍
    - Scala基本语法
    - Scala开发环境搭建
    - Scala开发Spark应用程序

    12 Python编程

    - Python编程介绍
    - Python的基本语法
    - Python开发环境搭建
    - Pyhton开发Spark应用程序

  7. 第七阶段 Storm实时开发

    01 storm简介与基本知识

    - storm的诞生诞生与成长
    - storm的优势与应用
    - storm基本知识概念和配置
    - 序列化与容错机制
    - 可靠性机制—保证消息处理
    - storm开发环境与生产环境
    - storm拓扑的并行度
    - storm命令行客户端

    02 拓扑详解与组件详解

    - 流分组和拓扑运行
    - 拓扑的常见模式
    - 本地模式与stormsub的对比
    - 使用非jvm语言操作storm
    - hook 组件基本接口
    - 基本抽象类
    - 事务接口
    - 组件之间的相互关系

    03 Hadoop分布式系统

    - 认识HDFS及其HDFS架构
    - Hadoop的RPC机制
    - HDFS的HA机制
    - HDFS的Federation机制
    - Hadoop文件系统的访问
    - JavaAPI接口与维护HDFS
    - HDFS权限管理

    04 spout详解与bolt详解

    - spout获取数据的方式
    - 常用的spout
    - 学习编写spout类
    - bolt概述
    - 可靠的与不可靠的bolt
    - 复合流与复合anchoring
    - 使用其他语言定义bolt
    - 学习编写bolt类

    05 zookeeper详解

    - zookeeper简介
    - zookeeper的下载和部署
    - zookeeper的配置与运行
    - zookeeper的本地模式实例
    - zookeeper的数据模型
    - zookeeper命令行操作范例
    - storm在zookeeper中的目录结构

    06 storm安装与集群搭建

    - storm集群安装步骤与准备
    - 本地模式storm配置命令
    - 配置hosts文件 安装jdk
    - zookeeper集群的搭建
    - 部署节点
    - storm集群的搭建

    07 storm-starter详解

    - storm-starter项目概述
    - 使用maven进行管理
    - 在eclipse中运行
    - 使用daemontools监控storm进程
    - 使用monit监控storm
    - 常用的集群操作命令
    - drpctopologybuilder
    - Hive的权限控制

    08 开源数据库HBase

    - HBase的特点
    - HBase访问接口
    - HBase存储结构与格式
    - HBase设计
    - 关键算法和流程
    - HBase安装
    - HBase的Shell操作
    - HBase客户端

    09 trident详解

    - trident概述
    - Trident API 实践
    - Trident操作详解
    - trident spout
    - 文件系统分析
    - acking框架的实现
    - metric

  8. 第八阶段 项目案例

    01模拟双11购物平台

    - 项目说明:
    hadoop_storm_spark结合实验的例子,模拟双11,根据订单详细信息,汇总出总销售量,各个地区销售排行,以及后期的SQL分析,数据分析,数据挖掘等。
    - 第一阶段(storm实时报表)
    - (1)用户订单入kafka队列
    - (2)经过storm,实时计算出总销售量,和各个省份的的销售量,
    - (3)将计算结果保存到hbase数据库中。
    - 第二阶段(离线报表)
    - (1)用户订单入oracle数据库,
    - (2)通过sqoop把数据导入hadoop上。
    - (3)使用mr和rdd对hadoop上的原始订单做etl清洗
    - (4)建立hive表和sparkSQL内存表。为后期分析做基础
    - (5)使用HQL实现业务指标分析,和用户画像分析,将结果存在mysql中。供web前台使用
    - 第三阶段(大规模订单即席查询,和多维度查询)
    - (1)用户订单入oracle数据库,
    - (2)通过sqoop把数据导入hadoop上。
    - (3)写mr把hadoop的数据加载到hbase上
    - (4)使用hbase java api实现订单的即席查询
    - (5)solr绑定hbase,做多维度的条件查询
    - 第四阶段(数据挖掘和图计算)
    - (1)用户订单入oracle数据库,
    - (2)通过sqoop把数据导入hadoop上。
    - (3)使用mr和rdd对hadoop上的原始订单做etl清洗

    02前端工程化与模块化应用

    - 项目说明:
    SinaSpider主要爬取新浪微博的个人信息、微博数据、关注和粉丝。环境、架构:
    - 开发语言:
    Python2.7
    - 开发环境:
    64位Windows7系统,4G内存,i7-3612QM处理器。
    - 数据库:
    MongoDB 3.2.0 (Python编辑器:Pycharm 5.0.4;MongoDB管理工具:MongoBooster 1.1.1)
    - 主要使用 scrapy 爬虫框架。
    - 下载中间件会从Cookie池和User-Agent池中随机抽取一个加入到spider中。
    - start_requests 中根据用户ID启动四个Request,同时对个人信息、微博、关注和粉丝进行爬取。
    - 将新爬下来的关注和粉丝ID加入到待爬队列(先去重)。
索取课程大纲+全栈大数据视频教程全集
  • 北京天丰利校区(总部):北京市海淀区宝盛北里西区28号天丰利商城4层
    北京沙河校区:北京市昌平区沙阳路18号北京科技职业技术学院广场服务楼2层、南区服务楼2层
    咨询电话:400-186-9990 010-82790226-801
    面授课程:全栈HTML5+培训、UI交互设计培训、PHP培训、JavaEE+云数据培训、大数据开发培训、VR/AR混合现实培训、Python培训、Linux云计算培训、软件测试培训、Android培训、iOS培训、好程序员
  • 深圳西部硅谷校区地址:深圳市宝安区宝安大道5010号深圳西部硅谷A区B座605-619
    深圳大学城校区地址:深圳市南山区留仙大道1201号大学城创客小镇16栋2楼、3楼
    咨询电话:0755-33582485-801(硅谷校区)0755-86660670-801(大学城校区)
    面授课程:全栈HTML5+培训、UI交互设计培训、PHP培训、JavaEE+云数据培训、Android培训、iOS培训
  • 上海校区地址:上海市宝山区同济支路199号智慧七立方3号楼2-4层
    咨询电话:400-627-7899 021-56166283/56166279
    面授课程:全栈HTML5+培训、UI交互设计培训、JavaEE+云数据培训、Android课程培训、iOS课程培训、好程序员
  • 郑州校区地址:郑州市二七区航海中路60号海为科技园C区10层、12层
    咨询电话:0371-55191750 400-186-9990
    面授课程:全栈HTML5+培训、UI交互设计培训、PHP培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
  • 广州校区地址:广州市天河区元岗路310号智汇park创意园E座5层
    咨询电话:020-22119207 400-186-9990
    面授课程:全栈HTML5+培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
  • 大连校区地址:辽宁省大连市甘井子区软件园路2号东软信息学院B5座一楼
    咨询电话:0411-39026086 400-186-9990
    面授课程:全栈HTML5+培训、JavaEE+云数据培训、UI交互设计培训、Android课程培训、iOS课程培训
  • 武汉校区地址:武汉市光谷大道61号智慧园21号楼2层
    咨询电话:027-65523826
    面授课程:全栈HTML5+培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
  • 成都校区地址:成都市武侯区科华北路62号力宝大厦N(北楼)18楼
    咨询电话:028-83178771
    面授课程:全栈HTML5+培训、UI交互设计培训、PHP培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
  • 西安校区地址:西安市雁塔区高新六路52号立人科技C座西区4楼
    咨询电话:029-85260160
    面授课程:全栈HTML5+培训、JavaEE+云数据培训、Android课程培训
  • 杭州校区地址:浙江省杭州市江干区九堡旺田书画城A座4层
    咨询电话:0571-86893632 010-82790226-801
    面授课程:全栈HTML5+培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
  • 青岛校区地址:青岛市市北区龙城路卓越世纪中心3号楼8层
    咨询电话:0532-80910752/3 010-82790226-801
    面授课程:全栈HTML5+培训、UI交互设计培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
  • 重庆校区地址:重庆市高新区科园一路2号大西洋国际12-1
    咨询电话:023-68883009
    面授课程:JavaEE+云数据课程培训
  • 长沙校区地址:湖南省长沙市岳麓区麓谷企业广场A2栋三单元306号
    咨询电话:400-186-9990
    面授课程:JavaEE+云数据课程培训
  • 哈尔滨校区地址:哈尔滨市松北区创新一路699号科技创新城19号楼五楼
    咨询电话:15663846969
    面授课程:全栈HTML5+培训
  • 千锋教育服务号

    了解千锋动态
    关注千锋教育服务号

  • 千锋教育移动站

    扫一扫快速进入
    千锋移动端页面

  • 千锋互联服务号

    扫码匿名提建议
    直达CEO信箱