全栈大数据开发更懂企业需求

更好满足学员就业与发展

全栈大数据开发课程大纲

• 学习对象适合大学生职前充电、0基础小白入门、有一定编程基础但想谋求更高层次发展以及想通过低成本转型到IT领域的人员。
• 培训方式技术总监面授，全日制教学，5+1授课模式—5天理论+实战课程，1天本周学习汇总贯通。
• 培训费用全栈大数据学费价格详情咨询学费及优惠
• 资料获取全栈大数据0基础入门学习资料+数据开发进阶视频教程+热门机器学习视频获取资料提取码

1. 第一阶段 大数据基础—Java语言基础阶段

   01 Java开发介绍 - Java的发展历史 - Java的应用领域 - Java语言的特性 - Java面向对象 - Java性能分类 - 搭建Java环境 - Java工作原理	02 熟悉Eclipse开发工具 - Eclipse简介与下载 - 安装Eclipse的中文语言包 - Eclipse的配置与启动 - Eclipse工作台与视图 - “包资源管理器”视图 - 使用Eclipse - 使用编辑器编写程序代码	03 Java语言基础 - Java主类结构 - 基本数据类型 - 变量与常量 - Java运算符 - 数据类型转换 - 代码注释与编码规范
   04 Java流程控制 - 复合语句 - 条件语句 - if条件语句 - switch多分支语句 - while循环语句 - do…while循环语句 - for循环语句	05 Java字符串 - String类 - 连接字符串 - 获取字符串信息 - 字符串操作 - 格式化字符串 - 使用正则表达式 - 字符串生成器	06 Java数组与类和对象 - 数组概述 - 一维数组的创建及使用 - 二维数组的创建及使用 - 数组的基本操作 - 数组排序算法 - Java的类和构造方法 - Java的对象、属性和行为
   07 数字处理类与核心技术 - 数字格式化与运算 - 随机数 与大数据运算 - 类的继承与Object类 - 对象类型的转换 - 使用instanceof操作符判断对象类型 - 方法的重载与多态 - 抽象类与接口	08 I/O与反射、多线程 - 流概述与File类 - 文件 输入/输出流 - 缓存 输入/输出流 - Class类与Java反射 - Annotation功能类型信息 - 枚举类型与泛型 - 创建、操作线程与线程安全	09 Swing程序与集合类 - 常用窗体 - 标签组件与图标 - 常用布局管理器 与面板 - 按钮组件 与列表组件 - 常用事件监听器 - 集合类概述 - Set集合 与Map集合 及接口
   10 PC端网站布局 - HTML基础，CSS基础，CSS核心属性 - CSS样式层叠，继承，盒模型 - 容器，溢出及元素类型 - 浏览器兼容与宽高自适应 - 定位，锚点与透明 - 图片整合 - 表格，CSS属性与滤镜 - CSS优化	11 HTML5+CSS3基础 - HTML-新增的元素与属性 - CSS-选择器 - 文字字体相关样式 - CSS-位移与变形处理 - CSS- -D、-D 转换与动画 - 弹性盒模型 - 媒体查询 - 响应式设计	12 WebApp页面布局 - 移动端页面设计规范 - 移动端切图 - 文字流式/控件弹性/图片等比例的布局 - 等比缩放布局 - viewport/meta - rem/vw的使用 - flexbox详解 - 移动 web特别样式处理
   13 原生JavaScript交互功能开发 - 什么是JavaScript - JavaScript使用及运作原理 - JavaScript基本语法 - JavaScript内置对象 - 事件，事件原理 - JavaScript基本特效制作 - cookie存储 - 正则表达式	14 Ajax异步交互 - Ajax概述与特征 - Ajax工作原理 - XMLHttpRequest对象 - 同步与异步 - Ajax异步交互 - Ajax跨域问题 - Ajax数据的处理 - 基于WebSocket和推送的实时交互	15 JQuery应用 - 各选择器使用及应用优化 - Dom节点的各种操作 - 事件处理、封装、应用 - jQuery中的各类动画使用 - 可用性表单的开发 - jQuery Ajax、函数、缓存； - jQuery编写插件、扩展、应用 - 理解模块式开发及应用
   16 数据库 - Mysql数据库 - JDBC开发 - 连接池和DBUtils - Oracle介绍 - MongoDB数据库介绍 - apache服务器/Nginx服务器 - Memcached内存对象缓存系统	17 JavaWeb开发核心 - XML技术 - HTTP协议 - Servlet工作原理解析 - 深入理解Session与Cookie - Tomcat的系统架构与设计模式 - JSP语法与内置对象 - JDBC技术 - 大浏览量系统的静态化架构设计	18 JavaWeb开发内幕 - 深入理解Web请求过程 - Java I/O的工作机制 - Java Web中文编码 - Javac编译原理 - class文件结构 - ClassLoader工作机制 - JVM体系结构与工作方式 - JVM内存管理

2. 第二阶段 Linux系统&Hadoop生态体系

   01 Linux体系 - VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程 -了解机架服务器，采用真实机架服务器部署linux - Linux的常用命令：常用命令的介绍、常用命令的使用和练习 - Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用； - Linux启动流程，运行级别详解，chkconfig详解 - VI、VIM编辑器：VI、VIM编辑器的介绍、VI、VIM扥使用和常用快捷键 - Linux用户和组账户管理：用户的管理、组管理 - Linux磁盘管理，lvm逻辑卷，nfs详解 - Linux系统文件权限管理：文件权限介绍、文件权限的操作 - Linux的RPM软件包管理：RPM包的介绍、RPM安装、卸载等操作 - yum命令，yum源搭建 - Linux网络：Linux网络的介绍、Linux网络的配置和维护 - Shell编程：Shell的介绍、Shell脚本的编写 - Linux上常见软件的安装：安装JDK、安装Tomcat、安装mysql,web项目部署	02 Hadoop离线计算大纲 - Hadoop生态环境介绍 - Hadoop云计算中的位置和关系 - 国内外Hadoop应用案例介绍 - Hadoop 概念、版本、历史 - Hadoop 核心组成介绍及hdfs、mapreduce 体系结构 - Hadoop 的集群结构 - Hadoop 伪分布的详细安装步骤 - 通过命令行和浏览器观察hadoop - HDFS底层&& datanode,namenode详解&&shell&&Hdfs java api - Mapreduce四个阶段介绍 - Writable - InputSplit和OutputSplit - Maptask - Shuffle：Sort，Partitioner，Group,Combiner - Reducer - Mapreducer案例：二次排序 - 倒排序索引 - 最优路径 - 电信数据挖掘之-----移动轨迹预测分析（国内棱镜计划） - 社交好友推荐算法 - 互联网精准广告推送 算法 - 阿里巴巴天池大数据竞赛 《天猫推荐算法》 - Mapreduce实战pagerank算法 - Hadoop-x集群结构体系介绍 - Hadoop-x集群搭建 - NameNode的高可用性（HA） - HDFS Federation - ResourceManager 的高可用性（HA） - Hadoop集群常见问题和解决方法 - Hadoop集群管理	03 分布式数据库Hbase - Hbase简介 - HBase与RDBMS的对比 - 数据模型 - 系统架构 - HBase上的MapReduce - 表的设计 - 集群的搭建过程讲解 - 集群的监控 - 集群的管理 - HBase Shell以及演示 - Hbase 树形表设计 - Hbase 一对多和多对多表设计 - Hbase 微博 案例 - Hbase 订单案例 - Hbase表级优化 - Hbase 写数据优化 - Hbase 读数据优化 - Hbase API操作 - hbase mapdreduce 和hive整合
   04 分布式数据仓库Hive - 数据仓库基础知识 - Hive定义 -Hive体系结构简介 - Hive集群 -客户端简介 - HiveQL定义 - HiveQL与SQL的比较 - 数据类型 - 外部表和分区表 - ddl与CLI客户端演示 - dml与CLI客户端演示 - select与CLI客户端演示 - Operators 和 functions与CLI客户端演示 - Hive server- 与jdbc - 用户自定义函数（UDF和UDAF）的开发与演示 - Hive 优化 - serde	05 数据分析迁移工具Sqoop - Sqoop简介以及使用 - Sqoop shell使用 - Sqoop-import - DBMS-hdfs - DBMS-hive - DBMS-hbase - Sqoop-export	06 数据分析工具Flume分布式日志框架 - flume简介-基础知识 - flume安装与测试 - flume部署方式 - flume source相关配置及测试 - flume sink相关配置及测试 - flume selector 相关配置与案例分析 - flume Sink Processors相关配置和案例分析 - flume Interceptors相关配置和案例分析 - flume AVRO Client开发 - flume 和kafka 的整合

3. 第三阶段 分布式计算框架Spark&Storm生态体系

   01 Scala编程语言 - scala解释器、变量、常用数据类型等 - scala的条件表达式、输入输出、循环等控制结构 -scala的函数、默认参数、变长参数等 - scala的数组、变长数组、多维数组等 -scala的映射、元组等操作 - scala的类，包括bean属性、辅助构造器、主构造器等 - scala的对象、单例对象、伴生对象、扩展类、apply方法等 - scala的包、引入、继承等概念 - scala的特质 -scala的操作符 - scala的高阶函数 - scala的集合 - scala数据库连接	02 Spark大数据处理 - Spark介绍 - Spark应用场景 - Spark和Hadoop MR、Storm的比较和优势 - RDD - Transformation - Action - Spark计算PageRank - Lineage - Spark模型简介 - Spark缓存策略和容错处理 - 宽依赖与窄依赖 - Spark配置讲解 - Spark集群搭建 - 集群搭建常见问题解决 - Spark原理核心组件和常用RDD - 数据本地性 - 任务调度 - DAGScheduler - TaskScheduler - Spark源码解读 - 性能调优 - Spark和Hadoop-x整合：Spark on Yarn原理	03 Spark—Streaming大数据实时处理 - Spark Streaming：数据源和DStream - 无状态transformation与有状态transformation - Streaming Window的操作 - sparksql 编程实战 - spark的多语言操作 - spark最新版本的新特性
   04 Spark—Mlib机器学习 - Mlib简介 - Spark MLlib组件介绍 - 基本数据类型 - 回归算法 - 广义线性模型 - 逻辑回归 - 分类算法 - 朴素贝叶斯 - 决策树 - 随机森林 - 推荐系统 - 聚类 a) Kmeans b) Sparse kmeans c) Kmeans++ d) Kmeans II e) Streaming kmeans f) Gaussian Mixture Model	05 Spark—GraphX 图计算 - 二分图 - 概述 - 构造图 - 属性图 - PageRank	06 storm技术架构体系 - 项目技术架构体系： - Storm是什么 - Storm架构分析 - Storm编程模型、Tuple源码、并发度分析 - Maven环境快速搭建 - Storm WordCount案例及常用Api - Storm+Kafka+Redis业务指标计算 - Storm集群安装部署 - Storm源码下载编译
   07 Storm原理与基础 - Storm集群启动及源码分析 - Storm任务提交及源码分析 - Storm数据发送流程分析 - Strom通信机制分析浅谈 - Storm消息容错机制及源码分析 - Storm多stream项目分析 - Storm Trident和传感器数据 - 实时趋势分析 - Storm DRPC(分布式远程调用)介绍 - Storm DRPC实战讲解 - 编写自己的流式任务执行框架	08 消息队列kafka - 消息队列是什么 - kafka核心组件 - kafka集群部署实战及常用命令 - kafka配置文件梳理 - kafka JavaApi学习 - kafka文件存储机制分析 - kafka的分布与订阅 - kafka使用zookeeper进行协调管理	09 Redis工具 - nosql介绍 - redis介绍 - redis安装 - 客户端连接 - redis的数据功能 - redis持久化 - redis应用案例
   10 zookeeper详解 - zookeeper简介 - zookeeper的集群部署 - zookeeper的核心工作机制 - zookeeper的命令行操作 - zookeeper的客户端API - zookeeper的应用案例 - zookeeper的原理补充

4. 第四阶段 大数据实战项目

   01 阿里巴巴的淘宝电商的大数据流量分析平台 - 项目介绍： 淘宝网站的日志分析和订单管理在实战中学习，技术点非常多，一个访客（UV）点击进入后计算的一个流量，同时也有浏览量（PV）指的是一个访客（UV）在店内所浏览的次数。一个UV最少产生一个PV，PV/UV就是俗称的访问深度，一个访客（UV）点击进入后计算的一个流量，同时也有浏览量（PV）指的是一个访客（UV）在店内所浏览的次数。一个UV最少产生一个PV，PV/UV就是俗称的访问深度，影响自然排名自然搜索的叫权重，权重是决定一个产品是否排在前面获得更多流量的决定性因素，权重的构成多达几十种，通常影响权重的有销量，好评，收藏，DSR，维护时间，下架时间这类。 - 项目特色： 怎样实际运用这些点是我们在自学过程中体验不到的。Cookie日志分析包括：pv、uv，跳出率，二跳率、广告转化率、搜索引擎优化等，订单模块有：产品推荐，商家排名，历史订单查询，订单报表统计等。 - 项目架构： SDK（JavaaSDK、JSSDK）+lvs+nginx集群+flume+hdfs2.x+hive+hbase+MR+MySQL - 项目流程： a) 数据获取：Web项目和云计算项目的整合 b) 数据处理：Flume通过avro实时收集web项目中的日志 c) 数据的ETL d) 数据展存储：Hive 批量 sql执行 e) Hive 自定义函数 f) Hive和hbase整合。 g) Hbase 数据支持 sql查询分析 h) 数据分析：数据Mapreduce数据挖掘 i) Hbase dao处理 j) Sqoop 在项目中的使用。 k) 数据可视化：Mapreduce定时调用和监控

   02 Sina微博基于Spark的推荐系统 - 项目介绍： 个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台，以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务 - 项目特色： 推荐系统是个复杂的系统工程，依赖工程、架构、算法的有机结合，是数据挖掘技术、信息检索技术、计算统计学的智慧结晶，学员只有亲手动手才能体会推荐系统的各个环节，才能对各种推荐算法的优缺点有真实的感受。一方面可以很熟练的完成简单的推荐算法，如content-based、item-based CF 等。另一方面要掌握一些常见的推荐算法库，如：SvdFeature、LibFM、Mathout、Mlib等。 - 项目技术架构体系： a) 实时流处理 Kafka，Spark Streaming b) 分布式运算 Hadoop，Spark c) 数据库 Hbase，Redis d) 机器学习 Spark Mllib e) 前台web展示数据 Struts2，echart f) 分布式平台 Hadoop，Spark g) 数据清洗 Hive h) 数据分析 R RStudio i) 推荐服务 Dubbox j) 规则过滤 Drools k) 机器学习 MLlib

   03 Sina门户的DSP广告投放系统 - 项目介绍： 新浪网（www.sina.com.cn），是知名的门户网站，该项目主要通过收集新浪的Cookie每个产生的日志，分析统计出该网站的流量相关信息和竞价广告位 - 项目特色： 在互联网江湖中，始终流传着三大赚钱法宝：广告、游戏、电商，在移动互联网兴起之际，利用其得天独厚的数据优势，终于能够回答困扰了广告主几百年的问题：我的广告究竟被谁看到了？浪费的一半的钱到底去了哪里？ - 项目技术架构体系： a)通过flume把日志数据导入到HDFS中，使用hive进行数据清洗 b)提供web视图供用户使用，输入查询任务参数，写入MySQL c)使用spark根据用户提交的任务参数，进行session分析，进行单挑率分析 d)使用spark sql进行各类型热门广告统计 e)使用 flume将广告点击日志传入kafka，使用spark streaming进行广告点击率的统计 f)web页面显示MySQL中存储的任务执行结果

   04 商务日志告警系统项目 - 项目介绍： 基于的日志进行监控，监控需要一定规则，对触发监控规则的日志信息进行告警，告警的方式，是短信和邮件，随着公司业务发展，支撑公司业务的各种系统越来越多，为了保证公司的业务正常发展，急需要对这些线上系统的运行进行监控，做到问题的及时发现和处理，最大程度减少对业务的影响。 - 项目特色： 整体架构设计很完善, 主要架构为应用 a)应用程序使用log4j产生日志 b)部署flume客户端监控应用程序产生的日志信息，并发送到kafka集群中 c)storm spout拉去kafka的数据进行消费，逐条过滤每条日志的进行规则判断，对符合规则的日志进行邮件告警。 d)最后将告警的信息保存到mysql数据库中，用来进行管理。 - 项目技术架构体系： a）推荐系统基础知识 b）推荐系统开发流程分析 c）mahout协同过滤Api使用 d）Java推荐引擎开发实战 e）推荐系统集成运行

   05 互联网猜你喜欢推荐系统实战 - 项目介绍： 到网上购物的人已经习惯了收到系统为他们做出的个性化推荐。Netflix 会推荐你可能会喜欢看的视频。TiVo会自动把节目录下来，如果你感兴趣就可以看。Pandora会通过预测我们想要听什么歌曲从而生成个性化的音乐流。 所有这些推荐结果都来自于各式各样的推荐系统。它们依靠计算机算法运行，根据顾客的浏览、搜索、下单和喜好，为顾客选择他们可能会喜欢、有可能会购买的商品，从而为消费者服务。推荐系统的设计初衷是帮助在线零售商提高销售额，现在这是一块儿规模巨大且不断增长的业务。与此同时，推荐系统的开发也已经从上世纪 90 年代中期只有几十个人研究，发展到了今天拥有数百名研究人员，分别供职于各高校、大型在线零售商和数十家专注于这类系统的其他企业。 - 项目特色： 有没有想过自己在亚马逊眼中是什么样子?答案是：你是一个很大、很大的表格里一串很长的数字。这串数字描述了你所看过的每一样东西，你点击的每一个链接以及你在亚马逊网站上买的每一件商品;表格里的其余部分则代表了其他数百万到亚马逊购物的人。你每次登陆网站，你的数字就会发生改变;在此期间，你在网站上每动一下，这个数字就会跟着改变。这个信息又会反过来影响你在访问的每个页面上会看到什么，还有你会从亚马逊公司收到什么邮件和优惠信息。 - 项目技术架构体系： a）推荐系统基础知识 b）推荐系统开发流程分析 c）mahout协同过滤Api使用 d）Java推荐引擎开发实战 e）推荐系统集成运行

5. 第五阶段 大数据分析 —AI（人工智能）方向

   01 Python编程&&Data Analyze工作环境准备&数据分析基础 -介绍Python以及特点 - Python的安装 - Python基本操作（注释、逻辑、字符串使用等） - Python数据结构（元组、列表、字典） - 使用Python进行批量重命名小例子 - Python常见内建函数 - 更多Python函数及使用常见技巧 - 异常 - Python函数的参数讲解 - Python模块的导入 - Python中的类与继承 - 网络爬虫案例 - 数据库连接，以及pip安装模块 - Mongodb基础入门 - 讲解如何连接mongodb - Python的机器学习案例 - AI&&机器学习&&深度学习概论 - 工作环境准备 - 数据分析中常用的Python技巧 - Pandas进阶及技巧 - 数据的统计分析	02 数据可视化 - 数据可视化的概念 - 图表的绘制及可视化 - 动画及交互渲染 - 数据合并、分组	03 Python机器学习1 - 机器学习的基本概念 - ML工作流程 - Python机器学习库scikit-learn - KNN模型 - 线性回归模型 - 逻辑回归模型 - 支持向量机模型 - 决策树模型 - 超参数&&学习参数
   04 Python机器学习2 - 模型评价指标 - 交叉验证 - 机器学习经典算法 - 朴素贝叶斯 - 随机森林 - GBDT	05 图像识别&&神经网络 - 图像操作的工作流程 - 特征工程 - 图像特征描述 - AI网络的描述 - 深度学习 - TensorFlow框架学习 - TensorFlow框架卷积神经网络（CNN）	06 自然语言处理&&社交网络处理 - Python文本数据处理 - 自然语言处理及NLTK - 主题模型 - LDA - 图论简介 - 网络的操作及数据可视化
   实战项目：《户外设备识别分析》 - 项目介绍： 用户行为识别数据是由用户腰间的智能手机记录的， 常建改数据集的目的是用于识别分类6组不同的用户行为，通过智能手机的加速计和螺旋仪能够以50HZ的频率采集3个方向的加速度和3个方向的角速度，采集后的数据分成，70%训练集，30%测试集。 - 项目特色： 为了保证线路和设备巡检的顺利进行，减少不必要的经济损失，改革传统落后巡检方式的呼声越来越高。如何监督巡检人员巡检路线的到位情况和工作状态以及巡检工作的规范化管理已经成为电网管理者普遍关注和亟待解决的问题。 - 系统架构： 系统硬件构架包括：固定式读写器、天线、RFID手持设备、标签及服务器。 数据交换方式，可以采用两种方式进行实施： 1）在线数据交换，通过固定式读写器将现场数据实时传回后台信息系统进行处理分析。 2）离线数据交换，通过手持设备在现场数据采集完数据后，导入至后台信息系统进行处理分析。 - 技术流程及难点： a）人体识别 b）Python建模 c）提取样本特征 d）特征工程优化 e）训练模型 f）交叉验证 g）评估模型 h）检测率，精确率，f1 i）产品数据上线