小小千想和您聊一聊

今日优惠
本周申请限20个名额

领2000元学费优惠

千锋教育-做有情怀、有良心、有品质的IT职业教育机构

400-811-9990
  • 两周免费试学申请

    新浪架构师
    大数据老鸟带你飙车
  • 名额有限,按填表先后安排试学。请保持手机畅通我们将为您提供1对1学习咨询服务

价值8000元436课全套大数据视频教程免费下载

java核心技术
Hadoop生态圈
  • linux基础和shell脚本

    下载
  • hadoop、hdfs、zookeeper和hadoop的高可用

    下载
  • 分布式并行离线计算框架、Mapreduce

    下载
  • 数据仓库工具hive

    下载
  • Scala语言环境安装、
    Scala基本语法

    下载
  • 常用方法练习

    下载
  • 面向对象、模式匹配

    下载
  • Actor、柯里化、隐式转换

    下载
  • 泛型、Akka

    下载
  • Spark集群安装、
    Spark任务提交、实现
    WordCount并上传任务

    下载
  • RDD的基本概念、
    常用算子练习

    下载
  • 案例练习

    下载
  • Spark集群启动流程和
    任务提交流程、案例练习

    下载
  • RDD的依赖关系、
    Stage划分、任务的生成、自定义排序

    下载
  • Checkpoint、SparkSQL、Hive-On-Spark

    下载
  • SparkStreaming、
    窗口操作、Spark-On-Yarn

    下载
  • Spark启动流程、
    Stage划分、任务生成、
    任务提交流程

    下载

超燃!95后起步年薪20W 掀起抢人风潮

好程序员大数据不以个别就业明星为噱头,每位学员都能通过努力“身价暴涨”
快讯News

好程序员大数据5期一飞冲天,4天就业率47%月均薪17284元,最高月薪28000元,15薪,五险一金+年终奖

28000

薪资/月
姓名:张同学
专业:武汉工程大学
入职单位:摩*科技
福利:15薪+五险一金
查看学员就业报告
(完整版)
  • 姓名
  • 毕业学校
  • 入职单位
  • 月薪
  • 福利
  • 张同学
  • 计算机与工程学院
  • 北京摩*科技
  • 28000
  • 15薪+五险一金
  • 夏同学
  • 湖南科技学院
  • 名企内推
  • 26000
  • 13薪+五险一金
  • 赵同学
  • 山西大同大学
  • 北京点*科技
  • 23000
  • 12薪+五险一金
  • 陈同学
  • 北京邮电大学
  • 名企内推
  • 23000
  • 15薪+五险一金
  • 尹同学
  • 湖南科技学院
  • 北京城**控
  • 22500
  • 13薪+五险一金
  • 冯同学
  • 桂林工学院
  • 秒*
  • 22000
  • 13薪+五险一金
  • 周同学
  • 山东科技大学
  • 去*网
  • 22000
  • 五险一金16薪
  • 廖同学
  • 新余学院
  • 去*网
  • 21000
  • 14薪+五险
  • 占同学
  • 聊城大学
  • 优*科技
  • 20500
  • 12薪+五险一金
  • 赵同学
  • 山东理工大学
  • 汉*科技
  • 20500
  • 12薪+五险一金
  • 陈同学
  • 河南理工大学
  • 名企内推
  • 20000
  • 13薪+五险一金
  • 申同学
  • 安阳工学院
  • 连*科技
  • 20000
  • 12薪+五险
  • 李同学
  • 河南大学
  • 拓*科技
  • 20000
  • 13薪+五险一金
  • 王同学
  • 聊城大学
  • 江*新科技
  • 20000
  • 14薪+五险一金
  • 王同学
  • 贵州师范学院
  • 名企内推
  • 20000
  • 12薪+五险一金
  • 赵同学
  • 黑龙江科技大学
  • 名企内推
  • 20000
  • 12薪+五险一金
  • 贾同学
  • 甘肃农业大学
  • 明**据
  • 20000
  • 14薪+五险
  • 陈同学
  • 长沙理工
  • 北京快*漫画
  • 20000
  • 15薪+五险一金
  • 李同学
  • 河北大学
  • 搜*
  • 20000
  • 14薪+五险一金
  • 孙同学
  • 中国海洋大学
  • 顺*科技
  • 20000
  • 15薪+五险一金
  • 李同学
  • 聊城大学
  • 海*科技
  • 19800
  • 12薪+五险一金
  • 马同学
  • 吉首大学
  • 易*腾
  • 19500
  • 12薪+五险一金
  • 蒋同学
  • 黄河科技学院
  • 明*数据
  • 19000
  • 15薪+五险一金
  • 王同学
  • 黄河科技学院
  • 名企内推
  • 19000
  • 15薪+五险一金
  • 刘同学
  • 河南大学
  • 名企内推
  • 19000
  • 13薪+五险一金
  • 翟同学
  • 贵州师范学院
  • 名企内推
  • 19000
  • 113薪+五险一金
  • 马同学
  • 山东科技大学
  • 祖**乐
  • 19000
  • 12薪+五险一金
  • 苏同学
  • 黑龙江科技大学
  • 开**际
  • 19000
  • 12薪+五险一金
  • 殷同学
  • 中原工学院
  • 联**泰
  • 19000
  • 14薪+五险一金
  • 朱同学
  • 武汉科大
  • 北京*兰科技
  • 19000
  • 12薪+五险一金
  • 冯同学
  • 天津职业技术师范大学
  • 黑龙江公众**集团
  • 19000
  • 14薪+五险
  • 孟同学
  • 滁州学院
  • 北京多*点科技有限公司
  • 19000
  • 13薪+五险一金
  • 王同学
  • 河北工程大学
  • 名企内推
  • 19000
  • 13薪+五险一金
  • 钟同学
  • 湖南涉外经济学院
  • 北京*中网校
  • 18400
  • 12薪+五险一金
  • 马同学
  • 淮南师范学院
  • 青*云安全
  • 18000
  • 13薪+五险一金
  • 李同学
  • 齐鲁工业大学
  • 北京华**创科技有限公司
  • 18000
  • 13薪+五险一金
  • 穆同学
  • 贵州师范学院
  • 北京*拓科技
  • 18000
  • 13薪+五险一金
  • 陈同学
  • 湖南科技学院
  • 名企内推
  • 18000
  • 15薪+五险一金
  • 李同学
  • 聊城大学
  • 名企内推
  • 18000
  • 15薪+五险一金
  • 赵同学
  • 平顶山学院
  • 长*科技
  • 18000
  • 12薪+五险一金
  • 王同学
  • 洛阳理工学院
  • 5*集团
  • 18000
  • 13薪+五险一金
  • 沈同学
  • 天津师范大学
  • 乐*金融
  • 18000
  • 12薪+五险一金
  • 魏同学
  • 四川大学
  • 雅*科技
  • 18000
  • 12薪+五险一金
  • 叶同学
  • 长江大学
  • 彩*无限
  • 18000
  • 12薪+五险一金
  • 王同学
  • 武汉东湖学院
  • 中国航*研究所
  • 18000
  • 12薪+五险一金
  • 徐同学
  • 阜阳师范学院信息工程学院
  • 重庆*维
  • 18000
  • 13薪+五险一金
  • 李同学
  • 河北农大
  • 名企内推
  • 18000
  • 13薪+五险一金
  • 王同学
  • 黑龙江科技大学
  • 5*集团
  • 18000
  • 13薪+五险一金
  • 杨同学
  • 开封大学
  • 中*资产
  • 18000
  • 14薪+五险一金
  • 赵同学
  • 山东科技大学
  • 魔*网聘
  • 18000
  • 13薪+五险一金
  • 月薪28K、15薪
  • 月薪22K、16薪
  • 月薪22K、13薪
  • 月薪20K、13薪
  • 月薪22K、13薪
  • 月薪21K
  • 月薪21K
  • 月薪20K
  • 月薪20K
  • 19K16薪-CEO畅聊
  • 月薪18K30分钟拿offer
  • 月薪17K、14薪
  • 月薪17K、14薪

*以上数据全部来源于好程序员就业部,信息真实可靠,薪资较其他机构高出三成

连线就业老师,即刻测试你未来的薪资范围

剑指极峰!好程序员大数据V4.2课程实力再升级

好程序员致力于全栈式大数据开发,真实商业数源授课。大纲标准化迭代4次,品质技术全线升级。主线坚固双翼迸发,“T”字型教学力造复合人才!

  • 1.全栈式大数据开发,一线互联网公司商业数源授课
  • 2."T"字型教学思维,大数据为主,云计算、人工智能及区块链为辅
  • 3.新增标准化AI工程流程、大数据可视化工具体系等87个核心技术点,总课时增加3周
  • 4.严格把控实战项目前瞻性,如:Spark、flink的版本迭代,机器学习中的算法革新
  • 5.先进的技术+项目,以北京中关村、西二旗等IT密集公司为技术背景
0基础?两周课程等你免费试学

冰山初窥 大数据正在悄悄改变我们的生活

大数据悄然改变我们的生产生活以及思维和工作方式,对信息技术发展、经济社会运行、国家
治理等方面产生重要影响。

  • 金融银行如何借助大数据
    提升风险管理能力?

    应用原理:
    大数据的Spark技术框架、用户画像、监控平台

  • AlphaGo为何能在
    围棋人机大战中打败李世石?

    应用原理:
    大数据分析——>数据清洗、AI——>机器学习&&深度学习、人机交互

  • 滴滴出行打车APP
    如何实现智能派单?

    应用原理:
    大数据计算框架——>Spark技术、Storm实时计算

  • 顺丰数据灯塔
    如何解决双十一物流爆仓问题?

    应用原理:
    大数据计算框架——>Hadoop生态技术

  • 无人驾驶技术
    如何实现在车水马龙中自由行使?

    应用原理:
    大数据进行数据的基础分析、集成系统、专家系统、机器学习&&深度学习,包括自然语言处理、 语言识别、人机交互等。

  • 中国移动如何
    为用户识别并拦截垃圾短信?

    应用原理:
    大数据的数据可视化+大数据监控系统+机器学习(贝叶斯算法)

  • 电商平台
    如何判定该把假货发给谁?

    应用原理:
    大数据技术的用户画像,把数据打上标签(label)

  • 音乐类产品
    如何推荐你可能喜欢的歌曲?

    应用原理:
    推荐算法(基于物品的协同过滤算法、基于用户的协同过滤算法), 分类算法(逻辑回归、SVM)进行数据离散值分类

8个大数据在生活中的典型
案例,带你揭开“高大上”
背后的神秘外衣。
了解更多大数据典型应用背后的奥秘

价值堪比黄金与石油 大数据行业爆发迹象明显

  • 专业新增高校
    305所
  • 超7成公司
    投资大数据领域
  • 国内人才缺口
    高达150万
  • 招聘企业需求量
    22250条/日
  • 大数据开发岗位多元化
    大数据人才荒待遇高规格

(以上数据来源于职友集、拉勾网、百度百聘)

即刻测试毕业后你的大数据岗位及薪资

打假小分队集结!火眼金睛看穿冒牌大数据课

大数据人才需求火爆,培训课程质量参次不齐,一些“戏精”机构以HTML5、Java、大数据可视化等擦边知识, 混
淆真实大数据授课标准课程,蒙蔽学员,发现时才追悔莫及。我们总结以下假课,避免学员入坑。

  • 大数据偏HTML5

    课程偏重HTML5、css、HTMl
    、AJAX、jQuery、AngleJs、
    Js等内容讲解

  • 大数据偏Java

    课程偏重Java、JavaWeb、
    Spring、SpringMVC、吧
    MyBatis、HTCargo项目实战。

  • 大数据偏大数据可视化

    课程偏重Photoshop、
    Javascript及可视化工具,就职大数据运维工程师。薪资低、就业慢,岗位少

  • 大数据偏测试课程

    课程偏重数据库管理系统(
    DBMS)、VBScript脚本语言等。

冒牌课程名单一览

一课不合就diss 捍卫真正的全栈式大数据

好程序员大数据+人工智能课程,数据分析包含框架优调、数据清洁、多元化项目,保证课程深度;课程升级添加人
工智能内容,保证课程广度。原创先导性课程体系,拒绝水分掺杂,干货满满!

  • 数据获取

    后台:SDK
    前端:JS SDK
    LVS+nginx集群
    传感器

  • 数据处理

    Flume+Kafka

  • 数据储存

    HDFS/Hive/Hbase

  • 数据分析

    Hive / MR / Spark

  • 数据可视化

    Mysql+可视化工具

  • Data
    Online

    项目上线

一脸懵逼?没关系!咨询师马上为你解答全栈流程图

好程序员全栈大数据区别于其他机构的核心优势

  • 技术点
  • mongoDB
  • Hadoop
  • Hive
  • Spark MLlib机器学习
  • Python
  • ELK技术栈
  • HBase
  • Zookeeper
  • Docker
  • Flink
  • Kylin
  • Echarts
  • CDH
  • Mesos
  • Flume
  • Sqoop
  • Phoenix
  • JVM调优
  • Mahout
  • Oozie/Azkaban
  • Scala
  • Spark Core
  • 好程序员
  • 其他机构
全面了解各家大数据培训机构优劣

每月小更新 季度大升级 全新迭代课程紧贴企业需求

课程大纲标准化迭代4.2次,新增核心技术点87个,课时增加3周
核心课程Spark1.x框架升级为Spark2.x、新增ELK—可视化海量日志分析平台、新增大数据可视化工具。深度学习大数据前沿黑科技,每节课都是就业加分项!

第一阶段

大数据基础 Java语言 本章视频介绍
  • 01 Java编程语言基本概述

    计算机语言与编程概述

    介绍Java生态圈

    Java发展史

    JDK,JRE详解

    Java体系详解

    Java跨平台性-JVM

    常用DOS命令

    JDK的安装与测试

    第一个Java程序控制台编译运行

    Java的注释和基本语法规则

    Java关键字

    Java标识符和语句分割

    Java的基础数据类型

    变量,常量的声明与使用

    变量,常量内存空间分配与原理

  • 02 Java基础语法

    分支循环语句

    if分支结构

    if-else分支结构

    if-elseif分支结构

    if-else分支嵌套结构

    switch-case分支结构

    switch-case的穿透特性

    Java8中switch-case分支新特性

    分支语句基础项目—-猜数字

    while循环结构

    do-while循环结构

    for循环结构

    循环的嵌套

    循环语句基础项目—-剪刀石头布

    三个关键字:break,continue,return

  • 03 面向对象编程

    软件的生命周期

    软件的设计原则

    面向对象(Object Oriented)和面向过程(Procedure Oriented)思想

    面向对象三大特性:封装性,继承性,多态性

    类和对象的关系

    成员变量和局部变量的区别

    构造方法详解

    对象和类在内存中存储的方式

    类中的值传递和地址传递

    继承中各个成员特点

    方法重写的应用

    子类对象实例化过程

    访问权限修饰符

    多态在实际开发中的应用

  • 04 面向对象高级编程

    包 (package) 的管理与作用

    JavaBean规范

    this关键字和super关键

    static关键字在开发中的应用

    Object类中equals方法和hashCode方法重写和原理

    final关键字在开发中的应用

    里氏代转原则

    instanceof 关键字应用

    抽象类(AbstractClass)在开发中的实际应用

    抽象(AbstractMethod)方法在开发中的实际应用

    接口(interface)开发中实际应用

    Java8中接口的新特性

    软件的三层架构

    Template Pattern—模板设计模式

    Singleton Pattern—单例设计模式

  • 05 Java中的常用类库

    包装类(Wrapper Class)

    装箱和拆箱

    享元原则

    String字符串类

    StringBuffer和StringBuilder字符串构建器类

    String和StringBuffer和StringBuilder性能测试

    String在内存中的存储模型

    Math数学类

    NumberFormat和DecimalFormat数据格式化类

    System和Runtime系统类

    Random和ThreadLocalRandom随机数类

    UUID类

    Date和Calendar日期类

  • 06 枚举和异常类

    枚举定义和使用

    通过枚举的class文件查看底层实现

    枚举中使用成员方法和静态方法

    枚举单例

    异常体系Throwable

    RuntimeException运行时异常

    Exception编译时异常

    常量异常类

    try...catch处理异常的方式

    Java8中异常处理新语法

    throws和throw关键的使用

    finally语句块的实际应用

    final,finally,finalize的区别

    自定义异常

    异常转换和异常链

  • 07 Java数据结构和集合框架泛型

    数据结构举例剖析

    数组的定义和使用方式

    数组的静态赋值和动态赋值

    数组排序算法

    数组中元素查找算法

    数组的基本操作(CRUD)

    可变参数解析

    Arrays工具类使用

    Collection,List,Set接口集合

    List集合下的ArrayList和LinkedList集合

    ArrayList集合性能分析

    通过源码分析封装自己的ArrayList

    通过源码分析实现双向链表

    介绍Hash算法

    通过源码分析查看HashSet实现

  • 07 Java数据结构和集合框架泛型

    Set集合下HashSet和TreeSet集合

    Comparable接口和Comparator接口

    泛型基本使用

    泛型通配符和泛型限定

    Map集合下的HashMap和TreeMap

    通过源码分析查看HashMap实现

    Collections集合工具类使用

    其他集合的使用和介绍

  • 08 Java中的IO流

    File类的常用操作

    递归遍历文件夹

    文件过滤器

    IO流结构体系

    IO流原理分析

    IO流的分类

    IO流与文件操作

    流实现文件的读取与拷贝

    文件的复制与性能对比

    装饰者设计模式

    字符编码和解码

    Properties资源文件开发中的应用

    内存流和数据流

    对象流的使用—序列化和反序列化

    RandomAccessFile类

  • 09 Java中的多线程

    程序,进程,线程的关系详解

    线程的原理

    线程的创建与启动

    线程的Thread类和Runnable接口实现

    Thread类和Runnable的匿名内部类实现

    线程的运行状态图解

    线程睡眠(sleep)

    线程合并(join)

    线程设置守护线程

    线程中断操作替代stop方法

    多线程并发访问临界资源安全问题

    synchronized同步锁

    同步锁和同步方法使用

    静态锁和静态同步方法使用

    Java5提供的全新锁对象Lock

  • 09 Java中的多线程

    线程通信

    生产者和消费者设计模式

    Lock和Condition实现生产者和消费者

    单例模式双重检查加锁

    线程的死锁问题

    线程的生命周期

  • 10 Java中网络编程和反射

    网络通讯、七层、四层协议

    TCP/IP传输协议和互联网协议

    UDP协议用户数据包协议

    IP地址和端口号

    InetAddress IP地址类

    Socket和ServerSocket网络编程

    UDP网络传输协议

    JVM内存分析

    反射原理分析

    类的加载过程,加载,连接,初始化

    class获取对象的三种方式

    Constructor构造方法

    Field属性

    Method方法

    类的加载器ClassLoader

  • 11 Java8新特性

    Lambda表达式

    Java可以函数式编

    Lambda表达式与函数式接口

    Lambda表达式引用全局和局部变量

    Lambda方法引用与构造器引用

    Lambda引用特定对象的实例方法

    Lambda引用某类对象的实例方法

    Lambda引用构造方法

    Lambda表达式和匿名内部类的区别

    Lambds表达式应用

    强大的 Stream API

    Stream 操作的核心步骤

    惰性求值与内部迭代

    筛选与切片

    映射与排序

  • 12 Java基础加强

    Tomcat介绍与搭建

    软件B/S和C/S

    JavaWeb核心技术

    Http协议Get和Post

    NIO和NIO.2

    Channels:通道 Buffer:缓冲区 Selectors:选择器

    Path、Paths和Files

    Lombok工具

    内省机制(Introspector)

    JavaBean和Map相互转换

    apache的beanutils和lang组件

    初始注解

    JDK中的四大元注解

    注解的定义和使用

    JDK内置的四大注解

  • 12 Java基础加强

    模拟Junit4功能

    软件测试概述

    搭建junit3的测试环境

    搭建junit4的测试环境

    单元测试的断言操作

    XML文件概述

    XML约束

    XML文档结构分析

    DOM操作

    MapReduce底层算法分析

  • 13 MySQL数据库

    数据库概述

    键值存储数据库详解

    列式储数数据库详解

    文档型数据库详解

    图形数据库详解

    MySQL的安装和使用

    图解MySQL程序结构

    MySQL服务器的配置

    MySQL客户端使用

    SQL语言包含6个部分

    数据查询(DQL)

    数据操作(DML)

    事务处理(TPL)

    数据控制(DCL)

    数据定义(DDL)

  • 13 MySQL数据库

    指针控制语言(CCL)

    数据处理

    范围查询,模糊查询,结果排序

    分页查询

    统计函数

    多表查询

    数据的完整性详解

    数据备份和恢复

    MySQL自身的数据库维护

  • 14 JDBC

    JDBC概述

    JDBC获取数据库的连接

    JDBC相关APIDDL操作DML操作DQL操作

    软件工程编写DAO思想

    JDBC重构设计

    SQL预编译语句对象

    SQL预编译语句对象和静态语句对象对比

    JDBC事物管理操作

    JDBC大数据类型操作

    JDBC获取自动生成的主键

    JDBC连接池

    C3P0和DBCP

    阿里巴巴的项目—Druid.

    JDBC连接池的操作和配置

    JDBC通用结果集处理器

第二阶段

Linux系统 Linux系统& Hadoop生态体系 本章视频介绍
  • 01 Hadoop生态

    什么是Hadoop

    Hadoop产生的背景

    Hadoop在大数据、云计算中的位置和关系

    国内外Hadoop应用案例介绍

    国内外Hadoop就业情况分析

    Hadoop三大发行版本

    Hadoop的技术优势

    Hadoop生态圈及各部件组成介绍

  • 02 分布式系统概述

    分布式软件系统介绍

    分布式软件系统案例

    离线分析系统介绍

    离线分析系统案例需求描述

    离线分析系统案例数据来源

    离线分析系统数据处理流程

    离线分析系统流程图解析

    离线分析系统项目技术架构图

    离线分析系统项目相关截图

    离线分析系统项目最终效果展示

  • 03 Hadoop入门

    配置虚拟机网络环境

    修改主机名

    修改主机为静态Ip

    关闭防火墙并禁用开机自启

    规划安装目录

    解压安装JDK并配置环境变量

    安装单机版Hadoop

    配置Hadoop运行环境hadoop-env.sh

    测试Hadoop环境

    单机运行官方案例WordCount

    单机运行官方案例pi

    单机运行官方案例sudoku(九宫格)

    单机运行官方案例grep

    单机运行官方案例secondarysort(二次排序)

  • 04 Hadoop伪分布式

    Hadoop伪分布式模式说明

    核心配置文件core-site.xml配置及说明

    HDFS配置文件hdfs-site.xml配置及说明

    单进程启动HDFS及Shell命令测试

    查看HDFS的web监控页面

    测试运行MapReduce示例

    YARN配置文件yarn-site.xml配置及说明

    单进程启动Yarn集群

    测试运行MapReduce示例

    MAPRED配置文件mapred-site.xml配置及说明

    测试运行MapReduce示例

    查看YARN的web监控页面

    观察运行MapReduce时的区别

    历史服务配置并启动查看

  • 05 Hadoop全分布式

    Hadoop全分布式模式介绍

    集群规划,主从节点的划分

    环境准备

    jdk安装

    配置主从节点间的ssh免密

    集群各节点配置静态Ip

    集群各节点的映射关系配置hosts

    关闭防火墙并禁用开机自启

    集群间时间同步

    配置Hadoop集群

    批量启动、停止Hadoop集群

    配置集群常见问题

  • 06 HDFS基本概念

    HDFS设计思想

    HDFS基本概念

    HDFS的特性

    HDFS文件块大小设置

    HDFS文件副本数设置

    HDFS的Shell基本操作

    HDFS的客户端使用

    HDFS客户端命令详解

    HDFS常用命令参数介绍

  • 07 HDFS的应用开发

    Maven安装与配置

    搭建开发环境

    获取API中的客户端对象

    DistributedFileSystem实例对象

    HDFS文件上传

    HDFS文件上传中的用户模型

    配置文件的优先级

    HDFS的文件下载

    配置Hadoop的本地环境

    文件下载中使用Java原生API操作本地系统

    HDFS的增删改查

  • 08 HDFS的IO流操作

    IO流操作HDFS文件上传

    IO流操作HDFS文件下载

    IO流操作HDFS文件合并上传

    IO流操作随机读取HDFS文件

    IO流操作按块读取HDFS文件

    HDFS的写数据流程

    剖析文件写入

    网络拓扑

    机架感知

    HDFS的读数据流程

  • 09 NameNode工作机制

    NameNode的职责

    镜像文件和编辑日志文件

    滚动编辑日志

    Namenode版本号

    NameNode元数据手动查看

    Secondary NameNode的职责

    元数据的日志合并

    集群安全模式解决

    Namenode多目录配置

    一致性模型

  • 10  DataNode工作机制

    DataNode的职责

    DataNode的目录结构

    数据完整性

    掉线时限参数详解

    新增数据节点

    下线数据节点

    Datanode多目录配置

    观察验证DATANODE的功能

  • 11  Zookeeper入门

    大型网站分布式演进

    分布式系统中协调服务的必要性

    Zookeeper的概念、特点

    Zookeeper的应用场景

    Zookeeper的数据结构

    Zookeeper集群部署

    Zookeeper工作机制

    Zookeeper的选举机制

    Zookeeper的节点类型

    stat详解

    Zookeeper的监听器原理

  • 12  Zookeeper详解

    Zookeeper详解

    客户端连接

    列举znode路径

    获取znode数据

    监听znode事件

    Zookeeper客户端API

    创建Zookeeper连接客户端

    增删改查znode节点

    监听znode节点

    判断znode是否存在

    案例一:服务器上下线动态感知

    案例二:分布式共享锁

    案例三:分布式通知和协调服务

  • 13 HA框架原理

    HA的运作机制

    集群间数据拷贝

    Hadoop数据存档

    Hadoop快照管理

    Hadoop回收机制

    HDFS的HA工作机制

    HDFS的HA工作要点

    HDFS-HA自动故障转移设置

    监听znode节点

    判断znode是否存在

    案例一:服务器上下线动态感知

    案例二:分布式共享锁

    案例三:分布式通知和协调服务

  • 14 Hadoop-HA集群配置

    环境准备

    集群规划

    配置HDFS-HA集群

    软件分发

    启动HDFS-HA集群步骤

    测试HDFS-HA的自动故障转移

    YARN-HA配置

    YARN-HA启动集群

    HA的管理命令测试

    HDFS Federation架构设计

    HDFS Federation配置详解

  • 15  MapReduce框架原理

    MapReduce的核心思想

    分布式计算框架的核心问题

    分布式计算框架的设计思路

    MapReduce的编程规范

    MapReduce程序运行流程

    MapReduce工作流程

    MapReduce的Job提交流程

    常用数据序列化类型

    自定义bean对象实现序列化

    切片机制

    小文件合并

    自定义InputFormat

  • 16  Shuffle机制

    MapReduce的3大核心问题

    MapTask工作机制

    文件切片处理细节

    Shuffle机制

    Partition分区

    key.compareTo实现排序

    Combiner局部合并组件

    Reduce阶段读取数据

    ReduceTask调用redcue方法的逻辑

    GroupingComparator分组机制

    数据倾斜&分布式缓存机制

    自定义OutputFormat

  • 17  Mapreduce案例一

    统计一批文件中单词出现的次数

    统计每月的最高温度

    求学生的平均成绩

    求学科的平均成绩

    求学生总平均分中每个分数段的人数及比例

    求任意一门学科成绩不及格的学生

    统计学生成材率

    按照文件名求各学科的平均成绩

    多文件输出案例

    自定义Partition分区输出多文件

    计数器应用

    数据压缩配置及应用

  • 18  Mapreduce案例二

    对流量日志中的用户统计总上、下行流量,总流量

    统计流量并按照总流量大小倒序排序

    按省份统计用户流量并输出到不同的省份文件中

    社交好友数据挖掘 -- 求出用户间的共同好友

    简单排序

    内存二次排序

    使用自定义数据类型的二次排序

    TopN-自定义GroupingComparator

    reduce端的join示例

    map端的join示例

    倒排索引

  • 19  Hive入门

    为什么有Hive

    Hive是什么

    Hive的特点

    Hive架构简述

    Hive和MySql的比较

    Hive和Hadoop的关系

    Hive的安装部署

    创建Hive表

    上传数据到Hive的表目录下

    安装MySql数据库

    配置Hive的远程模式

  • 20  Hive DDL数据定义

    创建数据库

    修改数据库

    查询数据库

    查询数据库

    查看数据库定义

    删除数据库

    创建管理表

    创建外部表

    表类型详解

    数据仓库概念

    Like复制表

    修改表名称

    增加修改替换表的字段信息

    删除表

  • 21  Hive分区表

    分区表

    为什么分区

    怎么分区

    Hive分区和MySql分区的区别

    分区的技术

    分区的意义

    创建分区表

    导入数据的方式

    多字段分区案例

    显示分区

    修改分区

    删除分区

    分区类型详解

    动态分区属性设置及示例

    混合分区示例

  • 22  Hive分桶表

    为什么有分桶

    分桶的技术

    分桶关键字

    分桶的意义

    分桶表的使用示例

    分桶查询语句测试

    设置分桶属性

    分桶并排序

    分桶表查询案例

    分区分桶联合案例

    分桶表总结与注意事项

  • 23  Hive查询

    基本查询Select...From

    全表查询和指定字段查询

    表别名、列别名

    算数运算符

    比较运算符

    逻辑运算符

    Where语句

    LIKE和RLIKE

    Group By语句

    Having语句

    Limit语句

  • 24  Hive的高级查询Join与排

    Join的语法与特点

    等值Join

    内连接

    左外连接

    右外连接

    全外连接

    左半连接

    多表Join

    笛卡尔积

    全局排序

    多列排序

    Map端内部排序

    Cluster By分桶查询

    分区排序Distribute by

  • 25  Hive的函数

    系统内置函数介绍

    排名函数(窗口函数)详解

    自定义函数概念

    自定义UDF第一个案例

    UDF使用方式介绍

    自定义UDAF案例

    自定义UDTF案例

    Hive源码编译方式使用UDF

    生日转换成岁数

    根据Key查找Value值

    正则表达式解析日志

    Json数据解析UDF开发

    transform实现UDF功能

    函数实战:级联求和

  • 26  Hive DML数据管理

    数据导入

    Load装载数据

    Insert Into插入数据

    Hadoop命令上传数据到Hive表目录

    创建表时通过Location指定数据存放目录

    克隆表并带数据

    多表导入数据

    Create As复制并加载数据

    Import数据到指定表

    数据导出

    Insert导出

    Hadoop命令导出到本地

    Hive Shell命令导出

    Export导出到HDFS上

    清空表中数据(Truncate)

  • 27  Hive文件存储

    文件读取/解析的方式指定ROW FORMAT

    序列化与反序列化

    列式存储与行式存储

    Hive的数据文件存储格式

    默认存储TextFile格式

    Orc格式

    Parquet格式

    主流文件存储格式对比

    自定义数据压缩存储格式

  • 28  Hive企业级调优

    本地模式设置

    索引

    视图

    Hive的日志

    Hive的压缩

    Hive的运行方式

    Hive表的优化

    Map端Join设置

    Reduce端Join

    Group By

    Count(Distinct)去重统计

    笛卡尔积

    行列过滤

  • 29  Hive企业级调优二

    分区优化

    分桶优化

    动态分区优化

    数据倾斜

    设置Map Task个数

    小文件合并

    复杂文件处理优化

    设置Reduce Task个数

    并行执行

    严格模式设置

    JVM重用

    数据压缩设置

    Explain执行计划

  • 30  Hive企业级项目实战

    微博表设计

    用户表设计

    项目技术选型

    数据清洗

    ETL过程

    统计微博关注数Top10

    统计微博类别热度Top10

    统计微博流量Top10

    统计微博关注数最高的Top20用户

    统计发布微博最多的用户Top10

    JVM调优解决方案

    项目总结

  • 31  Flume详解

    Flume架构

    Flume组件-Source

    Flume组件-Channel

    Flume组件-Sink

    Flume组件-Agent

    Flume数据传输规范-Event

    案例一:采集网络数据源

    案例二:实时采集本地文件到HDFS

    案例三:实时采集目录文件到HDFS

    案例四:多级串联日志采集

    案例五:拦截器的测试使用

    案例六:选择器的测试使用

    案例七:实战项目-日志采集和汇总

    案例八:Flume的高可用和负载均衡

  • 32  Sqoop详解

    Sqoop工作原理

    Sqoop配置安装

    Sqoop导入数据

    Sqoop从RDBMS导入数据到HDFS

    Sqoop从RDBMS导入数据到Hive

    Sqoop导出数据

    Sqoop从HDFS导出数据到RDBMS

    Sqoop从Hive导出数据到RDBMS

    Sqoop作业

    Sqoop命令详解

    Sqoop案例实战

  • 33  Hbase概念

    Hbase来源

    Hbase的架构

    Hbase的元数据

    Hbase的Hmaster功能

    Hbase RegionServer的功能

    Hbase的写流程

    Hbase的读流程

    Hbase的存储机制

    Hbase的寻址机制

    二级索引

    rowkey的设计原则

    列簇设计

    版本控制

  • 34  Hbase的操作

    Hbase的Standalone

    Hbase集群搭建

    Hbase的namespace

    Hbase表创建

    Hbase查询

    Hbase权限设置

    DDl和DML的操作

    Hbase的Java api

    Hbase的过滤器

    region的预分区

    Hbase的TTL

    表重命名

    regionserver的分组

  • 35  Hbase整合

    Mapreduce和hbase的整合

    hbase和spark整合概念

    Hbase与Hive的区别

    Hbase与Hive的整合

    Hbase与sqoop整合

    常用shell操作

    数据的备份与恢复

    节点的管理

    数据回滚

  • 36  Hbase的实战和优化

    电信系统业务需求分析

    电信系统架构设计

    模型构建

    用户表设计

    通信明细

    用户月消费

    环比消费趋势分析

    Hadoop的通用性优化

    协处理器

    Linux优化

    块缓存优化

    批量读写优化

第三阶段

分布式计算框架 Spark&Storm 本章视频介绍
  • 01  scala-01

    安装idea配置环境变量

    Maven本地库配置

    JDK环境变量配置

    scala编译器的使用

    计算表达式

    内置变量

    声明变量

    声明val与var

    声明多个变量

    指定变量类型

    数据类型和操作符

    八大数据类型

    基本操作符

    函数调用与apply函数

    函数调用

  • 01  scala-02

    Apply函数

    if表达式的定义

    if表达式的类型推断

    语句终结符、块表达式

    块表达式的定义

    语句终结符

    输入和输出

    print和println(输出)

    printf(输出)

    readLine(输入)

    while do循环

    for循环

    跳出循环

    高级for循环

    多重for循环

  • 01  scala-03

    for循环推导式

    定义函数

    递归函数与返回类型

    匿名函数与非匿名函数

    默认参数

    带名参数

    lazy的基本操作

    定长数组

    变长数组

    遍历数组

    数组的常见操作

    数组转换

    Map的基本操作

    Map的转换

    Map的遍历

  • 01  scala-04

    集合的拉链操作

    Tuple的基本操作

    Tuple的拉链操作

    定义一个简单的类

    field的getter与setter详解

    constructor详解

    内部类介绍

    半生类

    创建半生对象

    Apply方法详解

    Main方法与APP方法

    用Object实现Java中的枚举

    继承

    Override与super的应用

    isInstanceOf和asInstanceOf

  • 01  scala-05

    getClass和classOf

    抽象类与抽象变量

    trait基础知识

    trait高级知识

    函数式编程

    将函数赋值给变量

    匿名函数

    高阶函数

    高阶函数的类型推断

    Scala的常用高阶函数

    闭包

    Currying函数

    样例类

    偏函数

  • 01  scala-06

    Scala的集合体系结构

    List

    LinkedList

    Set

    集合的函数式编程

    模式匹配的基础语法

    模式匹配的基础语法

    对Array和List的元素进行模式匹配

    case class与模式匹配

    Option与模式匹配

    泛型类

    泛型函数

    上边界Bounds

    下边界Bounds

    View Bounds

  • 01  scala-07

    Context Bounds

    Manifest Context Bounds

    协变和逆变

    隐式转换

    使用隐式转换加强现有类型

    隐式转换函数的作用域与导入

    隐式转换的发生时机

    隐式参数

    Actor的创建、启动和消息收发

    收发case class类型的消息

    Actor之间互相收发消息

    同步消息和Future

    实现Master端通信

    实现Worker端通信

    自定义RPC

  • 01  scala-08

    自定义模拟Master

    自定义模拟Worker

    模拟Master与Worker通信

    线程池

    创建线程池

    线程池的基本操作

    并行与并发思想理念

  • 02  Spark Crore-01

    大数据架构体系

    架构详解

    Spark集群介绍

    Spark集群配置

    Spark集群安装

    Spark集群启动

    Spark高可用配置

    WebUI查看

    Spark Shell单机启动

    Spark Shell集群启动

    Spark基本工作原理

    Spark基本工作原理

    内存模型详解

    堆内内存、堆外内存

    迭代式计算详解

  • 02  Spark Crore-02

    Spark实现经典案例(WordCount详解)

    Java实现WordCount

    Scala实现WordCount

    底层原理梳理

    算子之间的转换调用

    RDD的概念详解

    RDD的两种类型

    创建RDD(集合、本地文件、HDFS文件)

    操作RDD(transformation和action)

    RDD的血缘关系

    键值对RDD的转化操作

    键值对RDD的行动操作

    键值对RDD的数据分区

    常用算子

    常用算子的基本操作

  • 02  Spark Crore-03

    广播变量的概念

    广播变量的使用

    RDD缓存级别

    持久化RDD

    案例练习:基站停留时间TopN需求

    案例练习:基站停留时间TopN实现

    案例练习:学科模块访问量需求

    案例练习:学科模块访问量实现

    案例练习:cache缓存的使用

    案例练习:自定义分区器

    Spark工作原理内部剖析

    宽依赖与窄依赖深度剖析

    基于Yarn的两种提交模式深度剖析

    DAGScheduler原理剖析与源码分析

    TaskScheduler原理剖析与源码分析

  • 02  Spark Crore-04

    Task原理剖析与源码分析

    最佳位置算法剖析

    Shuffle原理剖析与源码分析

    shuffle操作过程中进行数据排序

    会触发shuffle操作的算子

    shuffle操作对性能消耗的原理详解

    shuffle操作所有相关参数详解以及性能调优

    算子原理剖析

    Checkpoint原理剖析

    union算子内部实现原理剖析

    groupByKey算子内部实现原理剖析

    reduceByKey算子内部实现原理剖析

    distinct算子内部实现原理剖析

    cogroup算子内部实现原理剖析

    intersection算子内部实现原理剖析

  • 02  Spark Crore-05

    join算子内部实现原理剖析

    sortByKey算子内部实现原理剖析

    coalesce算子内部实现原理剖析

    repartition算子内部实现原理剖析

    Accumulator(累加器)

    其他算子等

    集群提交模式

    standalone模式原理讲解

    yarn-client模式原理讲解

    yarn-cluster模式原理讲解

    Spark算子的闭包原理详解

    Spark 新特性

    易用性:标准化SQL支持以及更合理的API

    高性能:让Spark作为编译器来运行

    智能化:Structured Streaming介绍

  • 02  Spark Crore-06

    Spark x与x对比以及分析

    Spark核心进阶

    Spark集群架构概览

    Spark集群架构的几点特别说明

    Spark的核心术语讲解

    Spark Standalone集群架构

    单独启动master和worker脚本详解

    worker节点配置以及spark-evnsh参数详解

    实验:local模式提交spark作业

    实验:standalone client模式提交spark作业

    实验:standalone cluster模式提交spark作业

    standalone模式下的多作业资源调度

    standalone模式下的作业监控与日志记录

    实验:运行中作业监控以及手工打印日志

    yarn-client模式原理讲解

  • 02  Spark Crore-07

    yarn-cluster模式原理讲解

    实验:yarn-client模式提交spark作业

    yarn模式下日志查看详解

    yarn模式相关参数详解

    spark工程打包以及spark-submit详解

    spark-submit示例以及基础参数讲解

    SparkConf、spark-submit以及spark-defaultsconf

    spark-submit多个示例以及常用参数详解

    Spark性能优化:

    性能优化概览

    诊断内存的消耗

    高性能序列化类库

    优化数据结构

    对多次使用的RDD进行持久化或Checkpoint

    使用序列化的持久化级别

  • 02  Spark Crore-08

    Java虚拟机垃圾回收调优

    提高并行度

    广播共享数据

    数据本地化

    reduceByKey和groupByKey

    shuffle性能优化

    Spark高级编程

    高级编程之基于排序机制的wordcount程序

    高级编程之二次排序

    高级编程之topn

    transformation操作开发实战

    action操作开发实战

    Task任务详解

    Task的执行流程

    Task的回馈流程

  • 03  Spark SQL

    Spark SQL的发展历史

    Spark SQL的原理介绍

    DataFrame概述

    创建DataFrame的方式

    DSL语法风格操作DataFrame

    SQL语句风格操作DataFrame

    通过反射推断Schema信息

    通过StructType指定Schema信息

    从MySQL中加载数据

    将数据写入到MySQL中

    Spark SQL案例练习

  • 04  Spark Streaming

    Spark Streaming概述

    Spark Streaming的原理介绍

    Spark Streaming与Storm对比

    DStream的概念

    DStream原语类型介绍

    DStream的Transformation(转换)

    DStream的Output(输出)

    updateStateByKey原语介绍

    transform原语介绍

    窗口操作概念分析

    窗口操作应用场景

    窗口操作的batch duration

    窗口长度参数分析

    滑动间隔参数分析

    用Spark Streaming实现单词计数

  • 05  Kafka-01

    Kafka的基本概念

    Kafka的发展历史

    Kafka的应用背景

    JMS基础

    JMS消息传输模型

    JMS的核心组件介绍

    Destination:消息发送的目的地

    Producer: 消息的生产者

    MessageConsumer:消息接受者

    常见JMS消息中间件

    Kafka的组件介绍

    Topic:消息分类

    Producer:生产者

    Consumer消费者

    Broker:集群实例

  • 05  Kafka-02

    Kafka集群部署

    Kafka版本查看

    下载安装包

    解压安装包

    配置文件的修改

    分发安装包

    集群的启动

    Kafka的常用操作命令

    查看所有topic

    创建topic

    删除topic

    通过shell模拟生产者

    通过shell模拟消费者

    查看消费位置

    查看topic详细信息

  • 05  Kafka-03

    Kafka可视化管理器

    生产者Java API熟悉

    消费者Java API熟悉

    Kafka文件存储机制

    Kafka文件存储基本结构

    Kafka分区中的Segment

    Kafka怎样查找消息

    Kafka是怎么做到消息快速存储的

    如何消费已经消费过的数据

    Kafka分区和消费者的关系

    Kafka的topic数据如何同步副本

    如何设置生存周期

    Zookeeper如何管理Kafka

  • 06  ElasticSearch

    全文检索技术简介

    ES安装配置入门

    ES插件安装

    ES基本操作

    Index的概念

    Document的概念

    Type的概念

    map映射的概念

    CURL操作REST命令

    Windows安装CURL

    创建索引

    插入一个文档

    查询文档内容

    更新文档内容

    检查搜索返回对象

  • 06  ElasticSearch-01

    使用Java操作客户端

    新建文档(自动创建索引和映射)

    搜索文档数据(单个索引)

    搜索文档数据(多个索引)

    更新文档数据

    删除文档数据

    条件查询QueryBuilder

    queryStringQuery搜索内容查询

    wildcardQuery通配符查询

    termQuery词条查询

    boolQuery布尔查询

    fuzzyQuery模糊查询

    regexpQuery正则表达式查询

    matchAllQuery查询所有数据

    IK分词器集成ES

  • 06  ElasticSearch-02

    ES常用编程操作

    索引相关操作

    映射相关操作

    文档相关操作

    IK分词器自定义词库

    查询文档分页操作

    在Query的查询中定义加权

    在Field字段的映射中定义加权

    范围过滤器

    布尔过滤器

    Kibana介绍

    Kibana环境准备

    Kibana安装

    Kibana演示

  • 07  Logstash

    Logstash介绍

    Input组件介绍

    Filter组件介绍

    Output组件介绍

    Logstash与Flume比较

    Logstash的安装

    Logstash运行

    Logstash配置讲解

    Logstash结合Kafka、ES数据对接

  • 08  Kibana

    Kibana介绍

    Kibana环境准备

    Kibana安装

    Kibana演示

    "Discovery" 菜单界面

    "Visualize 菜单界面

    "Dashboard" 菜单界面

    Timelion的可视化

    "Dev Tools" 菜单界面

  • 09  Redis-01

    NoSQL数据库的分类

    Redis介绍

    Redis发展历史

    Redis的应用场景

    下载Redis

    安装环境设置

    Redis安装

    启动Redis

    Redis自带客户端

    Redis桌面管理工具

    Java客户端(Jedis)

    Jedis介绍

    环境准备和工程搭建

    单机连接Redis

    连接池连接Redis

  • 09  Redis-02

    Redis数据类型

    String类型

    Hash类型

    List类型

    Set类型

    SortedSet类型

    Keys命令介绍

    设置key的生存时间

    Redis的持久化

    rdb方式

    aof方式

    Redis主从复制

    环境准备

    主机配置

    从机配置

  • 09  Redis-03

    主从启动及操作

    Redis的事务功能

    事务功能的相关命令

    事务的使用方法

    事务内部的错误

    为什么Redis不支持事务回滚

    丢弃命令队列

    通过CAS操作实现乐观锁

    WATCH命令详解

    Redis脚本和事务

    Redis集群

    Redis集群架构图

    容错机制

    集群搭建

    Ruby环境搭建

第四阶段

项目阶段 大数据实战项目 本章视频介绍
  • 01   互金领域-广告投放

    项目介绍:

    构建广告投放平台,进行广告投放业务,吸引潜在客户,推广产品,包含投
    放微服务平台、竞价模块、客户群体画像、千人千面推荐产品。

    业务:

    1 基于大数据及数据挖掘进行精准营销,逐步形成用户画像
    2 进行产品及品牌推广、传播
    3 精细控制各个环节转化率及成本

    项目架构:

    hadoop+alluxio:数据分布式存储
    hive/spark sql:数据清洗和分析工具
    kylin:数据预处理
    elasticsearch:数据存储和分析
    apache superset:数据可视化展示
    kafka:消息队列,用于实时指标
    flink/spark streaming:实时指标的分析工具
    redis:用于辅助分析
    mongodb:用于结果存储和辅助分析
  • 02   电商平台

    项目介绍:

    埋点业务,进行用户细分画像、建立信用体系、进行线上各类活动。

    业务:

    1 根据埋点数据,结合漏斗及路径分析,刻画用户消费群体,了解用户消费习惯
    2 分析数据,形成用户行为轨迹,定位转化率、跳出率、流失率相关原因
    3 为商品推荐、线上活动等服务提供数据支撑

    项目架构:

    hadoop+alluxio:前端埋点数据分布式存储
    hive/spark sql:对采集好的数据进行指标分析工具
    kylin:对hive中的数据进行预加载
    elasticsearch:数据存储
    apache superset:最终结果数据的可视化工具
    flink/spark streaming:实时统计工具
    mongodb:分布式的存储
  • 03   共享单车

    项目介绍:

    依据用户行为轨迹构成出行规律,根据用户群体出行规律、区域情况等动态调
    度用车情况。

    业务:

    1 构建用户出行规律
    2 不同维度构建(时间、区域、天气、节假日等)构建热点区域
    3 风控体系

    项目架构:

    hadoop+alluxio:将收集好的数据进行存储
    hive/spark sql:数据清洗和分析工具
    kylin:数据预处理工具
    elasticsearch:存储和分析工具
    apache superset:项目展示工具
    kafka:消息队列,用于做实时数据对接
    flink/spark streaming:实时统计工具
    redis:辅助分析
    ......
  • 04   工业大数据

    项目介绍:

    国家电网_省级输/变电监控项目:监控线路的传感设备,确保设备安全、
    降低故障成本,动态监控线路、变电站二次设备工作情况、报警自动化。

    业务:

    1 动态监控线路/变电站二次设备工作情况
    2 设备故障自动报警
    3 设备老化趋势呈现
    4 安防部分:分析数据并结合第三方进行视频监控

    项目架构:

    hadoop:生态体系,用于数据存储、清洗
    kafka:消息队列,实时指标数据对接
    spark streaming:实时指标的分析工具
    elasticsearch:数据存储载体
    hive:数据仓库工具
    redis:辅助数据分析工具
    mongodb:源数据和结果数据的存储载体
    vue:项目流行的可视工具
  • 05   交通

    项目介绍:

    贵州交通厅,交通离线/实时监控项目:通过交通卡口采集实时数据,动态监
    控全省各道路通行和事故状况,避免拥堵、避免交通事故、精准测速、防止
    套牌和提供便捷最佳出行方案,预测拥堵系数,为各级提供最优道路规划方案。

    业务:

    1、车牌号空、车牌号重复、车速为0、车速起始时间异常等数据清洗。
    2、超速分析、严重超速分析
    3、车流量分析、拥堵分析、实时流量监控
    4、车辆限号分析、车辆套牌分析
    5、道路事故分析

    项目架构:

    hadoop:用于数据存储、清洗
    hive:数据仓库分析工具
    spark core:数据清洗工具和分析工具
    spark sql:使用sql来分析相关指标
    spark streaming:用于实时流量监控指标分析
    ......
  • 06    旅游

    项目介绍:

    安顺智慧旅游,整合各类旅游相关应用系统及信息资源,在公安、交通、工商
    等相关领域实现信息共享、协同合作,共同打造良性的旅游云生态系统。

    业务:

    1、酒店价格监测变化
    2、客源地统计
    3、旅游目的满意度指数
    4、游客年龄分布、游客饮食偏好
    5、景区待客统计、景区舆情分析

    项目架构:

    hadoop:分布式数据存储、清洗
    cassandra:基于hdfs的分布式数据的存储
    hive/spark sql:使用sql来分析相关指标
    spark streaming:舆情监测分析实时指标统计
    redis:非关系型数据库,用于辅助分析
    mongodb:结果数据存储
    ......
  • 07    医疗

    项目介绍:

    某市人民医院,随着老年化的持续增加,患病率越来越高。增加大数据平台,
    采集医疗相关数据,提高诊断的准确性,预防一些疾病的发生,监控相关病
    情康复进展,真正实现解决看病难,降低发病率等。

    业务:

    1、预防指标分析,如运动步数、卡里路消耗、运动心率等
    2、体重、血压、脂肪监测
    3、发病人群统计
    4、各科室患者用药及康复状况监测
    5、统计病种相关标签库

    项目架构:

    hadoop:集分布式存储、分析和清洗工具
    flume:数据的采集工具
    sqoop:数据迁移工具
    hbase:基于hdfs的分布式数据存储工具
    hive/spark:项目分析框架
    .......

六类主流企业级项目实操 入学即名企岗前培训

  • 互金领域
  • 电商平台
  • 共享单车
  • 工业大数据
  • 交通
  • 旅游
  • 医疗

项目介绍

国家电网省级输/变电监控项目:

监控线路的传感设备,确保设备安全、
降低故障成本,动态监控线路、
变电站二次设备工作情况、报警自动化。

业务:

1 动态监控线路/变电站二次设备工作情况

2 设备故障自动报警

3 设备老化趋势呈现

4 安防部分:分析数据并结合第三方进行视频监控

项目架构

hadoop:生态体系,用于数据存储、清洗

kafka:消息队列,实时指标数据对接

spark streaming:实时指标的分析工具

elasticsearch:数据存储载体

hive:数据仓库工具

redis:辅助数据分析工具

mongodb:源数据和结果数据的存储载体

vue:项目流行的可视工具

大数据教学天团强悍助攻 鼻祖级大咖为你赋能

李老师

原新浪微博架构师

10年以上大数据研发经验
伯克利大学大数据实验室研发者
找TA聊聊

10年大数据研发经验,独自架构并且研发基于Spark的个性化人工智能的推荐系统,新浪门户的DSP广告投放系统,国家电网大数据平台等综合项目。3年教学经验,教学研发了框架结构化,编程自由化和体系信息化,参与过美国伯克利大学的大数据实验室的组件研发。精通大数据框架的性能调优,数据倾斜和TroubleShooting。

给学员的话

技术来源于生活!

免费课程试听
真实学员测评
  • 机器学习入门导论(上)中级

    免费
    456人已学习
  • 机器学习入门导论(中)中级

    免费
    456人已学习
  • 机器学习入门导论(下)中级

    免费
    456人已学习
  • — 学员评价分析报告 —

    97.85分 *此分数为该讲师各班
    平均测评分数,
    信息真实有效
  • 高*亮

    钊哥帅气讲得好,技术精湛,管理一流!棒棒棒!!
  • 刘*元

    幽默风趣,新浪技术官果然名不虚传!
  • 朱*鹏

    教学与案例并行,让知识更透彻

量体裁衣 保障学员从入学到入职无缝对接

即刻连线专属咨询顾问 规划你的职业发展路线

或许你还有更多的疑惑需要解答

想问的都没有?更多疑难杂症点这里
  • 北京天丰利校区(总部)地址:北京市海淀区宝盛北里西区28号天丰利商城4层
    北京沙河校区:北京市昌平区沙阳路18号北京科技职业技术学院广场服务楼2、3层
    咨询电话:400-811-9990
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 深圳西部硅谷校区地址:深圳市宝安区宝安大道5010号深圳西部硅谷B座A区605-619
    深圳大学城校区地址:深圳市南山区留仙大道1201号大学城创客小镇16栋3楼
    咨询电话: 0755-23015275/23015546-801(硅谷) 0755-86660670-801(大学城)
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 上海校区地址:上海市宝山区同济支路199号智慧七立方3号楼2-4层
    咨询电话:400-811-9990 021-65233829-609
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 郑州校区地址:郑州市二七区航海中路60号海为科技园C区10层、12层
    咨询电话:0371-55191750
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 广州校区地址:广州市天河区元岗路200号慧通产业园B9三层
    咨询电话:020-38035223 020-38035220
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 大连校区地址:辽宁省大连市高新园区爱贤街10号大连设计城A座901
    咨询电话:400-811-9990
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 武汉金融港校区地址:武汉市东湖高新技术开发区光谷大道77号金融港B18栋3楼
    武汉智慧园校区地址:武汉市东湖高新技术开发区光谷大道61号智慧园21栋2楼
    咨询电话:027-59313371
    面授课程:HTML5大前端培训、全链路UI/UE设计培训、PHP全栈+服务器集群培训、JavaEE+分布式开发培训、大数据+人工智能培训、 Unity游戏开发培训、360网络安全、Python培训、云计算+信息安全培训、全栈软件测试培训、智能物联网+嵌入式培训
  • 成都校区地址:成都市武侯区科华北路62号力宝大厦N(北楼)18楼
    咨询电话:400-811-9990 028-83178771
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 西安校区地址:西安市雁塔区高新六路52号立人科技C座西区4楼
    咨询电话:029-85363390
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 杭州旺田校区:浙江省杭州市江干区九堡旺田书画城A座4层
    杭州龙驰校区:浙江省杭州市下沙经济技术开发区元成路199号龙驰智慧谷B座7层
    咨询电话:400-811-9990 0571-86893632/0571-86094032
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 青岛校区地址:青岛市市北区龙城路卓越世纪中心3号楼8层801
    咨询电话:0532-80911190
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 重庆校区地址:重庆市高新区科园一路2号大西洋国际12-1
    咨询电话:400-811-9990 023-68883009
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 长沙校区地址:湖南省长沙市岳麓区麓谷企业广场A2栋三单元306号
    咨询电话:0731-85513210
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 哈尔滨校区地址:哈尔滨市松北区创新一路699号 科技创新城19号楼B座五楼
    咨询电话:400-811-9990/0451-87173191
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 南京校区地址:南京市建邺区应天大街780号应天智汇产业园弘辉园1幢2楼
    咨询电话:400-811-9990
    面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员
  • 千锋教育服务号

    了解千锋动态
    关注千锋教育服务号

  • 千锋教育移动站

    扫一扫快速进入
    千锋移动端页面

  • 千锋互联服务号

    扫码匿名提建议
    直达CEO信箱