大数据高端课程
学习改变命运，技术成就高薪

bt365手机投注聘请久经沙场的名企骨干，历时两年精心策划，打造大数据高端课程大纲，同时随着互联网的发展不断更新课程，一直走在行业最前沿。课程涵盖大数据体系中的核心技术Hadoop、Storm、Spark等，全面涵盖企业对大数据人才需求的技术点。

• 1助你成为精英人才的高端课程

  bt365手机投注覆盖大数据行业主流技术岗位，课程体系两三个月更新升级一次，紧跟市场和企业步伐。课程分为七个阶段，涵盖Hadoop、Storm、Spark等核心技术，大牛讲师细心讲解，教学循序渐进，培养体系严谨、实用，助你在四个月之后成为大数据精英人才。

  3面对面辅导，专注培优模式

  一、中途如果耽误几天学习的话可以通过完成老师的作业弥补进度，不会的可以随时问老师。 二、学习的流程分为预习、听课、整理笔记、作业（每周定期检查作业，并针对反馈情况进行讲解）、复习、考试、项目阶段跟踪检查。 三、预习笔记是bt365手机投注一再强调的学习法宝，每个同学在bt365手机投注都要养成课前预习的习惯，做到听课事半功倍。 四、开课后根据学生的作业及测验情况形成关怀名单，对成绩较差的重点辅导，保证学员不落后。 五、不抛弃，不放弃，让每一位学员都能成才。

• 2真实项目贯穿全程

  为提高学员的实战能力，bt365手机投注采用更科学的教学方法：项目驱动法。bt365手机投注专门引进各大合作企业的实战项目，以项目为主线，主导知识点学习 ，27种项目类型，近200个优选项目，解决方案覆盖面广，技术架构体系先进，讲师手把手指导，全面提升实战能力。

  4合理规划，高效学习

  除了浓厚的学习氛围之外，bt365手机投注课程大纲中还明确标明出晚自习及周六日的学习目标与学习内容，让学员理清学习重点，合理规划时间，将效率发挥到极致。

课程项目	授课内容
1.1.Java开发介绍	1.1.1Java的发展历史 1.1.2Java的应用领域 1.1.3Java语言的特性 1.1.4Java面向对象 1.1.5Java性能分类 1.1.6搭建Java环境 1.1.7Java工作原理
1.2.熟悉Eclipse开发工具	1.2.1Eclipse简介与下载 1.2.2安装Eclipse的中文语言包 1.2.3Eclipse的配置与启动 1.2.4Eclipse工作台与视图 1.2.5“包资源管理器”视图 1.2.6使用Eclipse 1.2.7使用编辑器编写程序代码
1.3.Java语言基础	1.3.1Java主类结构 1.3.2基本数据类型 1.3.3变量与常量 1.3.4Java运算符 1.3.5数据类型转换 1.3.6代码注释与编码规范 1.3.7Java帮助文档
1.4.Java流程控制	1.4.1复合语句 1.4.2条件语句 1.4.3if条件语句 1.4.4switch多分支语句 1.4.5while循环语句 1.4.6do…while循环语句 1.4.7for循环语句
1.3.Java语言基础	1.3.1Java主类结构 1.3.2基本数据类型 1.3.3变量与常量 1.3.4Java运算符 1.3.5数据类型转换 1.3.6代码注释与编码规范 1.3.7Java帮助文档
1.5.Java字符串	1.5.1String类 1.5.2连接字符串 1.5.3获取字符串信息 1.5.4字符串操作 1.5.5格式化字符串 1.5.6使用正则表达式 1.5.7字符串生成器
1.6.Java数组与类和对象	1.6.1数组概述 1.6.2一维数组的创建及使用 1.6.3二维数组的创建及使用 1.6.4数组的基本操作 1.6.5数组排序算法 1.6.6Java的类和构造方法 1.6.7Java的对象、属性和行为
1.7.数字处理类与核心技术	1.7.1数字格式化与运算 1.7.2随机数与大数据运算 1.7.3类的继承与Object类 1.7.4对象类型的转换 1.7.5使用instanceof操作符判断对象类型 1.7.6方法的重载与多态 1.7.7抽象类与接口
1.8I/O与反射、多线程	1.8.1流概述与File类 1.8.2文件输入/输出流 1.8.3缓存输入/输出流 1.8.4Class类与Java反射 1.8.5Annotation功能类型信息 1.8.6枚举类型与泛型 1.8.7创建、操作线程与线程安全
1.9Swing程序与集合类	1.9.1常用窗体 1.9.2标签组件与图标 1.9.3常用布局管理器与面板 1.9.4按钮组件与列表组件 1.9.5常用事件监听器 1.9.6集合类概述 1.9.7Set集合与Map集合及接口

课程项目	授课内容
2.1PC端网站布局	2.1.1HTML基础，CSS基础，CSS核心属性 2.1.2CSS样式层叠，继承，盒模型 2.1.3容器，溢出及元素类型 2.1.4浏览器兼容与宽高自适应 2.1.5定位，锚点与透明 2.1.6图片整合 2.1.7表格，CSS属性与滤镜 2.1.8CSS优化
2.2HTML5+CSS3基础	2.2.1HTML5新增的元素与属性 2.2.2CSS3选择器 2.2.3文字字体相关样式 2.2.4CSS3位移与变形处理 2.2.5CSS32D、3D转换与动画 2.2.6弹性盒模型 2.2.7媒体查询 2.2.8响应式设计
2.3WebApp页面布局	2.3.1移动端页面设计规范 2.3.2移动端切图 2.3.3文字流式/控件弹性/图片等比例的布局 2.3.4等比缩放布局 2.3.5viewport/meta 2.3.6rem/vw的使用 2.3.7flexbox详解 2.3.8移动web特别样式处理
2.4原生JavaScript交互功能开发	2.4.1什么是JavaScript 2.4.2JavaScript使用及运作原理 2.4.3JavaScript基本语法 2.4.4JavaScript内置对象 2.4.5事件，事件原理 2.4.6JavaScript基本特效制作 2.4.7cookie存储 2.4.8正则表达式
2.5Ajax异步交互	2.5.1Ajax概述与特征 2.5.2Ajax工作原理 2.5.3XMLHttpRequest对象 2.5.4同步与异步 2.5.5Ajax异步交互 2.5.6Ajax跨域问题 2.5.7Ajax数据的处理 2.5.8基于WebSocket和推送的实时交互
2.6JQuery应用	2.6.1各选择器使用及应用优化 2.6.2Dom节点的各种操作 2.6.3事件处理、封装、应用 2.6.4jQuery中的各类动画使用 2.6.5可用性表单的开发 2.6.6jQueryAjax、函数、缓存； 2.6.7jQuery编写插件、扩展、应用 2.6.8理解模块式开发及应用

课程项目	授课内容
3.1数据库	3.1.1Mysql数据库 3.1.2JDBC开发 3.1.3连接池和DBUtils 3.1.4Oracle介绍 3.1.5MongoDB数据库介绍 3.1.6apache服务器/Nginx服务器 3.1.7Memcached内存对象缓存系统
3.2JavaWeb开发核心	3.2.1XML技术 3.2.2HTTP协议 3.2.3Servlet工作原理解析 3.2.4深入理解Session与Cookie 3.2.5Tomcat的系统架构与设计模式 3.2.6JSP语法与内置对象 3.2.7JDBC技术 3.2.8大浏览量系统的静态化架构设计
3.3JavaWeb开发内幕	3.3.1深入理解Web请求过程 3.3.2JavaI/O的工作机制 3.3.3JavaWeb中文编码 3.3.4Javac编译原理 3.3.5class文件结构 3.3.6ClassLoader工作机制 3.3.7JVM体系结构与工作方式 3.3.8JVM内存管理

	授课内容
4.1Linux体系	4.1.1VMwareWorkstation虚拟软件安装过程、CentOS虚拟机安装过程 4.1.2了解机架服务器，采用真实机架服务器部署linux 4.1.3Linux的常用命令：常用命令的介绍、常用命令的使用和练习 4.1.4Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用； 4.1.5Linux启动流程，运行级别详解，chkconfig详解 4.1.6VI、VIM编辑器：VI、VIM编辑器的介绍、VI、VIM扥使用和常用快捷键 4.1.7Linux用户和组账户管理：用户的管理、组管理 4.1.8Linux磁盘管理，lvm逻辑卷，nfs详解 4.1.9Linux系统文件权限管理：文件权限介绍、文件权限的操作 4.1.10Linux的RPM软件包管理：RPM包的介绍、RPM安装、卸载等操作 4.1.11yum命令，yum源搭建 4.1.12Linux网络：Linux网络的介绍、Linux网络的配置和维护 4.1.13Shell编程：Shell的介绍、Shell脚本的编写 4.1.14Linux上常见软件的安装：安装JDK、安装Tomcat、安装mysql,web项目部署
4.2Hadoop离线计算大纲	4.2.1Hadoop生态环境介绍 4.2.2Hadoop云计算中的位置和关系 4.2.3国内外Hadoop应用案例介绍 4.2.4Hadoop概念、版本、历史 4.2.5Hadoop核心组成介绍及hdfs、mapreduce体系结构 4.2.6Hadoop的集群结构 4.2.7Hadoop伪分布的详细安装步骤 4.2.8通过命令行和浏览器观察hadoop 4.2.9HDFS底层&&datanode,namenode详解&&shell&&Hdfsjavaapi 4.2.10Mapreduce四个阶段介绍 4.2.11Writable 4.2.12InputSplit和OutputSplit 4.2.13Maptask 4.2.14Shuffle：Sort，Partitioner，Group,Combiner 4.2.15Reducer 4.2.16Mapreducer案例：1)二次排序 4.2.17倒排序索引 4.2.18最优路径 4.2.19电信数据挖掘之-----移动轨迹预测分析（中国棱镜计划） 4.2.20社交好友推荐算法 4.2.21互联网精准广告推送算法 4.2.22阿里巴巴天池大数据竞赛《天猫推荐算法》 4.2.23Mapreduce实战pagerank算法 4.2.24Hadoop2.x集群结构体系介绍 4.2.25Hadoop2.x集群搭建 4.2.26NameNode的高可用性（HA） 4.2.27HDFSFederation 4.2.28ResourceManager的高可用性（HA） 4.2.29Hadoop集群常见问题和解决方法 4.2.30Hadoop集群管理
4.3分布式数据库Hbase	4.3.1Hbase简介 4.3.2HBase与RDBMS的对比 4.3.3数据模型 4.3.4系统架构 4.3.5HBase上的MapReduce 4.3.6表的设计 4.3.7集群的搭建过程讲解 4.3.8集群的监控 4.3.9集群的管理 4.3.10HBaseShell以及演示 4.3.11Hbase树形表设计 4.3.12Hbase一对多和多对多表设计 4.3.13Hbase微博案例 4.3.14Hbase订单案例 4.3.15Hbase表级优化 4.3.16Hbase写数据优化 4.3.17Hbase读数据优化 4.3.18HbaseAPI操作 4.3.19hbasemapdreduce和hive整合
4.4数据仓库Hive	4.4.1数据仓库基础知识 4.4.2Hive定义 4.4.3Hive体系结构简介 4.4.4Hive集群 4.4.5客户端简介 4.4.6HiveQL定义 4.4.7HiveQL与SQL的比较 4.4.8数据类型 4.4.9外部表和分区表 4.4.10ddl与CLI客户端演示 4.4.11dml与CLI客户端演示 4.4.12select与CLI客户端演示 4.4.13Operators和functions与CLI客户端演示 4.4.14Hiveserver2与jdbc 4.4.15用户自定义函数（UDF和UDAF）的开发与演示 4.4.16Hive优化 4.4.17serde
4.5数据迁移工具Sqoop	4.5.1Sqoop简介以及使用 4.5.2Sqoopshell使用 4.5.3Sqoop-import 4.5.4DBMS-hdfs 4.5.5DBMS-hive 4.5.6DBMS-hbase 4.5.7Sqoop-export
4.6Flume分布式日志框架	4.6.1flume简介-基础知识 4.6.2flume安装与测试 4.6.3flume部署方式 4.6.4flumesource相关配置及测试 4.6.5flumesink相关配置及测试 4.6.6flumeselector相关配置与案例分析 4.6.7flumeSinkProcessors相关配置和案例分析 4.6.8flumeInterceptors相关配置和案例分析 4.6.9flumeAVROClient开发 4.6.10flume和kafka的整合

课程项目	授课内容
5.1数据获取、数据处理、数据分析、数据展现、数据应用	5.1.1某大型的一线网站的日志分析和订单管理在实战中学习，技术点非常多，怎么样实际运用这些点是我们在自学过程中体验不到的。Cookie日志分析包括：pv、uv，跳出率，二跳率、广告转化率、搜索引擎优化等，订单模块有：产品推荐，商家排名，历史订单查询，订单报表统计等。 5.1.2架构：SDK（JavaaSDK、JSSDK）+lvs+nginx集群+flume+hdfs2.x+hive+hbase+MR+MySQL 5.1.3项目流程：a)Web项目和云计算项目的整合 b)Flume通过avro实时收集web项目中的日志 c)数据的ETL d)Hive批量sql执行 e)Hive自定义函数 f)Hive和hbase整合。 g)Hbase数据支持sql查询分析 h)Mapreduce数据挖掘 i)Hbasedao处理 j)Sqoop在项目中的使用。 k)Mapreduce定时调用和监控

课程项目	授课内容
6.1Python编程语言	6.1.1介绍Python以及特点 6.1.2Python的安装 6.1.3Python基本操作（注释、逻辑、字符串使用等） 6.1.4Python数据结构（元组、列表、字典） 6.1.5使用Python进行批量重命名小例子 6.1.6Python常见内建函数 6.1.7更多Python函数及使用常见技巧 6.1.8异常 6.1.9Python函数的参数讲解 6.1.10Python模块的导入 6.1.11Python中的类与继承 6.1.12网络爬虫案例 6.1.13数据库连接，以及pip安装模块 6.1.14Mongodb基础入门 6.1.15讲解如何连接mongodb 6.1.16Python的机器学习案例
6.2Scala编程语言	6.2.1scala解释器、变量、常用数据类型等 6.2.2scala的条件表达式、输入输出、循环等控制结构 6.2.3scala的函数、默认参数、变长参数等 6.2.4scala的数组、变长数组、多维数组等 6.2.5scala的映射、元组等操作 6.2.6scala的类，包括bean属性、辅助构造器、主构造器等 6.2.7scala的对象、单例对象、伴生对象、扩展类、apply方法等 6.2.8scala的包、引入、继承等概念 6.2.9scala的特质 6.2.10scala的操作符 6.2.11scala的高阶函数 6.2.12scala的集合 6.2.13scala数据库连接
6.3Spark大数据处理	6.3.1Spark介绍 6.3.2Spark应用场景 6.3.3Spark和HadoopMR、Storm的比较和优势 6.3.4RDD 6.3.5Transformation 6.3.6Action 6.3.8Spark计算PageRank 6.3.9Lineage 6.3.10Spark模型简介 6.3.11Spark缓存策略和容错处理 6.3.12宽依赖与窄依赖 6.3.13Spark配置讲解 6.3.14Spark集群搭建 6.3.15集群搭建常见问题解决 6.3.16Spark原理核心组件和常用RDD 6.3.17数据本地性 6.3.18任务调度 6.3.19DAGScheduler 6.3.20TaskScheduler 6.3.21Spark源码解读 6.3.22性能调优 6.3.23Spark和Hadoop2.x整合：SparkonYarn原理
6.4Spark—Streaming大数据处理	6.4.1SparkStreaming：数据源和DStream 6.4.2无状态transformation与有状态transformation 6.4.3StreamingWindow的操作 6.4.4sparksql编程实战 6.4.5spark的多语言操作 6.4.6spark最新版本的新特性
6.5Spark—Mlib机器学习	6.5.1Mlib简介 6.5.1SparkMLlib组件介绍 6.5.1基本数据类型 6.5.1回归算法 6.5.1广义线性模型 6.5.1逻辑回归 6.5.1分类算法 6.5.1朴素贝叶斯 6.5.1决策树 6.5.1随机森林 6.5.1推荐系统 6.5.1聚类 h)Kmeans i)Sparsekmeans j)Kmeans++ k)KmeansII l)Streamingkmeans m)GaussianMixtureModel
6.6Spark—GraphX图计算	6.6.1二分图 6.6.2概述 6.6.3构造图 6.6.4属性图 6.6.5PageRank
6.7实战一：基于Spark的推荐系统（某一线公司真实的项目）	6.7.1个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台，以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务 6.7.2项目技术架构体系： a)实时流处理Kafka，SparkStreaming b)分布式运算Hadoop，Spark c)数据库Hbase，Redis d)机器学习SparkMllib e)前台web展示数据Struts2，echart f)分布式平台Hadoop，Spark g)数据清洗Hive h)数据分析RRStudio i)推荐服务Dubbox j)规则过滤Drools k)机器学习MLlib
6.8实战二：通过收集新浪的Cookie每个产生的日志，分析统计出该网站的流量相关信息和竞价广告位	6.8.1项目技术架构体系： 1.通过flume把日志数据导入到HDFS中，使用hive进行数据清洗 2.提供web视图供用户使用，输入查询任务参数，写入MySQL 3.使用spark根据用户提交的任务参数，进行session分析，进行单挑率分析 4.使用sparksql进行各类型热门广告统计 5.使用flume将广告点击日志传入kafka，使用sparkstreaming进行广告点击率的统计 6.web页面显示MySQL中存储的任务执行结果

课程项目	授课内容
7.1storm技术架构体系	7.1.1项目技术架构体系： 7.1.2Storm是什么 7.1.3Storm架构分析 7.1.4Storm编程模型、Tuple源码、并发度分析 7.1.5Maven环境快速搭建 7.1.6StormWordCount案例及常用Api 7.1.7Storm+Kafka+Redis业务指标计算 7.1.8Storm集群安装部署 7.1.9Storm源码下载编译
7.2Storm原理与基础	7.2.1Storm集群启动及源码分析 7.2.2Storm任务提交及源码分析 7.2.3Storm数据发送流程分析 7.2.4Strom通信机制分析浅谈 7.2.5Storm消息容错机制及源码分析 7.2.6Storm多stream项目分析 7.2.7StormTrident和传感器数据 7.2.8实时趋势分析 7.2.9StormDRPC(分布式远程调用)介绍 7.2.10StormDRPC实战讲解 7.2.11编写自己的流式任务执行框架
7.3消息队列kafka	7.3.1消息队列是什么 7.3.2kafka核心组件 7.3.3kafka集群部署实战及常用命令 7.3.4kafka配置文件梳理 7.3.5kafkaJavaApi学习 7.3.6kafka文件存储机制分析 7.3.7kafka的分布与订阅 7.3.8kafka使用zookeeper进行协调管理
7.4Redis工具	7.4.1nosql介绍 7.4.2redis介绍 7.4.3redis安装 7.4.4客户端连接 7.4.5redis的数据功能 7.4.6redis持久化 7.4.7redis应用案例
7.5zookeeper详解	7.5.1zookeeper简介 7.5.2zookeeper的集群部署 7.5.3zookeeper的核心工作机制 7.5.4zookeeper的命令行操作 7.5.5zookeeper的客户端API 7.5.6zookeeper的应用案例 7.5.7zookeeper的原理补充
7.6实战一：日志告警系统项目	7.6.1项目技术架构体系： 1）推荐系统基础知识 2）推荐系统开发流程分析 3）mahout协同过滤Api使用 4）Java推荐引擎开发实战 5）推荐系统集成运行
7.7实战二：猜你喜欢推荐系统实战	7.7.1项目技术架构体系： 1）推荐系统基础知识 2）推荐系统开发流程分析 3）mahout协同过滤Api使用 4）Java推荐引擎开发实战 5）推荐系统集成运行7.7.7drpctopologybuilder