大連數據分析的培訓

階段一：走進大數據

第1周 學好大數據先攻克Linux

在步入大數據殿堂之前，先帶領大家快速掌握大數據的必備技能：Linux的操作使用，為后面學習大數據技術打下堅實基礎。

課程安排：

1、掌握Linux虛擬機的安裝和配置

2、使用ScecureCRT連接Linux虛擬機

3、掌握Linux中常見高級命令(vi、wc、sort、date、jps、kill等命令)的使用

4、掌握Linux中三劍客(grep、sed、awk)的常見用法

5、掌握Linux的高級配置(ip、hostname、防火墻)

6、掌握Shell腳本的開發

7、掌握Shell中變量、循環和判斷的使用

8、掌握Shell中的擴展內容

9、掌握Linux中crontab定時器的使用

10、了解認識什么是大數據

11、大數據產生的背景

12、大數據的4V特征

13、大數據的行業應用

第2周 大數據起源之初識Hadoop

Hadoop是大數據學習大數據必經之路，本周帶領大家了解Hadoop，以及Hadoop集群的安裝部署。

課程安排：

1、什么是Hadoop

2、Hadoop發行版介紹

3、Hadoop版本演變歷史

4、Ha*****.x的細節優化

5、Hadoop三大核心組件介紹

6、偽分布集群安裝部署

7、分布式集群安裝部署

8、Hadoop的客戶端節點

第3周 Hadoop之HDFS的使用

通過生活場景"小明租房"案例引入HDFS核心架構，掌握HDFS的常見Shell操作以及Java代碼操作，對以后實現海量數據的存儲打下基礎。

課程安排：

1、生活場景引入："小明租房"案例一步一步引入Hadoop中的分布式存儲架構

2、HDFS的Shell介紹

3、HDFS的常見Shell操作

4、HDFS案例實操

5、Java代碼操作HDFS

第4周 Hadoop之HDFS核心進程剖析

通過對HDFS中核心進程NameNode、SecondaryNameNode、DataNode進行詳細分析，幫助大家更好的理解HDFS的底層原理

課程安排：

1、NameNode介紹

2、NameNode深入

3、SecondaryNameNode介紹

4、DataNode介紹

5、HDFS的回收站

6、HDFS的安全模式詳解

7、實戰：定時上傳數據至HDFS

8、HDFS的高可用和高擴展機制分析

第5周 Hadoop之初識MR

通過"計算撲克牌中的黑桃個數"案例引入MapReduce的思想，詳細分析了MapReduce的執行流程，并且通過開發WordCount案例加深理解。

課程安排：

1、MapReduce介紹

2、 MapReduce執行原理

3、實戰：WordCount案例圖解

4、實戰：WordCount案例開發

5、MapReduce任務日志查看

6、停止Hadoop集群中的任務

7、MapReduce程序擴展

階段二：PB級離線數據計算分析方案

第6周 拿來就用的企業級解決方案

詳細分析了小文件的解決方案、數據傾斜的解決方案、YARN調度器的使用、以及Hadoop在CDH和HDP中的使用。

課程安排：

1、小文件問題之SequenceFile

2、小文件問題之MapFile

3、案例：小文件存儲和計算

4、 數據傾斜問題分析

5、數據傾斜案例實戰

6、YARN的基本情況介紹

7、YARN中的調度器分析

8、案例：YARN多資源隊列配置和使用

9、Hadoop官方文檔使用指北

10、Hadoop在CDH中的使用

11、Hadoop在HDP中的使用

第7周 Flume從0到高手一站式養成記

Flume是一個分布式、高可靠、高可用的系統，能夠有效的收集、聚合、移動大量的日志數據，在數據采集領域，屬于中流砥柱，在這里通過原理、實戰、監控、優化等層面對Flume進行學習。

課程安排：

1、快速了解Flume

2、Flume的三大核心組件

3、Flume安裝部署

4、Flume的Hello World

5、案例：采集文件內容上傳至HDFS

6、Flume高級組件之Source Interceptors

7、Flume高級組件之Channel Selectors

8、Flume高級組件之Sink Processors

9、各種自定義組件

10、Flume優化

11、Flume進程監控

第8周 數據倉庫Hive從入門到小牛

頻繁的開發MapReduce是非常繁瑣的，并且很多業務人員是不懂代碼的，如何讓他們也可以很方便的操作HDFS中的海量數據呢？Hive的橫空出世，解決了這一難題。

課程安排：

1、快速了解Hive

2、數據庫和數據倉庫的區別

3、Hive安裝部署

4、Hive使用方式之命令行方式

5、Hive使用方式之JDBC方式

6、Set命令的使用

7、Hive的日志配置

8、Hive中數據庫的操作

9、Hive中表的操作

10、Hive中數據類型的應用

11、Hive表類型之內部表+外部表

12、Hive表類型之內部分區表

13、Hive表類型之外部分區表

14、Hive表類型之桶表+視圖

15、Hive數據處理綜合案例

16、Hive高級函數之分組排序取TopN

17、Hive高級函數之行轉列

18、Hive高級函數之列轉行

19、Hive的排序函數

20、Hive的分組和去重函數

21、一個SQL語句分析

22、Hive的Web工具-HUE

階段三：Spark+綜合項目：電商數據倉庫設計與實戰

第9周 7天極速掌握Scala語言

Scala的函數式編程受到很多框架的青睞，例如Kafka、Spark、Flink等框架都是使用Scala作為底層源碼開發語言，下面就帶著大家7天極速掌握Scala語言。

課程安排：

1、快速了解Scala

2、Scala環境安裝配置

3、Scala中的變量和數據類型

4、Scala中的表達式和循環

5、Scala集合體系之Set+List+Map

6、Scala中的Array和Tuple

7、Scala中函數的使用

8、Scala面向對象之類的使用

9、Scala面向對象之對象和伴生對象

10、Scala面向對象之apply和main的使用

11、Scala面向對象之接口的使用

12、Scala函數式編程之匿名函數和高階函數的使用

13、Scala高級特性之模式匹配和隱式轉換

第10周 Spark快速上手

Spark是目前企業中應用廣泛的計算引擎，盤它！實際案例詳細分析Spark中的Transformation算子和Action算子使用，RDD持久化，共享變量使用，通過一個綜合案例加深理解。

課程安排：

1、快速了解Spark

2、Spark 集群安裝部署(Standalone+ON YARN)

3、Spark工作原理分析

4、什么是RDD

5、Spark架構原理

6、Spark項目開發環境配置

7、WordCount代碼開發(Java+Scala)

8、Spark任務的三種提交方式

9、Spark開啟historyServer服務

10、創建RDD的三種方式

11、Transformation和Action介紹

12、Transformation操作開發實戰

13、Action操作開發實戰

14、RDD持久化原理

15、RDD持久化開發實戰

16、共享變量之Broadcast Variable的使用

17、共享變量之Accumulator的使用

18、案例實戰：TopN主播統計

19、面試題

第11周 Spark性能優化的道與術

通過對Spark中的寬依賴、窄依賴、Stage、Shuffle機制進行詳細分析，加深對Spark的理解，以及對Spark中的checkpoint機制通過源碼層面進行深度剖析。

課程安排：

1、寬依賴和窄依賴

2、Stage的理解

3、Spark任務的三種提交模式

4、Shuffle介紹

5、三種Shuffle機制分析

6、checkpoint概述

7、checkpoint和持久化的區別

8、checkpoint代碼開發和執行分析

9、checkpoint源碼分析之寫操作和讀操作

10、Spark程序性能優化分析

11、高性能序列化類庫Kryo的使用

12、持久化或者checkpoint

13、JVM垃圾回收調憂

14、提高并行度

15、數據本地化

16、算子優化

17、SparkSql快速上手使用

18、實戰：SparkSQL實現TopN主播統計

第12周 綜合項目：電商數據倉庫之用戶行為數倉

整合各個業務線數據，為各個業務系統提供統一&規范的數據出口。通過對項目的由來，需求、技術進行分析和選型，實現用戶行為數據數倉開發。

課程安排：

1、項目效果展示

2、項目的由來

3、什么是數據倉庫

4、數據倉庫基礎知識

5、數據倉庫分層

6、典型數倉系統架構分析

7、技術選型

8、整體架構設計

9、服務器資源規劃

10、生成用戶行為數據【客戶端數據】

11、生成商品訂單相關數據【服務端數據】

12、采集用戶行為數據【客戶端數據】

13、Sqoop安裝部署

14、Sqoop之數據導入功能

15、Sqoop之數據導出功能

16、采集商品訂單相關數據【服務端數據】

17、用戶行為數據數倉開發之ods層開發

18、用戶行為數據數倉開發之ods層腳本抽取

19、用戶行為數據數倉開發之dwd層開發

20、用戶行為數據數倉開發之dwd層腳本抽取

21、用戶行為數據數倉需求分析

22、用戶行為數據數倉需求開發

23、用戶行為數據數倉表和任務腳本總結

第13周 綜合項目：電商數據倉庫之商品訂單數倉

基于商品訂單數據開發數倉，詳細分析了拉鏈表的由來和具體實現。使用數據可視化工具Zepplin實現數據展現，使用Azkaban調度器實現任務依賴調度。

課程安排：

1、商品訂單數據數倉開發之ods層和dwd層

2、商品訂單數據數倉需求分析與開發

3、什么是拉鏈表

4、如何制作拉鏈表

5、【實戰】基于訂單表的拉鏈表實現

6、拉鏈表的性能問題分析

7、商品訂單數據數倉表和任務腳本總結

8、數據可視化之Zepplin的安裝部署和參數配置

9、數據可視化之Zepplin的使用

10、任務調度之Crontab調度器的使用

11、任務調度之Azkaban的安裝部署

12、任務調度之Azkaban提交獨立任務

13、任務調度之Azkaban提交依賴任務

14、任務調度之在數倉中使用Azkaban

15、項目優化

階段四：高頻實時數據處理方案

第14周 消息隊列之Kafka從入門到小牛

Kafka是一個支持高吞吐、持久性、分布式的消息隊列，非常適合海量數據的實時生產和消費，詳細分析了Kafka的核心原理、代碼實戰、性能優化，以及Kafka的企業級應用。

課程安排：

1、什么是消息隊列

2、什么是Kafka

3、Zookeeper安裝部署之單機模式和集群模式

4、 Kafka安裝部署之單機模式和集群模式

5、Kafka中的生產者和消費者

6、案例：QQ群聊天

7、Broker擴展內容

8、Producer擴展內容

9、Consumer擴展內容

10、Topic+Partition+Message擴展內容

11、Kafka中的存儲策略

12、Kafka中的容錯機制

13、Java代碼實現生產者代碼

14、Java代碼實現消費者代碼

15、消費者代碼擴展

16、Consumer消費Offset查詢

17、Consumer消費順序

18、Kafka的三種語義

19、Kafka參數調憂之JVM參數調憂

20、Kafka參數調憂之Replication參數調憂

21、Kafka參數調憂之Log參數調憂

22、Kafka Topic命名小技巧

23、Kafka集群監控管理工具(CMAK)

24、實戰：Flume集成Kafka

25、實戰：Kafka集群平滑升級

第15周 極速上手內存數據庫Redis

Redis是一種面向鍵值對的NoSQL內存數據庫，可以滿足我們對海量數據的讀寫需求，在這里我們學習Redis中的五種常用數據類型以及Redis中的一些高級特性，達到快速上手使用。

課程安排：

1、快速了解Redis

2、Redis的安裝部署

3、Redis基礎命令

4、Redis多數據庫特性

5、Redis常用數據類型之String

6、Redis常用數據類型之Hash

7、Redis常用數據類型之List

8、Redis常用數據類型之Set

9、Redis常用數據類型之Sorted Set

10、案例：存儲高一班的學員信息

11、Java代碼操作Redis之單連接

12、Java代碼操作Redis之連接池

13、提取RedisUtils工具類

14、Redis高級特性之expire

15、Redis高級特性之pipeline

16、Redis高級特性之info

17、Redis持久化之RDB

18、Redis持久化之AOF

19、Redis的安全策略

20、Redis監控命令-monitor

21、Redis架構演進過程

第16周 Flink快速上手篇

快速了解Flink的基本原理和核心特點，掌握Flink中流數據和批數據的編程思路和代碼實戰，Flink中Standalone集群、ON YARN集群的安裝部署，以及Flink中核心API的使用。

課程安排：

1、快速了解Flink

2、Flink Streaming程序開發

3、Flink Batch程序開發

4、Flink Standalone集群安裝部署

5、Flink ON YARN的第1種方式

6、Flink ON YARN的第2種方式

7、向集群中提交Flink任務

8、Flink核心API介紹

9、DataStream API之DataSource

10、DataStream API之Transformation

11、DataStream API之分區規則介紹

12、DataStream API之分區規則的使用

13、DataStream API之DataSink

14、DataSet API之DataSource

15、DataSet API之Transformation

16、DataSet API之DataSink

17、Table API 和 SQL介紹

18、創建TableEnvironment對象

19、TableAPI和SQL的使用

20、使用DataStream創建表

21、使用DataSet創建表

22、將表轉換成DataStream

22、將表轉換成DataSet

第17周 Flink高級進階之路

詳細剖析Window和Time的使用，Watermark的實戰應用，并行度的設置，Kafka Connector的具體應用，以及SparkStreaming的特性和使用。

課程安排：

1、Window的概念和類型

2、TimeWindow的使用

3、CountWindow的使用

4、自定義Window的使用

5、Window中的增量聚合和全量聚合

6、Flink中的Time

7、Watermark的分析

8、開發Watermark代碼

9、通過數據跟蹤觀察Watermark

10、Watermark+EventTime處理亂序數據

11、延遲數據的三種處理方式

12、在多并行度下的Watermark應用

13、Watermark案例總結

14、并行度介紹及四種設置方式

15、并行度案例分析

16、KafkaConsumer的使用

17、KafkaConsumer消費策略設置

18、KafkaConsumer的容錯

19、KafkaProducer的使用

20、KafkaProducer的容錯

21、SparkStreaming的WordCount程序開發

22、SparkStreaming整合Kafka

階段五：綜合項目：三度關系推薦系統+數據中臺

第18周 直播平臺三度關系推薦V1.0

構建直播平臺用戶三度關系推薦系統，詳細分析數據采集/數據分發/數據存儲/數據計算/數據展現等功能，完整復現互聯網企業大數據項目從0~1，從1~N的開發過程。

課程安排：

1、項目介紹

2、項目需求分析

3、技術選型

4、整體架構設計

5、Neo4j快速上手使用

6、數據采集架構詳細分析

7、數據來源分析

8、模擬產生數據

9、數據采集聚合

10、數據分發

11、數據落盤

12、數據計算核心指標詳細分析與實現

13、三度關系推薦頁面數據接入

14、三度關系推薦流程演示

15、項目代碼雙語支持

16、項目總結

第19周 直播平臺三度關系推薦V2.0

分析V1.0架構存在的問題及弊端，重新設計整體架構方案，進行迭代優化，基于新的架構方案重新實現核心功能代碼，開發數據接口，優化數據傳輸邏輯，提高數據安全性。

課程安排：

1、現有V1.0技術架構分析

2、V2.0技術架構設計

3、數據計算核心指標詳細分析

4、歷史粉絲關注數據初始化

5、實時維護粉絲關注數據

6、每天定時更新主播等級

7、每天定時更新用戶活躍時間

8、每周一計算一月主播視頻評級

9、每周一計算一月主播視頻評級

10、三度關系列表數據導出到Redis

11、數據接口定義與開發

12、項目代碼雙語支持

13、項目總結

第20周 數據中臺大屏

掌握一線互聯網企業數據中臺構建流程，了解巨頭企業的項目架構，理解巨型項目的思想，掌握數據中臺之數據加工總線子系統的底層實現。

課程安排：

1、什么是中臺

2、中臺化主要解決的問題

3、中臺的延伸

4、什么是數據中臺

5、數據中臺演進的四個階段

6、數據中臺需要具備三大能力

7、企業級數據中臺架構分析

9、目前大數據領域實時計算的現狀

10、數據中臺之數據加工總線介紹

11、數據加工總線架構圖分析

12、開發數據加工總線計算引擎(基于SparkSQL)

13、開發數據加工總線計算引擎(基于FlinkSQL)

14、掌握如何在流式SQL中調用HTTP接口

15、支持流式SQL中的自定義函數返回多列字段