•  課程目標(biāo)

  首先介紹了大數(shù)據(jù)架構(gòu)的總體內(nèi)容，并分別詳細(xì)講解了Hadhoop與Spark兩套架構(gòu)，深入講解了主流的三大類大數(shù)據(jù)計算框架，分別是批處理、交互式計算和流式計算框架，并選取當(dāng)下主流的開源實現(xiàn)進(jìn)行介紹。課程最后對Mahout與MLlib這兩個主流的分布式數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)庫進(jìn)行了實現(xiàn)以及應(yīng)用案例講解。

•  師資團(tuán)隊

• 華清創(chuàng)客企業(yè)內(nèi)訓(xùn)講師，均是來自各個領(lǐng)域的資深專家，均擁有6年以上大型項目經(jīng)驗。

•  培養(yǎng)對象

  1、學(xué)員學(xué)習(xí)本課程應(yīng)具備基礎(chǔ)知識：了解Java語言、Linux系統(tǒng)；
  2、適用于各類IT/軟件企業(yè)和研發(fā)機(jī)構(gòu)的軟件架構(gòu)師、軟件設(shè)計師、程序員。對于懷有設(shè)計疑問和問題，需要梳理解答的團(tuán)隊和個人，效果最佳。

•  培訓(xùn)方式

第一種：華清創(chuàng)客講師面授
課時：共2天，每天6學(xué)時，總計12學(xué)時
◆費用（含教材費）：2400元
◆外地學(xué)員：代理安排食宿（需提前預(yù)定）

第二種：線上直播授課
直播課時：共4天，每天3學(xué)時，總計12學(xué)時；
輔導(dǎo)：授課期間，輔導(dǎo)老師每天有1小時的輔導(dǎo)直播
◆費用（含教材費）：2400元

第三種：企業(yè)訂制培訓(xùn)
課時：根據(jù)定制的大綱確定課時
費用：根據(jù)課程難度，每課時1500~3000元

• •  質(zhì)量保證

    1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費在下期培訓(xùn)班中重聽；

    2、培訓(xùn)結(jié)束后免費提供一個月的技術(shù)支持，充分保證培訓(xùn)后出效果；

    3、培訓(xùn)合格學(xué)員可享受免費推薦就業(yè)機(jī)會。

  •  課程大綱

    主題 內(nèi)容

    大數(shù)據(jù)架構(gòu)概述 "1.1大數(shù)據(jù)層級架構(gòu)及各層軟件設(shè)計要求，包括數(shù)據(jù)收集、存儲、計算框、應(yīng)用

    1.2 Hadoop生態(tài)系統(tǒng)概述以及版本演化，并給出版本選擇建議。

    1.3 Spark生態(tài)系統(tǒng)概述及其特點，并與Hadoop對比"

    數(shù)據(jù)收集系統(tǒng)Flume與Sqoop

    
    

    2.1使用flume和sqoop兩個系統(tǒng)將外部流式數(shù)據(jù)（比如網(wǎng)站日志，用戶行為數(shù)據(jù)等）、關(guān)系型數(shù)據(jù)庫（比如MySQL、Oracle等）中的數(shù)據(jù)導(dǎo)入Hadoop中進(jìn)行分析和挖掘

    大數(shù)據(jù)存儲系統(tǒng)HDFS與Hbase "

    
    

    3.1 與HDFS1.0進(jìn)行對比介紹2.0原理、特性與基本架構(gòu)（快照、緩存、異構(gòu)存儲）。

    3.2 HBase原理，基本架構(gòu)與案例分析

    3.3 HBase應(yīng)用場景、原理和架構(gòu)，典型應(yīng)用案例（互聯(lián)網(wǎng)、銀行）"

    集群資源管理與調(diào)度系統(tǒng)

    
    

    4.1 介紹YARN應(yīng)用場景、基本架構(gòu)與資源調(diào)度

    Zookeeper部署及典型應(yīng)用

    
    

    5.1 介紹Zookeeper是什么，基本原理及在應(yīng)用

    大數(shù)據(jù)計算平臺 "介紹主流的三大類大數(shù)據(jù)計算框架，分別是批處理、交互式計算和流式計算框架，并選取當(dāng)下主流的開源實現(xiàn)進(jìn)行介紹。

    
    

    6.1 批處理計算框架

    6.1.1 MapReduce2.0基本原理與架構(gòu)、程序編寫（使用java、C++、php語言）

    6.1.2 數(shù)據(jù)分析系統(tǒng)Hive與Pig應(yīng)用與比較，如何使用其中的海量數(shù)據(jù)

    6.1.3 Spark計算框架，背景及應(yīng)用案例

    6.2 交互式計算框架，Impala和presto應(yīng)用場景，基本架構(gòu)和典型應(yīng)用案例

    6.3 流式/實時計算框架，storm、SparkStreaming基本架構(gòu)特點，及應(yīng)用案例"

    數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)庫 7.1 Mahout與MLlib兩個主流的分布式數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)庫的實現(xiàn)以及應(yīng)用案例。