課程目標

這是一套 系統(tǒng)且具有很強實戰(zhàn)性 的Storm課程，從實時流計算及其在新浪、騰訊、360、百度等公司應(yīng)用分析，到Storm的架構(gòu)、工作流、機制，再到Storm集群的部署、運行、監(jiān)控，最后以某上市婚戀網(wǎng)站的真實項目做為案例來詳細講解并帶領(lǐng)大家完成從理論到實戰(zhàn)的進階！
眾所周知，Hadoop在處理海量數(shù)據(jù)方面有著強大的能力，但是只能進行離線數(shù)據(jù)分析，而Storm可以幫助我們實現(xiàn)實時流式計算，因此Storm被譽為“實時的Hadoop”。
對于學員來說，在掌握了Hadoop的基礎(chǔ)上，再學會Storm，簡直如虎添翼，在大數(shù)據(jù)行業(yè)里面會有更強的競爭力。

 師資團隊

華清創(chuàng)客企業(yè)內(nèi)訓講師，均是來自各個領(lǐng)域的資深專家，均擁有6年以上大型項目經(jīng)驗。

 培養(yǎng)對象

1、技術(shù)出身，了解基本的研發(fā)思想即可。
2、小型企業(yè)的技術(shù)負責人；
3、大中型企業(yè)的數(shù)據(jù)部門相關(guān)人員、或是對數(shù)據(jù)感興趣的其他部門的研發(fā)總監(jiān)、部門經(jīng)理、一線研發(fā)工程師等人員均可；

 培訓方式

• 第一種：華清創(chuàng)客講師面授
  課時：共3天，每天6學時，總計18學時
  ◆費用（含教材費）：4500元
  ◆外地學員：代理安排食宿（需提前預定）
  
  第二種：線上直播授課
  直播課時：共6天，每天3學時，總計18學時；
  輔導：授課期間，輔導老師每天有1小時的輔導直播
  ◆費用（含教材費）：4500元
  
  第三種：企業(yè)訂制培訓
  課時：根據(jù)定制的大綱確定課時
  費用：根據(jù)課程難度，每課時1500~3000元

  
  

   質(zhì)量保證

• 1、培訓過程中，如有部分內(nèi)容理解不透或消化不好，可免費在下期培訓班中重聽；

  2、培訓結(jié)束后免費提供一個月的技術(shù)支持，充分保證培訓后出效果；

  3、培訓合格學員可享受免費推薦就業(yè)機會。

•  課程大綱

  第一章：初級階段 第一節(jié)：實時流式計算介紹 實時流式計算是什么

  實時流式計算的特點

  實時流式計算使用場景分析

  Queue+Worker，S4, Storm，Spark簡單介紹

  第二節(jié)：認識Storm Storm介紹

  Storm特點

  Storm優(yōu)勢

  第三節(jié)：Storm使用場景 新浪的實時分析平臺

  騰訊的實時計算平臺

  奇虎360的實時平臺

  百度的實時系統(tǒng)

  阿里的Jstorm

   

  第二章：中級階段 第四節(jié)：Storm的系統(tǒng)架構(gòu) 主節(jié)點（Nimbus）

  從節(jié)點（Supervisor）

  Web節(jié)點（Storm UI）

  協(xié)調(diào)節(jié)點（Zookeeper）

  第五節(jié)：Storm的工作流 作業(yè)單元（Topology）

  數(shù)據(jù)源編程單元（Spout）

  數(shù)據(jù)處理編程單元（Bolt）

  第六節(jié)：Storm的并發(fā)機制 服務(wù)器（Nodes）

  JVM虛擬機（Worker）

  線程（Executor）

  Spout/Bolt實例（Task）

  第七節(jié)：Storm的數(shù)據(jù)流 Stream講解（Tuple）

  Storm的數(shù)據(jù)模型

  Stream Grouping

  第八節(jié)：Storm的保障機制 功能性保障：多粒度的并行化

  非功能性保障：多級別的可靠性

   

  第三章：高級階段 第九節(jié)：Zookeeper講解 Zookeeper介紹

  基礎(chǔ)系統(tǒng)安裝

  JAVA安裝

  Zookeeper搭建

  Zookeeper狀態(tài)查看命令

  第十節(jié)：Storm部署 Storm版本發(fā)展歷史

  本地模式

  分布式模式

  主節(jié)點Nimbus

  工作節(jié)點Supervisor

  Storm UI

  Storm配置項

  第十一節(jié)：項目如何在Storm集群下運行 Storm Java API

  Topology創(chuàng)建與提交

  Example

  第十二節(jié)：Kafka講解 Kafka介紹

  Kafka的消息持久化和順序讀寫

  Kafka的應(yīng)用

  Kafka的客戶端

  Storm和Kafka的對接：KafkaSpout

  第十三節(jié)：Storm集群的監(jiān)控與管理 主機信息監(jiān)控

  日志監(jiān)控

  Storm UI

   

  第四章：項目實戰(zhàn) 第十四節(jié)：業(yè)務(wù)背景 案例背景

  設(shè)計目標

  分析需求

  第十五節(jié)：系統(tǒng)架構(gòu)與模塊設(shè)計 整體架構(gòu)

  數(shù)據(jù)源

  數(shù)據(jù)存儲與處理

  第十六節(jié)：核心模塊實現(xiàn) 模擬數(shù)據(jù)實現(xiàn)

  日志采集和存儲實現(xiàn)

  數(shù)據(jù)處理實現(xiàn)

  第十七節(jié)：項目部署上線 上線大致流程

  注意事項

  監(jiān)控

  第十八節(jié)：DRPC DRPC構(gòu)建與使用

  DRPC原理

  第十九節(jié)：Trident Trident介紹

  用Trident實現(xiàn)可靠的實時word統(tǒng)計

  第二十節(jié)：多語言開發(fā) 多語言開發(fā)介紹

  Python舉例