决胜大数据时代：HadoopYarnSpark企业级最佳实践(3天)
Hadoop是云計(jì)算的事實(shí)標(biāo)準(zhǔn)軟件框架，是云計(jì)算理念、機(jī)制和商業(yè)化的具體實(shí)現(xiàn)，是整個(gè)云計(jì)算技術(shù)學(xué)習(xí)中公認(rèn)的核心和最具有價(jià)值內(nèi)容。
Yarn是目前公認(rèn)的最佳的分布式集群資源管理框架；
?????? Mahout是目前數(shù)據(jù)挖掘領(lǐng)域的王者；
?????? 工業(yè)和信息化部電信研究院于2014年5月發(fā)布的“大數(shù)據(jù)白皮書(shū)”中指出：
“2012 年美國(guó)聯(lián)邦政府就在全球率先推出“大數(shù)據(jù)行動(dòng)計(jì)劃（Big data initiative）”，重點(diǎn)在基礎(chǔ)技術(shù)研究和公共部門(mén)應(yīng)用上加大投入。在該計(jì)劃支持下，加州大學(xué)伯克利分校開(kāi)發(fā)了完整的大數(shù)據(jù)開(kāi)源軟件平臺(tái)“伯克利數(shù)據(jù)分析軟件棧（Berkeley Data Analytics Stack），其中的內(nèi)存計(jì)算軟件Spark的性能比Hadoop 提高近百倍，對(duì)產(chǎn)業(yè)界大數(shù)據(jù)技術(shù)走向產(chǎn)生巨大影響”
???????????????????? ----來(lái)源：工業(yè)和信息化部電信研究院
?
?
?
Spark是繼Hadoop之后，成為替代Hadoop的下一代云計(jì)算大數(shù)據(jù)核心技術(shù)。目前SPARK已經(jīng)構(gòu)建了自己的整個(gè)大數(shù)據(jù)處理生態(tài)系統(tǒng)，如流處理、圖技術(shù)、機(jī)器學(xué)習(xí)、Interactive?Ad-Hoc?Query等方面都有自己的技術(shù)，并且是Apache頂級(jí)Project，可以預(yù)計(jì)的是2014年下半年到2015年在社區(qū)和商業(yè)應(yīng)用上會(huì)有爆發(fā)式的增長(zhǎng)。
?
?
國(guó)外一些大型互聯(lián)網(wǎng)公司已經(jīng)部署了Spark。甚至連Hadoop的早期主要貢獻(xiàn)者Yahoo現(xiàn)在也在多個(gè)項(xiàng)目中部署使用Spark；國(guó)內(nèi)的淘寶、優(yōu)酷土豆、網(wǎng)易、Baidu、騰訊、皮皮網(wǎng)等已經(jīng)使用Spark技術(shù)用于自己的商業(yè)生產(chǎn)系統(tǒng)中，國(guó)內(nèi)外的應(yīng)用開(kāi)始越來(lái)越廣泛。Spark正在逐漸走向成熟，并在這個(gè)領(lǐng)域扮演更加重要的角色。
剛剛結(jié)束的2014 Spark Summit上的信息，Spark已經(jīng)獲得世界20家頂級(jí)公司的支持，這些公司中包括Intel、IBM等，同時(shí)更重要的是包括了最大的四個(gè)Hadoop發(fā)行商（Cloudera, Pivotal, MapR, Hortonworks）都提供了對(duì)非常強(qiáng)有力的支持Spark的支持，尤其是是Hadoop的頭號(hào)發(fā)行商Cloudera在2014年7月份宣布“Impala’s it for interactive SQL on Hadoop; everything else will move to Spark”，具體鏈接信息http://t.cn/Rvdsukb，而其實(shí)在這次Spark Summit之前，整個(gè)云計(jì)算大數(shù)據(jù)就已經(jīng)發(fā)聲巨變：
1，2014年5月24日Pivotal宣布了會(huì)把整個(gè)Spark stack包裝在Pivotal HD Hadoop發(fā)行版里面。這意味這最大的四個(gè)Hadoop發(fā)行商（Cloudera, Pivotal, MapR, Hortonworks）都提供了對(duì)Spark的支持。http://t.cn/RvLF7aM星火燎原的開(kāi)始；
2，Mahout前一階段表示從現(xiàn)在起他們將不再接受任何形式的以MapReduce形式實(shí)現(xiàn)的算法，另外一方面，Mahout宣布新的算法基于Spark；
3，Cloudera的機(jī)器學(xué)習(xí)框架Oryx的執(zhí)行引擎也將由Hadoop的MapReduce替換成Spark；
4，Google已經(jīng)開(kāi)始將負(fù)載從MapReduce轉(zhuǎn)移到Pregel和Dremel上；
5，FaceBook則將原來(lái)使用Hadoop的負(fù)載轉(zhuǎn)移到Presto上；
?
現(xiàn)在很多原來(lái)使用深度使用Hadoop的公司都在紛紛轉(zhuǎn)向Spark，國(guó)內(nèi)的淘寶是典型的案例，國(guó)外的典型是Yahoo！，我們以使用世界上使用Hadoop最典型的公司Yahoo！為例，大家可以從Yahoo！的數(shù)據(jù)處理的架構(gòu)圖看出Yahoo！內(nèi)部正在使用Spark：
?
不得不提的是Spark的“One stack to rule them all”的特性，Spark的特點(diǎn)之一就是用一個(gè)技術(shù)堆棧解決云計(jì)算大數(shù)據(jù)中流處理、圖技術(shù)、機(jī)器學(xué)習(xí)、交互式查詢(xún)、誤差查詢(xún)等所有的問(wèn)題，此時(shí)我們只需要一個(gè)技術(shù)團(tuán)隊(duì)通過(guò)Spark就可以搞定一切問(wèn)題，而如果基于Hadoop就需要分別構(gòu)建實(shí)時(shí)流處理團(tuán)隊(duì)、數(shù)據(jù)統(tǒng)計(jì)分析團(tuán)隊(duì)、數(shù)據(jù)挖掘團(tuán)隊(duì)等，而且這些團(tuán)隊(duì)之間無(wú)論是代碼還是經(jīng)驗(yàn)都不可相互借鑒，會(huì)形成巨大的成本，而使用Spark就不存在這個(gè)問(wèn)題；
?
王家林老師（郵箱18610086859@126.com 電話(huà)18610086859 QQ:1740415547）
中國(guó)目前唯一的移動(dòng)互聯(lián)網(wǎng)和云計(jì)算大數(shù)據(jù)集大成者；
云計(jì)算大數(shù)據(jù)Spark亞太研究院院長(zhǎng)和首席專(zhuān)家；
?
Spark亞太研究院院長(zhǎng)和首席專(zhuān)家，Spark源碼級(jí)專(zhuān)家，對(duì)Spark潛心研究（2012年1月起）2年多后，在完成了對(duì)Spark的14不同版本的源碼的徹底研究的同時(shí)不斷在實(shí)際環(huán)境中使用Spark的各種特性的基礎(chǔ)之上，編寫(xiě)了世界上第一本系統(tǒng)性的Spark書(shū)籍并開(kāi)設(shè)了世界上第一個(gè)系統(tǒng)性的Spark課程并開(kāi)設(shè)了世界上第一個(gè)Spark高端課程（涵蓋Spark內(nèi)核剖析、源碼解讀、性能優(yōu)化和商業(yè)案例剖析）。Spark源碼研究狂熱愛(ài)好者，醉心于Spark的新型大數(shù)據(jù)處理模式改造和應(yīng)用。
Hadoop源碼級(jí)專(zhuān)家，曾負(fù)責(zé)某知名公司的類(lèi)Hadoop框架開(kāi)發(fā)工作，專(zhuān)注于Hadoop一站式解決方案的提供，同時(shí)也是云計(jì)算分布式大數(shù)據(jù)處理的最早實(shí)踐者之一，Hadoop的狂熱愛(ài)好者，不斷的在實(shí)踐中用Hadoop解決不同領(lǐng)域的大數(shù)據(jù)的高效處理和存儲(chǔ)，現(xiàn)在正負(fù)責(zé)Hadoop在搜索引擎中的研發(fā)等，著有《云計(jì)算分布式大數(shù)據(jù)Hadoop實(shí)戰(zhàn)高手之路---從零開(kāi)始》《云計(jì)算分布式大數(shù)據(jù)Hadoop實(shí)戰(zhàn)高手之路---高手崛起》《云計(jì)算分布式大數(shù)據(jù)Hadoop。實(shí)戰(zhàn)高手之路---高手之巔》等；
?
Android架構(gòu)師、高級(jí)工程師、咨詢(xún)顧問(wèn)、培訓(xùn)專(zhuān)家；
通曉Android、HTML5、Hadoop，迷戀英語(yǔ)播音和健美；
致力于Android、HTML5、Hadoop的軟、硬、云整合的一站式解決方案；
國(guó)內(nèi)最早（2007年）從事于Android系統(tǒng)移植、軟硬整合、框架修改、應(yīng)用程序軟件開(kāi)發(fā)以及Android系統(tǒng)測(cè)試和應(yīng)用軟件測(cè)試的技術(shù)專(zhuān)家和技術(shù)創(chuàng)業(yè)人員之一。
?
HTML5技術(shù)領(lǐng)域的最早實(shí)踐者（2009年）之一,成功為多個(gè)機(jī)構(gòu)實(shí)現(xiàn)多款自定義HTML5瀏覽器，參與某知名的HTML5瀏覽器研發(fā)；
超過(guò)10本的IT暢銷(xiāo)書(shū)作者；
致力于HTML5和Android的軟、硬、云整合，智慧家庭，智能城市，精通Android安全，精通企業(yè)級(jí)Android應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)，對(duì)Android的HAL與AF框架的原理、IoC、設(shè)計(jì)模式有深刻獨(dú)特的理解，精通C/C++組件通過(guò)JNI調(diào)用移植成為Android應(yīng)用框架的核心組件，擅長(zhǎng)修改應(yīng)用框架。精通JPA、Struts、Spring、MySQL, 熟練LAMP技術(shù)。2010年10月份至今為多家企業(yè)提供Android技術(shù)咨詢(xún)服務(wù)及企業(yè)內(nèi)部培訓(xùn)。一直關(guān)注HTML5的發(fā)展動(dòng)態(tài)和技術(shù)實(shí)現(xiàn)，擅長(zhǎng)HTML5的Web開(kāi)發(fā)、HTML5的游戲開(kāi)發(fā)、HTML5和本地的軟硬整合高級(jí)技術(shù)、HTML5與云計(jì)算。成功對(duì)包括三星、摩托羅拉、華為等世界500強(qiáng)企業(yè)實(shí)施Android底層移植、框架修改、應(yīng)用開(kāi)發(fā)等培訓(xùn)。成功對(duì)平安保險(xiǎn)、英特爾等實(shí)施HTML5培訓(xùn)；撰寫(xiě)了《大話(huà)企業(yè)級(jí)Android應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)》、《基于Android平臺(tái)的商業(yè)軟件---手機(jī)守護(hù)神開(kāi)發(fā)全程實(shí)戰(zhàn)》、《Android 4.0網(wǎng)絡(luò)編程詳解》、《細(xì)說(shuō)Android NDK編程》、《Android軟、硬、云整合實(shí)戰(zhàn)》、《Android開(kāi)發(fā)三劍客——UML、模式與測(cè)試》等多部Android著作和《云計(jì)算分布式大數(shù)據(jù)Hadoop實(shí)戰(zhàn)高手之路---從零開(kāi)始》《云計(jì)算分布式大數(shù)據(jù)Hadoop實(shí)戰(zhàn)高手之路---高手崛起》《云計(jì)算分布式大數(shù)據(jù)Hadoop。實(shí)戰(zhàn)高手之路---高手之巔》等。 ?? 項(xiàng)目案例包括Android移植工作、Android上特定硬件的垂直整合、編寫(xiě)Java虛擬機(jī)、Android框架修改、Android手機(jī)衛(wèi)士、Android娛樂(lè)多媒體軟件（針對(duì)酷六、優(yōu)酷、土豆等類(lèi)型的網(wǎng)站）、大型B2C電子商務(wù)網(wǎng)站、大型SNS網(wǎng)站等。
?
| Total Hadoop Professional | |
| 培訓(xùn)對(duì)象 | 1，對(duì)云計(jì)算、分布式數(shù)據(jù)存儲(chǔ)于處理、大數(shù)據(jù)等感興趣的朋友 2，傳統(tǒng)的數(shù)據(jù)庫(kù)，例如Oracle、MaySQL、DB2等的管理人員 3，Java、C等任意一門(mén)編程語(yǔ)言的開(kāi)發(fā)者； 4，網(wǎng)站服務(wù)器端的開(kāi)發(fā)人員 5，在校大學(xué)生、中專(zhuān)生或者剛畢業(yè)的學(xué)生 6，云計(jì)算大數(shù)據(jù)從業(yè)者； 7，熟悉Hadoop生態(tài)系統(tǒng)，想了解和學(xué)習(xí)Hadoop與Spark整合在企業(yè)應(yīng)用實(shí)戰(zhàn)案例的朋友； 8，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級(jí)程序員、資深開(kāi)發(fā)人員； 9，牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人； 10，政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)和互聯(lián)網(wǎng)等大數(shù)據(jù)來(lái)源單位的負(fù)責(zé)人； 11，高校、科研院所涉及到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項(xiàng)目負(fù)責(zé)人； 12，數(shù)據(jù)倉(cāng)庫(kù)管理人員、建模人員，分析和開(kāi)發(fā)人員、系統(tǒng)管理人員、數(shù)據(jù)庫(kù)管理人員以及對(duì)數(shù)據(jù)倉(cāng)庫(kù)感興趣的其他人員； |
| 參加課程基礎(chǔ)要求 | 對(duì)云計(jì)算有強(qiáng)烈的興趣，能夠看懂基本的Java語(yǔ)法。 |
| 培訓(xùn)后的目標(biāo)能力 | 直接上手Hadoop工作，具備直接勝任Hadoop開(kāi)發(fā)工程師的能力；理解以Mahout和Spark為核心的云計(jì)算大數(shù)據(jù)實(shí)戰(zhàn)技術(shù)，從容解決95%以上的云計(jì)算大數(shù)據(jù)業(yè)務(wù)需求； |
| 培訓(xùn)技能目標(biāo) | ??徹底理解Hadoop代表的云計(jì)算實(shí)現(xiàn)技術(shù)的能力 ??具備開(kāi)發(fā)自己網(wǎng)盤(pán)的能力 ??具備修改HDFS具體源碼實(shí)現(xiàn)的能力 ??掌握Spark的內(nèi)核的能力； |
| 培訓(xùn)職業(yè)目標(biāo) | ? Hadoop工程師，能夠開(kāi)發(fā)的Hadoop分布式應(yīng)用 ??Hadoop完整項(xiàng)目的分析、開(kāi)發(fā)、部署的全過(guò)程的能力 ? Mahout和Spark高級(jí)工程師 ??大數(shù)據(jù)項(xiàng)目總負(fù)責(zé)人 ??云計(jì)算大數(shù)據(jù)CTO |
?
培訓(xùn)內(nèi)容
| 時(shí)間 | 內(nèi)容 | 備注 |
| 第一天 | 第1個(gè)主題：Hadoop三問(wèn)（徹底理解Hadoop） 1、Hadoop為什么是云計(jì)算分布式大數(shù)據(jù)的事實(shí)開(kāi)源標(biāo)準(zhǔn)軟件框架？ 2、Hadoop的具體是如何工作？ 3、Hadoop的生態(tài)架構(gòu)和每個(gè)模塊具體的功能是什么？ ? 第2個(gè)主題：Hadoop集群與管理（具備構(gòu)建并駕馭Hadoop集群能力） 1、 Hadoop集群的搭建 2、 Hadoop集群的監(jiān)控 3、 Hadoop集群的管理 4、集群下運(yùn)行MapReduce程序 ? 第3主題：徹底掌握HDFS(具備開(kāi)發(fā)自己網(wǎng)盤(pán)的能力) 1、HDFS體系架構(gòu)剖析? 2、NameNode、DataNode、SecondaryNameNode架構(gòu) 3、保證NodeName高可靠性最佳實(shí)踐 4、DataNode中Block劃分的原理和具體存儲(chǔ)方式 5、修改Namenode、DataNode數(shù)據(jù)存儲(chǔ)位置 6、使用CLI操作HDFS 7、使用Java操作HDFS ? 第4主題：徹底掌握HDFS(具備修改HDFS具體源碼實(shí)現(xiàn)的能力) 1、RPC架構(gòu)剖析?? 2、源碼剖析Hadoop構(gòu)建于RPC之上 3、源碼剖析HDFS的RPC實(shí)現(xiàn) 4、源碼剖析客戶(hù)端與與NameNode的RPC通信 ? | ? |
| 時(shí)間 | 內(nèi)容 | 備注 |
| ? ? ? ? ? ? ? ? ? ? ? ? ? ? 第二天 | 第1個(gè)主題：徹底掌握MapReduce（從代碼的角度剖析MapReduce執(zhí)行的具體過(guò)程并具備開(kāi)發(fā)MapReduce代碼的能力） 1、MapReduce執(zhí)行的經(jīng)典步驟? 2、wordcount運(yùn)行過(guò)程解析 3、Mapper和Reducer剖析 4、自定義Writable 5、新舊API的區(qū)別以及如何使用就API 6、把MapReduce程序打包成Jar包并在命令行運(yùn)行 ? 第2個(gè)主題：徹底掌握MapReduce（具備掌握Hadoop如何把HDFS文件轉(zhuǎn)化為Key-Value讓供Map調(diào)用的能力） 1、Hadoop是如何把HDFS文件轉(zhuǎn)化為鍵值對(duì)的？ 2、源碼剖析Hadoop讀取HDFS文件并轉(zhuǎn)化為鍵值對(duì)的過(guò)程實(shí)現(xiàn) 3、源碼剖析轉(zhuǎn)化為鍵值對(duì)后供Map調(diào)用的過(guò)程實(shí)現(xiàn) ? 第3個(gè)主題：徹底掌握MapReduce（具備掌握MapReduce內(nèi)部運(yùn)行和實(shí)現(xiàn)細(xì)節(jié)并改造MapReduce的能力） 1、Hadoop內(nèi)置計(jì)數(shù)器及如何自定義計(jì)數(shù)器 2、Combiner具體的作用和使用以及其使用的限制條件 3、Partitioner的使用最佳實(shí)踐 4、 Hadoop內(nèi)置的排序算法剖析 5、自定義排序算法 6、 Hadoop內(nèi)置的分組算法 7、自定義分組算法 8、 MapReduce常見(jiàn)場(chǎng)景和算法實(shí)現(xiàn) ? 第5個(gè)主題：某知名電商公司Hadoop實(shí)施全程揭秘（具備掌握商業(yè)級(jí)別Hadoop的分析、開(kāi)發(fā)、部署的全過(guò)程的能力） 通過(guò)電商公司現(xiàn)場(chǎng)案例展示商業(yè)級(jí)別一個(gè)完整項(xiàng)目的分析、開(kāi)發(fā)、部署的全過(guò)程 | ? |
| 時(shí)間 | 內(nèi)容 | 備注 |
| ? ? ? ? ? ? ? ? ? 第三天 ? ? ? ? ? ? ? ? ? ? | 第1個(gè)主題：YARN（具備理解和使用YARN的能力） 1、YARN的設(shè)計(jì)思想?????????????????????????? 2、YARN的核心組件 3、YARN的共組過(guò)程 4、YARN應(yīng)用程序編寫(xiě) ? 第2個(gè)主題：ResourceManager深度剖析（具備深刻理解ResourceManager的能力） 1、ResourceManager的架構(gòu) 2、ClientRMService?與AdminService? 3、NodeManager 4、 Container 5、 Yarn的 HA機(jī)制 ? 第3個(gè)主題：NodeManager深度剖析（具備掌握NodeManager及Container的能力） 1、NodeManager架構(gòu) 2、Container Management 3、Container? lifecycle 4、資源管理與隔離 ? 第4堂課：Spark的架構(gòu)設(shè)計(jì)(具備掌握Spark架構(gòu)的能力) ? 1.1 Spark生態(tài)系統(tǒng)剖析 1.2 Spark的架構(gòu)設(shè)計(jì)剖析 1.3 RDD計(jì)算流程解析 1.4 Spark的出色容錯(cuò)機(jī)制 ? | ? |
?
轉(zhuǎn)載于:https://www.cnblogs.com/spark-hadoop/p/4183550.html
總結(jié)
以上是生活随笔為你收集整理的决胜大数据时代：HadoopYarnSpark企业级最佳实践(3天)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
