業內有這么一句話說：云計算可能改變了整個傳統IT產業的基礎架構，而大數據處理，尤其像Hadoop組件這樣的技術出現，將是改變IT業務模式的一種技術。另外，很多小伙伴可能還搞不明白云和Hadoop有什么關系，事實上這是兩種截然不同的技術。今天我們就來聊一聊大數據運維工程師。

?

一.Linux發展與學習線路?

?

?

二.大數據運維的工作職責

一.集群管理大數據需要分布式系統，也就是集群：Hadoop，Hbase，Spark，Kafka， Redis等大數據生態圈組建。二.故障處理1>.商用硬件使用故障是常態。2>.區分故障等級，優先處理影響實時性業務的故障。三.變更管理1>.以可控的方式，高效的完成變更工作；2>.包括配置管理和發布管理；四.容量管理1>.存儲空間，允許鏈接數等都是容量概念；2>.在多租戶環境下，容量管理尤其重要； 五.性能調優1>.不同組建的性能概念不一樣，如kafka注重吞吐量，Hbase注重實用性、 可用性;2>.需要對組建有深刻的理解六.架構優化1>.優化大數據平臺架構，支持平臺能力和產品的不斷迭代;2>.類似架構師的工作；

?

三.大數據運維所需的能力

一.DevOpsDevOps(英文Development和Operations的組合)是一組過程，方法和系統 的統稱，用于促進開發（應用程序/軟件工程），技術運營和 質量保障（QA）部門之間的溝通，寫作與整合。 二.硬件，OS，網絡，安全的基礎知識大數據平臺和組建設計范圍廣，各種都需要懂一點，這些知識出問題 的時候不可能問人，因為別人也有自己的工作要做。三.腳本語言能力Shell,SQL(DDL),Python.Java（加分）四.大數據各個組件知識設計思想。使用范圍，底層架構，常用命令，常用配置或參數， 常見問題處理方法。五.工具能力Zabbix，Open Falcon，Ganglia，ELK等，企業自研工具。 我推薦使用集群自帶的工具。六.Trouble?shooting能力搜索能力（搜索引擎，stackoverflow等）， java能力（異常堆棧要看得懂，最好能看懂源碼），英文閱讀能力。七.意識，流程良好的意識，什么能做什么不能做。同用的流程如ITIL， 各企業也有自己的流程。

四.大數據運維的主要工作

一.運維三板斧三板斧可以解決90%以上的故障處理工作。 1>.重啟重啟有問題的機器或經常，使其正常工作。 2>.切換主備切換或主主切換，鏈接正常工作的節點。 3>.查殺查殺有問題的進程，鏈接等。4>.三板斧的問題第一：只能處理故障處理問題，不能解決性能調優，架構優化等問題；第二：只能治標，不能治本；5>..大數據運維和傳統運維的不同第一：傳統運維面對的底層軟硬件基本穩固，大數據運維面對的是商用硬件和復雜linux版本；第二：傳統運維面對的是單機架構為主，大數據運維面對復雜的分布式架構；第三：傳統運維大多維護閉源商業版系統，大數據運維通常面對開源系統，文檔手冊匱乏，對閱讀源碼要求高。第四：大數據運維對自動化工具的依賴大大增加；二.Iaas層（基礎設置及服務）運維工作一般中大型企業有自己的基礎設施維護團隊，這部分工作不會交給大數據運維來做。小公司可能需要大數據運維鍵值這部分工作，主要關注三個方面： 1>.硬件大數據系統大多使用廉價PC Server或虛擬機，硬件故障是常態，通過告警，日志，維護命令等識別故障，并支持硬件更換。 2>.存儲大多使用PC Server掛本磁盤的存儲方式，極少情況會使用SAN（存儲區域網絡）或NAS（網絡附屬存儲），熟悉分區，格式化，巡檢等基本操作。 3>.網絡網絡的配置變更更需要比較專業的知識，如有需要可學習CCNA，CCNP等認證課程，但網絡硬件和配置出問題概率很低，主要關注丟包，延時。三.HDFS運維工作1>.容量管理第一：HDFS空間我使用超過80%要警惕，如果是多租戶環境，租戶的配額空間也能用完；第二：熟悉hdfs，fsck，distcp等常用命令，會使用DataNode均衡器；2>.進程管理第一：NameNode的進程是重點第二：熟悉dfsadmin等Ingles。怎么做NameNode高可用。 3>.故障管理Hadoop最常見的故障就是硬盤損壞。 4>.配置管理hdfs-site.xml中的參數設置。四.MapReduce運維工作1>.進程管理第一：jobtracker進程故障概率比較低，有問題可以通過重啟解決；第二：了解一下HA的做法； 2>.配置管理mapred-site.xml中的參數設置。五.Yarn運維工作1>.故障管理主要是當任務異常這中止時看日志排查，通茶故障原因會集中在資源問題，權限問題中的一種。 2>.進程管理ResourceManager主要是學會配置HANodeManager進程掛掉不重要，重啟即可。 3>.配置管理yarn-site.xml中的參數設置，主要分三塊配置，scheduler的，ResourceManager的，NodeManager的。六.Hive/Impala運維工作1>.SQL問題排查第一：結果不對，主要原因可能是SQL錯誤，數據不存在，UDF錯誤等，需要靠經驗排查第二：慢SQL，這類問題開發經常會找運維排查，有可能是劣勢SQL，數據量大，也有可能是集群資源緊張； 2>.元數據管理Hive和Impala公用的元數據，存在關系型數據庫中。七.其它組件根據組件用途，特性，關注點的不用，運維工作也各不相同，如： 1>.HBase關注讀寫性能，服務的可用性 2>.Kafka關注吞吐量，負載均衡，消息不丟機制 3>.Flume關注屯度量，故障后的快速恢復

?

五.大數據運維技能概覽

?

?

六.大數據運維職業素養

1>.人品 2>.嚴謹 3>.細心 4>.心態 5>.熟悉操作系統 6>.熟悉業務(開發) 7>.熟悉行業 8>.喜歡大數據生態圈 原文：cnblogs.com/yinzhengjie/p/10587721.html 整理來自：大數據肌肉猿

大數據轉型案例五年Java外包轉型大數據架構北美零基礎轉行開發求職面經雙非碩士阿里大數據開發面經精心整理的ebay大數據面試題一位材料專業研究生的Java轉型復盤從車輛工程到大數據開發，我經歷了什么？我，30歲，部隊服役5年，零基礎轉大數據Java干了半年，我機智地跳到了大數據開發自學半年，從保險銷售，零基礎轉型數據分析日本留學生算法轉型大數據開發？聽他怎么說傳統金融IT男轉型互聯網大數據碼農，圖啥？ 從安卓主管轉型大數據開發，我經歷了什么？專升本程序媛，實習期間月薪10K，有點厲害我是程序媛，從事大數據開發兩年，我有話說材料學博士轉型大數據開發，是一種什么體驗？我，32歲零基礎轉大數據，不需要別人怎么看！從傳統數倉到互聯網大數據開發，不走彎路很重要兩年車間技術員轉型大數據開發，說說轉型這點事兒電網工作2年后考研，8面阿里，成功轉型大數據開發3年Java開發轉型大數據開發，如何跳出CRUD舒適區？我是DBA，從大數據小白到閱讀框架源碼，薪資翻了三倍機械碩士，因實驗室師兄畢業拿5K，自學Java轉型大數據 雙非菜雞3個月收割頭條大數據offer，方向真的比努力更重要！國企車間流水線5年，重新考研，彎道超車，收割百度騰訊offer二本電氣工程應屆生收割5個offer，轉型大數據真的與專業無關被培訓機構坑了，面國企要求唱歌...談談我轉型大數據的心酸歷程土木工程轉專業，上岸趣頭條、今日頭條后端開發，學習歷程分享警犬專業專科生，過阿里一面，又收作業幫offer，跟你聊聊大數據學習學了三年的嵌入式，但我還是轉型了大數據，跟你聊聊我學習的心路歷程二線到一線城市的大數據求職之路，被領導穿小鞋，跳槽一個月拿6個offer，入職ebay

掃描下方二維碼

添加好友，備注【交流群】

拉你到學習路線和資源豐富的交流群

總結

以上是生活随笔為你收集整理的大数据运维学习之路的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。