現(xiàn)在大數(shù)據(jù)這么火，各行各業(yè)想轉(zhuǎn)行大數(shù)據(jù)，那么問題來了，該往哪方面發(fā)展，哪方面最適合自己？

首先從字面來了解一下大數(shù)據(jù)?大數(shù)據(jù)?（巨量數(shù)據(jù)集合（IT行業(yè)術(shù)語(yǔ)）） 大數(shù)據(jù)（big data），指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

?

自己建的大數(shù)據(jù)學(xué)習(xí)交流群:199427210，群里都是學(xué)大數(shù)據(jù)開發(fā)的，如果你正在學(xué)習(xí)大數(shù)據(jù) ，小編歡迎你加入,大家都是軟件開發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)軟件開發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進(jìn)階資料和高級(jí)開發(fā)教程，歡迎進(jìn)階中和進(jìn)想深入大數(shù)據(jù)的小伙伴加入。
?

大數(shù)據(jù)的5V特點(diǎn)（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價(jià)值密度）、Veracity（真實(shí)性）。

?

接下來我們就看看大數(shù)據(jù)的學(xué)習(xí)方向

大數(shù)據(jù)世界有三大學(xué)習(xí)方向：數(shù)據(jù)開發(fā)師、數(shù)據(jù)運(yùn)維師、數(shù)據(jù)架構(gòu)師。

什么是大數(shù)據(jù)開發(fā)師？

圍繞大數(shù)據(jù)系平臺(tái)系統(tǒng)級(jí)的研發(fā)人員， 熟練Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺(tái)的核心框架。深入掌握如何編寫MapReduce的作業(yè)及作業(yè)流的管理完成對(duì)數(shù)據(jù)的計(jì)算，并能夠使用Hadoop提供的通用算法， 熟練掌握Hadoop整個(gè)生態(tài)系統(tǒng)的組件如： Yarn，HBase、Hive、Pig等重要組件，能夠?qū)崿F(xiàn)對(duì)平臺(tái)監(jiān)控、輔助運(yùn)維系統(tǒng)的開發(fā)。

通過學(xué)習(xí)一系列面向開發(fā)者的Hadoop、Spark等大數(shù)據(jù)平臺(tái)開發(fā)技術(shù)，掌握設(shè)計(jì)開發(fā)大數(shù)據(jù)系統(tǒng)或平臺(tái)的工具和技能，能夠從事分布式計(jì)算框架如Hadoop、Spark群集環(huán)境的部署、開發(fā)和管理工作，如性能改進(jìn)、功能擴(kuò)展、故障分析等。

?

什么是大數(shù)據(jù)運(yùn)維師？

了解Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺(tái)的核心框架，熟悉Hadoop的核心組件：HDFS、MapReduce、Yarn；具備大數(shù)據(jù)集群環(huán)境的資源配置，如網(wǎng)絡(luò)要求、硬件配置、系統(tǒng)搭建。熟悉各種大數(shù)據(jù)平臺(tái)的部署方式，集群搭建，故障診斷、日常維護(hù)、性能優(yōu)化，同時(shí)負(fù)責(zé)平臺(tái)上的數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)維護(hù)及優(yōu)化。熟練使用Flume、Sqoop等工具將外部數(shù)據(jù)加載進(jìn)入大數(shù)據(jù)平臺(tái)，通過管理工具分配集群資源實(shí)現(xiàn)多用戶協(xié)同使用集群資源。通過靈活、易擴(kuò)展的Hadoop平臺(tái)轉(zhuǎn)變了傳統(tǒng)的數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)，從Hadoop部署實(shí)施到運(yùn)行全程的狀態(tài)監(jiān)控，保證大數(shù)據(jù)業(yè)務(wù)應(yīng)用的安全性、快速響應(yīng)及擴(kuò)展能力！

?

什么是大數(shù)據(jù)架構(gòu)師？

圍繞大數(shù)據(jù)系平臺(tái)系統(tǒng)級(jí)的研發(fā)人員， 熟練Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺(tái)的核心框架。深入掌握如何編寫MapReduce的作業(yè)及作業(yè)流的管理完成對(duì)數(shù)據(jù)的計(jì)算，并能夠使用Hadoop提供的通用算法， 熟練掌握Hadoop整個(gè)生態(tài)系統(tǒng)的組件如： Yarn，HBase、Hive、Pig等重要組件，能夠?qū)崿F(xiàn)對(duì)平臺(tái)監(jiān)控、輔助運(yùn)維系統(tǒng)的開發(fā)。

通過學(xué)習(xí)一系列面向開發(fā)者的Hadoop、Spark等大數(shù)據(jù)平臺(tái)開發(fā)技術(shù)，掌握設(shè)計(jì)開發(fā)大數(shù)據(jù)系統(tǒng)或平臺(tái)的工具和技能，能夠從事分布式計(jì)算框架如Hadoop、Spark群集環(huán)境的部署、開發(fā)和管理工作，如性能改進(jìn)、功能擴(kuò)展、故障分析等。

?

當(dāng)然如果你想要做一個(gè)數(shù)據(jù)分析師或者數(shù)據(jù)挖掘師，那么，你首先要做的不是馬上去買很多的相關(guān)書籍，也不是馬上去報(bào)一個(gè)數(shù)據(jù)分析師培訓(xùn)課程，我覺得你最先應(yīng)該做的是弄明白大數(shù)據(jù)是什么意思。了解了大數(shù)據(jù)的含義之后，不管是你自學(xué)也好，跟班學(xué)習(xí)也好，都是可以受益匪淺的。所以，我們先來回答一下大家可能比較關(guān)心的一些問題。

一、大數(shù)據(jù)是什么？

大數(shù)據(jù)是一個(gè)龐大的體系，其中大致包括以下幾方面：

1.數(shù)據(jù)存儲(chǔ)階段（用戶信息，行為信息存儲(chǔ)進(jìn)硬盤）。

2.數(shù)據(jù)挖掘 清洗 篩選（根據(jù)產(chǎn)品需求篩選出符合企業(yè)用于盈利需求的數(shù)據(jù)）

3.數(shù)據(jù)分析（通過數(shù)學(xué)分析，商業(yè)分析，將挖掘出來的數(shù)據(jù)進(jìn)行產(chǎn)品匹配盈利分析）

4.產(chǎn)品調(diào)整（根據(jù)分析進(jìn)行產(chǎn)品的上下架，迭代開發(fā)，達(dá)到產(chǎn)品迎合更多用戶的選擇或者銷售出更多的產(chǎn)品。）

5.產(chǎn)品下一步的規(guī)劃（譬如新開一個(gè)產(chǎn)品線，可以根據(jù)數(shù)據(jù)來進(jìn)行分析。）

二、我怎么選擇我適合那個(gè)階段的職位

1.數(shù)據(jù)存儲(chǔ)階段（SQL，oracle，IBM等等都有相關(guān)的課程，根據(jù)公司的不同，學(xué)習(xí)好這些企業(yè)的開發(fā)工具，基本可以勝任此階段的職位）

2.數(shù)據(jù)挖掘 清洗 篩選（大數(shù)據(jù)工程師，要學(xué)習(xí)JAVA，Linux，SQL，Hadoop，數(shù)據(jù)序列化系統(tǒng)Avro，數(shù)據(jù)倉(cāng)庫(kù)Hive，分布式數(shù)據(jù)庫(kù)HBase，數(shù)據(jù)倉(cāng)庫(kù)Hive，Flume分布式日志框架，Kafka分布式隊(duì)列系統(tǒng)課程，Sqoop數(shù)據(jù)遷移，pig開發(fā)，Storm實(shí)時(shí)數(shù)據(jù)處理。學(xué)會(huì)以上基本可以入門大數(shù)據(jù)工程師，如果想有一個(gè)更好的起點(diǎn)，建議前期學(xué)習(xí)scala編程，Spark，R語(yǔ)言等基本現(xiàn)在企業(yè)里面更專業(yè)的技能。）

3.數(shù)據(jù)分析（此階段本人涉獵不是很多，所以大致說明。需要有比較強(qiáng)悍的商業(yè)頭腦以及數(shù)字分析能力。好的數(shù)據(jù)分析師基本都是碩士起步，數(shù)學(xué)，經(jīng)濟(jì)類專業(yè)。）

4.產(chǎn)品調(diào)整（經(jīng)過分析后的數(shù)據(jù)交由老板和PM經(jīng)過協(xié)商后進(jìn)行產(chǎn)品的更新，然后交由程序員進(jìn)行修改（快消類進(jìn)行商品的上下架調(diào)整））

想要找到適合自己的大數(shù)據(jù)發(fā)展方向，我們先要了解大數(shù)據(jù)的工作方向，主要分以下幾點(diǎn)：

01.大數(shù)據(jù)工程師

02.數(shù)據(jù)分析師

03.大數(shù)據(jù)科學(xué)家

04.其他（數(shù)據(jù)挖掘本質(zhì)算是機(jī)器學(xué)習(xí)，不過和數(shù)據(jù)相關(guān)，也可以理解為大數(shù)據(jù)的一個(gè)方向吧）

二、大數(shù)據(jù)工程師的技能要求

必須技能10條:

01.Java高級(jí)(虛擬機(jī)、并發(fā))

02.Linux 基本操作

03.Hadoop（此處為俠義概念單指HDFS+MapReduce+Yarn ）

04.HBase（JavaAPI操作+Phoenix ）

05.Hive(Hql基本操作和原理理解）

06.Kafka

07.Storm

08.Scala需要

09.Python

10.Spark (Core+sparksql+Spark streaming ）

高階技能6條:

1.機(jī)器學(xué)習(xí)算法以及mahout庫(kù)加MLlib

2.R語(yǔ)言

3.Lambda 架構(gòu)

4.Kappa架構(gòu)

5.Kylin

6.Aluxio

三、大數(shù)據(jù)的學(xué)習(xí)技術(shù)點(diǎn)

Hadoop核心

(1) 分布式存儲(chǔ)基石：HDFS

HDFS簡(jiǎn)介 入門演示 構(gòu)成及工作原理解析：數(shù)據(jù)塊，NameNode, DataNode、數(shù)據(jù)寫入與讀取過程、數(shù)據(jù)復(fù)制、HA方案、文件類型、 HDFS常用設(shè)置 Java API代碼演示

(2) 分布式計(jì)算基礎(chǔ)：MapReduce

MapReduce簡(jiǎn)介、編程模型、Java API 介紹、編程案例介紹、MapReduce調(diào)優(yōu)

(3) Hadoop集群資源管家：YARN

YARN基本架構(gòu) 資源調(diào)度過程 調(diào)度算法 YARN上的計(jì)算框架

離線計(jì)算

(1) 離線日志收集利器：Flume

Flume簡(jiǎn)介 核心組件介紹 Flume實(shí)例：日志收集、適宜場(chǎng)景、常見問題

(2) 離線批處理必備工具：Hive

Hive在大數(shù)據(jù)平臺(tái)里的定位、總體架構(gòu)、使用場(chǎng)景之Access Log分析 Hive DDL&DML介紹 視圖 函數(shù)（內(nèi)置，窗口，自定義函數(shù)） 表的分區(qū)、分桶和抽樣 優(yōu)化

(3) 速度更快的Hive：Impala

Impala在大數(shù)據(jù)架構(gòu)中的角色 架構(gòu) 數(shù)據(jù)處理過程 一般使用步驟：創(chuàng)建表，分區(qū)表，查詢等 常用查詢演示：統(tǒng)計(jì)，連接等、Impala與Hive的比較 常用配置與最佳使用建議（查錯(cuò)，調(diào)優(yōu)等）

(4) 更快更強(qiáng)更好用的MR：Spark

Scala&Spark簡(jiǎn)介 基礎(chǔ) Spark編程（計(jì)算模型RDD、算子Transformation和Actions的使用、使用Spark制作倒排索引）Spark SQL和DataFrame 實(shí)例：使用Spark SQL統(tǒng)計(jì)頁(yè)面PV和UV

實(shí)時(shí)計(jì)算

(1) 流數(shù)據(jù)集成神器：Kafka

Kafka簡(jiǎn)介 構(gòu)成及工作原理解析 4組核心API 生態(tài)圈 代碼演示：生產(chǎn)并消費(fèi)行為日志

(2) 實(shí)時(shí)計(jì)算引擎：Spark Streaming

Spark Streaming簡(jiǎn)介 工作原理解剖 編寫Streaming程序的一般過程 如何部署Streaming程序？ 如何監(jiān)控Streaming程序？ 性能調(diào)優(yōu)

(3) 海量數(shù)據(jù)高速存取數(shù)據(jù)庫(kù)：HBase

HBase簡(jiǎn)介 架構(gòu)及基本組件 HBase Table設(shè)計(jì) HBase基本操作 訪問HBase的幾種方式

大數(shù)據(jù)ETL

(1) ETL神器：Sqoop，Kettle

數(shù)據(jù)同步ETL介紹 Kettle常用組件介紹 、抽取Mysql數(shù)據(jù)到Hive實(shí)戰(zhàn) Sqoop介紹、抽取Hive數(shù)據(jù)到Mysql實(shí)戰(zhàn)

(2) 任務(wù)調(diào)度雙星：Oozie，Azkaban

ETL與計(jì)算任務(wù)的統(tǒng)一管理和調(diào)度簡(jiǎn)介 Crontab調(diào)度的方案 自研調(diào)度系統(tǒng)的方案 開源系統(tǒng)Oozie和Azkaban 方案總結(jié)與經(jīng)驗(yàn)分享

大數(shù)據(jù)應(yīng)用與數(shù)據(jù)挖掘

(1) 大數(shù)據(jù)全文檢索引擎：Elasticsearch

全文檢索基礎(chǔ)知識(shí)，ES安裝及初級(jí)介紹，ES深入理解，使用經(jīng)驗(yàn)介紹

(2) 數(shù)據(jù)倉(cāng)庫(kù)搭建

為什么要構(gòu)建大數(shù)據(jù)平臺(tái)大數(shù)據(jù)平臺(tái)的的經(jīng)典架構(gòu)深入剖析“五橫一縱”的架構(gòu)實(shí)踐 知名互聯(lián)網(wǎng)公司大數(shù)據(jù)平臺(tái)架構(gòu)簡(jiǎn)介

(3) 數(shù)據(jù)可視化

什么是數(shù)據(jù)可視化，數(shù)據(jù)可視化常用工具與必備技能介，Tableau和ECharts實(shí)操講解 ECharts介紹，知名互金公司可視化經(jīng)驗(yàn)介紹

(4) 算法介紹

介紹數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，深度學(xué)習(xí)的區(qū)別，R語(yǔ)言和python的介紹，邏輯回歸算法的介紹與應(yīng)用，以及主要的推薦算法介紹

?

那么，有人就會(huì)問，學(xué)習(xí)大數(shù)據(jù)，Python和java哪個(gè)學(xué)習(xí)比較有優(yōu)勢(shì)呢？

如果是大數(shù)據(jù)方向，python明顯是比java更有優(yōu)勢(shì)，所以個(gè)人建議是從python入手。為什么這么說呢，我認(rèn)為受以下幾個(gè)因素的影響。

大數(shù)據(jù)從目前來看，數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能等都?xì)w屬于大數(shù)據(jù)的范疇，其實(shí)是大數(shù)據(jù)技術(shù)與數(shù)據(jù)科學(xué)的混合體

大數(shù)據(jù)目前來看是大數(shù)據(jù)技術(shù)與數(shù)據(jù)科學(xué)的混合體，大數(shù)據(jù)技術(shù)偏重工程實(shí)話，對(duì)計(jì)算機(jī)編程要求較高；數(shù)據(jù)科學(xué)偏重?cái)?shù)學(xué)抽象，對(duì)數(shù)學(xué)與統(tǒng)計(jì)要求較高。大數(shù)據(jù)技術(shù)通過編程語(yǔ)言去解決業(yè)務(wù)問題，可以理解成我們生活中的碼農(nóng)，而數(shù)據(jù)科學(xué)則更多的是利用統(tǒng)計(jì)工具或者腳本語(yǔ)言對(duì)數(shù)據(jù)的處理分析，通過使用到的是Matlab、R、SAS、SPSS等工具。

python與java語(yǔ)言的本身的定位有關(guān)系

java是一種面向?qū)ο缶幊陶Z(yǔ)言，不僅吸引了c++語(yǔ)言的優(yōu)點(diǎn)，還摒棄了難以理解的多繼承、指針等概念。java具有功能強(qiáng)大、易于理解的特點(diǎn)。java主要用于商業(yè)邏輯強(qiáng)的領(lǐng)域，如商城、erp、oa、金融等領(lǐng)域。

python是一種面向?qū)ο蟮慕忉屝驼Z(yǔ)言，python是純粹的自由軟件，源代碼與解釋器cpython遵循GPL協(xié)議。python主要用于數(shù)據(jù)分析、科學(xué)計(jì)算、金融分析、數(shù)據(jù)挖掘、人工智能等領(lǐng)域，具體快速開發(fā)特性的應(yīng)用場(chǎng)景。

總的來說，想學(xué)習(xí)大數(shù)據(jù)對(duì)于Pythong來說更適合一些，Python在數(shù)據(jù)科學(xué)方面的應(yīng)用會(huì)更有優(yōu)勢(shì)較java語(yǔ)言，當(dāng)然如果偏向于應(yīng)用的開發(fā)方面-比如數(shù)據(jù)產(chǎn)品類的，則java會(huì)更有優(yōu)勢(shì)

學(xué)習(xí)大數(shù)據(jù)以后，那么就業(yè)方向怎么樣呢？

總的來說：三大方向，十大職位。

大數(shù)據(jù)主要的三大就業(yè)方向：大數(shù)據(jù)系統(tǒng)研發(fā)類人才、大數(shù)據(jù)應(yīng)用開發(fā)類人才和大數(shù)據(jù)分析類人才。

十大職位：1、ETL研發(fā)；2、Hadoop開發(fā)；3、可視化（前端展現(xiàn)）工具開發(fā)；4、信息架構(gòu)開發(fā)；5、數(shù)據(jù)倉(cāng)庫(kù)研究；6、OLAP開發(fā)；7、數(shù)據(jù)科學(xué)研究；8、數(shù)據(jù)預(yù)測(cè)（數(shù)據(jù)挖掘）分析；9、企業(yè)數(shù)據(jù)管理；10、數(shù)據(jù)安全研究。

希望這些對(duì)大家有些用處，只要你肯努力，相信沒有做不好的事情，希望大家所有的努力都會(huì)得到更好的回報(bào)，天空這么廣闊，總有一片天適合你飛翔！希望大家多多關(guān)注哦

?

總結(jié)

以上是生活随笔為你收集整理的0基础学习大数据你需要了解的学习路线和方向的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。