“數(shù)據(jù)是驅(qū)動商業(yè)向前發(fā)展的核心，更是人類社會的未來。”

盡管將馬云的這句話斷章取義地拿出來說會顯得唐突，但這話所表達(dá)的意思卻顯而易見。今天給大家分享的這40個教程，送給對未來抱有遠(yuǎn)見的樂觀主義拼搏者，涵蓋了大數(shù)據(jù)入門的大多基礎(chǔ)知識，從Java基礎(chǔ)到Scala，Hadoop，Hbase，Mhout，Sqoop以及Spark等等。

入門知識

1. Linux 基礎(chǔ)入門（新版）

2. Vim編輯器

3. Git 實戰(zhàn)教程

4. MySQL 基礎(chǔ)課程

5. MongoDB 基礎(chǔ)教程

6. Redis基礎(chǔ)教程

本教程的正確食用姿勢：教程大都是公開免費資源（僅有一小撮需要會員權(quán)限）。區(qū)別于目前所有主流教程，該教程的核心就是動手！跟著文檔說明，在在線的Linux系統(tǒng)中一步一步地敲出基礎(chǔ)知識，各種有趣項目；走出只看書、看視頻卻不動手的禁區(qū)，你會比別人學(xué)的更快的，放心。

Java基礎(chǔ)

1. Java編程語言（新版）

介紹 Java 語言基本語法、Java 平臺應(yīng)用、 Java 的核心概念：JVM、JDK、JRE以及 java 面向?qū)ο笏枷搿Ｍ瑫r我們會學(xué)到如何在系統(tǒng)中搭建 Java 開發(fā)環(huán)境，以及如何利用第三方工具進(jìn)行 Java 程序的開發(fā)。

2. Java進(jìn)階之設(shè)計模式

介紹常用的設(shè)計模式以及 Java 語言的實現(xiàn)實例來學(xué)習(xí) java 設(shè)計模式。從中我們可以學(xué)習(xí)到很多類型的設(shè)計模式，其中包括工廠模式、抽象工廠模式、單例模式、適配器模式、觀察者模式、裝飾者模式等等。

3. JDK 核心 API

學(xué)習(xí)包括 java.lang 包，java.util 包，java.io 包，swing以及多線程的相關(guān)知識。

4. JDBC 入門教程

通過學(xué)習(xí) JDBC 定義和架構(gòu)，回顧 SQL 語法，搭建 JDBC 的環(huán)境，通過實例來深入學(xué)習(xí) JDBC。從中我們將學(xué)習(xí)到如何用 java 連接到數(shù)據(jù)庫，并練習(xí)編寫了一個信息管理的程序，在此基礎(chǔ)上可以提高自己的數(shù)據(jù)庫管理能力。

5. Java 8 新特性指南

介紹了 Lambda 表達(dá)式、函數(shù)式接口、Stream 流和 Date/Time API 等相關(guān)知識點。難度一般，適用于Java初學(xué)者或者是具有一定編程經(jīng)驗的開發(fā)者。

Scala基礎(chǔ)

1. Scala 開發(fā)教程

Scala 是一門多范式的編程語言，類似于 Java 。設(shè)計初衷是實現(xiàn)可伸縮的語言、并集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性。

2. Scala 專題教程 - Case Class和模式匹配

本教程側(cè)重介紹Scala的case class和pattern matching（模式匹配），這兩個程序結(jié)構(gòu)對于處理樹結(jié)構(gòu)的數(shù)據(jù)非常有幫助。你將可以學(xué)習(xí)到模式匹配中的常量模式、通配模式和變量模式等。

3. Scala 專題教程 - 隱式變換和隱式參數(shù)

主要介紹 Scala 中可以讓函數(shù)庫調(diào)用變得更加方便的隱式變換和隱式參數(shù)，以及如何通過它們來避免一些繁瑣和顯而易見的細(xì)節(jié)問題。

4. Scala 專題教程 - 抽象成員

主要介紹 Scala 中的抽象成員用法。在本教程中，你將可以學(xué)到如何使用 Type 成員，以及抽象 vals 變量的初始化方法等要點。

5. Scala 專題教程 - Extractor

本教程側(cè)重講解 Scala 中的 Extractor ，它可以將數(shù)據(jù)模型和視圖邏輯分離，在 Scala 體系中充當(dāng)類似于適配器的角色，是一種極具函數(shù)式的做法。你將可以在課程中學(xué)到如何定義和設(shè)定 Extractor 。

6. Scala 開發(fā)二十四點游戲

24 點是一種數(shù)學(xué)游戲，正如象棋、圍棋一樣是一種人們喜聞樂見的娛樂活動。 它始于何年何月已無從考究，但它以自己獨具的數(shù)學(xué)魅力和豐富的內(nèi)涵正逐漸被越來越多的人們所接受。

Hadoop技術(shù)模塊

1. Hadoop部署及管理

Hadoop是一款支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用并以Apache 2.0許可協(xié)議發(fā)布的開源軟件框架，本實驗學(xué)習(xí)并實踐Hadoop系統(tǒng)的不同模式的部署，以及基本的系統(tǒng)使用與管理。

2. Hadoop入門進(jìn)階課程

涵蓋了大數(shù)據(jù)領(lǐng)域常見的組件，如Hadoop，Mapreduce，HBase，Mahout，Pig，Hive，Sqoop等。首先從理論上進(jìn)行介紹，然后讓您在實驗環(huán)境中一步步搭建，及相應(yīng)的案例學(xué)習(xí)。

3. HBASE 教程

HBase是一個開源的非關(guān)系型分布式數(shù)據(jù)庫（NoSQL），是Hadoop項目的一部分，運行于HDFS文件系統(tǒng)之上，為 Hadoop 提供類似于BigTable 規(guī)模的服務(wù)。

4. Hadoop 分布式文件系統(tǒng)——導(dǎo)入和導(dǎo)出數(shù)據(jù)

一個經(jīng)典的數(shù)據(jù)架構(gòu)中，Hadoop 是處理復(fù)雜數(shù)據(jù)流的核心。數(shù)據(jù)往往是從許多分散的系統(tǒng)中收集而來，并導(dǎo)入 Hadoop 分布式文件系統(tǒng)（HDFS）中，通過 MapReduce 或者其他基于MapReduce 封裝的語言進(jìn)行處理，將這些已經(jīng)過濾、轉(zhuǎn)換和聚合過的結(jié)果導(dǎo)出到一個或多個外部系統(tǒng)中。

5. 使用 Flume 收集數(shù)據(jù)

Flume 可以從多個數(shù)據(jù)源獲取數(shù)據(jù)，把這些數(shù)據(jù)傳給遠(yuǎn)程主機（可能是一對多或流水線模型 中的多個目標(biāo)），再把它們傳給多個目的端。盡管 Flume 提供了開發(fā)自定義數(shù)據(jù)源和數(shù)據(jù)目的端的編程 API，但它原本就支持許多常見的場景。

6. Kafka快速上手教程

介紹 Kafka 及實現(xiàn)原理，然后講解 Kafka 集成 Flume ，KafkaOffsetMonitor 安裝及使用，案例演示，學(xué)習(xí)完本教程，你將對kafka有深入的了解，很快上手。

7. 基于 Hadoop 對武俠小說進(jìn)行詞頻分析

利用實驗樓提供的 Hadoop 環(huán)境，對一本武俠小說的文集進(jìn)行簡單的 WordCount 詞頻統(tǒng)計，從而得到該書中出現(xiàn)頻次最高的人名。需要一定的 Hadoop 和 MapReduce 基礎(chǔ)。

8. Hadoop 圖處理–《hadoop應(yīng)用框架》

對于圖處理，hadoop的mapreduce提供一層合并，這表明我們不得不像剝洋蔥一樣來處理圖數(shù)據(jù)，Giraph 是 Google Pregel 的一種開源實現(xiàn)。本教程將基于hadoop平臺實現(xiàn)Giraph 分布式系統(tǒng)中的圖處理。

Spark技術(shù)模塊

1. Spark2.x 快速入門教程

Spark進(jìn)入2.0時代，引入了很多優(yōu)秀特性，性能上有較大提升，API更易用。在“編程統(tǒng)一”方面非常驚艷，實現(xiàn)了離線計算和流計算API的統(tǒng)一，實現(xiàn)了Spark sql和Hive Sql操作API的統(tǒng)一。真正做到了“更簡單、更快速、更智能”！

2. Spark 大數(shù)據(jù)動手實驗

9個實驗帶你親身體驗Spark大數(shù)據(jù)分析的魅力，最快的上手教程，最新的技術(shù)領(lǐng)域，最多的動手實踐。

3.Spark 基礎(chǔ)之 GraphX 圖計算框架學(xué)習(xí)

GraphX通過RDD的擴展，在其中引入了一個新的圖抽象，即頂點和邊帶有特性的有向多重圖，提供了一些基本運算符和優(yōu)化了的Pregel API，來支持圖計算。

4. 流式實時日志分析系統(tǒng)——《Spark 最佳實踐》

我們將基于 Spark Streaming 流式計算框架，簡單地實現(xiàn)一個類似于百度分析的系統(tǒng)。本教程源自圖靈教育的《Spark 最佳實踐》第6章第3節(jié)，感謝圖靈教育授權(quán)實驗樓發(fā)布。

5. Spark 基礎(chǔ)之 DataFrame 基本概念學(xué)習(xí)

針對飛行準(zhǔn)點率數(shù)據(jù)集，通過一些簡單的分析任務(wù)來學(xué)習(xí) DataFrame 的由來、構(gòu)建方式以及一些常用操作。在本教程中，你可以了解到 Spark 生態(tài)體系中，核心的 RDD 與 DataFrame 之間的區(qū)別和聯(lián)系。

6. Spark 基礎(chǔ)之 DataFrame 高階應(yīng)用技巧

通過更加深入的講解，使用真實的 SFPD 數(shù)據(jù)集，結(jié)合實際問題的分析過程，帶你學(xué)習(xí) DataFrame 的創(chuàng)建方式、常用操作、UDF 自定義函數(shù) 和重分區(qū)相關(guān)知識。

7. Spark 基礎(chǔ)之 Streaming 快速上手

Spark Streaming 是 Spark 引擎的一種擴展，適用于實時處理流式數(shù)據(jù)。本教程將帶你學(xué)習(xí) Spark Streaming 的工作機制，了解 Streaming 應(yīng)用的基本結(jié)構(gòu)，以及如何在 Streaming 應(yīng)用中附加 SQL 查詢。

8. Spark 基礎(chǔ)之 SQL 快速上手

你將可以學(xué)習(xí)到 Spark SQL 的基礎(chǔ)概念，了解如何利用 SQL Context 及相關(guān)的 API 進(jìn)行統(tǒng)計分析。最后還將通過一個分析股票價格與石油價格關(guān)系的實例，進(jìn)一步學(xué)習(xí)如何利用 Spark SQL 分析數(shù)據(jù)。

9. Spark 基礎(chǔ)之使用機器學(xué)習(xí)庫 MLlib

你將可以學(xué)習(xí)到 Spark 的機器學(xué)習(xí)庫—— MLlib 的相關(guān)知識，了解 MLlib 與 ML 之間的區(qū)別和聯(lián)系，掌握 MLlib 中的幾個基本數(shù)據(jù)類型。同時，還將通過一個電影推薦的實例，講解如何利用機器學(xué)習(xí)算法解決實際問題。

10. Spark 基礎(chǔ)之 SparkR 快速上手

學(xué)習(xí) Spark 平臺中對于 R 語言的支持前端——SparkR。教程將會講解到如何在 SparkR 中創(chuàng)建和操作 DataFrame、如何運行 SQL 查詢，以及如何利用機器學(xué)習(xí)相關(guān)的 API。

11. 使用 Spark 和 D3.js 分析航班大數(shù)據(jù)

將通過一個航班數(shù)據(jù)分析實例來學(xué)習(xí) Spark 綜合技巧和數(shù)據(jù)可視化技術(shù)。在航班數(shù)據(jù)分析實驗中，可以學(xué)習(xí)到如何使用 OpenRefine 進(jìn)行簡單的數(shù)據(jù)清洗，以及如何通過 Spark 提供的 DataFrame、 SQL 和機器學(xué)習(xí)框架等工具，對航班起降的記錄數(shù)據(jù)進(jìn)行分析，嘗試找出造成航班延誤的原因，以及對航班延誤情況進(jìn)行預(yù)測。

大數(shù)據(jù)進(jìn)階項目

1. Ebay 在線拍賣數(shù)據(jù)分析

介紹如何利用 eBay 上的拍賣數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，實現(xiàn)通過數(shù)據(jù)判斷拍賣最終是否可以成功交易和預(yù)測最終成交的價格。

2. 流式實時日志分析系統(tǒng)——《Spark 最佳實踐》

我們將基于 Spark Streaming 流式計算框架，簡單地實現(xiàn)一個類似于百度分析的系統(tǒng)。本課教程源自圖靈教育的《Spark 最佳實踐》第6章第3節(jié)，感謝圖靈教育授權(quán)實驗樓發(fā)布。

3. Spark的模式挖掘—FPGrowth算法

模式挖掘也叫關(guān)聯(lián)規(guī)則，其實就是從大量的數(shù)據(jù)中挖掘出比較有用的數(shù)據(jù)，挖掘頻繁項。比如說超市有大量的購物數(shù)據(jù)，從而可以根據(jù)用戶的購物數(shù)據(jù)找到哪些商品之間關(guān)聯(lián)性比較大。進(jìn)行關(guān)聯(lián)推銷產(chǎn)品。也可以進(jìn)行用戶推薦。

4. Twitter數(shù)據(jù)情感分析

使用Spark MLlib對Twitter上的流數(shù)據(jù)進(jìn)行情感分析，并且利用Python的工具包basemap可視化美國不同的州對于曾經(jīng)的總統(tǒng)候選人希拉里及川普的情感分析結(jié)果，通過地理信息可視化我們可直觀的感受到這兩位候選人的受歡迎程度。

5. Spark流式計算電商商品關(guān)注度

使用Scoket來模擬用戶瀏覽商品產(chǎn)生實時數(shù)據(jù)，數(shù)據(jù)包括用戶當(dāng)前瀏覽的商品以及瀏覽商品的次數(shù)和停留時間和是否收藏該商品。使用Spark Streaming構(gòu)建實時數(shù)據(jù)處理系統(tǒng)，來計算當(dāng)前電商平臺最受人們關(guān)注的商品是哪些。

6. 使用 Spark 進(jìn)行流量日志分析

日志在計算機系統(tǒng)中是一個非常廣泛的概念，任何程序都有可能輸出日志：操作系統(tǒng)內(nèi)核、各種應(yīng)用服務(wù)器等等。日志包含很多有用的信息，例如訪問者的 IP、訪問的時間、訪問的目標(biāo)網(wǎng)頁、來源的地址以及訪問者所使用的客戶端的 UserAgent 信息等，分析日志能幫助企業(yè)營銷做出決策

7. 大數(shù)據(jù)帶你挖掘打車的秘籍

在哪些地方出租車更容易打到？在什么時候更容易打到出租車？本教程將基于某市的出租車行駛軌跡數(shù)據(jù)，帶你學(xué)習(xí)如何應(yīng)用Spark SQL和機器學(xué)習(xí)相關(guān)技巧，并且通過數(shù)據(jù)可視化手段展現(xiàn)分析結(jié)果。

完。更多相關(guān)教程，歡迎大家到實驗樓（www. shiyanlou.com）來學(xué)習(xí)哦！

今日推薦

第一彈：超全Python學(xué)習(xí)資源整理（入門系列）

第二彈：超全Python學(xué)習(xí)資源整理（進(jìn)階系列）

Java進(jìn)階之設(shè)計模式

Scala 開發(fā)教程

Hadoop部署及管理

RabbitMQ 消息隊列

Redis基礎(chǔ)教程

Shell腳本實現(xiàn)打字游戲

Python3 實現(xiàn)色情圖片識別

Python實現(xiàn)3D建模工具

總結(jié)

以上是生活随笔為你收集整理的40个大数据学习资源，个个是干货，最后7个太给力的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。