前言：

這個博客將記錄我大數據的學習歷程，供大家學習和參考，當然如有什么地方寫得不好的，望大家能多給建議

首先，在學習之前我先對大數據有一個大概的概念，并參考網上的資料做了一個學習大數據的計劃，現把大數據需要學習的知識點放在下面，有需要的朋友可以參考參考

第一階段?JavaWwb 開發基礎 HTML基礎 []1、Html基本介紹 []2、HTML語法規范 []3、基本標簽介紹 []4、HTML編輯器/文本文檔/WebStrom/elipse []5、HTML元素和屬性 []6、基本的HTML元素 []6.1 標題 []6.2 段落 []6.3 樣式和style屬性 []6.3 鏈接 a []6.4 圖像 img []6.5 表格 table []6.6 列表 ul/ol/dl []7、 HTML注釋 []8、表單介紹 []9、Table標簽 []10、DIV布局介紹 []11、HTML列表詳解 HTML布局和Bootstrap []1、 HTML塊元素（block）和行內元素(inline) []2、使用div實現網頁布局 []3、響應式WEB設計（Responsive Web Design） []4、使用bootstrap實現響應式布局
HTML表單元素 []1、HTML表單 form []2、HTML表單元素 []3、 HTML input的類型 type []4、 Html input的屬性 CSS基礎 []1、CSS簡介及基本語法 []2、在HTML文檔中使用CSS []3、CSS樣式 []4、CSS選擇器 []5、盒子模型 []6、布局及定位 CSS高級/CSS3 []1、尺寸和對齊 []2、分類（clear/cursor/display/float/position/visibility） []3、導航欄 []4、圖片庫 []5、圖片透明 []6、媒介類型 @media []7、CSS3 []8、CSS3動畫效果 JavaScript基礎 []1、JavaScript簡介 []2、基本語法規則 []3、在HTML文檔中使用JS []4、JS變量 []5、JS數據類型 []6、JS函數 []7、JS運算符 []8、流程控制 []9、JS錯誤和調試 JavaScript對象和作用域 []1、數字 Number []2、字符串String []3、日期 Date []4、數組 []5、數學 Math []6、DOM對象和事件 []7、BOM對象 []8、Window對象 []9、作用域和作用域鏈 []10、JSON Javascript庫 []1、Jquery []2、Prototype []3、Ext Js
Jquery []1、Jquery基本語法 []2、Jquery選擇器 []3、Jquery事件 []4、Jquery選擇器 []5、Jquery效果和動畫 []6、使用Jquery操作HTML和DOM []7、Jquery遍歷 []8、Jquery封裝函數 []9、Jquery案例 表單驗證和Jquery Validate []1、用Js對HTML表單進行驗證 []2、Jquery Validata基本用法 []3、默認校驗規則和提示信息 []4、debug和ignore []5、更改錯誤信息顯示位置和樣式 []6、全部校驗通過后的執行函數 []7、修改驗證觸發方式 []8、異步驗證 []9、自定義校驗方法 []10、radio 和 checkbox、select 的驗證 Java基礎 []1、關于Java []2、Java運行機制 []3、第一個Java程序，注釋 []4、Javac,Java,Javadoc等命令 []5、標識符與關鍵字 []6、變量的聲明，初始化與應用 []7、變量的作用域 []8、變量重名 []9、基本數據類型 []10、類型轉換與類型提升 []11、各種數據類型使用細節 []12、轉義序列 []13、各種運算符的使用 流程控制 []1、選擇控制語句if-else []2、選擇控制語句switch-case []3、循環控制語句while []4、循環控制語句do-while []5、循環控制語句for與增強型for []6、break，continue，return []7、循環標簽 []8、數組的聲明與初始化 []9、數組內存空間分配 []10、棧與堆內存 []11、二維（多維）數組 []12、Arrays類的相關方法 []13、main方法命令行參數 面向對象 []1、面向對象的基本思想 []2、類與對象 []3、成員變量與默認值 []4、方法的聲明，調用 []5、參數傳遞和內存圖 []6、方法重載的概念 []7、調用原則與重載的優勢 []8、構造器聲明與默認構造器 []9、構造器重載 []10、this關鍵字的使用 []11、this調用構造器原則 []12、實例變量初始化方式 []13、可變參數方法 訪問權限控制 []1、包 package和庫 []2、訪問權限修飾符private/protected/public/包訪問權限 []3、類的訪問權限 []4、抽象類和抽象方法 []5、接口和實現 []6、解耦 []7、Java的多重繼承 []8、通過繼承來擴展接口 錯誤和異常處理 []1、概念：錯誤和異常 []2、基本異常 []3、捕獲異常 catch []4、創建自定義異常 []5、捕獲所有異常 []6、Java標準異常 []7、使用finally進行清理 []8、異常的限制 []9、構造器 []10、異常匹配 []11、異常使用指南 數據庫基礎（MySQL） JDBC []1、Jdbc基本概念 []2、使用Jdbc連接數據庫 []3、使用Jdbc進行crud操作 []4、使用Jdbc進行多表操作 []5、Jdbc驅動類型 []6、Jdbc異常和批量處理 []7、Jdbc儲存過程 Servlet和JSP []1、Servlet簡介 []2、Request對象 []3、Response對象 []4、轉發和重定向 []5、使用Servlet完成Crud []6、Session和Coolie簡介 []7、ServletContext和Jsp []8、El和Jstl的使用 Ajax []1、什么是Ajax []2、XMLHttpRequest對象（XHR） []3、XHR請求 []4、XHR響應 []5、readystate/onreadystatechange []6、Jquery Ajax []7、JSON []8、案例：對用戶名是否可用進行服務器端校驗
綜合案例 []1、項目開發一般流程介紹 []2、模塊化和分層 []3、DButils []4、QueryRunner []5、ResultSetHandle []6、案例：用戶登錄/注冊，從前端到后端 第二階段 Java SE 訪問權限和繼承 []1、包的聲明與使用 []2、import與import static []3、訪問權限修飾符 []4、類的封裝性 []5、static（靜態成員變量） []6、final（修飾變量，方法） []7、靜態成員變量初始化方式 []8、類的繼承與成員繼承 []9、super的使用 []10、調用父類構造器 []11、方法的重寫與變量隱藏 []12、繼承實現多態和類型轉換 []13、instanceof 抽象類與接口 []1、抽象類 []2、抽象方法 []3、繼承抽象類 []4、抽象類與多態 []5、接口的成員 []6、靜態方法與默認方法 []7、靜態成員類 []8、實例成員類 []9、局部類 []10、匿名類 []11、eclipse的使用與調試 []12、內部類對外圍類的訪問關系 []13、內部類的命名 Lambda表達式與常用類 []1、函數式接口 []2、Lambda表達式概念 []3、Lambda表達式應用場合 []4、使用案例 []5、方法引用 []6、枚舉類型（編譯器的處理） []7、包裝類型（自動拆箱與封箱） []8、String方法 []9、常量池機制 []10、String講解 []11、StringBuilder講解 []12、Math，Date使用 []13、Calendars使用 異常處理與泛型 []1、異常分類 []2、try-catch-finally []3、try-with-resources []4、多重捕獲multi-catch []5、throw與throws []6、自定義異常和優勢 []7、泛型背景與優勢 []8、參數化類型與原生類型 []9、類型推斷 []10、參數化類型與數組的差異 []11、類型通配符 []12、自定義泛型類和類型擦出 []13、泛型方法重載與重寫 集合 []1 、常用數據結構 []2 、Collection接口 []3 、List與Set接口 []4 、SortedSet與NavigableSet []5 、相關接口的實現類 []6 、Comparable與Comparator []7、Queue接口 []8 、Deque接口 []9 、Map接口 []10、NavigableMap []11、相關接口的實現類 []12、流操作（聚合操作） []13、Collections類的使用 I/O流與反射 []1 、File類的使用 []2 、字節流 []3 、字符流 []4 、緩存流 []5 、轉換流 []6 、數據流 []7、對象流 []8、類加載，鏈接與初始化 []9 、ClassLoader的使用 []10、Class類的使用 []11、通過反射調用構造器 []12、安全管理器 網絡編程模型與多線程 []1、進程與線程 []2、創建線程的方式 []3、線程的相關方法 []4、線程同步 []5、線程死鎖 []6、線程協作操作 []7、計算機網絡（IP與端口） []8、TCP協議與UDP協議 []9、URL的相關方法 []10、訪問網絡資源 []11、TCP協議通訊 []12、UDP協議通訊 []13、廣播 SSM-Spring []1.Spring/Spring MVC []2.創建Spring MVC項目 []3.Spring MVC執行流程和參數 SSM-Spring.Mybatis []1.MyBatis簡介 []2.MyBatis配置文件 []3.用MyBatis完成CRUD []4.ResultMap的使用 []5.MyBatis關聯查詢 []6.動態SQL []7.MyBatis緩沖 []8.MyBatis-Generator Socket編程 []1.網絡通信和協議 []2.關于Socket []3.Java Socket []4.Socket類型 []5.Socket函數 []6.WebSocket []7.WebSocket/Spring MVC/WebSocket Ajax IO/異步 []window對象 []全局作用域 []窗口關系及框架 []窗口位置和大小 []打開窗口 []間歇調用和超時調用（靈活運用） []系統對話框 []location對象 []navigator對象 []screen對象 []history對象 NIO/AIO []1.網絡編程模型 []2.BIO/NIO/AIO []3.同步阻塞 []4.同步非阻塞 []5.異步阻塞 []6.異步非阻塞 []7.NIO與AIO基本操作 []8.高性能IO設計模式 第三階段 Java 主流框架 MyBatis []1.mybatis框架原理分析 []2.mybatis框架入門程序編寫 []3.mybatis和hibernate的本質區別和應用場景 []4.mybatis開發dao方法 []5.SqlMapConfig配置文件講解 []6.輸入映射-pojo包裝類型的定義與實現 []7.輸出映射-resultType、resultMap []8.動態sql []9.訂單商品數據模型分析 []10.高級映射的使用 []11.查詢緩存之一級緩存、二級緩存 []12.mybatis與spring整合 []13. mybatis逆向工程自動生成代碼 Spring/Spring MVC []1. springmvc架構介紹 []2. springmvc入門程序 []3. spring與mybatis整合 []4. springmvc注解開發—商品修改功能分析 []5. springmvc注解開發—RequestMapping注解 []6. springmvc注解開發—Controller方法返回值 []7. springmvc注解開發—springmvc參數綁定過程分析 []8. springmvc注解開發—springmvc參數綁定實例講解 []9. springmvc與struts2的區別 []10. springmvc異常處理 []11. springmvc上傳圖片 []12. springmvc實現json交互 []13. springmvc對RESTful支持 []14. springmvc攔截器 第四階段 關系型數據庫/MySQL/NoSQL SQL基礎 []1.SQL及主流產品 []2.MySQL的下載與安裝（sinux/windows） []3.MySql的基本配置/配置文件 []4.基本的SQL操作 DDL []5.基本的SQL操作 DML []6.基本的SQL操作 DCL []7.MySQL客戶端工具 []8.MySQL幫助文檔 MySQL數據類型和運算符 []1 數值類型 []2 日期時間類型 []3 字符串類型 []4 CHAR 和 VARCHAR 類型 []5 BINARY 和 VARBINARY 類型 []6 ENUM 類型 []7 SET 類型 []8 算術運算符 []9 比較運算符 []10 邏輯運算符 []11 位運算 []12 運算符的優先級 MySQL函數 []1 字符串函數 []2 數值函數 []3 日期和時間函數 []4 流程函數 []5 其他常用函數 MySQL存儲引擎 []1.MySQL支持的存儲引擎及其特性 []2.MyISAM []3.InnoDB []4.選擇合適的存儲引擎 選擇合適的數據類型 []1 CHAR 與 VARCHAR []2 TEXT 與 BLOB []3 浮點數與定點數 []4 日期類型選擇 字符集 []1 字符集概述 []2 Unicode字符集 []3 漢字及一些常見字符集 []4 選擇合適的字符集 []5 MySQL 支持的字符集 []6 MySQL 字符集的設置? 索引的設計和使用 []1.什么是索引 []2.索引的類型 []3.索引的數據結構 BTree B+Tree Hash []4.索引的存儲 []5.MySQL索引 []6.查看索引的使用情況 []7.索引設計原則 視圖/存儲過程/函數/觸發器 []1. 什么是視圖 []2. 視圖操作 []3. 什么是存儲過程 []4. 存儲過程操作 []5. 什么是函數 []6. 函數的相關操作 []7. 觸發器 事務控制/鎖 []1. 什么是事務 []2. 事務控制 []3. 分布式事務 []4. 鎖/表鎖/行鎖 []5. InnoDB 行鎖爭用 []6. InnoDB 的行鎖模式及加鎖方法7 []7 InnoDB 行鎖實現方式7 []8 間隙鎖（Next-Key 鎖） []9 恢復和復制的需要，對 InnoDB 鎖機制的影響 []10 InnoDB 在不同隔離級別下的一致性讀及鎖的差異 []11 表鎖 []12 死鎖 SQL Mode和安全問題 []1. 關于SQL Mode []2. MySQL中的SQL Mode []3. SQL Mode和遷移 []4. SQL 注入 []5. 開發過程中如何避免SQL注入 SQL優化 []1.通過 show status 命令了解各種 SQL 的執行頻率 []2. 定位執行效率較低的 SQL 語句 []3. 通過 EXPLAIN 分析低效 SQL 的執行計劃 []4. 確定問題并采取相應的優化措施 []5. 索引問題 []6.定期分析表和檢查表 []7.定期優化表 []8.常用 SQL 的優化 MySQL數據庫對象優化 []1. 優化表的數據類型 []2 散列化 []3 逆規范化 []4 使用中間表提高統計查詢速度 []5. 影響MySQL性能的重要參數 []6. 磁盤I/O對MySQL性能的影響 []7. 使用連接池 []8. 減少MySQL連接次數 []9. MySQL負載均衡 []MySQL集群 []MySQL管理和維護 []MemCache []Redis []在Java項目中使用MemCache和Redis 第五階段：操作系統/Linux、云架構 Linux安裝與配置 []1、安裝Linux至硬盤 []2、獲取信息和搜索應用程序 []3、進階：修復受損的Grub []4、關于超級用戶root []5、依賴發行版本的系統管理工具 []6、關于硬件驅動程序 []7、進階：配置Grub 系統管理與目錄管理 []1、Shell基本命令 []2、使用命令行補全和通配符 []3、find命令、locate命令 []4、查找特定程序：whereis []5、Linux文件系統的架構 []6、移動、復制和刪除 []7、文件和目錄的權限 []8、文件類型與輸入輸出 []9、vmware介紹與安裝使用 []10、網絡管理、分區掛載 用戶與用戶組管理 []1、軟件包管理 []2、磁盤管理 []3、高級硬盤管理RAID和LVM []4、進階：備份你的工作和系統 []5、用戶與用戶組基礎 []6、管理、查看、切換用戶 []7、/etc/...文件 []8、進程管理 []9、linux VI編輯器，awk，cut，grep，sed，find，unique等 Shell編程 []1、 SHELL變量 []2、傳遞參數 []3、數組與運算符 []4、SHELL的各類命令 []5、SHELL流程控制 []6、SHELL函數 []7、SHELL輸入/輸出重定向 []8、SHELL文件包含 服務器配置 []1、系統引導 []2、管理守護進程 []3、通過xinetd啟動SSH服務 []4、配置inetd []5、Tomcat安裝與配置 []6、MySql安裝與配置 []7、部署項目到Linux 第六階段：Hadoop生態系統 Hadoop基礎 []1、大數據概論 []2、 Google與Hadoop模塊 []3、Hadoop生態系統 []4、Hadoop常用項目介紹 []5、Hadoop環境安裝配置 []6、Hadoop安裝模式 []7、Hadoop配置文件 HDFS分布式文件系統 []1、認識HDFS及其HDFS架構 []2、Hadoop的RPC機制 []3、HDFS的HA機制 []4、HDFS的Federation機制 []5、 Hadoop文件系統的訪問 []6、JavaAPI接口與維護HDFS []7、HDFS權限管理 []8、hadoop偽分布式 Hadoop文件I/O詳解 []1、Hadoop文件的數據結構 []2、 HDFS數據完整性 []3、文件序列化 []4、Hadoop的Writable類型 []5、Hadoop支持的壓縮格式 []6、Hadoop中編碼器和解碼器 []7、 gzip、LZO和Snappy比較 []8、HDFS使用shell+Java API MapReduce工作原理 []1、MapReduce函數式編程概念 []2、 MapReduce框架結構 []3、MapReduce運行原理 []4、Shuffle階段和Sort階段 []5、任務的執行與作業調度器 []6、自定義Hadoop調度器 []7、 異步編程模型 []8、YARN架構及其工作流程 MapReduce編程 []1、WordCount案例分析 []2、輸入格式與輸出格式 []3、壓縮格式與MapReduce優化 []4、輔助類與Streaming接口 []5、MapReduce二次排序 []6、MapReduce中的Join算法 []7、從MySQL讀寫數據 []8、Hadoop系統調優 Hive數據倉庫工具 []1、Hive工作原理、類型及特點 []2、Hive架構及其文件格式 []3、Hive操作及Hive復合類型 []4、Hive的JOIN詳解 []5、Hive優化策略 []6、Hive內置操作符與函數 []7、Hive用戶自定義函數接口 []8、Hive的權限控制 Hive深入解讀 []1 、安裝部署Sqoop []2、Sqoop數據遷移 []3、Sqoop使用案例 []4、深入了解數據庫導入 []5、導出與事務 []6、導出與SequenceFile []7、Azkaban執行工作流 Sqoop與Oozie []1 、安裝部署Sqoop []2、Sqoop數據遷移 []3、Sqoop使用案例 []4、深入了解數據庫導入 []5、導出與事務 []6、導出與SequenceFile []7、Azkaban執行工作流 Zookeeper詳解 []1、Zookeeper簡介 []2、Zookeeper的下載和部署 []3、Zookeeper的配置與運行 []4、Zookeeper的本地模式實例 []5、Zookeeper的數據模型 []6、Zookeeper命令行操作范例 []7、storm在Zookeeper目錄結構 NoSQL、HBase []1、HBase的特點 []2、HBase訪問接口 []3、HBase存儲結構與格式 []4、HBase設計 []5、關鍵算法和流程 []6、HBase安裝 []7、HBase的SHELL操作 []8、HBase集群搭建 第七階段：Spark生態系統 Spark []1.什么是Spark []2.Spark大數據處理框架 []3.Spark的特點與應用場景 []4.Spark SQL原理和實踐 []5.Spark Streaming原理和實踐 []6.GraphX SparkR入門 []7.Spark的監控和調優 Spark部署和運行 []1.WordCount準備開發環境 []2.MapReduce編程接口體系結構 []3.MapReduce通信協議 []4.導入Hadoop的JAR文件 []5.MapReduce代碼的實現 []6.打包、部署和運行 []7.打包成JAR文件 Spark程序開發 []1、啟動Spark Shell []2、加載text文件 []3、RDD操作及其應用 []4、RDD緩存 []5、構建Eclipse開發環境 []6、構建IntelliJ IDEA開發環境 []7、創建SparkContext對象 []8、編寫編譯并提交應用程序 Spark編程模型 []1、RDD特征與依賴 []2、集合（數組）創建RDD []3、存儲創建RDD []4、RDD轉換 執行 控制操作 []5、廣播變量 []6、累加器 作業執行解析 []1、Spark組件 []2、RDD視圖與DAG圖 []3、基于Standalone模式的Spark架構 []4、基于YARN模式的Spark架構 []5、作業事件流和調度分析 []6、構建應用程序運行時環境 []7、應用程序轉換成DAG Spark SQL與DataFrame []1、Spark SQL架構特性 []2、DataFrame和RDD的區別 []3、創建操作DataFrame []4、RDD轉化為DataFrame []5、加載保存操作與Hive表 []6、Parquet文件JSON數據集 []7、分布式的SQL Engine []8、性能調優 數據類型 深入Spark Streaming []1、Spark Streaming工作原理 []2、DStream編程模型 []3、Input DStream []4、DStream轉換 狀態 輸出 []5、優化運行時間及內存使用 []6、文件輸入源 []7、基于Receiver的輸入源 []8、輸出操作 Spark MLlib與機器學習 []1、機器學習分類級算法 []2、Spark MLlib庫 []3、MLlib數據類型 []4、MLlib的算法庫與實例 []5、ML庫主要概念 []6、算法庫與實例 GraphX與SparkR []1、Spark GraphX架構 []2、GraphX編程與常用圖算法 []3、GraphX應用場景 []4、SparkR的工作原理 []5、R語言與其他語言的通信 []6、SparkR的運行與應用 []7、R的DataFrame操作方法 []8、SparkR的DataFrame Scala編程開發 []1、Scala語法基礎 []2、idea工具安裝 []3、maven工具配置 []4、條件結構、循環、高級for循環 []5、數組、映射、元組 []6、類、樣例類、對象、伴生對象 []7、高階函數與函數式編程 Scala進階 []1、 柯里化、閉包 []2、模式匹配、偏函數 []3、類型參數 []4、協變與逆變 []5、隱式轉換、隱式參數、隱式值 []6、Actor機制 []7、高級項目案例 Python編程 []1、Python編程介紹 []2、Python的基本語法 []3、Python開發環境搭建 []4、Pyhton開發Spark應用程序 第八階段：Storm生態系統 storm簡介與基本知識 []1、storm的誕生誕生與成長 []2、storm的優勢與應用 []3、storm基本知識概念和配置 []4、序列化與容錯機制 []5、可靠性機制—保證消息處理 []6、storm開發環境與生產環境 []7、storm拓撲的并行度 []8、storm命令行客戶端 Storm拓撲與組件詳解 []1、流分組和拓撲運行 []2、拓撲的常見模式 []3、本地模式與stormsub的對比 []4、 使用非jvm語言操作storm []5、hook、組件基本接口 []6、基本抽象類 []7、事務接口 []8、組件之間的相互關系 spout詳解 與bolt詳解 []1、spout獲取數據的方式 []2、常用的spout []3、學習編寫spout類 []4、bolt概述 []5、可靠的與不可靠的bolt []6、復合流與復合anchoring []7、 使用其他語言定義bolt []8、學習編寫bolt類 storm安裝與集群搭建 []1、storm集群安裝步驟與準備 []2、本地模式storm配置命令 []3、配置hosts文件、安裝jdk []4、zookeeper集群的搭建 []5、部署節點 []6、storm集群的搭建 []7、zookeeper應用案例 []8、Hadoop高可用集群搭建 Kafka []1、Kafka介紹和安裝 []2、整合Flume []3、Kafka API []4、Kafka底層實現原理 []5、Kafka的消息處理機制 []6、數據傳輸的事務定義 []7、Kafka的存儲策略 Flume []1、Flume介紹和安裝 []2、Flume Source講解 []3、Flume Channel講解 []4、Flume Sink講解 []5、flume部署種類、流配置 []6、單一代理、多代理說明 []7、flume selector相關配置 Redis []1、Redis介紹和安裝、配置 []2、Redis數據類型 []3、Redis鍵、字符串、哈希 []4、Redis列表與集合 []5、Redis事務和腳本 []6、Redis數據備份與恢復 []7、Redis的SHELL操作

轉載于:https://www.cnblogs.com/cn-superjun/p/9205772.html

總結

以上是生活随笔為你收集整理的大数据之旅的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。