大數據的作用：發現過去事件的特征

預測未來

最優化選擇

職位劃分：數據產品經理

數據分析師->商業敏感性，產品經理的助手

數據研發工程師

數據挖掘工程師/數據科學家

需要準備的技術知識：

Linux操作系統與網絡編程：進程/線程通信，內存，TCP/IP，SaaS、PaaS、IaaS

Java：多線程，JVM，反射，設計模式，Springboot

數據結構與算法

Hadoop生態體系：

Hadoop起源與安裝、MapReduce快速入門、Hadoop分布式文件系統、Hadoop文件I/O詳解、MapReduce工作原理、MapReduce編程開發、Hive數據倉庫工具、開源數據庫HBase、Sqoop與Oozie；

Spark生態體系：

Spark簡介、Spark部署和運行、Spark程序開發、Spark編程模型、作業執行解析、Spark SQL與DataFrame、深入Spark Streaming、Spark MLlib與機器學習、GraphX與SparkR、spark項目實戰、scala編程、Python編程；

Storm實時開發：

storm簡介與基本知識、拓撲詳解與組件詳解、Hadoop分布式系統、spout詳解與bolt詳解、zookeeper詳解、storm安裝與集群搭建、storm-starter詳解、開源數據庫HBase、trident詳解；

算法：分類/聚類/關聯/預測，Apriori，決策樹，隨機森林，SVM

BerkeleyX: CS190.1x Scalable Machine Learning

這門課是伯克利開的，教機器學習基礎、Python Spark實現。我很懂機器學習，但不懂spark和python，花了1周多時間看完視頻、做完作業。如果沒機器學習基礎的話幾周應該夠了。學完了可以用spark處理大數據，做分類、推薦系統。

TalkingData

總結

以上是生活随笔為你收集整理的python大数据工程师 培训_大数据工程师学习之路的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。