本文展示pyspark與mysql、hive、hdfs的連接實例。一是為了紀(jì)念：終于走過n個坑，自己搭配好本地hadoop環(huán)境；一是為了讓還不會pyspark的人有個初步的印象，畢竟數(shù)據(jù)分析師除了會使用python以外，會使用spark也是很有必要的。

首先jps命令：

該啟動的都啟動了。

讓我們先看看mysql里有什么：

讓我們再看看hive：

細(xì)心的同學(xué)會發(fā)現(xiàn)，mysql與hive的sql語句完全一樣。

下面開始打開pyspark。我是用notebook作為pyspark的編輯環(huán)境的。

首先是連接mysql，讀取數(shù)據(jù)，有兩種方式。一種直接讀取數(shù)據(jù)庫+表，一種是用sql語句：

下面是往mysql里寫數(shù)據(jù)。這里把spark_df里的數(shù)據(jù)寫到了新表student1里

我們現(xiàn)在看看mysql，是不是成功寫入：

mysql寫入成功。

下面連接分布式文件系統(tǒng)hdfs。先看hdfs里有哪些文件，可以通過命令行的方式顯示，也可以打開文件瀏覽系統(tǒng)：

在tmp文件夾里有以上幾個文件。這里以rating.csv舉例。先用pyspark讀取hdfs上的rating.csv。

然后我們保存到hdfs里：

保存文件名是student1。我們看看保存成功里沒有：

保存成功。

下面是連接數(shù)據(jù)倉庫hive。

首先是讀取：

發(fā)現(xiàn)讀取成功。

然后是寫入。我們想把spark_df寫到hive里，創(chuàng)建新表student1：

現(xiàn)在回到hive，我們看看有沒有表student1：

寫入成功！

總結(jié)

以上是生活随笔為你收集整理的hadoop读取mysql数据_Pyspark连接mysql、hive、hdfs 实例展示的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。