• Spark系列-初體驗（數據準備篇）

• Spark系列-核心概念

在Spark體驗開始前需要準備環境和數據，環境的準備可以自己按照Spark官方文檔安裝。筆者選擇使用CDH集群安裝，可以參考筆者之前的文章：Cloudera Manager大數據集群環境搭建

至于數據的準備就是本文的主要內容，數據采用python爬蟲的方式，爬去上一個月上海的天氣數據,參考了https://www.cnblogs.com/haha-point/p/7467221.html，但是因為網站做了反爬蟲，研究了一下，發下只要加上header請求就可以規避掉反爬問題。

上海市19年2月的天氣可以通過http://lishi.tianqi.com/shanghai/201902.html獲取

#encoding:utf-8

import requests
from bs4 import BeautifulSoup

url = "http://lishi.tianqi.com/shanghai/201902.html"

if __name__ == '__main__':
target_file = open("weather.txt",'w')

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding':'gzip, deflate',
'Accept-Language':'zh-CN,zh;q=0.9,en;q=0.8',
'Cache-Control':'no-cache',
'Cookie':'cityPy=shanghai; UM_distinctid=1696d7851820-0518fd894ef605-36657905-1aeaa0-1696d7851832da; CNZZDATA1275796416=2105206279-1552318077-https%253A%252F%252Fwww.cnblogs.com%252F%7C1552318077; Hm_lvt_ab6a683aa97a52202eab5b3a9042a8d2=1552319796,1552319840,1552319867; Hm_lpvt_ab6a683aa97a52202eab5b3a9042a8d2=1552322278'
}
response = requests.get(url,headers=headers)
soap = BeautifulSoup(response.text, 'html.parser')
weather_list = soap.select('div[class="tqtongji2"]')
for weather in weather_list:
weather_date = weather.select('a')[0].string.encode('utf-8')
ul_list = weather.select('ul')
i = 0
for ul in ul_list:
li_list = ul.select('li')
str = ""
for li in li_list:
str += li.string.encode('utf-8') + ','
if i != 0:
target_file.write(str + '\n')
i += 1
target_file.close() ?

通過以上代碼，把19年2月的天氣存到了weather.txt文件中，數據以逗號方式分割

數據準備好了之后，下一篇是Spark基本API的體驗

?

轉載于:https://www.cnblogs.com/qizhelongdeyang/p/10514209.html

總結

以上是生活随笔為你收集整理的Spark系列-初体验（数据准备篇）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。