Python+scrapy爬取山東各城市天氣預報

1、在命令提示符環境使用pip install scrapy命令安裝Python擴展庫scrapy，詳見Python使用Scrapy爬蟲框架爬取天涯社區小說“大宗師”全文

2、使用下圖中的命令創建爬蟲項目

3、進入爬蟲項目文件夾，執行下面的命令創建爬蟲

現在，爬蟲項目的文件夾結構如下圖所示

5、在頁面上單擊鼠標右鍵，選擇“查看網頁源代碼”，然后找到與“城市預報列表”對應的位置

6、選擇并打開山東省內任意城市的天氣預報頁面，此處以煙臺為例

7、在頁面上單擊鼠標右鍵，選擇“查看網頁源代碼”，找到與上圖中天氣預報相對應的位置

8、修改items.py文件，定義要爬取的內容，紅色方框內是自己寫的代碼

9、修改爬蟲文件everyCityinSD.py，定義如何爬取內容，其中用到的規則參考前面對頁面的分析

10、修改pipelines.py文件，把爬取到的數據寫入文件weather.txt，紅色方框內是自己寫的代碼

11、修改settings.py文件，分派任務，指定處理數據的程序，紅色方框內是自己寫的代碼

12、切換到命令提示符環境，執行下面的命令運行爬蟲程序

稍等幾秒鐘，生成包含各城市天氣預報數據的文件weather.txt

其中內容為

總結

以上是生活随笔為你收集整理的python爬取天气数据山东_Python的学习《山东省各城市天气爬取》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。