python爬取天气数据山东_Python的学习《山东省各城市天气爬取》
生活随笔
收集整理的這篇文章主要介紹了
python爬取天气数据山东_Python的学习《山东省各城市天气爬取》
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Python+scrapy爬取山東各城市天氣預報
1、在命令提示符環境使用pip install scrapy命令安裝Python擴展庫scrapy,詳見Python使用Scrapy爬蟲框架爬取天涯社區小說“大宗師”全文
2、使用下圖中的命令創建爬蟲項目
3、進入爬蟲項目文件夾,執行下面的命令創建爬蟲
現在,爬蟲項目的文件夾結構如下圖所示
5、在頁面上單擊鼠標右鍵,選擇“查看網頁源代碼”,然后找到與“城市預報列表”對應的位置
6、選擇并打開山東省內任意城市的天氣預報頁面,此處以煙臺為例
7、在頁面上單擊鼠標右鍵,選擇“查看網頁源代碼”,找到與上圖中天氣預報相對應的位置
8、修改items.py文件,定義要爬取的內容,紅色方框內是自己寫的代碼
9、修改爬蟲文件everyCityinSD.py,定義如何爬取內容,其中用到的規則參考前面對頁面的分析
10、修改pipelines.py文件,把爬取到的數據寫入文件weather.txt,紅色方框內是自己寫的代碼
11、修改settings.py文件,分派任務,指定處理數據的程序,紅色方框內是自己寫的代碼
12、切換到命令提示符環境,執行下面的命令運行爬蟲程序
稍等幾秒鐘,生成包含各城市天氣預報數據的文件weather.txt
其中內容為
總結
以上是生活随笔為你收集整理的python爬取天气数据山东_Python的学习《山东省各城市天气爬取》的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: diff算法_详解 React 16 的
- 下一篇: python的三维图片_python如何