python爬蟲，爬取全國空氣質(zhì)量指數(shù)

編程環(huán)境：Jupyter Notebook
所要爬取的網(wǎng)頁數(shù)據(jù)內(nèi)容如下圖

python爬蟲代碼及含義詳細(xì)說明

#全國城市 import time import requests from bs4 import BeautifulSoup headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' }#爬蟲[Requests設(shè)置請(qǐng)求頭Headers],偽造瀏覽器 # 核心爬取代碼 url= 'http://www.tianqihoubao.com/aqi/aqi_rank.html' params = {"show_ram":1} response = requests.get(url,params=params, headers=headers)#訪問url listData=[]#定義數(shù)組 soup = BeautifulSoup(response.text, 'html.parser')#獲取網(wǎng)頁源代碼 tr = soup.find('table',class_='b').find_all('tr')#.find定位到所需數(shù)據(jù)位置 .find_all查找所有的tr（表格） # 去除標(biāo)簽欄 for j in tr[1:]: #tr2[1:]遍歷第1列到最后一列，表頭為第0列td = j.find_all('td')#td表格Date = td[0].get_text().strip() #遍歷排名Quality_grade = td[1].get_text().strip() #遍歷城市AQI = td[2].get_text().strip() #遍歷空氣質(zhì)量指數(shù)AQIAQI_rank = td[3].get_text().strip() #遍歷PM2.5濃度PM = td[4].get_text() #遍歷空氣質(zhì)量狀況Cities = td[5].get_text() #遍歷省份listData.append([Date,Quality_grade,AQI,AQI_rank,PM,Cities]) print (listData)#打印

運(yùn)行結(jié)果如下

總結(jié)

以上是生活随笔為你收集整理的python爬虫,爬取表格数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。