Python這門語言因其簡單強大已經火了很久了，但我接觸的比較晚，前幾個月因為一篇博客開始初步了解這門語言，并且之后模仿某位北郵的前輩的微博寫了一個新浪微博的爬蟲

這里給出鏈接：python編寫的新浪微博爬蟲

當時為了能夠順便把從微博上抓下來的數據存儲起來，順便裝了MySQL，之所以用MySQL，主要是因為Python支持MySQL的插件比較好找，比SQLserver好找一些，不過本人對數據庫了解比較少，順便學習了一些數據庫方面的簡單操作。

寫好之后運行起來發現有些問題，主要是新浪微博的服務器對訪問次數和訪問頻率有限制，以至于我下載了一些數據后，服務器會自動屏蔽不再傳數據給我，當時挺困惑，網上有人說讓程序睡一段時間再繼續抓數據，當時也請教了北郵的前輩，也沒給我一個明確的答復，也或許是自己寫的問題，所以讀到這里的朋友也可以提想法哈。或者到我微薄上留言：http://weibo.com/u/1820299335

---------------------------------------------------------分割線-----------------------------------------------

最近看國內天氣質量堪憂，所以心血來潮想要再寫個程序把空氣質量數據爬下來分析一下，于是開始動手，由于之前寫新浪微博爬蟲的經驗，這次比較快，因為不像新浪微博需要模擬用戶登錄，中華人民共和國環境保護部--數據中心 的網頁比起微博還算簡單，所以很快代碼就寫好了，期間由于正則表達式運用不熟練，在抓取城市名稱和污染指數時遇到點小麻煩，網頁的html代碼如下：

<td οnmοuseοver="report1664549over()" class="report1_4" style="color:#00A7D1;"><a href="http://datacenter.mep.gov.cn/report/air_daily/ airDairyCityHourMain.jsp?city=%B1%B1%BE%A9%CA%D0" style="font-family:宋體;font-size:12px;color:#00A7D1;font-weight:normal; font-style:normal;text-decoration:underline;">北京市</a></td><td class="report1_10" style="color:#00A7D1;">2014-08-08?20:00</td><td class="report1_10" style="color:#00A7D1;">85</td><td class="report1_10" style="color:#00A7D1;">良</td><td οnmοuseοver="report1664549over()" class="report1_10" style="color:#00A7D1;">PM2.5</td>
是表格形式的，關鍵項的前后正則表達式不太會寫，這里還望高手指點，不過我找到了替代的方法，網頁下面還有一部分相關可以提取的html代碼：

<area shape="rect" coords="76,116,86,216" title="北京市 AQI指數 85"> <area shape="rect" coords="104,120,114,216" title="天津市 AQI指數 82"> <area shape="rect" coords="131,141,141,216" title="石家莊市 AQI指數 64"> <area shape="rect" coords="159,131,169,216" title="唐山市 AQI指數 72">這個就方便提取多了，用python的正則表達式包可以一次性把所有的結果保存下來，其實也就這么幾行代碼：

def getList(self,text):pat = re.compile('<area shape="rect" coords=".*" title="(.*) .+ ([0-9]+)">'.encode('utf-8'))try:cityList = pat.findall(text)except:cityList = Nonereturn cityList其中加了異常處理，一面在長時間運行過程中，出現錯誤程序異常終止。

第一次抓數據是從2014年1月抓到8月，（不知道為什么網站上沒有2014年以前的空氣質量數據，可能數據庫沒有開通吧），抓取數據的時間間隔為12小時，結果處理完生成GIF動圖后發現，時間間隔略長，畫面不連續，于是重寫抓取，這次采用的是2個小時，一共運行了10幾個小時把所有數據都下載下來了。

然后就是想辦法做數據可視化，以前沒用過地圖數據可視化的工具，但是Matlab用的比較熟，Matlab做這種數據處理和圖像處理都比較強大，所以就自己純手工來進行數據可視化吧。

在網上截了個中國地圖當背景，然后想辦法用Matlab往上畫數據。期間遇到點小麻煩，就是從網上找的城市坐標是經緯度表示的，需要映射到地圖圖像上相應的位置，我直接選用最簡單的線性映射方式進行映射，結果發現在低緯度的城市映射結果還算準確，但是高緯度的城市要差200多km，無語了，怎么會差這么多！查了下發現，因為地圖是百度地圖截屏的，百度地圖用的是所謂的麥卡托投影法，也就是圓柱投影，虧自己以前在本科時研究過光纖陀螺測量地理維度，這個都沒注意到。修正之后城市的投影位置準確多了。比如說首都的位置：

把所有城市的空氣質量用漸變色標在地圖上，才發現自己美工差：

（顏色隨著空氣污染指數的變差按：綠（優）、黃（良）、橙（輕微污染）、紅（輕度污染)、紫（中度污染）、黑（重度污染）的順序變化）

一個一個的紅點像是生了皮膚病，還是用插值處理一下吧，還好Matlab在這方面功能比較強大，不用費工夫：

好了很多，當然上圖的效果也是經過小小處理過的，總的來講畫面感同專業軟件比還有一定差距，但考慮到我是用Matlab畫出來的，這個畫質我接受了，能夠說明問題就行。

然后我挑選了一些有特點的空氣污染比較嚴重的日子，制作生GIF動圖，動圖使用PhotoShop制作的。圖中著重關注紅紫色的霧霾在大氣中的移動。

這個是14年1月2日14點 至14年1月4日18點，這次嚴重霧霾天影響全國，霧霾主要產生地主要有三個，河北山東一帶，湖南湖北一帶，重慶四川一帶，總的看來是人口稠密，工業較多，而且也有地形因素在內。

左：（2014-01-11-18至2014-01-13-08）右：（2014-01-19-14至2014-01-20-18），北方的霧霾天還是比較嚴重的，并且冬季多北風，霧霾向南方或東南方向擴散，當時南方的很多霧霾天也就這么產生了。。。

（2014-03-17-06至2014-03-19-06）其實北京地區的污染源也并不完全是北京河北，比如這個就說明污染來自春季的蒙古大草原，查詢當天北京是北風。。。

（2014-05-26-20 至2014-05-28-00）再如這張，也比較明顯，查詢當天北京天氣是浮塵，也是北風

總的來說，空氣質量差是全國性的，污染源比較多，只不過有些地方地理因素擴散起來快一些，擴散慢的話，即便是山清水秀的貴州也難免有霧霾。過了4月份，全國性的霧霾天明顯有所減少。

這篇博客不能算是技術博客吧，涉及到的代碼很少，只不過涉及到數據處理的各個方面多少都有些涵蓋，如果有需要代碼的可以留言給我，或者也歡迎跟我探討問題。

總結

以上是生活随笔為你收集整理的空气质量数据网页爬虫加数据处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。