當前位置：
首頁 >
如何爬取链家网页房源信息
發(fā)布時間：2024/3/24
45
豆豆
生活随笔
收集整理的這篇文章主要介紹了
如何爬取链家网页房源信息
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
由于個人安裝的Python版本是2.7的，因此此后的相關(guān)代碼也是該版本。
- 爬取網(wǎng)頁所有信息?
利用urllib2包來抓取網(wǎng)頁的信息，先介紹下urllib2包的urlopen函數(shù)。?
urlopen：將網(wǎng)頁所有信息存到一個object里，我們可通過讀取這個object來獲得網(wǎng)頁信息。例如，我們使用它來獲取百度首頁信息如下。
- 1
- 2
- 3
通過上面的代碼我們讀取了百度首頁的前100個字符：
'<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="content-type" content="text/html;charse'- 1
有時可能會出現(xiàn)編碼問題導致打開的是亂碼，只需修改下編碼格式即可：
f.read(100).decode('utf-8')- 1
通過這種方法我們可以獲得鏈家一個二手房首頁的信息：
import urllib2 url = 'http://sz.lianjia.com/ershoufang/pg' res = urllib2.urlopen(url) content = res.read().decode('utf-8')- 1
- 2
- 3
- 4
于是網(wǎng)頁信息便存在了content之中。
- 獲取房源信息?
上面我們已經(jīng)獲得了一整個的網(wǎng)頁信息，接下來需要獲取網(wǎng)頁中我們需要的有用信息，我們的目標是獲取房源信息，方法是利用正則表達式來獲取。關(guān)于正則表達式的知識可以參考一個網(wǎng)友的博文http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html?
首先，我們查看下網(wǎng)頁信息：?
我們關(guān)注類似下面的這種信息
- 1
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
運行結(jié)果如下圖：?
?
這樣就算是獲取了我想要的信息了，不過這個信息中間有個我們不想要的符號，接下來還需要去掉這個符號（可見這種方法比較繁瑣，效率也偏低）。?
在這里我通過字符替換操作，用空字符來替換這個多余字符。?
代碼為：
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
?
上面的方法雖然幫我們獲得了房源信息，但是方法還是有些繁瑣，而且效率也并不高?
我們利用上面的方法來爬取鏈家二手房100個頁面房源信息，代碼修改如下：
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
主要是測試一下運行時間，測試結(jié)果大概是350s左右（當然，主要還受網(wǎng)速的影響，而對代碼本身來說消耗的大多數(shù)時間都在urlopen上），接下來，在下一篇中，將利用BeautifulSoup庫來實現(xiàn)房源的獲取。
總結(jié)
以上是生活随笔為你收集整理的如何爬取链家网页房源信息的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 三菱M80操作介绍_FANUC/三菱 常
- 下一篇： 【数据结构】时间复杂度和空间复杂度的计算