有個(gè)朋友聯(lián)系我，想統(tǒng)計(jì)一下北京二手房的相關(guān)的數(shù)據(jù)，而自己用Excel統(tǒng)計(jì)工作量太過(guò)于繁雜，問(wèn)我用Python該如何實(shí)現(xiàn)。

構(gòu)造要訪問(wèn)的URL

這里，我試著抓取北京海淀區(qū)二手房的相關(guān)數(shù)據(jù)。首先，是觀察一下URL的結(jié)構(gòu)，如下：

獲取每個(gè)房子詳細(xì)信息的URL

代碼如下：

采用隨機(jī)的UA

ua = UserAgent()

headers = {'User-Agent': ua.random}

房屋信息列表

houseInfoArray=[]

爬取海淀區(qū)全部的數(shù)據(jù)

for i in range(1,2):

res = requests.get('http://bj.lianjia.com/ershoufang/haidian/pg'+str(i),headers=headers)

使用html篩選器

soup = BeautifulSoup(res.text, 'html.parser')

print soup

網(wǎng)站每頁(yè)呈現(xiàn)30條數(shù)據(jù)，依次爬取詳細(xì)的信息

for j in range(0,30):

獲取房屋詳細(xì)信息的鏈接

url = soup.select('.sellListContent')[0].select('.img')[j].get('href', None)

解析每個(gè)房子的詳細(xì)信息

接下來(lái)，獲取到每個(gè)房子的URL了，就是爬取URL對(duì)應(yīng)的數(shù)據(jù)并對(duì)一個(gè)個(gè)的房屋獲取其詳細(xì)信息了，思路同上，也是根據(jù)源碼獲取相關(guān)的標(biāo)簽，然后獲取數(shù)據(jù)，這里將每個(gè)房子的信息保存在字典中。直接貼代碼：

def gethouseInfo(url):

"""

獲取房子的詳細(xì)信息

:param url: 子地址

:param soup: 父XML，可以從中獲取小區(qū)信息

:return:

"""

返回的數(shù)據(jù)類(lèi)型為字典

info= {}

請(qǐng)求子頁(yè)面

res = requests.get(url)

提取子域名內(nèi)容,即頁(yè)面詳細(xì)信息

soup=BeautifulSoup(res.text,'html.parser')

小區(qū)信息

communityName = soup.select('.overview')[0].select('.content')[0].select('.communityName')[0].select('.info')[0].get_text()

info['communityName'] = communityName

獲取價(jià)格信息，包括總價(jià)和均價(jià)

price = soup.select('.overview')[0].select('.content')[0].select('.price')[0].select('.total')[0].get_text()

unit = soup.select('.overview')[0].select('.content')[0].select('.price')[0].select('.unit')[0].get_text()

info['price'] = price+unit

unitprice = soup.select('.overview')[0].select('.content')[0].select('.unitPrice')[0].select('.unitPriceValue')[0].get_text()

info['unitprice'] = unitprice

獲取房屋戶(hù)型

room = soup.select('.overview')[0].select('.content')[0].select('.room')[0].get_text()

info['room'] = room

獲取朝向信息

type = soup.select('.overview')[0].select('.content')[0].select('.type')[0].get_text()

info['type'] = type

獲取房屋面積

area = soup.select('.overview')[0].select('.content')[0].select('.area')[0].get_text()

info['area'] = area

return info

我爬取了30套房子的信息，結(jié)果如下：

area communityName price room type unitprice

0 86.3平米1988年建/板樓 金溝河3號(hào)院 630萬(wàn) 3室1廳中樓層/共6層 南 北簡(jiǎn)裝 73001元/平米

1 77.1平米2003年建/板樓 百旺新城 620萬(wàn) 2室1廳頂層/共6層 南 北簡(jiǎn)裝 80415元/平米

2 94.31平米2004年建/板樓 幸福時(shí)光 690萬(wàn) 2室1廳高樓層/共6層 南 北簡(jiǎn)裝 73163元/平米

3 234.12平米2001年建/板樓 萬(wàn)泉新新家園 2980萬(wàn) 4室2廳底層/共6層 南 北平層/精裝 127285元/平米

4 54.5平米1987年建/板塔結(jié)合 北洼西里 465萬(wàn) 2室1廳高樓層/共17層 西南簡(jiǎn)裝 85321元/平米

5 107.99平米2000年建/板樓 玉淵潭南路9號(hào)院 1360萬(wàn) 2室1廳中樓層/共6層 南 北精裝 125938元/平米

6 76.07平米2003年建/塔樓 逸成東苑 618萬(wàn) 2室1廳低樓層/共22層 南 北平層/簡(jiǎn)裝 81241元/平米

7 68.39平米1999年建/塔樓 今典花園 698萬(wàn) 2室1廳低樓層/共26層 南簡(jiǎn)裝 102062元/平米

8 83.3平米1990年建/板樓 柳林館 865萬(wàn) 3室1廳中樓層/共6層 南 北簡(jiǎn)裝 103842元/平米

9 114.94平米2002年建/板樓 當(dāng)代城市家園 830萬(wàn) 2室2廳中樓層/共11層 南 北精裝 72212元/平米

10 71.6平米1991年建/塔樓 西翠路12號(hào)院 710萬(wàn) 3室1廳中樓層/共18層 東北簡(jiǎn)裝 99162元/平米

11 132.78平米2002年建/塔樓 曙光花園 1258萬(wàn) 3室2廳中樓層/共17層 東南精裝 94743元/平米

12 77.78平米2007年建/塔樓 安寧佳園 520萬(wàn) 2室1廳高樓層/共18層 西南 北其他 66855元/平米

13 93.7平米1989年建/板樓 塔院小區(qū) 850萬(wàn) 3室1廳中樓層/共6層 東 南 北精裝 90715元/平米

14 69.2平米1992年建/板樓 八里莊北里 570萬(wàn) 3室1廳底層/共6層 東 西 北簡(jiǎn)裝 82370元/平米

15 81.23平米2002年建/塔樓 望河園 710萬(wàn) 2室1廳低樓層/共17層 西南平層/簡(jiǎn)裝 87406元/平米

16 150.05平米2000年建/板樓 美麗園 1550萬(wàn) 3室2廳低樓層/共7層 南 北精裝 103299元/平米

17 115.04平米未知年建/塔樓 永泰園 690萬(wàn) 2室1廳中樓層/共31層 東北其他 59979元/平米

18 105.18平米2001年建/塔樓 人濟(jì)山莊 1260萬(wàn) 2室1廳高樓層/共26層 東精裝 119795元/平米

19 88.96平米2003年建/塔樓 逸成東苑 807萬(wàn) 3室1廳低樓層/共17層 西南精裝 90715元/平米

20 172.56平米2003年建/板樓 萬(wàn)泉新新家園 2498萬(wàn) 3室2廳低樓層/共7層 南 北精裝 144761元/平米

21 140.18平米2010年建/板樓 領(lǐng)秀新硅谷1號(hào)院 1150萬(wàn) 3室1廳頂層/共9層 南 北精裝 82037元/平米

22 59.87平米1995年建/板樓 安寧里 410萬(wàn) 2室1廳高樓層/共6層 南 北精裝 68482元/平米

23 76.58平米2000年建/板樓 永泰園 535萬(wàn) 2室1廳中樓層/共6層 南 北簡(jiǎn)裝 69862元/平米

24 54.7平米1984年建/板樓 翠微南里 528萬(wàn) 2室1廳中樓層/共5層 東南精裝 96527元/平米

25 72.25平米1994年建/板樓 中關(guān)村 770萬(wàn) 3室1廳底層/共6層 東 西簡(jiǎn)裝 106574元/平米

26 59平米1988年建/塔樓 雙榆樹(shù)東里 575萬(wàn) 2室1廳中樓層/共16層 南精裝 97458元/平米

27 57.24平米2000年建/板樓 寶盛里 370萬(wàn) 1室1廳頂層/共5層 東 西簡(jiǎn)裝 64640元/平米

28 66.87平米2006年建/板樓 觀澳園 465萬(wàn) 1室1廳頂層/共9層 南簡(jiǎn)裝 69538元/平米

29 116.47平米2003年建/板樓 誠(chéng)品建筑 1080萬(wàn) 2室1廳高樓層/共9層 東 西精裝 92728元/平米

可以發(fā)現(xiàn)，海淀的房子無(wú)論哪個(gè)小區(qū)，均價(jià)都高哇！那好好學(xué)Python吧，用知識(shí)武裝自己！

如果你想更多的了解Python，點(diǎn)擊以下視頻跳轉(zhuǎn)鏈接：

總結(jié)

以上是生活随笔為你收集整理的python爬取的信息条数比页面显示多_Python爬取分析北京二手房数据？数据结果真的太吓人了...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。