記錄自己的練習第一條！

最近北京的租房市場掀起了軒然大波，作為即將租房的人就順便練手下爬蟲北京的租房價格。爬房價已經(jīng)有很多人在做了，但我還是分享些不同思路給大家。

首先是數(shù)據(jù)來源的網(wǎng)站，目前比較火的鏈家、自如、蛋殼的都可以。

仔細看了下這三家網(wǎng)站，自如在價格頁面處用的是圖的顯示，鏈家和蛋殼都是字符，如若要爬自如就需要用圖像識別的庫，當然數(shù)字只有0-9，不需要圖像識別那么高級只需要匹配0-9與頁面的background-position。

如-240px對應(yīng)數(shù)字0?

background-position:-240px ----0 background-position:-30px ----1

初級爬蟲當然是竟可能簡單了，所以自如排除。鏈家和蛋殼在網(wǎng)頁結(jié)構(gòu)上差別不大，不過蛋殼不顯示頁面數(shù)量，你不知道什么時候是最后一頁，這樣很容易出錯

鏈家稍微人性 告訴你北京一共有的數(shù)量，以及有多少頁面是知道的，最有趣的是它提供了一個有多少人看過此房的因素，這是其他家網(wǎng)站沒有的，這點可以作為后續(xù)數(shù)據(jù)分析的亮點。

?

進入正題開始爬蟲，鑒于數(shù)據(jù)比較少不超過一萬，沒必要在去配置scrapy框架的，如果你想也可啊。

這里我選的維度是：標題、價格、戶型、面積、瀏覽熱度。（做完我才發(fā)現(xiàn)其實房齡這個參數(shù)也很有趣，有需要的朋友可以加這個分析）。

流程思路：

獲取北京租房頁面（https://bj.lianjia.com/zufang/）下，分區(qū)的連接，如昌平，朝陽。。。。。。

獲取分區(qū)的最大頁數(shù)，構(gòu)造每頁的連接地址

解析每一頁，這里我用的是XPATH沒有用煲湯soup，谷歌瀏覽器的xpath工具十分便捷，開發(fā)工具定位所需要的網(wǎng)頁元素，右鍵即可復制出xpath

最后保存到CSV

詳細代碼及說明：

import requests #可以設(shè)置時間不要訪問過于頻繁，或者做一個代理，博主找了幾個都不太穩(wěn)定，在數(shù)據(jù)不大的情況下不偽裝ip那就用time訪問慢一丟丟了 import time from lxml import etree #json在解析當前頁面有多少房子時用，每個區(qū)的房源最后一頁數(shù)量是不定的 import json import csv #獲取request頁面，偽裝瀏覽器 def response(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'}return requests.get(url, headers=headers) #獲取頁面內(nèi)的所有需要分區(qū)鏈接 def get_area(url):content=etree.HTML(response(url).text) areas_name=content.xpath('//*[@id="filter-options"]/dl[1]/dd/div/a/text()')areas_url=content.xpath('//*[@id="filter-options"]/dl[1]/dd/div/a/@href')for i in range(1,len(areas_name)): #已經(jīng)是0不算了，定了幾個區(qū)area_name=areas_name[i]area_url='https://bj.lianjia.com'+areas_url[i]get_detailurl(area_name,area_url)#由頁數(shù)計算頁的鏈接 def get_detailurl(area_name,area_url):content=etree.HTML(response(area_url).text) #最后一頁可能不是滿數(shù)量pages =json.loads(content.xpath('/html/body/div[4]/div[3]/div[2]/div[2]/div[2]/@page-data')[0])['totalPage']for page in range(1,pages+1):url=area_url+'pg'+str(page)print('當前為'+area_name+','+str(page)+'of'+str(pages),url)get_house_info(area_name,url)#解析某頁的信息 def get_house_info(area,url):time.sleep(1) #經(jīng)常用try防止出錯哦try:content=etree.HTML(response(url).text)maxdital=len(content.xpath('//*[@id="house-lst"]/li'))with open('租房.csv','a',encoding='utf-8') as f:for i in range(1,maxdital+1): #這里就要用xpath獲取了，每個房源變化的就是li[編號]title=content.xpath('//*[@id="house-lst"]/li['+str(i)+']/div[2]/h2/a/text()')[0]price=content.xpath('//*[@id="house-lst"]/li['+str(i)+']/div[2]/div[2]/div[1]/span/text()')[0]room_type=content.xpath('//*[@id="house-lst"]/li['+str(i)+']/div[2]/div[1]/div[1]/span[1]/span/text()')[0]square=str(content.xpath('//*[@id="house-lst"]/li['+str(i)+']/div[2]/div[1]/div[1]/span[2]/text()')[0])[:-4]people_flow=content.xpath('//*[@id="house-lst"]/li['+str(i)+']/div[2]/div[3]/div/div[1]/span/text()') #寫入文件f.write("{},{},{},{},{},{}\n".format(area,title,price,room_type,square,people_flow))#print('當前為第'+str(i)+'of30')except Exception as e:print( ' connecting error, retrying.....')time.sleep(10)return get_house_info(area, url)def main():url = 'https://bj.lianjia.com/zufang'get_area(url)if __name__ == '__main__':main()

爬完的結(jié)果：

下一步就是數(shù)據(jù)分析了，待我這兩天看完pandas

總結(jié)

以上是生活随笔為你收集整理的Py爬虫北京租房价格数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。