租房助手

發(fā)現(xiàn)官網(wǎng)的篩選方式不能滿足自己的需求，所以爬取相關(guān)網(wǎng)站制作出現(xiàn)在的東西來(lái)

效果預(yù)覽-> 在線預(yù)覽

下面進(jìn)行詳細(xì)分析

一.首先爬取起始地和終點(diǎn)地的路線及沿途地鐵站名稱

1.爬取8684.cn的地鐵查詢:

pattern = 'http://bjdt.8684.cn/so.php?k=p2p&q={}&q1={}'

• q->起始位置，q1為目標(biāo)位置。返回的是html頁(yè)面。

  2.采用scrapy進(jìn)行xpath解析，提取相關(guān)的html標(biāo)簽和值
  

• 如提取線路方案列表的xpath表達(dá)式

Selector(text=body).xpath("//div[@class='iContainer clear']/div[@class='iMain']/div[@class='transferMainShowWrap']/ul[@class='tms-mn tms-project']/li").extract()

3.提取出線路方案列表后，針對(duì)列表中的每個(gè)元素進(jìn)行提取站點(diǎn)的操作，可參考提取a標(biāo)簽，但剔除帶有class屬性的html值。

4.將所有的站點(diǎn)放到一個(gè)列表中，同時(shí)針對(duì)列表元素進(jìn)行去重操作，記得記錄路線描述和距離，可定義相關(guān)對(duì)象來(lái)維護(hù)。

二.通過(guò)站點(diǎn)查詢租房信息

1.主要對(duì)自如官網(wǎng)進(jìn)行爬取。

pattern=http://www.ziroom.com/z/nl/z2.html?qwd={}

• qwd可能需要進(jìn)行urlencode

• 返回的是html頁(yè)面，需要對(duì)頁(yè)面進(jìn)行分析，首先提取出總頁(yè)數(shù)，然后根據(jù)總頁(yè)數(shù)去請(qǐng)求其余頁(yè)面。上面的url附加q參數(shù)，q參數(shù)為頁(yè)面索引，即是單獨(dú)頁(yè)面鏈接

  2.針對(duì)單個(gè)頁(yè)面提取各個(gè)單條項(xiàng)目的信息。
  如提取單個(gè)頁(yè)面的信息列表

  ls = Selector(text=body).xpath("//ul[@id='houseList']/li").extract();

• 針對(duì)列表進(jìn)行單個(gè)處理，提取感興趣的信息。

  3.處理封裝返回。
  針對(duì)提取的信息，進(jìn)行篩選，例如對(duì)價(jià)格進(jìn)行篩選，對(duì)大小進(jìn)行篩選，不用做排序。采用前端框架來(lái)進(jìn)行排序。后臺(tái)做的處理已經(jīng)夠多了。

三.接入到公眾號(hào)中

可以接入到公眾號(hào)中，提高公眾號(hào)的影響力，具體的公眾平臺(tái)對(duì)接請(qǐng)參考訪問(wèn)github開(kāi)源項(xiàng)目

總結(jié)

以上是生活随笔為你收集整理的python爬取北京租房信息的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。