經(jīng)過前幾年一輪房價(jià)大漲，到現(xiàn)在因?yàn)閲掖罅φ{(diào)控等原因，市場已經(jīng)褪去熱度，正在慢慢變得穩(wěn)定，價(jià)格也相較最高時(shí)下降了些。那現(xiàn)在房價(jià)到底怎樣？接下來又會是怎樣的發(fā)展的趨勢？這里我們就可以通過 Python 把最近的房價(jià)數(shù)據(jù)抓取下來進(jìn)行分析。

模塊安裝

這里需要安裝以下模塊，當(dāng)然如果已安裝就不用再裝了：

# 安裝引用模塊pip3 install bs4pip3 install requestspip3 install lxmlpip3 install numpypip3 install pandas

配置請求頭

一般我們在抓取網(wǎng)站時(shí)，為了應(yīng)對網(wǎng)站的反爬機(jī)制，我們會把請求的頭信息進(jìn)行封裝處理，以下是最簡單的處理，就是將請求客戶端信息進(jìn)行隨機(jī)選擇并使用，代碼如下：

# 代理客戶端列表USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)", "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)", "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)", "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)", "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20", "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",] # 創(chuàng)建請求頭信息def create_headers(): headers = dict() headers["User-Agent"] = random.choice(USER_AGENTS) headers["Referer"] = "http://www.ke.com" return headers

配置代理IP

除了上面配置請求頭外，如果你用相同的 IP 大量請求抓取時(shí)，很可能會被封 IP，被封后再用這個(gè) IP 請求網(wǎng)站時(shí)，會提示你請求超時(shí)，為避免被封最好我們通過代理 IP 去抓取，怎樣才能找到能用的代理 IP？

# 引入模塊from bs4 import BeautifulSoupimport requestsfrom lib.request.headers import create_headers # 定義變量proxys_src = []proxys = [] # 請求獲取代理地址def spider_proxyip(num=10): try: url = 'http://www.xicidaili.com/nt/1' # 獲取代理 IP 列表 req = requests.get(url, headers=create_headers()) source_code = req.content # 解析返回的 html soup = BeautifulSoup(source_code, 'lxml') # 獲取列表行 ips = soup.findAll('tr') # 循環(huán)遍歷列表 for x in range(1, len(ips)): ip = ips[x] tds = ip.findAll("td") proxy_host = "{0}://".format(tds[5].contents[0]) + tds[1].contents[0] + ":" + tds[2].contents[0] proxy_temp = {tds[5].contents[0]: proxy_host} # 添加到代理池 proxys_src.append(proxy_temp) if x >= num: break except Exception as e: print("獲取代理地址異常:") print(e)

房價(jià)數(shù)據(jù)對象

在這里我們將新房的房價(jià)信息，創(chuàng)建成一個(gè)對象，后續(xù)我們只要將獲取到的數(shù)據(jù)保存成對象，再處理就會方便很多。NewHouse?對象代碼如下所示：

# 新房對象class NewHouse(object): def __init__(self, xiaoqu, price, total): self.xiaoqu = xiaoqu self.price = price self.total = total def text(self): return self.xiaoqu + "," + \ self.price + "," + \ self.total

獲取房價(jià)信息并保存

好了，做好以上準(zhǔn)備，下面我們就以貝殼為例，批量爬取其北京地區(qū)新房數(shù)據(jù)，并保存到本地。其實(shí)只要能抓取到數(shù)據(jù)，想保存成什么格式都可以，當(dāng)然也可以保存到數(shù)據(jù)庫。這里我主要想說的是如何抓取數(shù)據(jù)，所以這里就保存成最簡單的?txt?文本格式。

# 創(chuàng)建文件準(zhǔn)備寫入with open("newhouse.txt", "w", encoding='utf-8') as f: # 獲得需要的新房數(shù)據(jù) total_page = 1 loupan_list = list() page = 'http://bj.fang.ke.com/loupan/' # 調(diào)用請求頭 headers = create_headers() # 請求 url 并返回結(jié)果 response = requests.get(page, timeout=10, headers=headers) html = response.content # 解析返回 html soup = BeautifulSoup(html, "lxml") # 獲取總頁數(shù) try: page_box = soup.find_all('div', class_='page-box')[0] matches = re.search('.*data-total-count="(\d+)".*', str(page_box)) total_page = int(math.ceil(int(matches.group(1)) / 10)) except Exception as e: print(e) print('總頁數(shù)：' + total_page) # 配置請求頭 headers = create_headers() # 從第一頁開始遍歷 for i in range(1, total_page + 1): page = 'http://bj.fang.ke.com/loupan/pg{0}'.format(i) print(page) response = requests.get(page, timeout=10, headers=headers) html = response.content # 解釋返回結(jié)果 soup = BeautifulSoup(html, "lxml") # 獲得小區(qū)信息 house_elements = soup.find_all('li', class_="resblock-list") # 循環(huán)遍歷獲取想要的元素 for house_elem in house_elements: price = house_elem.find('span', class_="number") desc = house_elem.find('span', class_="desc") total = house_elem.find('div', class_="second") loupan = house_elem.find('a', class_='name') # 開始清理數(shù)據(jù) try: price = price.text.strip() + desc.text.strip() except Exception as e: price = '0' loupan = loupan.text.replace("\n", "") # 繼續(xù)清理數(shù)據(jù) try: total = total.text.strip().replace(u'總價(jià)', '') total = total.replace(u'/套起', '') except Exception as e: total = '0' # 作為對象保存到變量 loupan = NewHouse(loupan, price, total) print(loupan.text()) # 將新房信息加入列表 loupan_list.append(loupan) # 循環(huán)獲取的數(shù)據(jù)并寫入到文件中 for loupan in loupan_list: f.write(loupan.text() + "\n")

代碼寫好了，現(xiàn)在我們就可以通過命令?python newhouse.py?運(yùn)行代碼進(jìn)行數(shù)據(jù)抓取了。抓取的結(jié)果如下圖所示：

總結(jié)

本文為大家介紹了如何通過 Python 將房產(chǎn)網(wǎng)上的新房數(shù)據(jù)批量抓取下來，然后就可以將每天抓取的結(jié)果跟歷史數(shù)據(jù)進(jìn)行對比分析，來判斷樓市的大概趨勢。其中涉及到了用?BeautifulSoup?進(jìn)行?html?解析，整個(gè)代碼來看實(shí)現(xiàn)方式并不難，希望通過這個(gè)過程可以為你提供一些幫助。

?在學(xué)編程,學(xué)Python的小伙伴們，一個(gè)人摸黑學(xué)會很難,博主也是過來人, 這里新建了一個(gè)扣群：1020465983，給大家準(zhǔn)備了學(xué)習(xí)資源、好玩的項(xiàng)目，歡迎大家加入一起交流。

總結(jié)

以上是生活随笔為你收集整理的看我如何抓取最新房价数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。