提示：最新Python爬蟲資料/代碼練習>>戳我直達

---

前言

抓取動態加載數據

話不多說，開練！

爬蟲抓取動態加載數據

確定網站類型

首先要明確網站的類型，即是動態還是靜態。檢查方法：右鍵查看網頁源碼 —> 搜索“辛德勒的名單”關鍵字，如下圖所示：

圖1：分析網站類型

最終發現源碼頁中沒有出現想要抓取的數據，只有一大堆的 JS 代碼，由此確定該網站為動態網站。

影片詳情信息

接下來，使用快捷鍵 F12 打開控制臺進行抓包，點擊NetWork選項卡 —>XHR選項 —> Preview選項卡 —> 刷新當前頁面抓取數據包，如下圖所示：

圖2：抓取動態網站數據包

從圖 2 可知，我們想要抓取的數據取全部包含在當前的數據包中。當我們向下滾動鼠標滑輪時，左側欄內的數據包會實現自動加載，這是使用Ajax異步加載技術實現的。

通過查看數據 Headers 選項可以明確 url 地址、查詢參數等信息，如下所示：

圖3：分析Headers信息

從上圖可以得知請求的基準 URL （由于還未拼接查詢參數，所以稱之為基準 URL），如下所示：

繼續滾動鼠標滑輪可知查詢參數具有如下規律：

type: 4 # 電影類型 interval_id: 100:90 #代表網頁上滑動條的百分比（好于100%-90%的歷史片） action: '' # 空 start: 0 # 每次加載電影的起始索引值 0 20 40 60 limit: 20 # 每次加載的電影數量，1為初始值，后續加載時20固定不變

注意：尋找規律時，后加載出來的數據包會排在最前面，除去第一個數據包外，其余數據包如下所示：

圖4：尋找查詢參數值的規律

影片總數量

注意：第一個數據包反映了每個類型中電影的總數量，其 url 與響應信息如下：

影片類型與類型碼

影片的類型與類型碼包含在電影排行榜的主界面中，如下所示：

圖5：影片類型與類型碼

分析上述頁面結構，然后使用正則表達式來提取想要的數據，并定義選擇菜單“menu”，代碼如下所示：

import redef get_all_type_films(self):# 獲取影片類型和類型碼url = 'https://douban-dy網址/chart'headers = self.get_headers()html = requests.get(url=url, headers=headers).textre_bds = r'<a href=.*?type_name=(.*?)&type=(.*?)&.*?</a>'pattern = re.compile(re_bds, re.S)r_list = pattern.findall(html)# 存放所有類型和對應類型碼大字典type_dict = {}# 定義一個選擇電影類型的菜單menu = ''# r_list[{'劇情 , 11'},{},..]for r in r_list:type_dict[r[0].strip()] = r[1].strip()# 獲取input的菜單，顯示所有電影類型menu += r[0].strip() + '|'#返回類型字典以供后續函數調用，并返回輸入菜單menu# {'劇情': '11', '喜劇': '24',...}return type_dict, menu

編寫完整程序

完成上述分析后，下面開始編寫 Python 爬蟲程序，代碼如下：

• 阿星提醒：不做代碼伸手黨~仔細看看，主要是學習其中的方法

#coding:utf8 import requests import time import random import re import json from ua_info import ua_listclass DoubanSpider(object):def __init__(self):self.url = 'https://douban-dy網址/j/chart/top_list?'self.i = 0# 獲取隨機headersdef get_headers(self):headers = {'User-Agent':random.choice(ua_list)}return headers# 獲取頁面def get_page(self,params):# 將json轉換為 python 數據類型，并返回html = requests.get(url=self.url,params=params,headers=self.get_headers()).texthtml=json.loads(html)self.parse_page(html)# 解析并保存數據def parse_page(self,html):item = {}# html列表類型： [{電影1},{電影2},{電影3}...]for one in html:# 名稱 + 評分item['name'] = one['title'].strip()item['score'] = float(one['score'].strip())print(item)self.i += 1# 獲取電影總數def total_number(self,type_number):# F12抓包抓到的地址，type表示電影類型url = 'https://douban-dy網址/j/chart/top_list_count?type={}&interval_id=100%3A90'.format(type_number)headers = self.get_headers()html = requests.get(url=url,headers=headers).json()total = int(html['total'])return total# 獲取所有電影的類型和對應type值def get_all_type_films(self):# 獲取類型與類型碼url = 'https://douban-dy網址/chart'headers = self.get_headers()html = requests.get(url=url,headers=headers).textre_bds = r'<a href=.*?type_name=(.*?)&type=(.*?)&.*?</a>'pattern = re.compile(re_bds,re.S)r_list = pattern.findall(html)# 存放所有類型和對應類型碼大字典type_dict = {}#定義一個選擇電影類型的菜單menu = ''for r in r_list:type_dict[r[0].strip()] = r[1].strip()# 獲取input的菜單，顯示所有電影類型menu += r[0].strip() + '|'return type_dict,menu# 主程序入口函數def main(self):# 獲取type的值type_dict,menu = self.get_all_type_films()menu = menu + '\n你想了解什么類型電影:'name = input(menu)type_number = type_dict[name]# 獲取電影總數total = self.total_number(type_number)for start in range(0,(total+1),20):#構建查詢參數params = {'type' : type_number,'interval_id' : '100:90','action' : '','start' : str(start),'limit' : '20'}# 調用函數,傳遞params參數self.get_page(params)# 隨機休眠1-3秒time.sleep(random.randint(1,3))print('電影總數量:%d部'%self.i )if __name__ == '__main__':spider = DoubanSpider()spider.main()

輸出示例：

---

小結

最后我們對抓取動態網站數據做簡單地總結：

• 確定網站是否為動態網站，通過查看源碼搜索相應的關鍵字即可確定。
• 動態網站主要通過異步方式加載數據。觸發數據加載的 JS 事件主要有滾動鼠標滑輪、鼠標點擊、拉動滾動條等有關動作，也有一些網站通過局部更新的方式加載數據。

用爬蟲抓取動態加載數據丨Python爬蟲實戰系列(6) 就到這啦，在學爬蟲的老鐵記得持續關注！阿星祝你早日修煉成為爬蟲大佬！點我文末的名片【領取阿星精心準備的Python學習籽料~】

戳名片找我🧐給你來一套

總結

以上是生活随笔為你收集整理的用爬虫抓取动态加载数据丨Python爬虫实战系列(6)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。