目錄

• 尋找目標(biāo)地址規(guī)律
• 寫代碼

尋找目標(biāo)地址規(guī)律

目標(biāo)地址：目標(biāo)地址

在此之前，講一個小技巧，要在IE瀏覽器中打開這個網(wǎng)址，在谷歌瀏覽器中打開這個網(wǎng)址是找不到答案圖片網(wǎng)址的，Firefox沒試過。IE為什么行，我也不知道，參考網(wǎng)上大佬說法的。

IE瀏覽器打開網(wǎng)址------》F12查看網(wǎng)頁源碼，如下圖：

把圖片的鏈接復(fù)制下來找規(guī)律，如下圖：
非常僥幸的發(fā)現(xiàn)只有pageno不同，那么pageno就表示頁數(shù)：

寫代碼

import os
import random
import sys
import time
import requests

# 目標(biāo)地址相同的前面部分 URLHead = "https://docimg1.docin.com/docinpic.jsp?file=2165435912&width=1500&sid=SUlUgAI*QIVqpV9S7unyU8MPJmU7j1D4cSQFIWnJ1qwzKcjQ-pCKWOBFGKSLpCs-&pageno=" # 目標(biāo)地址相同的后面部分 URLend = "&pcimg=1" page = 173# 創(chuàng)建存儲文件夾，根據(jù)自己需要修改 path = 'D:\PyCharmProject\SpiderDOC\編譯原理' isExists = os.path.exists(path) if not isExists:# 如果不存在則創(chuàng)建目錄# 創(chuàng)建目錄操作函數(shù)os.makedirs(path)print(path + ' 創(chuàng)建成功')# 按照頁數(shù)爬 while page <= 173:URL = URLHead + str(page) + URLendprint("正在爬%d頁" % page)with open(path + '/' + str(page) + '.jpg', 'wb') as file:file.write(requests.get(URL).content)print("已爬取%d頁" % page)# 產(chǎn)生隨機數(shù)，休眠幾秒，以免被封IPwaist = random.uniform(1, 8)time.sleep(waist)print("休眠%d秒" % waist)page = page + 1 print("Spider!")

總結(jié)

以上是生活随笔為你收集整理的基础爬虫——以豆丁网《编译原理》（清华大学出版社第二版）课后习题答案为例的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。