我們今天要爬取的網(wǎng)址為：https://www.zhiliti.com.cn/html/luoji/list7_1.html

一、目標(biāo)：獲取下圖紅色部分內(nèi)容

即獲取所有的題目以及答案。

二、實現(xiàn)步驟。

分析：

1，首先查看該網(wǎng)站的結(jié)構(gòu)。

分析網(wǎng)頁后可以得到：

我們需要的內(nèi)容是在該網(wǎng)頁

標(biāo)簽下，詳細(xì)內(nèi)容鏈接在 的的href中。

但是這樣我們最多只能獲取這一頁的內(nèi)容

別著急

我們點擊第二頁看一下目標(biāo)網(wǎng)址有什么變化

我們發(fā)現(xiàn)目標(biāo)網(wǎng)址最后的數(shù)字變成了2

再看一下最后一頁

我們可以分析出最后那個數(shù)字即第幾頁，所以我們待會可以直接用一個for循環(huán)拼接字符串即可。

分析詳細(xì)頁面：

我們隨便點擊進入一個閱讀全文

同樣分析網(wǎng)頁結(jié)構(gòu)。

發(fā)現(xiàn)我們要的內(nèi)容在一個塊

的

標(biāo)簽中，我們在看一下其他題是不是也是這樣的

很明顯是這樣的，所以我們只需要獲取class為info-zi mb15下的

標(biāo)簽下的內(nèi)容即可。

所以我們接下來開始實現(xiàn)。

Let's Go

實現(xiàn)：

1，獲取所有頁

defgetall():for i in range(1,31,1):

getalldoc(i)

i表示第i頁，一共30頁所以i從1變化到30，每次增加1。

2，獲取當(dāng)前頁詳細(xì)頁面的連接

#獲取目標(biāo)網(wǎng)址第幾頁

defgetalldoc(ii):#字符串拼接成目標(biāo)網(wǎng)址

testurl = "https://www.zhiliti.com.cn/html/luoji/list7_"+str(ii)+".html"

#使用request去get目標(biāo)網(wǎng)址

res = requests.get(testurl,headers=headers)#更改網(wǎng)頁編碼--------不改會亂碼

res.encoding="GB2312"

#創(chuàng)建一個BeautifulSoup對象

soup = BeautifulSoup(res.text,"html.parser")#找出目標(biāo)網(wǎng)址中所有的small標(biāo)簽#函數(shù)返回的是一個list

ans = soup.find_all("small")#用于標(biāo)識問題

cnt = 1

#先創(chuàng)建目錄

mkdir("E:\\Python爬取的文件\\問題\\第" + str(ii) + "頁\\")for tag inans:#獲取a標(biāo)簽下的href網(wǎng)址

string_ans=str(tag.a.get("href"))#請求詳細(xì)頁面

#返回我們需要的字符串?dāng)?shù)據(jù)

string_write =geturl(string_ans)#寫文件到磁盤

writedoc(string_write,cnt,ii)

cnt= cnt+1

print("第",ii,"頁寫入完成")

先拼接處目標(biāo)網(wǎng)頁url，然后調(diào)用request去請求，更改網(wǎng)頁編碼，使用BeautifulSoup對html文檔進行解析，找出所有標(biāo)簽，存入一個list，然后遍歷該list，獲取每一個標(biāo)簽里的

得到詳細(xì)頁面的url之后我們調(diào)用geturl（自定義函數(shù)下面講解）返回我們所需要的題目字符串，最后調(diào)用writedoc寫入文件。

3，得到詳細(xì)頁面的url后篩選目標(biāo)字符串

#根據(jù)詳細(xì)頁面url獲取目標(biāo)字符串

defgeturl(url):#請求詳細(xì)頁面

r = requests.get(url, headers=headers)#改編碼

r.encoding = "GB2312"soup= BeautifulSoup(r.text, "html.parser")#找出類名為 info-zi mb15 下的所有p標(biāo)簽

ans = soup.find_all(["p", ".info-zi mb15"])#用來儲存最后需要寫入文件的字符串

mlist = ""

for tag inans:#獲取p標(biāo)簽下的string內(nèi)容，并進行目標(biāo)字符串拼接

mlist=mlist+str(tag.string)#返回目標(biāo)字符串

return mlist

首先請求網(wǎng)頁構(gòu)建一個BeautifulSoup對象，篩選出class=info-zi mb15的對象下的

標(biāo)簽內(nèi)容，返回類型為list，遍歷list，將每個item的string拼接到目標(biāo)字符串并返回。

4，將目標(biāo)字符串寫進文件

#寫文件

defwritedoc(ss, i,ii):#打開文件

#編碼為utf-8

with open("E:\\Python爬取的文件\\問題\\第" + str(ii) + "頁\\"+"問題" + str(i) + ".txt", 'w', encoding='utf-8') as f:#寫文件

f.write(ss)print("問題" + str(i) + "文件寫入完成" + "\n")

5，創(chuàng)建指定目錄

defmkdir(path):#去除首位空格

path =path.strip()#去除尾部 \ 符號

path = path.rstrip("\\")#判斷路徑是否存在

#存在 True

#不存在 False

isExists =os.path.exists(path)#判斷結(jié)果

if notisExists:#如果不存在則創(chuàng)建目錄

#創(chuàng)建目錄操作函數(shù)

os.makedirs(path)returnTrueelse:#如果目錄存在則不創(chuàng)建，并提示目錄已存在

return False

三，最終python文件

importrequestsfrom bs4 importBeautifulSoupimportos#服務(wù)器反爬蟲機制會判斷客戶端請求頭中的User-Agent是否來源于真實瀏覽器，所以，我們使用Requests經(jīng)常會指定UA偽裝成瀏覽器發(fā)起請求

headers = {'user-agent': 'Mozilla/5.0'}#寫文件

defwritedoc(ss, i,ii):#打開文件

#編碼為utf-8

with open("E:\\Python爬取的文件\\問題\\第" + str(ii) + "頁\\"+"問題" + str(i) + ".txt", 'w', encoding='utf-8') as f:#寫文件

f.write(ss)print("問題" + str(i) + "文件寫入完成" + "\n")#根據(jù)詳細(xì)頁面url獲取目標(biāo)字符串

defgeturl(url):#請求詳細(xì)頁面

r = requests.get(url, headers=headers)#改編碼

r.encoding = "GB2312"soup= BeautifulSoup(r.text, "html.parser")#找出類名為 info-zi mb15 下的所有p標(biāo)簽

ans = soup.find_all(["p", ".info-zi mb15"])#用來儲存最后需要寫入文件的字符串

mlist = ""

for tag inans:#獲取p標(biāo)簽下的string內(nèi)容，并進行目標(biāo)字符串拼接

mlist=mlist+str(tag.string)#返回目標(biāo)字符串

returnmlist#獲取目標(biāo)網(wǎng)址第幾頁

defgetalldoc(ii):#字符串拼接成目標(biāo)網(wǎng)址

testurl = "https://www.zhiliti.com.cn/html/luoji/list7_"+str(ii)+".html"

#使用request去get目標(biāo)網(wǎng)址

res = requests.get(testurl,headers=headers)#更改網(wǎng)頁編碼--------不改會亂碼

res.encoding="GB2312"

#創(chuàng)建一個BeautifulSoup對象

soup = BeautifulSoup(res.text,"html.parser")#找出目標(biāo)網(wǎng)址中所有的small標(biāo)簽

#函數(shù)返回的是一個list

ans = soup.find_all("small")#用于標(biāo)識問題

cnt = 1

#先創(chuàng)建目錄

mkdir("E:\\Python爬取的文件\\問題\\第" + str(ii) + "頁\\")for tag inans:#獲取a標(biāo)簽下的href網(wǎng)址

string_ans=str(tag.a.get("href"))#請求詳細(xì)頁面

#返回我們需要的字符串?dāng)?shù)據(jù)

string_write =geturl(string_ans)#寫文件到磁盤

writedoc(string_write,cnt,ii)

cnt= cnt+1

print("第",ii,"頁寫入完成")defmkdir(path):#去除首位空格

path =path.strip()#去除尾部 \ 符號

path = path.rstrip("\\")#判斷路徑是否存在

#存在 True

#不存在 False

isExists =os.path.exists(path)#判斷結(jié)果

if notisExists:#如果不存在則創(chuàng)建目錄

#創(chuàng)建目錄操作函數(shù)

os.makedirs(path)returnTrueelse:#如果目錄存在則不創(chuàng)建，并提示目錄已存在

returnFalsedefgetall():for i in range(1,31,1):

getalldoc(i)if __name__ == "__main__":

getall()

四，運行結(jié)果

五，總結(jié)

一般網(wǎng)頁的編碼為utf-8編碼，但是這個網(wǎng)頁就不一樣編碼為GB2312，我第一次請求返回的是亂碼，如果python向一個不存在的目錄進行寫文件會報錯，所以寫文件之前要先判斷路徑是否正確存在，不存在就要創(chuàng)建路徑，請求頭請使用下面這個

#服務(wù)器反爬蟲機制會判斷客戶端請求頭中的User-Agent是否來源于真實瀏覽器，所以，我們使用Requests經(jīng)常會指定UA偽裝成瀏覽器發(fā)起請求

headers = {'user-agent': 'Mozilla/5.0'}

總結(jié)

以上是生活随笔為你收集整理的python3获取网页内容_python3获取一个网页特定内容的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。