今天來爬取西刺代理的所有數據，采用 mongoDB 儲存。

首先分析網址構造，找出規律，這里我們可以看到，總共有 3639 頁。

接著我們分析頁面源碼，通過正則來匹配出我們想要的數據。

正則調試：

for i in range(1,3640):

# 構造 URL 地址

url='https://www.xicidaili.com/nn/'+str(i)

# 構造 headers

headers={

'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'

}

# 訪問該 URL 地址，獲取到頁面源碼

html=requests.get(url,headers=headers).text

# 構造正則表達式

_retext=('

(.*?)[\s\S]*?(.*?)[\s\S]*?'

+'(.*?)[\s\S]*?(.*?)'

+'[\s\S]*?

(.*?)[\s\S]*?(.*?)'

+'

[\s\S]*?(.*?)')

# 正則匹配出頁面中的數據

content=re.findall(_retext,html)

獲取到數據以后，我們連接 mongoDB。

# 連接mongoDB

client=pymongo.MongoClient(host='localhost',port=27017)

# 打開‘xicidata’，如果不存在則創建

db=client['xicidata']

# 創建 ‘data’ 表

t1=db['data']

接著把數據寫入表‘data’中

for j in content:

# 通過for,把獲取到的數據放到dict中

_data={'IP地址':j[0],

'port':j[1],

'adresse':j[2],

'N':j[3],

'type':j[4],

'cunhuo':j[5],

'time':j[6]

}

# 把 dict 插入到表中

t1.insert_one(_data)

print('writing...')

最后，我們貼出全部代碼

import requests

import re

import pymongo

from time import sleep

# 連接mongoDB

client=pymongo.MongoClient(host='localhost',port=27017)

# 打開‘xicidata’，如果不存在則創建

db=client['xicidata']

# 創建 ‘data’ 表

t1=db['data']

for i in range(1,3640):

# 構造 URL 地址

url='https://www.xicidaili.com/nn/'+str(i)

# 構造 headers

headers={

'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'

}

# 訪問該 URL 地址，獲取到頁面源碼

html=requests.get(url,headers=headers).text

sleep(5)

# 構造正則表達式

_retext=('

(.*?)[\s\S]*?(.*?)[\s\S]*?'

+'(.*?)[\s\S]*?(.*?)'

+'[\s\S]*?

(.*?)[\s\S]*?(.*?)'

+'

[\s\S]*?(.*?)')

# 正則匹配出頁面中的數據

content=re.findall(_retext,html)

# 迭代出數據

for j in content:

# 通過for,把獲取到的數據放到dict中

_data={'IP地址':j[0],

'port':j[1],

'adresse':j[2],

'N':j[3],

'type':j[4],

'cunhuo':j[5],

'time':j[6]

}

# 把 dict 插入到表中

t1.insert_one(_data)

print('writing...')

通過 pycharm 的插件，我們看到，mongoDB成功創建了庫‘xicidata’,該庫下成功創建了表‘data’。

數據寫入成功！

總結

以上是生活随笔為你收集整理的西刺代理python_python爬取西刺代理所有数据 ！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。