python爬蟲(chóng)

用python爬蟲(chóng)是一件非常使人愉快的事情，圖片、數(shù)據(jù)、小視頻一切皆可爬取，可是我們會(huì)經(jīng)常發(fā)現(xiàn)下載圖片的時(shí)候會(huì)非常慢，難以忍受。

PS注意

注意：很多人學(xué)Python過(guò)程中會(huì)遇到各種煩惱問(wèn)題，沒(méi)有人幫答疑容易放棄。為此小編建了個(gè)Python全棧免費(fèi)答疑.裙 ：七衣衣九七七巴而五(數(shù)字的諧音)轉(zhuǎn)換下可以找到了，不懂的問(wèn)題有老司機(jī)解決里面還有最新Python教程項(xiàng)目可拿,，一起相互監(jiān)督共同進(jìn)步！

我們都知道一個(gè)人做事必然沒(méi)有十個(gè)人做事快，那一個(gè)進(jìn)程速度慢，用十個(gè)進(jìn)程就好了呀。所以今天要跟大家分享一個(gè)多進(jìn)程爬蟲(chóng)的制作。(GIL的存在導(dǎo)致Python的多線程點(diǎn)有坑)

大家應(yīng)該知道在多進(jìn)程中，進(jìn)程之間是不能相互通信的，這就有一個(gè)問(wèn)題出現(xiàn)了！多個(gè)進(jìn)程怎么知道哪些需要爬取、哪些已經(jīng)被爬取了？

這就涉及到隊(duì)列了，如果需要更為穩(wěn)定健壯的隊(duì)列，應(yīng)該使用Celery這一類(lèi)的專(zhuān)用消息傳遞工具，不過(guò)為了簡(jiǎn)便，這次我們使用MongoDB。

構(gòu)建思路

好了！先來(lái)理一下思路：每個(gè)進(jìn)程需要知道哪些URL爬取過(guò)了、哪些URL需要爬取！我們來(lái)給每個(gè)URL設(shè)置兩種狀態(tài)：

outstanding:等待爬取的URL

complete:爬取完成的URL

那么失敗的URL的怎么辦呢？我們?cè)谠黾右环N狀態(tài)：

processing:正在進(jìn)行的URL

嗯！當(dāng)一個(gè)所有初始的URL狀態(tài)都為outstanding；當(dāng)開(kāi)始爬取的時(shí)候狀態(tài)改為：processing；爬取完成狀態(tài)改為：complete；失敗的URL重置狀態(tài)為：outstanding。為了能夠處理URL進(jìn)程被終止的情況、我們?cè)O(shè)置一個(gè)計(jì)時(shí)參數(shù)，當(dāng)超過(guò)這個(gè)值時(shí)；我們則將狀態(tài)重置為outstanding。

接下來(lái)看代碼部分

首先我們需要一個(gè)模塊：datetime(這個(gè)模塊比內(nèi)置time模塊要好使一點(diǎn))

下面是隊(duì)列的代碼：

代碼1

代碼2

代碼3

好了，隊(duì)列我們做好了，下面是獲取所有頁(yè)面的代碼。

下面就是多進(jìn)程+多線程的下載代碼了：

好啦！一個(gè)多進(jìn)程多線的爬蟲(chóng)就完成了。(其實(shí)可以設(shè)置一下MongoDB，然后調(diào)整一下連接配置，在多臺(tái)機(jī)器上跑哦！！嗯，就是超級(jí)簡(jiǎn)化版的分布式爬蟲(chóng)了，雖然很是簡(jiǎn)陋。)

大家可以參考上面代碼，單獨(dú)處理圖片地址試試(就是多個(gè)進(jìn)程直接下載圖片)應(yīng)該八分鐘能下載100套圖~

當(dāng)然還有一種加速的方法叫做“異步”！因?yàn)榕老x(chóng)大部分時(shí)間都是在等待response中！‘異步’則能讓程序在等待response的時(shí)間去做的其他事情，當(dāng)然也會(huì)復(fù)雜許多。另外要注意：很多人學(xué)Python過(guò)程中會(huì)遇到各種煩惱問(wèn)題，沒(méi)有人幫答疑容易放棄。為此小編建了個(gè)Python全棧免費(fèi)答疑.裙 ：七衣衣九七七巴而五(數(shù)字的諧音)轉(zhuǎn)換下可以找到了，不懂的問(wèn)題有老司機(jī)解決里面還有最新Python教程項(xiàng)目可拿,，一起相互監(jiān)督共同進(jìn)步！

本文的文字及圖片來(lái)源于網(wǎng)絡(luò)加上自己的想法,僅供學(xué)習(xí)、交流使用,不具有任何商業(yè)用途,版權(quán)歸原作者所有,如有問(wèn)題請(qǐng)及時(shí)聯(lián)系我們以作處理。

總結(jié)

以上是生活随笔為你收集整理的python美女源代码_python程序员爬取百套美女写真集，同样是爬虫，他为何如此突出...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。