# 分別使用urlopen和requests兩個模塊進(jìn)行演示 # import requests # 需要安裝的 # from urllib.request import urlopen # # url = 'http://www.baidu.com' # # # res1 = urlopen(url) # urlopen,獲取到頁面請求對象 # res2 = requests.get(url) # requests.get獲取到請求對象 # print(res1) # print(res2) # print(res1.read().decode('utf-8')) # 獲取到頁面源碼，有縮進(jìn)的 # print(res2.content.decode('utf-8')) # 獲取到頁面源碼，無縮進(jìn)的# 協(xié)程實現(xiàn)爬蟲的例子# 這里只去處理請求過程中的IO等待,這樣請求一個URL的時候，在URL還未返回的這個階段就發(fā)生了IO事件，此時就會發(fā)生協(xié)程切換去獲取另外一個URL，如此協(xié)程就充分巧妙利用了程序任務(wù)中的IO時間from gevent import monkey monkey.patch_all() # 打猴子補(bǔ)丁，使IO操作能被協(xié)程發(fā)現(xiàn)，從而使得協(xié)程能夠協(xié)程切換工作 import gevent from urllib.request import urlopendef get_url(url):response = urlopen(url)content = response.read().decode('utf-8')return len(content)if __name__ == '__main__':url_list = ['http://www.baidu.com', 'http://www.sogou.com', "http://www.cnblogs.com"]g_lst = []for url in url_list:g = gevent.spawn(get_url, url)g_lst.append(g)gevent.joinall(g_lst) # 阻塞等待協(xié)程任務(wù)執(zhí)行結(jié)束for g in g_lst:print(g.value) # 協(xié)程對象.value能得到任務(wù)的返回值

?

轉(zhuǎn)載于:https://www.cnblogs.com/whylinux/p/9866033.html

總結(jié)

以上是生活随笔為你收集整理的协程实现爬虫的例子主要优势在于充分利用IO时间去请求其他的url的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。