與異步爬蟲的相見

文章目錄

• 一、asynico是什么？
• 二、使用步驟
  • 1.普通用法
  • 2,在爬蟲里面的用法

一、asynico是什么？

簡言之，就是用這個庫可以來實現異步IO

二、使用步驟

1，普通用法

1，下面我們來看一個案例：

import asyncio async def sex(x):print(x) name=sex('男生') print(name) #打印出來為一個協程對象，而不是像以前一樣打印內容（先不執行） print('上面是一個協程對象') #看英文意思我們就可以知道，get_event_loop得到一個事 件循環，也即所有含async的等待列表 loop=asyncio.get_event_loop() #下面這個意思就是逐步執行loop里面所等待的內容 ，sex函數也在事件循環里面，所以下面才會執行 loop.run_until_complete(name)

#asynico.run(name)這個是等價于上面兩行的

打印結果如下：

?

2，在爬蟲里面的用法

asynico模塊就是支持異步IO的，是在Python3.4之后才有的模塊，功能相當強大，但是目前它不支持發送http請求，只支持tcp請求，如果要發送http請求，就要自己再tcp基礎之上封裝自己的http請求，當然這啃不動不用我們自己寫啊，誰叫我們用了Python呢，早就有人為我們封裝了這個模塊，那就是aiohttp，我們直接用就好了。

這告訴我們----要想異步url，需要使用aiohttp

代碼如下：

import time,asyncio,aiohttp #導入庫 start=time.time() async def get_url(url):session=aiohttp.ClientSession() #確定clien對象res=await session.get(url) #異步等待await res.text()await session.close()return res async def request():url='https://www.httpbin.org/delay/5' #該網站爬取十次不用異步需要六十秒res=await get_url(url) tasks=[asyncio.ensure_future(request()) for i in range(10)] #列表解析式 loop=asyncio.get_event_loop() loop.run_until_complete(asyncio.wait(tasks)) end=time.time() print(end-start)

下面是運行結果：

---

?

總結

以上是生活随笔為你收集整理的爬虫之异步爬虫asyncio的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。