Python下載文件的方法有兩種：

Python官方的urllib庫；

Python第三方模塊requests。

下載小文件

from urllib.request import urlretrieve urlretrieve(url, path_name) # url文件下載地址，path_name文件存儲路徑

下載大文件

• 導(dǎo)包 import requests
• 使用requests的get函數(shù)下載文件，一般需要設(shè)置stream參數(shù)

stream參數(shù)設(shè)置為True時，文件不會立即下載，只有使用iter_content、iter_lines遍歷內(nèi)容或訪問內(nèi)容屬性是才開始下載，文件沒有下載之前，需要保持連接。

• iter_content:一塊一塊的遍歷要下載的內(nèi)容；
• iter_lines:一行一行的遍歷要下載的內(nèi)容。

stream參數(shù)設(shè)置為False時，文件會立即下載并將文件保存到內(nèi)存，如果文件過大，可能導(dǎo)致內(nèi)存不足。

將stream參數(shù)設(shè)置為True時，下載文件可以防止占用過多的內(nèi)存，控制每次下載的數(shù)據(jù)大小。

import requests # url文件下載地址 r = requests.get(url, stream=True) # path_name文件存儲路徑，"wb"以二進(jìn)制字節(jié)方式存儲 f = open(path_name, "wb") # chunk_size是指定每次寫入的大小，每次寫512字節(jié) for text in r.iter_content(chunk_size=512):if text:f.write(text) f.close()

總結(jié)

以上是生活随笔為你收集整理的python爬虫下载文件的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。