圖片下載

tqdm

tqdm是一個(gè)快速、擴(kuò)展性強(qiáng)的進(jìn)度條工具庫(kù)，用戶只需要封裝任意的迭代器 tqdm(iterator)，tqdm官方文檔。

對(duì)于爬蟲(chóng)進(jìn)度的監(jiān)控，這是個(gè)不錯(cuò)的工具。

requests模塊實(shí)現(xiàn)下載

對(duì)于requests的網(wǎng)絡(luò)請(qǐng)求返回結(jié)果中，當(dāng)需要獲取文本的時(shí)候我們會(huì)使用response.text獲取文本信息,使用response.content獲取字節(jié)流,比如下載圖片保存到一個(gè)文件,而對(duì)于大個(gè)的文件我們就要采取分塊讀取的方式了。

第一步，我們需要設(shè)置requests.get的stream參數(shù)為T(mén)rue。

默認(rèn)情況下是stream的值為false，它會(huì)立即開(kāi)始下載文件并存放到內(nèi)存當(dāng)中，倘若文件過(guò)大就會(huì)導(dǎo)致內(nèi)存不足的情況．當(dāng)把get函數(shù)的stream參數(shù)設(shè)置成True時(shí)，它不會(huì)立即開(kāi)始下載，當(dāng)你使用iter_content或iter_lines遍歷內(nèi)容或訪問(wèn)內(nèi)容屬性時(shí)才開(kāi)始下載。需要注意一點(diǎn)：文件沒(méi)有下載之前，它也需要保持連接。

斷點(diǎn)續(xù)傳

所謂斷點(diǎn)續(xù)傳，也就是要從文件已經(jīng)下載的地方開(kāi)始繼續(xù)下載。在以前版本的 HTTP 協(xié)議是不支持?jǐn)帱c(diǎn)的，HTTP/1.1 開(kāi)始就支持了。一般斷點(diǎn)下載時(shí)會(huì)用到 header請(qǐng)求頭的Range字段，這也是現(xiàn)在眾多號(hào)稱(chēng)多線程下載工具(如 FlashGet、迅雷等)實(shí)現(xiàn)多線程下載的核心所在。

HTTP請(qǐng)求頭Range

range是請(qǐng)求資源的部分內(nèi)容(不包括響應(yīng)頭的大小)，單位是byte，即字節(jié)，從0開(kāi)始.

如果服務(wù)器能夠正常響應(yīng)的話，服務(wù)器會(huì)返回 206 Partial Content 的狀態(tài)碼及說(shuō)明.

如果不能處理這種Range的話，就會(huì)返回整個(gè)資源以及響應(yīng)狀態(tài)碼為 200 OK .(這個(gè)要注意，要分段下載時(shí)，要先判斷這個(gè))。

Range請(qǐng)求頭格式

Range: bytes=start-end

Range頭域

Range頭域可以請(qǐng)求實(shí)體的一個(gè)或者多個(gè)子范圍。例如，

表示頭500個(gè)字節(jié)：bytes=0-499

表示第二個(gè)500字節(jié)：bytes=500-999

表示最后500個(gè)字節(jié)：bytes=-500

表示500字節(jié)以后的范圍：bytes=500-

第一個(gè)和最后一個(gè)字節(jié)：bytes=0-0,-1

同時(shí)指定幾個(gè)范圍：bytes=500-600,601-999

Range: bytes=10- ：第10個(gè)字節(jié)及最后個(gè)字節(jié)的數(shù)據(jù)

Range: bytes=40-100 ：第40個(gè)字節(jié)到第100個(gè)字節(jié)之間的數(shù)據(jù).

注意，這個(gè)表示[start,end]，即是包含請(qǐng)求頭的start及end字節(jié)的，所以，下一個(gè)請(qǐng)求，應(yīng)該是上一個(gè)請(qǐng)求的[end+1, nextEnd]

程序?qū)崿F(xiàn)

這里的斷點(diǎn)續(xù)傳沒(méi)有做過(guò)度復(fù)雜的實(shí)現(xiàn)，只是簡(jiǎn)單的在當(dāng)前目錄下進(jìn)行的。

# -*- coding: utf-8 -*-

import requests

from tqdm import tqdm

import os

import time

# 用法一

def tqdm_demo():

text = ""

for char in tqdm(["a", "b", "c", "d"]):

text = text + char

time.sleep(0.5)

# 用法二

def tqdm_demo2():

pbar = tqdm(["a", "b", "c", "d"])

for char in pbar:

time.sleep(0.5)

pbar.set_description("Processing %s" % char)

# 手動(dòng)控制運(yùn)行

# tqdm.update()方法用于手動(dòng)更新進(jìn)度條，對(duì)讀取文件之類(lèi)的流操作非常有用。

def tqdm_demo3():

with tqdm(total=100) as pbar:

for i in range(10):

pbar.update(10)

time.sleep(0.5)

def download_from_url(url, dst):

'''

:param url: 下載地址

:param dst: 文件名稱(chēng)

:return:

'''

#發(fā)起網(wǎng)絡(luò)請(qǐng)求

response = requests.get(url, stream=True)

#獲取返回的文件的大小

file_size = int(response.headers['content-length'])

#判斷當(dāng)前目錄中是否有該文件，如果有獲取文件的大小，從而實(shí)現(xiàn)斷點(diǎn)續(xù)傳

if os.path.exists(dst):

first_byte = os.path.getsize(dst)

else:

first_byte = 0

#如果文件大小已經(jīng)超過(guò)了服務(wù)器返回的文件的大小，返回文件長(zhǎng)度

if first_byte >= file_size: #(4)

return file_size

#設(shè)置斷點(diǎn)續(xù)傳的位置

header = {"Range": f"bytes=%s-%s"%(first_byte,file_size)}

# desc :進(jìn)度條的前綴

# unit 定義每個(gè)迭代的單元。默認(rèn)為"it"，即每個(gè)迭代，在下載或解壓時(shí)，設(shè)為"B"，代表每個(gè)“塊”。

# unit_scale 默認(rèn)為False，如果設(shè)置為1或者True，會(huì)自動(dòng)根據(jù)國(guó)際單位制進(jìn)行轉(zhuǎn)換 (kilo, mega, etc.) 。比如，在下載進(jìn)度條的例子中，如果為False，數(shù)據(jù)大小是按照字節(jié)顯示，設(shè)為T(mén)rue之后轉(zhuǎn)換為Kb、Mb。

#total：總的迭代次數(shù)，不設(shè)置則只顯示統(tǒng)計(jì)信息，沒(méi)有圖形化的進(jìn)度條。設(shè)置為len(iterable)，會(huì)顯示黑色方塊的圖形化進(jìn)度條。

pbar = tqdm(total=file_size, initial=first_byte,unit='B', unit_scale=True, desc=dst)

#發(fā)送網(wǎng)絡(luò)請(qǐng)求

req = requests.get(url, headers=header, stream=True) #(5)

#這里的二進(jìn)制需要采用追加的方式寫(xiě)入文件，不然無(wú)法實(shí)現(xiàn)斷點(diǎn)續(xù)傳

with(open(dst, 'ab')) as f:

for chunk in req.iter_content(chunk_size=1024): #(6)

if chunk:

#用于方便觀察進(jìn)度條，在下載大視頻的時(shí)候去掉也能觀察出來(lái)

time.sleep(0.01)

f.write(chunk)

f.flush()

pbar.update(1024)

pbar.close()

return file_size

if __name__ == '__main__':

url = "https://ss0.bdstatic.com/94oJfD_bAAcT8t7mm9GUKT-xh_/timg?image&quality=100&size=b4000_4000&sec=1551406646&di=a385cb186c0f1c2c45e5c49b4015e848&src=http://img18.3lian.com/d/file/201709/21/f498e01633b5b704ebfe0385f52bad20.jpg"

download_from_url(url, "百度美女圖片.jpg")

#以下是tqdm實(shí)例

tqdm_demo()

tqdm_demo2()

tqdm_demo3()

總結(jié)

以上是生活随笔為你收集整理的python断点续传下载_Python版本，图片，视频断点续传下载的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。