圖片下載

tqdm

tqdm是一個快速、擴展性強的進度條工具庫，用戶只需要封裝任意的迭代器 tqdm(iterator)，tqdm官方文檔。

對于爬蟲進度的監控，這是個不錯的工具。

requests模塊實現下載

對于requests的網絡請求返回結果中，當需要獲取文本的時候我們會使用response.text獲取文本信息,使用response.content獲取字節流,比如下載圖片保存到一個文件,而對于大個的文件我們就要采取分塊讀取的方式了。

第一步，我們需要設置requests.get的stream參數為True。

默認情況下是stream的值為false，它會立即開始下載文件并存放到內存當中，倘若文件過大就會導致內存不足的情況．當把get函數的stream參數設置成True時，它不會立即開始下載，當你使用iter_content或iter_lines遍歷內容或訪問內容屬性時才開始下載。需要注意一點：文件沒有下載之前，它也需要保持連接。

斷點續傳

所謂斷點續傳，也就是要從文件已經下載的地方開始繼續下載。在以前版本的 HTTP 協議是不支持斷點的，HTTP/1.1 開始就支持了。一般斷點下載時會用到 header請求頭的Range字段，這也是現在眾多號稱多線程下載工具(如 FlashGet、迅雷等)實現多線程下載的核心所在。

HTTP請求頭Range

range是請求資源的部分內容(不包括響應頭的大小)，單位是byte，即字節，從0開始.

如果服務器能夠正常響應的話，服務器會返回 206 Partial Content 的狀態碼及說明.

如果不能處理這種Range的話，就會返回整個資源以及響應狀態碼為 200 OK .(這個要注意，要分段下載時，要先判斷這個)。

Range請求頭格式

Range: bytes=start-end

Range頭域

Range頭域可以請求實體的一個或者多個子范圍。例如，

表示頭500個字節：bytes=0-499

表示第二個500字節：bytes=500-999

表示最后500個字節：bytes=-500

表示500字節以后的范圍：bytes=500-

第一個和最后一個字節：bytes=0-0,-1

同時指定幾個范圍：bytes=500-600,601-999

Range: bytes=10- ：第10個字節及最后個字節的數據

Range: bytes=40-100 ：第40個字節到第100個字節之間的數據.

注意，這個表示[start,end]，即是包含請求頭的start及end字節的，所以，下一個請求，應該是上一個請求的[end+1, nextEnd]

程序實現

這里的斷點續傳沒有做過度復雜的實現，只是簡單的在當前目錄下進行的。

# -*- coding: utf-8 -*-

import requests

from tqdm import tqdm

import os

import time

# 用法一

def tqdm_demo():

text = ""

for char in tqdm(["a", "b", "c", "d"]):

text = text + char

time.sleep(0.5)

# 用法二

def tqdm_demo2():

pbar = tqdm(["a", "b", "c", "d"])

for char in pbar:

time.sleep(0.5)

pbar.set_description("Processing %s" % char)

# 手動控制運行

# tqdm.update()方法用于手動更新進度條，對讀取文件之類的流操作非常有用。

def tqdm_demo3():

with tqdm(total=100) as pbar:

for i in range(10):

pbar.update(10)

time.sleep(0.5)

def download_from_url(url, dst):

'''

:param url: 下載地址

:param dst: 文件名稱

:return:

'''

#發起網絡請求

response = requests.get(url, stream=True)

#獲取返回的文件的大小

file_size = int(response.headers['content-length'])

#判斷當前目錄中是否有該文件，如果有獲取文件的大小，從而實現斷點續傳

if os.path.exists(dst):

first_byte = os.path.getsize(dst)

else:

first_byte = 0

#如果文件大小已經超過了服務器返回的文件的大小，返回文件長度

if first_byte >= file_size: #(4)

return file_size

#設置斷點續傳的位置

header = {"Range": f"bytes=%s-%s"%(first_byte,file_size)}

# desc :進度條的前綴

# unit 定義每個迭代的單元。默認為"it"，即每個迭代，在下載或解壓時，設為"B"，代表每個“塊”。

# unit_scale 默認為False，如果設置為1或者True，會自動根據國際單位制進行轉換 (kilo, mega, etc.) 。比如，在下載進度條的例子中，如果為False，數據大小是按照字節顯示，設為True之后轉換為Kb、Mb。

#total：總的迭代次數，不設置則只顯示統計信息，沒有圖形化的進度條。設置為len(iterable)，會顯示黑色方塊的圖形化進度條。

pbar = tqdm(total=file_size, initial=first_byte,unit='B', unit_scale=True, desc=dst)

#發送網絡請求

req = requests.get(url, headers=header, stream=True) #(5)

#這里的二進制需要采用追加的方式寫入文件，不然無法實現斷點續傳

with(open(dst, 'ab')) as f:

for chunk in req.iter_content(chunk_size=1024): #(6)

if chunk:

#用于方便觀察進度條，在下載大視頻的時候去掉也能觀察出來

time.sleep(0.01)

f.write(chunk)

f.flush()

pbar.update(1024)

pbar.close()

return file_size

if __name__ == '__main__':

url = "https://ss0.bdstatic.com/94oJfD_bAAcT8t7mm9GUKT-xh_/timg?image&quality=100&size=b4000_4000&sec=1551406646&di=a385cb186c0f1c2c45e5c49b4015e848&src=http://img18.3lian.com/d/file/201709/21/f498e01633b5b704ebfe0385f52bad20.jpg"

download_from_url(url, "百度美女圖片.jpg")

#以下是tqdm實例

tqdm_demo()

tqdm_demo2()

tqdm_demo3()

總結

以上是生活随笔為你收集整理的python断点续传下载_Python版本，图片，视频断点续传下载的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。