目錄

1、使用場景

2、多線程下載原理

3、請求如何分段下載

3.1、需要請求的數(shù)據(jù)如何分段。

3.2、分段下載的數(shù)據(jù)如何組裝成完整的數(shù)據(jù)文件。

4、關(guān)鍵代碼實現(xiàn)

3、成果展現(xiàn)

4、總結(jié)

5、參考文章

---

1、使用場景

? ? ? ? 因為最近在做把以前在百度公有云上的音視頻和文檔文件，需要遷移阿里云上。這里面還有一個小插曲；有位同事想出辦法說郵遞一個移動硬盤到百度云讓直接Copy到移動硬盤之中。按照正規(guī)流程這個肯定是不可能的吧，作為一個大企業(yè)；必須的符合規(guī)范方式操作吧。個人意見應(yīng)該可以通過對應(yīng)銷售人員或者公司里面專門聯(lián)系一個百度的對接人員；到百度公司協(xié)商作為一個遷移項目形式；該付款付款。這樣還可能實現(xiàn)。最后本人只能通過使用Baidu提供API文檔；獲得原始音視頻文件的網(wǎng)絡(luò)Url路徑。自己寫相關(guān)的多線程下載文件。最后分別把累加賬號上230G音視頻文件下載完畢；另外一個賬號850G下載完畢。

2、多線程下載原理

• 客戶端要下載一個文件, 首先請求服務(wù)器,服務(wù)器將這個文件傳送給客戶端,客戶端保存到本地, 完成了一個下載的過程.
• 多線程下載的思想是客戶端開啟多個線程同時下載,每個線程只負(fù)責(zé)下載文件的一部分, 當(dāng)所有線程下載完成的時候,文件下載完畢.
  • 并不是線程越多下載越快, 與網(wǎng)絡(luò)環(huán)境有很大的關(guān)系
  • 在同等的網(wǎng)絡(luò)環(huán)境下,多線程下載速度要高于單線程.
  • 多線程下載占用資源比單線程多,相當(dāng)于用資源換取速度

多線程下載技術(shù)是很常見的一種下載方案，這種方式充分利用了多線程的優(yōu)勢，在同一時間段內(nèi)通過多個線程發(fā)起下載請求，將需要下載的數(shù)據(jù)分割成多個部分，每一個線程只負(fù)責(zé)下載其中一個部分，然后將下載后的數(shù)據(jù)組裝成完整的數(shù)據(jù)文件，這樣便大大加快了下載效率。常見的下載器，迅雷，QQ旋風(fēng)等都采用了這種技術(shù)。

3、請求如何分段下載

3.1、需要請求的數(shù)據(jù)如何分段。

Range，是在 HTTP/1.1里新增的一個 header field，它允許客戶端實際上只請求文檔的一部分，或者說某個范圍。

??有了范圍請求，HTTP 客戶端可以通過請求曾獲取失敗的實體的一個范圍（或者說一部分），來恢復(fù)下載該實體。當(dāng)然這有一個前提，那就是從客戶端上一次請求該實體到這次發(fā)出范圍請求的時段內(nèi)，該對象沒有改變過。例如：

GET /bigfile.html HTTP/1.1 Host: www.joes-hardware.com Range: bytes=4000- User-Agent: Mozilla/4.61 [en] (WinNT; I)

? ? ?上述請求中，客戶端請求的是文檔開頭 4000 字節(jié)之后的部分（不必給出結(jié)尾字節(jié)數(shù)，因為請求方可能不知道文檔的大小）。在客戶端收到了開頭的 4000 字節(jié)之后就失敗的情況下，可以使用這種形式的范圍請求。還可以用 Range 首部來請求多個范圍（這些范圍可以按任意順序給出，也可以相互重疊）。

Range頭域使用形式如下。例如：

表示頭500個字節(jié)：bytes=0-499 表示第二個500字節(jié)：bytes=500-999 表示最后500個字節(jié)：bytes=-500 表示500字節(jié)以后的范圍：bytes=500- 第一個和最后一個字節(jié)：bytes=0-0,-1

服務(wù)器接收到線程3的請求報文，發(fā)現(xiàn)這是一個帶有Range頭的GET請求，

如果一切正常，服務(wù)器的**響應(yīng)報文會有下面這行：

HTTP/1.1 206 OK**

表示處理請求成功，響應(yīng)報文還有這一行

Content-Range: bytes 200-299/403

斜杠后面的403表示文件的大小

Http協(xié)議的發(fā)展歷程

HTTP協(xié)議到現(xiàn)在為止總共經(jīng)歷了3個版本的演化，第一個HTTP協(xié)議誕生于1989年3月。

xml屬性描述

HTTP/0.9	1991年
HTTP/1.0	1992-1996年
HTTP/1.1	1997-1999年
HTTP/2.0	2012-2014年

也就是HTTP/1.1 從1997-1999 年就應(yīng)用了，所以現(xiàn)在基本上是支持?jǐn)帱c續(xù)傳的。

3.2、分段下載的數(shù)據(jù)如何組裝成完整的數(shù)據(jù)文件。

? ?隨機(jī)訪問文件RandomAccessFile類

? ? ?RandomAccessFile適用于由大小已知的記錄組成的文件，所以我們可以使用seek()將記錄從一處轉(zhuǎn)移到另一處，然后讀取或修改記錄。

? ? 隨機(jī)訪問文件的行為類似存儲在文件系統(tǒng)中的一個大型 byte 數(shù)組。存在指向該隱含數(shù)組的光標(biāo)或索引，稱為文件指針；輸入操作從文件指針開始讀取字節(jié)，并隨著對字節(jié)的讀取而前移此文件指針。如果隨機(jī)訪問文件以讀取/寫入模式創(chuàng)建，則輸出操作也可用；輸出操作從文件指針開始寫入字節(jié)，并隨著對字節(jié)的寫入而前移此文件指針。寫入隱含數(shù)組的當(dāng)前末尾之后的輸出操作導(dǎo)致該數(shù)組擴(kuò)展。該文件指針可以通過 getFilePointer 方法讀取，并通過 seek 方法設(shè)置。

通過UrlConnection下載部分資源。
??注意：
???1.需要Range頭，key：Range???value：bytes:0-499?
??????????urlconnection.setRequestPropety("Range","bytes:0-499")
???2.需要設(shè)置每個線程在本地文件的保存的開始位置
??????????RandomAccessFile randomfile =new RandomAccessFile(File file,String mode)
??????????randomfile.seek(int startPostion);//本次線程下載保存的開始位置。

創(chuàng)建從中讀取和向其中寫入（可選）的隨機(jī)訪問文件流，該文件由 File 參數(shù)指定。將創(chuàng)建一個新的 FileDescriptor 對象來表示此文件的連接。
mode 參數(shù)指定用以打開文件的訪問模式。允許的值及其含意為：

? ? ? “r“——以只讀方式打開。調(diào)用結(jié)果對象的任何 write 方法都將導(dǎo)致拋出 IOException。
? ? ? “rw“——打開以便讀取和寫入。如果該文件尚不存在，則嘗試創(chuàng)建該文件。
? ? ? “rws“—— 打開以便讀取和寫入，對于 “rw”，還要求對文件的內(nèi)容或元數(shù)據(jù)的每個更新都同步寫入到底層存儲設(shè)備。
? ? “rwd“——打開以便讀取和寫入，對于 “rw”，還要求對文件內(nèi)容的每個更新都同步寫入到底層存儲設(shè)備。

4、關(guān)鍵代碼實現(xiàn)

DownloadConstans.java

package com.wdcloud.publiccloud.files.tool.download.filedownload;import java.util.concurrent.*;/*** @Description* @auther jianxiapc* @create 2019-08-20 11:20*/ public class DownloadConstans {public static final int MAX_THREAD_COUNT = getSystemProcessCount();private static final int MAX_IMUMPOOLSIZE = MAX_THREAD_COUNT;/*** 自定義線程池*/private static ExecutorService MY_THREAD_POOL;/*** 自定義線程池*/public static ExecutorService getMyThreadPool(){if(MY_THREAD_POOL == null){MY_THREAD_POOL = Executors.newFixedThreadPool(MAX_IMUMPOOLSIZE);}return MY_THREAD_POOL;}// 線程池private static ThreadPoolExecutor threadPool;/*** 單例，單任務(wù) 線程池* @return*/public static ThreadPoolExecutor getThreadPool(){if(threadPool == null){threadPool = new ThreadPoolExecutor(MAX_IMUMPOOLSIZE, MAX_IMUMPOOLSIZE, 3, TimeUnit.SECONDS,new ArrayBlockingQueue<Runnable>(16),new ThreadPoolExecutor.CallerRunsPolicy());}return threadPool;}/*** 獲取服務(wù)器cpu核數(shù)* @return*/private static int getSystemProcessCount(){//int count =Runtime.getRuntime().availableProcessors();//僅僅只啟動4個線程進(jìn)行下載int count=4;return count;} }

FileMultiPartDownLoad.java

package com.wdcloud.publiccloud.files.tool.download.filedownload;import org.slf4j.Logger; import org.slf4j.LoggerFactory;import java.io.File; import java.io.IOException; import java.io.InputStream; import java.io.RandomAccessFile; import java.net.HttpURLConnection; import java.net.URL; import java.util.concurrent.CountDownLatch; import java.util.concurrent.ExecutorService; import java.util.concurrent.locks.ReentrantLock;/*** @Description* @auther jianxiapc* @create 2019-08-20 11:02*/ public class FileMultiPartDownLoad {private static Logger logger = LoggerFactory.getLogger(FileMultiPartDownLoad.class);/*** 線程下載成功標(biāo)志*/private static int flag = 0;/*** 服務(wù)器請求路徑*/private String netWorkFileUrlPath;/*** 本地路徑*/private String localPath;/*** 線程計數(shù)同步輔助*/private CountDownLatch latch;// 定長線程池private static ExecutorService threadPool;public FileMultiPartDownLoad(String netWorkFileUrlPath, String localPath) {this.netWorkFileUrlPath = netWorkFileUrlPath;this.localPath = localPath;}public boolean executeDownLoad() {try {URL url = new URL(netWorkFileUrlPath);HttpURLConnection conn = (HttpURLConnection) url.openConnection();conn.setConnectTimeout(5000);//設(shè)置超時時間conn.setRequestMethod("GET");//設(shè)置請求方式conn.setRequestProperty("Connection", "Keep-Alive");int code = conn.getResponseCode();if (code != 200) {logger.error(String.format("無效網(wǎng)絡(luò)地址：%s", netWorkFileUrlPath));return false;}//服務(wù)器返回的數(shù)據(jù)的長度，實際上就是文件的長度,單位是字節(jié) // int length = conn.getContentLength(); //文件超過2G會有問題long length = getRemoteFileSize(netWorkFileUrlPath);logger.info("文件總長度:" + length + "字節(jié)(B)");RandomAccessFile raf = new RandomAccessFile(localPath, "rwd");//指定創(chuàng)建的文件的長度raf.setLength(length);raf.close();//分割文件int partCount = DownloadConstans.MAX_THREAD_COUNT;int partSize = (int)(length / partCount);latch = new CountDownLatch(partCount);threadPool = DownloadConstans.getMyThreadPool();for (int threadId = 1; threadId <= partCount; threadId++) {// 每一個線程下載的開始位置long startIndex = (threadId - 1) * partSize;// 每一個線程下載的結(jié)束位置long endIndex = startIndex + partSize - 1;if (threadId == partCount) {//最后一個線程下載的長度稍微長一點endIndex = length;}logger.info("線程" + threadId + "下載:" + startIndex + "字節(jié)~" + endIndex + "字節(jié)");threadPool.execute(new DownLoadThread(threadId, startIndex, endIndex, latch));}latch.await();if(flag == 0){return true;}} catch (Exception e) {logger.error(String.format("文件下載失敗，文件地址：%s,失敗原因：%s", netWorkFileUrlPath, e.getMessage()), e);}return false;}/*** 內(nèi)部類用于實現(xiàn)下載*/public class DownLoadThread implements Runnable {private Logger logger = LoggerFactory.getLogger(DownLoadThread.class);/*** 線程ID*/private int threadId;/*** 下載起始位置*/private long startIndex;/*** 下載結(jié)束位置*/private long endIndex;private CountDownLatch latch;public DownLoadThread(int threadId, long startIndex, long endIndex, CountDownLatch latch) {this.threadId = threadId;this.startIndex = startIndex;this.endIndex = endIndex;this.latch = latch;}@Overridepublic void run() {try {//logger.info("線程" + threadId + "正在下載...");URL url = new URL(netWorkFileUrlPath);HttpURLConnection conn = (HttpURLConnection) url.openConnection();conn.setRequestProperty("Connection", "Keep-Alive");conn.setRequestMethod("GET");//請求服務(wù)器下載部分的文件的指定位置conn.setRequestProperty("Range", "bytes=" + startIndex + "-" + endIndex);conn.setConnectTimeout(5000);int code = conn.getResponseCode();//logger.info("線程" + threadId + "請求返回code=" + code);InputStream is = conn.getInputStream();//返回資源RandomAccessFile raf = new RandomAccessFile(localPath, "rwd");//隨機(jī)寫文件的時候從哪個位置開始寫raf.seek(startIndex);//定位文件int len = 0;byte[] buffer = new byte[1024];while ((len = is.read(buffer)) != -1) {raf.write(buffer, 0, len);}is.close();raf.close();logger.info("線程" + threadId + "下載完畢");} catch (Exception e) {//線程下載出錯FileMultiPartDownLoad.flag = 1;logger.error(e.getMessage(),e);} finally {//計數(shù)值減一latch.countDown();}}}/*** 內(nèi)部方法，獲取遠(yuǎn)程文件大小* @param remoteFileUrl* @return* @throws IOException*/private long getRemoteFileSize(String remoteFileUrl) throws IOException {long fileSize = 0;HttpURLConnection httpConnection = (HttpURLConnection) new URL(remoteFileUrl).openConnection();httpConnection.setRequestMethod("HEAD");int responseCode = 0;try {responseCode = httpConnection.getResponseCode();} catch (IOException e) {e.printStackTrace();}if (responseCode >= 400) {logger.debug("Web服務(wù)器響應(yīng)錯誤!");return 0;}String sHeader;for (int i = 1;; i++) {sHeader = httpConnection.getHeaderFieldKey(i);if (sHeader != null && sHeader.equals("Content-Length")) {fileSize = Long.parseLong(httpConnection.getHeaderField(sHeader));break;}}return fileSize;}/*** 下載文件執(zhí)行器* @param netWorkFileUrlPath* @param localDirPath* @param fileName* @return*/public synchronized static String downLoad(String netWorkFileUrlPath,String localDirPath,String fileName) {ReentrantLock lock = new ReentrantLock();lock.lock();String[] names = netWorkFileUrlPath.split("\\.");if (names == null || names.length <= 0) {return null;}String fileTypeName = names[names.length - 1];String localStorageDirPath =localDirPath+"/" +fileName;System.out.println("localStorageDirPath: "+localStorageDirPath);FileMultiPartDownLoad m = new FileMultiPartDownLoad(netWorkFileUrlPath, localStorageDirPath);long startTime = System.currentTimeMillis();boolean flag = false;try{flag = m.executeDownLoad();long endTime = System.currentTimeMillis();if(flag){logger.info(fileName+" : 文件下載結(jié)束,共耗時" + (endTime - startTime)+ "ms");return localStorageDirPath;}logger.warn("文件下載失敗");return null;}catch (Exception ex){logger.error(ex.getMessage(),ex);return null;}finally {FileMultiPartDownLoad.flag = 0; // 重置 下載狀態(tài)if(!flag){File file = new File(localStorageDirPath);file.delete();}lock.unlock();}} }

調(diào)用方法代碼

/*** 首先通過調(diào)用百度SDK API接口，獲得基本信息，然后使用多線性 下載單個vod視頻文件* @param bceClient* @param vodMediaId 視頻id* @param fileStorageDiskPath 存儲下載文件路徑* @param excelFileName 下載后保存文件信息得excel* @param expiredInSeconds 過期時間默認(rèn)3600s*/public void downloadSingleVodMediaFile (VodClient bceClient, String vodMediaId,String fileStorageDiskPath,String excelFileName,long expiredInSeconds) {logger.info("vodMediaId = " + vodMediaId);GetMediaSourceDownloadResponse response = bceClient.getMediaSourceDownload(vodMediaId,expiredInSeconds);String netWorkFileUrl = response.getSourceUrl();logger.info("netWorkFileUrl = " + netWorkFileUrl);//測試線程下載和多線線程下載Date startDate = new Date();long downLoadStartTime=System.currentTimeMillis();//System.out.println("downLoadStartTime: "+downLoadStartTime);logger.info("downLoadStartTime: "+sdf.format(startDate));//OkHttpDownloadUtil.downNetWorkFile(netWorkFileUrl,fileStorageDiskPath,"single.mp4");Map<String, Object> vodFileInfoMap = getVodFileInfoByVodId(bceClient, vodMediaId);String fileName =vodFileInfoMap.get("title").toString();//針對當(dāng)個文件下載的函數(shù)調(diào)用FileMultiPartDownLoad.downLoad(netWorkFileUrl,fileStorageDiskPath,fileName);Date endDate = new Date();long downLoadEndTime=System.currentTimeMillis();long customDownloadTime=downLoadEndTime-downLoadStartTime;String downloadTimeFormat=CommonConvertUtils.formatMillisTime(customDownloadTime);//System.out.println("downloadTimeFormat: "+downloadTimeFormat);logger.info("文件 "+vodMediaId+" 下載開始時間"+sdf.format(startDate)+" 下載完成時間："+sdf.format(endDate));logger.info("文件 "+vodMediaId+" downloadTimeFormat: "+downloadTimeFormat);}

3、成果展現(xiàn)

4、總結(jié)

? ? ? ? 通過本次下載文件相關(guān)代碼編寫深刻認(rèn)識了多線程下載的有點；同時也系統(tǒng)性學(xué)習(xí)一下如何多線程下載文件。同時也實踐如何使用多線程去下載文件。

5、參考文章

Java多線程下載原理與實現(xiàn)

Java使用多線程的好處以及斷點續(xù)傳原理

多線程加速下載的原理

Java--多線程斷點下載

多線程下載和多線程斷點下載的原理

總結(jié)

以上是生活随笔為你收集整理的多线程下载文件实践之旅的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。