正在从“vetur”获取代码操作_长时间运行 io.Reader 和 io.Writer 操作测算进度和估算剩余时间...
每當我們在使用類似 io.Copy 和 ioutil.ReadAll 的工具時,比如我們正在從 http.Response 主體讀入或者上傳一個文件,我們會發現這些方法將一直堵塞,直到整個過程完成,哪怕耗時數十分鐘甚至是小時——而且我們沒有辦法來查看進度,以及計算出完成所需剩余時間的估測值。
本文很長,不想深究瞅這里:這篇文章最終導向 progress 包,你可以在自己的項目中自由使用——https://github.com/machinebox/progress
考慮到 io.Reader 和 io.Writer 都是接口,我們可以封裝它們并且攔截 Read 和 Write 方法,捕獲實際已經通過它們的字節數。通過一些簡單的數學計算,我們可以計算出已完成部分所占的比例。再多上一點數學計算,我們甚至可以估測整個過程還剩余多少時間,假設傳輸流是相對一致的話。
封裝 Reader
一個新的 Reader 類型只需要包含另一個 io.Reader , 并且調用它的 Read 方法來獲取返回前讀到的字節數。為了保證 reader 可以在并發環境中安全使用(在這個例子中至關重要),我們可以使用 atomic.AddInt64 作為安全的計數器。
試試看你能不在自己寫出 Writer 的計數部分,兩者很類似。
由于方法 N 返回( 基于 atomic.LoadInt64 的安全調用)讀取到的字節數,我們能在任意時刻使用另一個 goroutine 調用它,從而獲取當前狀況。
獲取總共的字節數
為了計算百分比,我們需要知道總數是多少——我們預期讀取多少字節?
上傳文件時,我們能夠利用操作系統獲取文件大小。
在 HTTP 環境中,你可以借助下面這些代碼來獲取 Content-Length 報頭值。
如果 Content-Length 報頭是空的(這有可能),那么就無法判斷進度或者估計剩余時間。
在其他狀況下,你也會需要弄清楚如何獲取字節總數。
計算百分比
現在我們可以計算已經被處理的字節數所占百分比:
我們需要把值轉換為 float64 從而避免早期的向下取整。如果需要整數級精度的話我們依然可以把結果向下取整。
估算剩余時間
有一個非常簡單的方法:求出讀取 X 字節所需時間,然后乘以剩余的字節數。
舉個例子,如果耗時 10 秒完成了 50% 的操作,那么就可以假設仍需要 10 秒來完成整個任務;總耗時 20 秒。
這并不絕對精確,但大多時候都可以給出一個可采用的倒計時。
代碼就在下面,但不需要擔心你可能理解不了 —— 閱讀我們的 package 下面的詳細信息可以幫到你。
- ratio — 已經完成字節數所占的百分比
- past — 從開始到現在的耗時
- total — 基于已完成的百分比 ratio 和相應耗費的時間,從而得出的預計總耗時
- estimated — 預測的結束時間點
- duration — 預測距離完成還需要耗費的時間
瀏覽 progess 包
我們熱愛開源,所以我們封裝了所有代碼到一個 package 中以方便您的使用。
它也支持 io.EOF 和其他你知道的可能會在操作時發生的錯誤。
小助手
我們還添加了一個小助手,它可以給你一個進度上的 go channel 來周期性報告。 你可以開啟一個新的 goroutine 并打印進度,或更新進度,這取決于您的用例。
該 channel 會周期性的返回一個 Progress 結構體,該結構體有下列幾個方法幫助你了解細節。
- Percent?—?獲取操作完成的百分比
- Estimated?— time.Time 表示預期操作結束的時間點
- Remaining?—?一個 time.Duration 變量標識剩余時間
channel 會在幾種情況下被關閉,例如操作已完成,或者操作被取消。
點擊文檔 可以獲取 API 的最新詳細目錄
示例
我們創建了一個 example file downloader 來演示該 package 如何使用。
還有什么?
請嘗試我們的開源項目,提出問題,報告議題,提交重要的 PR 。
什么是 Machine Box ?
Machine Box 把先進的機器學習技術放到 Docker 容器中,以便讓開發人員可以更輕松的集成
自然語言處理,面部檢測,對象識別等技術到你自己的應用中。
該技術是按比例構建,所以當你的應用擴大時只需要添加更多同級的 box 。噢,而且它比云服務廉價的多(可能還會更好)……而且你的數據也不會離開你自己的基礎設備。
玩一玩 , 并且請告知我們您寶貴的意見。
總結
以上是生活随笔為你收集整理的正在从“vetur”获取代码操作_长时间运行 io.Reader 和 io.Writer 操作测算进度和估算剩余时间...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 计算两个数的乘积java编写_Java模
- 下一篇: 主流的计算机电源,主流电源评测