如何提高幾十甚至上百G文件的壓縮和解壓效率

(2012-06-05 02:21:35)

標簽：

的

如何

雜談

如何提高幾十甚至上百G文件的壓縮和解壓效率需求：

有幾十、上百G的文件需要壓縮、解壓。前提是不能太耗系統資源，且要減小壓縮、解壓時間。

采用多線程、多進程都比較消耗資源。CPU一下就上去了。。

有沒有什么其他的方法呢？采用運算量小的壓縮、解壓算法 本帖最后由 yulihua49 于 2011-08-03 10:36

編輯

需求：

有幾十、上百G的文件需要壓縮、解壓。前提是不能太耗系統資源，且要減小壓縮、解壓時間。

采用多 ...

korpus 發表于 2011-08-02 22:54

http://bbs.chinaunix.net/images/common/back.gif

你們為什么老是怕CPU上去呢？CPU不上去，怎么干活啊？

壓縮解壓是純運算，使所有CPU達到100%是最高境界。

多線程的作用是讓更多的CPU動起來，你可以使線程數比CPU數少一些，以便留有余地，當然運行就慢一些。

7zip比較好，但還未實現多線程。http://www.quicklz.com/

koolcoy 發表于 2011-08-03 14:53

http://bbs.chinaunix.net/images/common/back.gif

它http://www.hervelegereurope.com/的速度夠快。

不知壓的什么文件。如果是EXE，這個壓縮率差不多。

程序源碼，JSON，XML應該壓縮率大得多。一般來說cpu用的越少，壓縮效果越差

所以樓主想要不占cpu，不壓縮就是最好的選擇一般來說cpu用的越少，壓縮效果越差

所以樓主想要不占cpu，不壓縮就是最好的選擇

deadlylight 發表于 2011-08-03 17:30

http://bbs.chinaunix.net/images/common/back.gif

還是不能這么極端的哈~~需要權衡，找到好的方案。

koolcoy 發表于 2011-08-03 14:53

http://bbs.chinaunix.net/images/common/back.gif

謝謝了。。去學習學習。 本帖最后由 yulihua49 于 2011-08-05 13:19 編輯

還是不能這么極端的哈~~需要權衡，找到好的方案。

korpus 發表于 2011-08-03 20:34

http://bbs.chinaunix.net/images/common/back.gif

在linux下，100%并不是什么壞事，完全是可以正常工作的。linux的調度特性決定的。

一個進程/線程，它的CPU用到100%，并不意味著這個CPU不能為別人工作。這個線程的優先級會自動降低。別的任務來的時候，因為資源消耗小，所以優先級高，立刻搶占。

實際上，系統就緒隊列<5CPU時，你感覺不到反應遲鈍。

目前沒有發現多線程并行壓縮器，所以它只占1個CPU，對系統沒有影響的。請教SOCKET出現大量FINWAIT和CLOSEWAIT連接的問題

r />top時，這一行：

Tasks: 240 totalhttp://www.qqxzz.net/, 1 running, 239 sleeping, 0

stopped, 0 zombie

1

running就是1個就緒進程。鍵入H顯示線程，該數字就是就緒線程數。如果有4個CPU，該線程數<20,都不會影響系統反應。

這點是與WIN不同的。

樓上的程序我測了，的確非常的快。不過要想壓縮大文件，自己還要組織一下文件的分包格式。

今天那個地址不通了。干脆別壓了。

分享：

喜歡

0

贈金筆

加載中，請稍候......

評論加載中，請稍候...

發評論

登錄名： 密碼： 找回密碼 注冊記住登錄狀態

昵???稱：

評論并轉載此博文

發評論

以上網友發言只代表其個人觀點，不代表新浪網的觀點或立場。

總結

以上是生活随笔為你收集整理的linux压缩100天以上的文件,如何提高几十甚至上百G文件的压缩和解压效率的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。