日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

对一千万条数据进行排序---编程珠玑第二版 第一章

發布時間:2024/9/20 编程问答 33 豆豆
生活随笔 收集整理的這篇文章主要介紹了 对一千万条数据进行排序---编程珠玑第二版 第一章 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

本書第一章提出了一個看似簡單的問題,有最多1000萬條不同的整型數據存在于硬盤的文件中,如何在1M內存的情況下對其進行盡可能快的排序。

每個數字用4byte,1M即可存儲250 000個數據,顯然,只要每次對250 000個數據排序,寫入到文件中即可,重復40次。

那么如何選出每次遍歷的二十五萬條數據呢?有如下兩個策略:

1、對一千萬條數據遍歷40次,第i次遍歷時,判斷數是否屬于[i*250000,i*250000+249999),如果是,則讀入內存,當第i次遍歷完成時,內

存中有了二十五萬條數據,這些數據比前i-1次遍歷篩選出來的大,但是比后40-i次遍歷的小。故,將第i次遍歷選入內存中的數排序,輸出到硬盤文件,

追加到i-1次輸出到那個文件即可。

特點:簡單,粗暴,但是遍歷次數極多,只能串行,對文件進行了40次讀取,本機運行耗時 2分17秒214毫秒。

2、對一千萬條數據遍歷1次,第i組 二十五萬條數據存入內存,排序,輸出到文件i,對一千萬條數據完成一次遍歷后,生成40個內容有序的臨時文件,

在對這些文件歸并,即可。

特點:對源文件只需要一次讀入,排序可以采用多線程,IO次數仍然較高。串行情況下,本機運行耗時21秒221毫秒

那么如何能達到10秒以內呢?

那么分析一下這個問題的特點:

a、數據不超過最大值

b、所有數據不重復

c、每條數據僅是一個數

那么可以申請一個一千萬位長的位向量,下標為i的位是1,則代表存在一個數i。

3、由此得到了一種針對此問題的位圖排序方法。

申請長度為一千萬位的位向量bit[10000000],所有位設置為0,順序讀取待排序文件,每讀入一個數i,便將bit[i]置為1。當所有數據讀入完成,便對

bit做從頭到尾的遍歷,如果bit[i]=1,則輸出i到文件,當遍歷完成,文件則已排好序。本機運行耗時9秒49毫秒。

?

備注: 無bit類型的編程語言如何實現位操作

以32位操作系統下的int類型為例。設需要申請N個位,則需要有a[N/32+1]個int類型方可容得下N位(當然,最后一個int中有些位被浪費了)

將第i位置為1的時候可以用如下操作:

第i位必然在 int型數組a的第 (i/32)個數中,偏移量是 (i%32),將i位置為1,需要第(i/32)的數與一個數b相 或 即可,b要求是 (i%32)位為1,其他位均

為0,故有如下語句:

a[i/32] | (1 << (i%32));

?

為了保證達到最快的運算速度,上式改寫為如下:

a[i >>5] |= (1 << (i & 31));

來源:http://www.cnblogs.com/tntboom/p/4109458.html

與50位技術專家面對面20年技術見證,附贈技術全景圖

總結

以上是生活随笔為你收集整理的对一千万条数据进行排序---编程珠玑第二版 第一章的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。