今天工作中遇到一個問題：

要求對28G的數(shù)據(jù)排序，數(shù)據(jù)的格式如下：

id time

要求按時間升序排序

已有的資源為64G內(nèi)存，32核的服務(wù)器一臺，需要在一個晚上（8小時）內(nèi)跑出排序結(jié)果。

一個直觀的解法就是把數(shù)據(jù)全部加載進內(nèi)存，然而實際操作并不可行，才加載了1/10不到的數(shù)據(jù)就已經(jīng)使用了接近40G的內(nèi)存了。
另一個解決思路是手動進行map reduce，分成若干小模塊，小模塊排序之后再逐一合并。這個思路實現(xiàn)起來代價也很高，逐一合并無法利用32核GPU，速度估計不達標。充分利用CPU的話，調(diào)度策略編碼量估計不小……

最后我們找到了一個超級巧妙的解決方案：

按照日期劃分文件，每天的數(shù)據(jù)單獨輸出成一個文件，由于我們的數(shù)據(jù)只是1~8月份的數(shù)據(jù)，故只劃分為240多個文件，
每個文件只有119M，然后利用多核特性對每個文件進行排序，排好序后按文件名收尾連接就好了。

桶排序思想，好巧妙！

轉(zhuǎn)載于:https://www.cnblogs.com/plwang1990/p/5894192.html

總結(jié)

以上是生活随笔為你收集整理的一个大数据排序问题的巧妙解法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。