今天工作中遇到一個問題：

要求對28G的數據排序，數據的格式如下：

id time

要求按時間升序排序

已有的資源為64G內存，32核的服務器一臺，需要在一個晚上（8小時）內跑出排序結果。

一個直觀的解法就是把數據全部加載進內存，然而實際操作并不可行，才加載了1/10不到的數據就已經使用了接近40G的內存了。
另一個解決思路是手動進行map reduce，分成若干小模塊，小模塊排序之后再逐一合并。這個思路實現起來代價也很高，逐一合并無法利用32核GPU，速度估計不達標。充分利用CPU的話，調度策略編碼量估計不小……

最后我們找到了一個超級巧妙的解決方案：

按照日期劃分文件，每天的數據單獨輸出成一個文件，由于我們的數據只是1~8月份的數據，故只劃分為240多個文件，
每個文件只有119M，然后利用多核特性對每個文件進行排序，排好序后按文件名收尾連接就好了。

桶排序思想，好巧妙！

轉載于:https://www.cnblogs.com/plwang1990/p/5894192.html

總結

以上是生活随笔為你收集整理的一个大数据排序问题的巧妙解法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。