思路：可以估計每個文件的大小為5G*64=300G，遠大于4G。所以不可能將其完全加載到內存中處理。考慮采取分而治之的方法。 遍歷文件a，對每個url求取hash(url)%1000，然后根據所得值將url分別存儲到1000個小文件（設為a0,a1,...a999）當中。這樣每個小文件的大小約為300M。遍歷文件b，采取和a相同的方法將url分別存儲到1000個小文件(b0,b1....b999)中。這樣處理后，所有可能相同的url都在對應的小文件(a0 vs b0, a1 vs b1....a999 vs b999)當中，不對應的小文件（比如a0 vs b99）不可能有相同的url。然后我們只要求出1000對小文件中相同的url即可。 比如對于a0 vs b0，我們可以遍歷a0，將其中的url存儲到hash_map當中。然后遍歷b0，如果url在hash_map中，則說明此url在a和b中同時存在，保存到文件中即可。 如果分成的小文件不均勻，導致有些小文件太大（比如大于2G），可以考慮將這些太大的小文件再按類似的方法分成小小文件即可。

總結

以上是生活随笔為你收集整理的给定a、b两个文件，各存放50亿个url，每个url各占用64字节，内存限制是4G，如何找出a、b文件共同的url？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。