注意用來排重的那個集合放到Set中， 可以是HashSet,或者其他Set(推薦使用HashSet),因為Set的contains效率更高，比list高很多

----------------------------------------------------------------------------------------------------------------------------------------------------------------------

我們有1000萬條數據，保存在一個txt中，每一行一行的讀，然后如果有重復的數據則忽略，cardArr[0])里保存的是流水號，我們最終的數據 流水號不能相同

Set<String> serialNoList = new HashSet<String>();//保存流水號，用于去重- - - - - - - - - - 這里是個set，因為set的contains的效率更高

while ((line = reader.readLine()) != null) {

　　

　　String[] cardArr = line.split("\\|");

　　//如果文件中的流水號重復，則去重
　　if(serialNoList.contains(cardArr[0])){
　　　　continue;
　　}
　　serialNoList.add(cardArr[0]);

}

http://blog.tommyyang.cn/2017/11/06/%E5%A4%A7%E6%95%B0%E6%8D%AEList%E5%8E%BB%E9%87%8D/

?

轉載于:https://www.cnblogs.com/donefive/p/9705999.html

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的大数据排重的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。