注意用來排重的那個(gè)集合放到Set中， 可以是HashSet,或者其他Set(推薦使用HashSet),因?yàn)镾et的contains效率更高，比list高很多

----------------------------------------------------------------------------------------------------------------------------------------------------------------------

我們有1000萬條數(shù)據(jù)，保存在一個(gè)txt中，每一行一行的讀，然后如果有重復(fù)的數(shù)據(jù)則忽略，cardArr[0])里保存的是流水號(hào)，我們最終的數(shù)據(jù) 流水號(hào)不能相同

Set<String> serialNoList = new HashSet<String>();//保存流水號(hào)，用于去重- - - - - - - - - - 這里是個(gè)set，因?yàn)閟et的contains的效率更高

while ((line = reader.readLine()) != null) {

　　

　　String[] cardArr = line.split("\\|");

　　//如果文件中的流水號(hào)重復(fù)，則去重
　　if(serialNoList.contains(cardArr[0])){
　　　　continue;
　　}
　　serialNoList.add(cardArr[0]);

}

http://blog.tommyyang.cn/2017/11/06/%E5%A4%A7%E6%95%B0%E6%8D%AEList%E5%8E%BB%E9%87%8D/

?

轉(zhuǎn)載于:https://www.cnblogs.com/donefive/p/9705999.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的大数据排重的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。