有一份10G以上大文本文件，需要替換里面的一些文本信息(每一行都有)，如何高效讀并替換掉生成新的文件

先分割成多個(gè)文件

多個(gè)線程操作多個(gè)文件，避免兩個(gè)線程操作同一個(gè)文件

按行讀文件并按行寫入新的文件

合并所有文件

1,4用linux命令就可以了～

File file = new File(filepath);

BufferedInputStream fis = new BufferedInputStream(new FileInputStream(file));

BufferedReader reader = new BufferedReader(new InputStreamReader(fis,”utf-8″),510241024);

String line = “”;

while((line = reader.readLine()) != null){

//進(jìn)行替換操作和其他業(yè)務(wù)

}

為了提高性能，你可能需要 mapped IO，具體可以參考：

為何要在Java中使用內(nèi)存映射文件(Memory Mapped File)或者M(jìn)appedByteBuffer

java大文件讀寫操作，java nio 之MappedByteBuffer，高效文件/內(nèi)存映射

java.io和java.nio性能簡(jiǎn)單對(duì)比

如果是簡(jiǎn)單文本的替換，用linux的sed命令就行了。

如果是比較復(fù)雜的文本替換，看下面：

http://stackoverflow.com/ques…

http://www.baeldung.com/java-…

用spark分析、

lines=sc.textFile(“your_file”);

filterlines=lines.filter(your_filter_function)

filterlines.xxx()

總結(jié)

以上是生活随笔為你收集整理的java高效写文件_java如何高效读写10G以上大文件的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。