我想知道什么是從Java InputStream多次讀取字節并在流很大時仍然有效的最佳方法.

假設我有以下代碼：

public void handleBytes(InputStream in) {

doStuff1(in);

doStuff2(in);

doStuff3(in);

}

其中doStuff1,doStuff2和doStuff3都需要在相同的字節上工作,但執行不同的操作.我也假設那些功能可以是異步的.

我知道可以標記然后重置流,但是我想知道當輸入的數據很多時,這是否是可行的方法另外,如果我希望每個doStuff-X都有一個線程工作器,則我不能真正使用reset.

每個doStuff-X方法是否都應該有流的副本？但是話又說回來,我不確定它對于大量數據是否有效.

解決方法:

如果您知道三個doStuff()函數正在異步運行,則可以嘗試使用Apache Commons IO TeeInputStream將初始InputStream的內容復制到PipedOutputStream,該PipedOutputStream連接到doStuff2()正在讀取的PipedInputStream.同樣,您可以設置第二個TeeInputStream,該第二個TeeInputStream使用連接到doStuff3()的第二個PipedInputStream的第二個PipedOutputStream構造.

此方法有一些限制：

1)doStuff1(),doStuff2()和doStuff3()必須在單獨的線程上運行,否則在doStuff1()運行時以及doStuff2()和doStuff3()運行之前,您將緩沖整個文件兩次.該方法假定doStuff2()和doStuff3()正在讀取和處理數據,而doStuff1()最初正在讀取數據.

2)doStuff1()不能使用skip(),mark()或reset(),因為這會弄亂下游函數(如TeeInputStream javadoc中所述.

只要這三個doStuff()函數都可以以大約相同的速率處理數據,則該方法應具有合理的內存效率.

標簽：bigdata,java,inputstream

來源： https://codeday.me/bug/20191027/1942774.html

總結

以上是生活随笔為你收集整理的java stream 多次读取_多次从具有大量数据的Java InputStream中读取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。