日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

NIO与零拷贝

發布時間:2025/4/16 编程问答 31 豆豆
生活随笔 收集整理的這篇文章主要介紹了 NIO与零拷贝 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

傳統IO

傳統IO的數據拷貝流程如下圖:

  • 數據需要從磁盤拷貝到內核空間,再從內核空間拷到用戶空間(JVM)。
  • 程序可能進行數據修改等操作
  • 再將數據從用戶空間拷貝到內核空間內核空間再拷貝到網卡內存,通過網絡發送出去(或拷貝到磁盤)。
  • 即數據的讀寫(這里用戶空間發到網絡也算作寫),都至少需要兩次拷貝。

    當然磁盤到內核空間屬于DMA拷貝(DMA即直接內存存取,原理是外部設備不通過CPU而直接與系統內存交換數據)。而內核空間到用戶空間則需要CPU的參與進行拷貝,既然需要CPU參與,也就涉及到了內核態和用戶態的相互切換,如下圖:

    NIO的零拷貝

    零拷貝的數據拷貝如下圖:

    內核態與用戶態切換如下圖:

    改進的地方:

    • 我們已經將上下文切換次數從4次減少到了2次
    • 將數據拷貝次數從4次減少到了3次(其中只有1次涉及了CPU,另外2次是DMA直接存取)。

    但這還沒有達到我們零拷貝的目標。如果底層NIC(網絡接口卡)支持gather操作,我們能進一步減少內核中的數據拷貝。在Linux 2.4以及更高版本的內核中,socket緩沖區描述符已被修改用來適應這個需求。這種方式不但減少多次的上下文切換,同時消除了需要CPU參與的重復的數據拷貝。用戶這邊的使用方式不變,而內部已經有了質的改變:

    NIO的零拷貝由transferTo()方法實現。transferTo()方法將數據從FileChannel對象傳送到可寫的字節通道(如Socket Channel等)。在內部實現中,由native方法transferTo0()來實現,它依賴底層操作系統的支持。在UNIX和Linux系統中,調用這個方法將會引起sendfile()系統調用。

    使用場景一般是:

    文件較大,讀寫較慢,追求速度 JVM內存不足,不能加載太大數據 內存帶寬不夠,即存在其他程序或線程存在大量的IO操作,導致帶寬本來就小 123

    以上都建立在不需要進行數據文件操作的情況下,如果既需要這樣的速度,也需要進行數據操作怎么辦?
    那么使用NIO的直接內存!

    NIO的直接內存

    首先,它的作用位置處于傳統IO(BIO)與零拷貝之間,為何這么說?

    • 傳統IO,可以把磁盤的文件經過內核空間,讀到JVM空間,然后進行各種操作,最后再寫到磁盤或是發送到網絡,效率較慢但支持數據文件操作。
    • 零拷貝則是直接在內核空間完成文件讀取并轉到磁盤(或發送到網絡)。由于它沒有讀取文件數據到JVM這一環,因此程序無法操作該文件數據,盡管效率很高!

    而直接內存則介于兩者之間,效率一般且可操作文件數據。直接內存(mmap技術)將文件直接映射到內核空間的內存,返回一個操作地址(address),它解決了文件數據需要拷貝到JVM才能進行操作的窘境。而是直接在內核空間直接進行操作,省去了內核空間拷貝到用戶空間這一步操作。

    NIO的直接內存是由MappedByteBuffer實現的。核心即是map()方法,該方法把文件映射到內存中,獲得內存地址addr,然后通過這個addr構造MappedByteBuffer類,以暴露各種文件操作API。

    由于MappedByteBuffer申請的是堆外內存,因此不受Minor GC控制,只能在發生Full GC時才能被回收。而DirectByteBuffer改善了這一情況,它是MappedByteBuffer類的子類,同時它實現了DirectBuffer接口,維護一個Cleaner對象來完成內存回收。因此它既可以通過Full GC來回收內存,也可以調用clean()方法來進行回收。

    另外,直接內存的大小可通過jvm參數來設置:-XX:MaxDirectMemorySize。

    NIO的MappedByteBuffer還有一個兄弟叫做HeapByteBuffer。顧名思義,它用來在堆中申請內存,本質是一個數組。由于它位于堆中,因此可受GC管控,易于回收。

    總結

    以上是生活随笔為你收集整理的NIO与零拷贝的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。