.net core中的高效动态内存管理方案
.net core在新增的System.Buffers中引入了一大堆高效內(nèi)存管理的類,如span和memory、內(nèi)存池。本文今天這里介紹一個高效動態(tài)內(nèi)存訪問方案。
?
ReadOnlySequenceSegment<T>
在我們讀取數(shù)據(jù)的過程,很多時候會出現(xiàn)如下場景:
不知道數(shù)據(jù)實際大小
一次性申請大量內(nèi)存開銷太大
此時我們往往會使用動態(tài)內(nèi)存的方案,通過鏈表的方式串聯(lián)起來,從而形成邏輯意義上的數(shù)據(jù)流。如下圖所示:
ReadOnlySequenceSegment<T>就是這樣一個表示數(shù)據(jù)流節(jié)點的內(nèi)存模型,它是一個抽象類,包含如下三個元素:
Memory????????指向所包含的內(nèi)存
Next????????指向下一個節(jié)點
RunningIndex????????標(biāo)志當(dāng)前節(jié)點在整個流的位置
其中Memory和Next還比較容易理解,典型的鏈表結(jié)構(gòu)。主要難理解的是RunningIndex,他表示該節(jié)點在數(shù)據(jù)流中的Memory起始索引。
一般的來講,某節(jié)點的RunningIndex為其上一個節(jié)點的RunningIndex + Memory.Length。加上RunningIndex估計主要是為了快速索引的。
例如:對于如下3快內(nèi)存 100byte, 200byte, 300byte組成的鏈表,其RunningIndex分別是0, 100, 200。
另外,在實際的使用過程中,往往是不停的釋放鏈表頭部的節(jié)點,并且在尾部添加新節(jié)點。 RunningIndex表示的索引一般是邏輯意義上的索引,在釋放頭節(jié)點時,一般不用更新其子節(jié)點以及后續(xù)節(jié)點的RunningIndex。?
ReadOnlySequence<T>
ReadOnlySequenceSegment<T>雖然能解決我們的動態(tài)內(nèi)存的申請和釋放問題,但它往往并不好用,因為很容易出現(xiàn)一段連續(xù)的數(shù)據(jù)被分割在多個節(jié)點的情況,在這段不連續(xù)的數(shù)據(jù)里進(jìn)行查詢是非常不便的。
為了解決這個問題,.net core中推出了一個視圖類ReadOnlySequence<T>
ReadOnlySequence<T>由兩個屬性標(biāo)記:
Start: 起始SequenceSegment以及起始索引
End: 結(jié)尾SequenceSegment以及結(jié)尾索引
可以通過foreach遍歷各節(jié)點的Memory
var?seq?=?new?ReadOnlySequence<byte>();foreach?(ReadOnlyMemory<byte>?memory?in?seq)
{
}
ReadOnlySequence的主要優(yōu)勢在于,它可以看成一段邏輯意義上的連續(xù)內(nèi)存,常用的函數(shù)有:
Slice: 對視圖數(shù)據(jù)切片
PositionOf: 查詢元素的縮影
ToArray: 轉(zhuǎn)換成數(shù)組
其中的ToArray涉及到大量的數(shù)據(jù)拷貝,需要謹(jǐn)慎使用。
另外.net core 3.0中還內(nèi)置了一個SequenceReader,用起來是十分方便的:
如何使用
用過System.IO.Pipelines的朋友就知道,ReadOnlySequence在該庫中是非常好用的。但如果我們想常見一個ReadOnlySequence,發(fā)現(xiàn)并不是那么容易,因為:
ReadOnlySequence依賴于ReadOnlySequenceSegment
ReadOnlySequenceSegment是抽象類,需要自己繼承
也就是說我們需要自己實現(xiàn)ReadOnlySequenceSegment<T>,然后再將其封裝到ReadOnlySequence中,目前.net core中并沒有內(nèi)置實現(xiàn)可能是因為在高效內(nèi)存管理的方案中并沒有什么通用的解決方案吧。
如果我們要自己實現(xiàn)ReadOnlySequence,一般需要如下幾個步驟:
繼承ReadOnlySequenceSegment類,實現(xiàn)自己的SequenceSegment
在申請內(nèi)存過程中,創(chuàng)建SequenceSegment,并將其掛成鏈表
使用數(shù)據(jù)時,在該鏈表中創(chuàng)建ReadOnlySequence
當(dāng)SequenceSegment節(jié)點的內(nèi)存使用完成的時候,從鏈表中接觸該節(jié)點,并釋放內(nèi)存。
簡單來說就是如下幾種操作:
數(shù)據(jù)讀取: 創(chuàng)建SequenceSegment
數(shù)據(jù)使用: 在SequenceSegment鏈表上創(chuàng)建ReadOnlySequence
使用完成: 釋放SequenceSegment
如果要更進(jìn)一步優(yōu)化,在SequenceSegment中的內(nèi)存申請和釋放可以使用內(nèi)存池。
原文地址:https://www.cnblogs.com/TianFang/p/10084049.html
.NET社區(qū)新聞,深度好文,歡迎訪問公眾號文章匯總 http://www.csharpkit.com
總結(jié)
以上是生活随笔為你收集整理的.net core中的高效动态内存管理方案的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ML.NET 0.8特性简介
- 下一篇: .net core 上 K8S(三)Ya