?快速讀寫(xiě)磁盤(pán)數(shù)據(jù)的方法：

1.塊讀取：一下子將數(shù)據(jù)讀取到內(nèi)存的（無(wú)論是文本還是二進(jìn)制)，而不是一行行的讀取。

2.異步的IO，創(chuàng)建多線程，或者使用重疊IO,IO復(fù)用，異步的事件回調(diào)通知機(jī)制（可以用事件對(duì)象，信號(hào)驅(qū)動(dòng)來(lái)實(shí)現(xiàn))。

3.優(yōu)化分析文件的算法和盡量延后分析，分析算法里面頻繁的申請(qǐng)字符串內(nèi)存和釋放字符串內(nèi)存，盡量用指針解析出來(lái)，分析文件的內(nèi)容可以延期到使用的時(shí)候才分析。

如果不注意，不小心 ，讀取文件的主要性能消耗將會(huì)在這里，所以需要特別高的重視。

4.使用內(nèi)存文件映射, window是CreateFileMapping，MapViewOfFile，UnmapViewOfFile，CloseHandle；linux是用mmap,munmap,msync,free。

內(nèi)存文件映射的使用：

??(1)大數(shù)據(jù)量文件的讀取，有效的提高磁盤(pán)和內(nèi)存間數(shù)據(jù)通信的性能；

??(2）進(jìn)程間快速的共享內(nèi)存，實(shí)現(xiàn)進(jìn)程間高效的通信。

內(nèi)存映射文件性能高于普通IO的原因：

內(nèi)存文件映射和普通的文件IO都是要通過(guò)文件系統(tǒng)和硬盤(pán)驅(qū)動(dòng)拷貝數(shù)據(jù)到內(nèi)存中，內(nèi)存文件映射數(shù)據(jù)越大越快主要是：

（1）實(shí)際拷貝數(shù)據(jù)前，需要建立映射信息，內(nèi)存文件映射已經(jīng)提前準(zhǔn)備好了映射關(guān)系，內(nèi)核調(diào)度好了進(jìn)程內(nèi)的內(nèi)存塊，交付給內(nèi)核進(jìn)行了預(yù)先處理，內(nèi)存文件映射會(huì)消耗掉一些時(shí)間。

（2）實(shí)際拷貝時(shí)候，內(nèi)存文件映射將磁盤(pán)數(shù)據(jù)直接拷貝到用戶進(jìn)程內(nèi)存空間只進(jìn)行了一次拷貝，而普通的IO是先將文件拷貝到內(nèi)核緩存空間，然后才拷貝到用戶進(jìn)程內(nèi)存空間，進(jìn)行了兩次拷貝。

下面是一個(gè)使用普通的fread函數(shù)和內(nèi)存映射文件函數(shù)，讀取不同大小的磁盤(pán)文件的性能分析表：

綜合：當(dāng)讀寫(xiě)磁盤(pán)文件的數(shù)據(jù)較小(少于1MB)時(shí)候，使用內(nèi)存文件映射和普通IO是差異很小的，所以建議使用普通IO就可以了；當(dāng)很多文件的大小在幾十MB, 幾百M(fèi)B, 或者1GB以上的文件數(shù)據(jù)需要進(jìn)行較頻繁的訪問(wèn)，或者一開(kāi)始需要全部加載這些大文件的時(shí)候，那么就需要考慮使用內(nèi)存文件映射了。
?

總結(jié)

以上是生活随笔為你收集整理的C/C++快速读写磁盘数据的方法-块读取/异步/优化分析算法/内存文件映射的原理和使用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。