Windows/Linux上使用fopen相关函数读取大文件
在介紹讀取大文件之前,先了解下<cstdint>文件,標準頭文件,存放固定寬度整數類型,如int32_t, uint32_t,不管在32位上還是64位上,長度都為4個字節;int64_t, uint64_t,不管在32位上還是64位上,長度都為4個字節。對于int,無論在32位上還是在64位上,長度都為4個字節。
對于long, long long, size_t類型,在windows和linux上會有所不同。以下是匯總:
使用fopen讀取大文件相關函數聲明如下:注意它們的參數類型和返回類型
FILE* fopen(const char* filename, const char* mode);
int fseek(FILE* stream, long int offset, int origin);
long int ftell(FILE* stream);
size_t fread(void* ptr, size_t size, size_t count, FILE* stream);
size_t fwrite(const void* ptr, size_t size, size_t count, FILE* stream);
int fclose ( FILE * stream );// only windows, __int64 == long long
int _fseeki64(FILE *stream, __int64 offset, int origin);
__int64 _ftelli64(FILE *stream);
現代的應用程序都運行在一個內存空間里,在32位的系統里,這個內存空間擁有4GB(2的32次方)的尋址能力。應用程序可以直接使用32位的地址進行尋址,這被稱為平坦(flat)的內存模型。在平坦的內存模型中,整個內存是一個統一的地址空間,用戶可以使用一個32位的指針訪問任意內存位置。大多數操作系統都會將4GB的內存空間中的一部分挪給內核使用,應用程序無法直接訪問這一段內存,這一部分內存地址被稱為內核空間。Windows在默認情況下會將高地址的2GB空間分配給內核(也可配置為1GB),而Linux默認情況下將高地址的1GB空間分配給內核。用戶使用的剩下2GB或3GB的內存空間稱為用戶空間。因此在32位系統里,一次性加載大于2G或3G的文件,使用普通的方法是行不通的。在64位系統里則可以。
在windows上,要使用_fseeki64和_ftelli64函數替代fseek和ftell函數,否則得到的值是無效的,因為fseek和ftell的參數類型或返回類型為long,在windows上,無論是32位還是64位,long的長度都為4個字節,超出了所能接受的最大值范圍。執行結果如下圖所示:以vs2013.5_pro_enu.iso為例,第1個窗口顯示的是此文件的真實值大小;第2窗口為32位上的執行結果,第3個窗口為64位上執行結果,可見使用_fseeki64和_ftelli64后,均可獲取到真實值大小。
在linux上,當文件大于2G時,在32位上,調用fopen函數會直接返回空。執行結果如下圖所示:以Ubuntu_14_04_3.rar為例,第1個窗口顯示的是此文件的真實值大小;第2窗口為64位上的執行結果,可見與真實值大小一致;第3個窗口為32位上執行結果,大于2G文件,在32位上不能正常調用fopen函數。
測試代碼如下所示:
int test_load_big_file()
{fprintf(stdout, "int32_t: %d, uint32_t: %d\n", sizeof(int32_t), sizeof(uint32_t));fprintf(stdout, "int64_t: %d, uint64_t: %d\n", sizeof(int64_t), sizeof(uint64_t));fprintf(stdout, "int: %d\n", sizeof(int));fprintf(stdout, "long: %d, long long: %d, size_t: %d\n", sizeof(long), sizeof(long long), sizeof(size_t));#ifdef _MSC_VERconst char* name = "E:/GitCode/Messy_Test/testdata/test.tar";
#elseconst char* name = "testdata/test.tar";
#endifFILE* file = fopen(name, "rb");if (!file) {fprintf(stderr, "fail to open file: %s\n", name);return -1;}#ifdef _MSC_VERauto ret = _fseeki64(file, 0, SEEK_END);if (ret != 0) {fprintf(stderr, "fail to _fseeki64: %d\n", ret);return -1;}auto length = _ftelli64(file);fprintf(stdout, "file length: %lld\n", length);
#elseauto ret = fseek(file, 0, SEEK_END);if (ret != 0) {fprintf(stderr, "fail to _fseeki64: %d\n", ret);return -1;}auto length = ftell(file);fprintf(stdout, "file length: %lld\n", length);
#endiffclose(file);return 0;
}
如果對大文件可分塊處理,也可通過反復調用fread函數對大文件進行操作。
除了使用fopen還可以使用std::ifstream。
GitHub:https://github.com/fengbingchun/Messy_Test
總結
以上是生活随笔為你收集整理的Windows/Linux上使用fopen相关函数读取大文件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 在Ubuntu上编译opencv 2.4
- 下一篇: PyTorch简介