我將對(duì)其進(jìn)行重新設(shè)計(jì)以充當(dāng)流式傳輸，而不是在一個(gè)塊上。

一個(gè)更簡(jiǎn)單的方法是：

std::ifstream ifs("input.txt");

std::vector parsed(std::istream_iterator(ifs), {});

如果您大致知道期望多少個(gè)值，那么預(yù)先使用std::vector::reserve它可以進(jìn)一步加快速度。

另外，您可以使用內(nèi)存映射文件并遍歷字符序列。

更新 我修改了上面的程序以將uint32_ts 解析為向量。

使用4.5GiB [1] 的樣本輸入文件時(shí)，程序?qū)⒃?秒 [2] 內(nèi)運(yùn)行：

sehe@desktop:/tmp$ make -B && sudo chrt -f 99 /usr/bin/time -f "%E elapsed, %c context switches" ./test smaller.txt

g++ -std=c++0x -Wall -pedantic -g -O2 -march=native test.cpp -o test -lboost_system -lboost_iostreams -ltcmalloc

parse success

trailing unparsed: '

'

data.size(): 402653184

0:08.96 elapsed, 6 context switches

當(dāng)然，它至少分配402653184 * 4 字節(jié)= 1.5吉字節(jié)。因此，當(dāng)您讀取一個(gè)45

GB的文件時(shí)，您將需要大約15GiB的RAM來存儲(chǔ)矢量(假設(shè)重新分配時(shí)沒有碎片)：45GiB解析在45分鐘內(nèi)完成10分鐘* ：

make && sudo chrt -f 99 /usr/bin/time -f "%E elapsed, %c context switches" ./test 45gib_uint32s.txt

make: Nothing to be done for `all'.

tcmalloc: large alloc 17570324480 bytes == 0x2cb6000 @ 0x7ffe6b81dd9c 0x7ffe6b83dae9 0x401320 0x7ffe6af4cec5 0x40176f (nil)

Parse success

Trailing unparsed: 1 characters

Data.size(): 4026531840

Time taken by parsing: 644.64s

10:45.96 elapsed, 42 context switches

相比之下，僅運(yùn)行wc -l 45gib_uint32s.txt就花費(fèi)了大約12分鐘(盡管沒有實(shí)時(shí)優(yōu)先級(jí)調(diào)度)。wc是 極快

完整代碼用于基準(zhǔn)測(cè)試

#include

#include

#include

namespace qi = boost::spirit::qi;

typedef std::vector data_t;

using hrclock = std::chrono::high_resolution_clock;

int main(int argc, char** argv) {

if (argc<2) return 255;

data_t data;

data.reserve(4392580288); // for the 45 GiB file benchmark

// data.reserve(402653284); // for the 4.5 GiB file benchmark

boost::iostreams::mapped_file mmap(argv[1], boost::iostreams::mapped_file::readonly);

auto f = mmap.const_data();

auto l = f + mmap.size();

using namespace qi;

auto start_parse = hrclock::now();

bool ok = phrase_parse(f,l,int_parser() % eol, blank, data);

auto stop_time = hrclock::now();

if (ok)

std::cout << "Parse success\n";

else

std::cerr << "Parse failed at #" << std::distance(mmap.const_data(), f) << " around '" << std::string(f,f+50) << "'\n";

if (f!=l)

std::cerr << "Trailing unparsed: " << std::distance(f,l) << " characters\n";

std::cout << "Data.size(): " << data.size() << "\n";

std::cout << "Time taken by parsing: " << std::chrono::duration_cast<:chrono::milliseconds>(stop_time-start_parse).count() / 1000.0 << "s\n";

}

[1] 產(chǎn)生od -t u4 /dev/urandom -A none -v -w4 | pv | dd bs=1M

count=$((9*1024/2)) iflag=fullblock > smaller.txt

[2] 顯然，這與在Linux上的緩沖區(qū)緩存中緩存的文件有關(guān)–大文件沒有此好處

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的c语言中文件读写面试题,在C ++中有效读取非常大的文本文件的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。