我有一個大的txt文件(大約20GB)，我想替換此大文件中單詞列表的所有實例。我正在努力尋找一種優化此代碼的方法。這導致我長時間處理此文件。

我可以改善什么？

corpus_input = open(corpus_in,"rt")

corpus_out = open(corpus_out,"wt")

for line in corpus_input:

temp_str=line

for word in dict_keys:

if word in line:

new_word = word+"_lauren_ipsum"

temp_str = re.sub(fr'\b{word}\b',new_word,temp_str)

else:

continue

corpus_out.writelines(temp_str)

corpus_input.close()

corpus_out.close()

解決方案

優化最重要的事情是了解性能到底是什么。然后，您可以看到可以優化的內容。

例如，如果讀寫花費了99％的時間，那么優化數據處理就不值得了。即使您可以將處理速度提高10倍，如果閱讀消耗了99％，您也只能獲得0.9％的收益。

我建議測量和比較一些版本，并發布性能差異。這可能會導致進一步的建議變得樂觀。

在所有下面的示例我換成writelines與write作為writelines可能是由漢字書寫之前，您分解行字符。

任何狀況之下。您想使用write您應該已經獲得了大約5的加速。

1.)只是閱讀和寫作

with open(corpus_in,"rt") as corpus_input, open(corpus_out,"wt")

as corpus_out:

for line in corpus_input:

corpus_out.write(line)

2.)只需使用更大的緩沖區進行讀寫

import io

BUF_SIZE = 50 * io.DEFAULT_BUFFER_SIZE # try other buffer sizes if you see an impact

with open(corpus_in,"rt", BUF_SIZE) as corpus_input, open(corpus_out,"wt", BUF_SIZE)

as corpus_out:

for line in corpus_input:

corpus_out.write(line)

對我來說，這可以將性能提高百分之幾

3.)將搜索正則表達式和替換生成移出循環。

rules = []

for word in dict_keys:

rules.append((re.compile(fr'\b{word}\b'), word + "_lorem_ipsum"))

for line in corpus_input:

for regexp, new_word in rules:

line = regexp.sub(new_word, line)

corpus_out.write(line)

在我的機器上，我的行頻包含單詞，這種解決方法實際上比包含行的解決方案要慢if word in line

因此，也許可以嘗試：3.a)將搜索正則表達式和替換生成移出循環。

rules = []

for word in dict_keys:

rules.append((word, re.compile(fr'\b{word}\b'), word + "_lorem_ipsum"))

for line in corpus_input:

for word, regexp, new_word in rules:

if word in line:

line = regexp.sub(new_word, line)

corpus_out.write(line)

3.b)如果所有替換字符串都比初始字符串長，則速度會更快一些。

rules = []

for word in dict_keys:

rules.append((word, re.compile(fr'\b{word}\b'), word + "_lorem_ipsum"))

for line in corpus_input:

temp_line = line

for word, regexp, new_word in rules:

if word in line:

temp_line = regexp.sub(new_word, temp_line)

corpus_out.write(temp_line)

4.)如果您真的總是word + "_lorem_ipsum"將正則表達式合并為一個替換。

regexp = re.compile(fr'\b({"|".join(dict_keys)})\b')

for line in corpus_input:

line = regexp.sub("\1_lorem_ipsum", line)

corpus_out.write(line)

4.a)取決于單詞分布，這可能會更快：

regexp = re.compile(fr'\b({"|".join(dict_keys)})\b')

for line in corpus_input:

if any(word in line for word in dict_keys):

line = regexp.sub("\1_lorem_ipsum", line)

corpus_out.write(line)

這是否更有效可能取決于要搜索和替換的單詞數以及此單詞的頻率。我沒有那個日期。

5個單詞，我的分布慢于3.a

5)如果要替換的單詞不同，您仍然可以嘗試組合正則表達式并使用函數來替換

replace_table = {

"word1": "word1_laram_apsam",

"word2": "word2_lerem_epsem",

"word3": "word3_lorom_opsom",

}

def repl(match):

return replace_table[match.group(1)]

regexp = re.compile(fr'\b({"|".join(dict_keys)})\b')

for line in corpus_input:

line = regexp.sub(repl, line)

corpus_out.write(line)

Slower than 5, whether better than 3.a depends on number of words and wird distribution / frequency.

總結

以上是生活随笔為你收集整理的python替换文本文件单词_在大型文本文件中替换一组单词的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。