1、使用python的生成器，一小段一小段數據讀取
生成器：具有yield的函數就是生成器，是一個可以返回迭代器的函數
迭代器：知道遍歷位置的對象，有iter()和next()方法
代碼舉例：

def get_lines(): # 生成器with open('12306.py', 'r') as f:while True:data = f.readlines(100)if data:yield dataelse:breakf = get_lines() # 迭代器對象 print(next(f)) print(next(f)) print(next(f))

2、Linux的split命令
可以把文件拆成一個個小文件進行操作
作用：split將一個文件分割成一個個指定大小的文件
使用語法： split [–help][–version][-<行數>][-b <字節>][-C <字節>][-l <行數>][要切割的文件][輸出文件名]
常用的選項是-b按照字節切割，-l按照行數切割
在黑窗口中輸入命令，使用舉例：

python@ubuntu:~/Desktop$ split -l 2 requirements.txt re.txt 意思：按照兩行切割requirements.txt文件，切割后的文件名叫re.txt?；剀嚭髸珊枚鄏e文件，里面都是兩行代碼

總結

以上是生活随笔為你收集整理的4G内存怎么读取5G数据（python中的生成器、Linux的split命令）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。