讀取二進制數據到可變緩沖區中

問題

你想直接讀取二進制數據到一個可變緩沖區中，而不需要做任何的中間復制操作。或者你想原地修改數據并將它寫回到一個文件中去。

解法

為了讀取數據到一個可變數組中，使用文件對象的 readinto() 方法。比如：

import os.path def read_into_buffer(filename):buf = bytearray(os.path.getsize(filename))with open(filename, 'rb') as f:f.readinto(buf)return buf

下面是一個演示這個函數使用方法的例子：

>>> # Write a sample file >>> with open('sample.bin', 'wb') as f: ... f.write(b'Hello World') ... >>> buf = read_into_buffer('sample.bin') >>> buf bytearray(b'Hello World') >>> buf[0:5] = b'Hallo' >>> buf bytearray(b'Hallo World') >>> with open('newsample.bin', 'wb') as f: ... f.write(buf) ... 11 >>>

討論

文件對象的 readinto() 方法能被用來為預先分配內存的數組填充數據，甚至包括由 array 模塊或 numpy 庫創建的數組。和普通 read() 方法不同的是， readinto() 填充已存在的緩沖區而不是為新對象重新分配內存再返回它們。因此，你可以使用它來避免大量的內存分配操作。比如，如果你讀取一個由相同大小的記錄組成的二進制文件時，你可以像下面這樣寫：

record_size = 32 # Size of each record (adjust value)buf = bytearray(record_size) with open('somefile', 'rb') as f:while True:n = f.readinto(buf)if n < record_size:break# Use the contents of buf...

另外有一個有趣特性就是 memoryview ，它可以通過零復制的方式對已存在的緩沖區執行切片操作，甚至還能修改它的內容。比如：

>>> buf bytearray(b'Hello World') >>> m1 = memoryview(buf) >>> m2 = m1[-5:] >>> m2 <memory at 0x100681390> >>> m2[:] = b'WORLD' >>> buf bytearray(b'Hello WORLD') >>>

使用 f.readinto() 時需要注意的是，你必須檢查它的返回值，也就是實際讀取的字節數。

如果字節數小于緩沖區大小，表明數據被截斷或者被破壞了 (比如你期望每次讀取指定數量的字節)。

最后，留心觀察其他函數庫和模塊中和 into 相關的函數 (比如 recv_into() ，pack_into() 等)。 Python 的很多其他部分已經能支持直接的 I/O 或數據訪問操作，這些操作可被用來填充或修改數組和緩沖區內容。

總結

以上是生活随笔為你收集整理的《Python Cookbook 3rd》笔记（5.9）：读取二进制数据到可变缓冲区中的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。