前言

最近在學習深度學習，已經跑出了幾個模型，但Pyhton的基礎不夠扎實，因此，開始補習Python了，大家都推薦廖雪峰的課程，因此，開始了學習，但光學有沒有用，還要和大家討論一下，因此，寫下這些帖子，廖雪峰的課程連接在這里：廖雪峰
Python的相關介紹，以及它的歷史故事和運行機制，可以參見這篇：python介紹
Python的安裝可以參見這篇：Python安裝
Python的運行模式以及輸入輸出可以參見這篇：Python IO
Python的基礎概念介紹，可以參見這篇：Python 基礎
Python字符串和編碼的介紹，可以參見這篇：Python字符串與編碼
Python基本數據結構：list和tuple介紹，可以參見這篇：Python list和tuple
Python控制語句介紹：ifelse，可以參見這篇：Python 條件判斷
Python控制語句介紹：循環實現，可以參見這篇：Python循環語句
Python數據結構：dict和set介紹Python數據結構dict和set
Python函數相關：Python函數
Python高階特性：Python高級特性
Python高階函數：Python高階函數
Python匿名函數：Python匿名函數
Python裝飾器：Python裝飾器
Python偏函數：Python偏函數
Python模塊：Python模塊
Python面向對象編程（1）：Python面向對象
Python面向對象編程（2）：Python面向對象（2）
Python面向對象編程（3）：Python面向對象（3）
Python面向對象編程（4）：Pyhton面向對象（4）
Python面向對象高級編程（上）：Python面向對象高級編程（上）
Python面向對象高級編程（中上）：Python面向對象高級編程（中上）
Python面向對象高級編程（中下）：Python面向對象高級編程（中下）
Python面向對象高級編程（完）：Python面向對象高級編程（完）
Python錯誤調試（起）：Python調試：起
Python錯誤調試（承）：Python調試：承
Python錯誤調試（轉）：Python調試：轉
Python錯誤調試（合）：python調試：合

目錄：

• 前言
• I/O編程
  • 舉栗子
  • 文件流
  • 速度問題
  • 實現方法
• 文件讀寫
  • 讀文件
  • file-like Object
  • 二進制文件
  • 字符編碼
  • 寫文件
  • 小結

I/O編程

IO在計算機中指Input/Output，也就是輸入和輸出。由于程序在運行時數據是在內存中駐留，由CPU這個超快的計算核心來執行，涉及到數據交換的地方，比如說，播放在硬盤里的視頻時，需要把數據加載到內存，通常是磁盤、網絡等，就需要IO接口。

舉栗子

比如你打開瀏覽器，訪問新浪首頁，瀏覽器這個程序就需要通過網絡IO獲取新浪的網頁。瀏覽器首先會發送數據給新浪服務器，告訴它我想要首頁的HTML，這個動作是往外發數據，叫Output，隨后新浪服務器把網頁發過來，這個動作是從外面接收數據，叫Input。所以，通常，程序完成IO操作會有Input和Output兩個數據流。當然也有只用一個的情況，比如，從磁盤讀取文件到內存，就只有Input操作，反過來，把數據寫到磁盤文件里，就只是一個Output操作。

文件流

IO編程中，Stream（流）是一個很重要的概念，可以把流想象成一個水管，數據就是水管里的水，但是只能單向流動。Input Stream就是數據從外面（磁盤、網絡）流進內存，Output Stream就是數據從內存流到外面去。對于瀏覽網頁來說，瀏覽器和新浪服務器之間至少需要建立兩根水管，才可以既能發數據，又能收數據。

速度問題

由于CPU和內存的速度遠遠高于外設的速度，所以，在IO編程中，就存在速度嚴重不匹配的問題。舉個例子來說，比如要把100M的數據寫入磁盤，CPU輸出100M的數據只需要0.01秒，可是磁盤要接收這100M數據可能需要10秒，怎么辦呢？有兩種辦法：

第一種是CPU等著，也就是程序暫停執行后續代碼，等100M的數據在10秒后寫入磁盤，再接著往下執行，這種模式稱為同步IO；
另一種方法是CPU不等待，只是告訴磁盤，“您老慢慢寫，不著急，我接著干別的事去了”，于是，后續代碼可以立刻接著執行，這種模式稱為異步IO。

同步和異步的區別就在于是否等待IO執行的結果。好比你去麥當勞點餐，你說“來個漢堡”，服務員告訴你，對不起，漢堡要現做，需要等5分鐘，于是你站在收銀臺前面等了5分鐘，拿到漢堡再去逛商場，這是同步IO。

你說“來個漢堡”，服務員告訴你，漢堡需要等5分鐘，你可以先去位子上坐著，等做好了，我們再通知你，這樣你可以立刻去干別的事情（坐在位置上玩手機），這是異步IO。

實現方法

很明顯，使用異步IO來編寫程序性能會遠遠高于同步IO，但是異步IO的缺點是編程模型復雜。想想看，你得知道什么時候通知你“漢堡做好了”，而通知你的方法也各不相同。如果是服務員跑過來找到你，這是回調模式，如果服務員發短信通知你，你就得不停地檢查手機，這是輪詢模式。總之，異步IO的復雜度遠遠高于同步IO。
操作IO的能力都是由操作系統提供的，每一種編程語言都會把操作系統提供的低級C接口封裝起來方便使用，Python也不例外。我們后面會詳細討論Python的IO編程接口。
注意，本章的IO編程都是同步模式，異步IO由于復雜度太高，后續涉及到服務器端程序開發時我們再討論。

文件讀寫

讀寫文件是最常見的IO操作。Python內置了讀寫文件的函數，使用方法和C是兼容的。
讀寫文件前，我們先必須了解一下，在磁盤上讀寫文件的功能都是由操作系統提供的，現代操作系統不允許普通的程序直接操作磁盤，所以，讀寫文件就是請求操作系統打開一個文件對象（通常稱為文件描述符），然后，通過操作系統提供的接口從這個文件對象中讀取數據（讀文件），或者把數據寫入這個文件對象（寫文件）。

讀文件

要以讀文件的模式打開一個文件對象，使用Python內置的open()函數，傳入文件名和標示符：

>>> f = open('/Users/michael/test.txt', 'r')

標示符’r’表示讀，這樣，我們就成功地打開了一個文件。

如果文件不存在，open()函數就會拋出一個IOError的錯誤，并且給出錯誤碼和詳細的信息告訴你文件不存在：

>>> f=open('/Users/michael/notfound.txt', 'r') Traceback (most recent call last):File "<stdin>", line 1, in <module> FileNotFoundError: [Errno 2] No such file or directory: '/Users/michael/notfound.txt'

如果文件打開成功，接下來，調用read()方法可以一次讀取文件的全部內容，Python把內容讀到內存，用一個str對象表示：

>>> f.read() 'Hello, world!'

最后一步是調用close()方法關閉文件。文件使用完畢后必須關閉，因為文件對象會占用操作系統的資源，并且操作系統同一時間能打開的文件數量也是有限的，必須要養成這樣良好的習慣：

>>> f.close()

由于文件讀寫時都有可能產生IOError，一旦出錯，后面的f.close()就不會調用。所以，為了保證無論是否出錯都能正確地關閉文件，我們可以使用try … finally來實現：

try:f = open('/path/to/file', 'r')print(f.read()) finally:if f:f.close()

但是每次都這么寫實在太繁瑣，所以，Python引入了with語句來自動幫我們調用close()方法：

with open('/path/to/file', 'r') as f:print(f.read())

這就時python的高明之處。
這和前面的try … finally是一樣的，但是代碼更佳簡潔，并且不必調用f.close()方法。

調用read()會一次性讀取文件的全部內容，如果文件有10G，內存就爆了，所以，要保險起見，可以反復調用read(size)方法，每次最多讀取size個字節的內容。另外，調用readline()可以每次讀取一行內容，調用readlines()一次讀取所有內容并按行返回list。因此，要根據需要決定怎么調用，按需定制。

如果文件很小，read()一次性讀取最方便；如果不能確定文件大小，反復調用read(size)比較保險；如果是配置文件，調用readlines()最方便：

for line in f.readlines():print(line.strip()) # 把末尾的'\n'刪掉

file-like Object

像open()函數返回的這種有個read()方法的對象，在Python中統稱為file-like Object。除了file外，還可以是內存的字節流，網絡流，自定義流等等。file-like Object不要求從特定類繼承，只要寫個read()方法就行。
StringIO就是在內存中創建的file-like Object，常用作臨時緩沖。

二進制文件

前面講的默認都是讀取文本文件，并且是UTF-8編碼的文本文件。要讀取二進制文件，比如圖片、視頻等等，用’rb’模式打開文件即可：

>>> f = open('/Users/michael/test.jpg', 'rb') >>> f.read() b'\xff\xd8\xff\xe1\x00\x18Exif\x00\x00...' # 十六進制表示的字節

字符編碼

要讀取非UTF-8編碼的文本文件，需要給open()函數傳入encoding參數，例如，讀取GBK編碼的文件：

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk') >>> f.read() '測試'

遇到有些編碼不規范的文件，你可能會遇到UnicodeDecodeError，因為在文本文件中可能夾雜了一些非法編碼的字符。遇到這種情況，open()函數還接收一個errors參數，表示如果遇到編碼錯誤后如何處理。最簡單的方式是直接忽略：

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

寫文件

寫文件和讀文件是一樣的，唯一區別是調用open()函數時，傳入標識符’w’或者’wb’表示寫文本文件或寫二進制文件：

>>> f = open('/Users/michael/test.txt', 'w') >>> f.write('Hello, world!') >>> f.close()

你可以反復調用write()來寫入文件，但是務必要調用f.close()來關閉文件。當我們寫文件時，操作系統往往不會立刻把數據寫入磁盤，而是放到內存緩存起來，空閑的時候再慢慢寫入。只有調用close()方法時，操作系統才保證把沒有寫入的數據全部寫入磁盤。忘記調用close()的后果是數據可能只寫了一部分到磁盤，剩下的丟失了。所以，還是用with語句來得保險：

with open('/Users/michael/test.txt', 'w') as f:f.write('Hello, world!')

要寫入特定編碼的文本文件，請給open()函數傳入encoding參數，將字符串自動轉換成指定編碼。

細心的童鞋會發現，以’w’模式寫入文件時，如果文件已存在，會直接覆蓋（相當于刪掉后新寫入一個文件）。如果我們希望追加到文件末尾怎么辦？可以傳入’a’以追加（append）模式寫入。

所有模式的定義及含義可以參考官方文檔

小結

在Python中，文件讀寫是通過open()函數打開的文件對象完成的。使用with語句操作文件IO是個好習慣。

總結

以上是生活随笔為你收集整理的Python学习笔记：I/O编程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。