Python中的str与unicode处理方法
python2.x中處理中文，是一件頭疼的事情。網(wǎng)上寫這方面的文章，測(cè)次不齊，而且都會(huì)有點(diǎn)錯(cuò)誤，所以在這里打算自己總結(jié)一篇文章。
我也會(huì)在以后學(xué)習(xí)中，不斷的修改此篇博客。
這里假設(shè)讀者已有與編碼相關(guān)的基礎(chǔ)知識(shí),本文不再再次介紹，包括什么是utf-8，什么是unicode，它們之間有什么關(guān)系。
str與字節(jié)碼
首先，我們完全不談unicode。
Python s = "人生苦短"| 1 | s = "人生苦短" |
s是個(gè)字符串，它本身存儲(chǔ)的就是字節(jié)碼。那么這個(gè)字節(jié)碼是什么格式的？
如果這段代碼是在解釋器上輸入的，那么這個(gè)s的格式就是解釋器的編碼格式，對(duì)于windows的cmd而言，就是gbk。
如果將段代碼是保存后才執(zhí)行的，比如存儲(chǔ)為utf-8，那么在解釋器載入這段程序的時(shí)候，就會(huì)將s初始化為utf-8編碼。
unicode與str
我們知道unicode是一種編碼標(biāo)準(zhǔn)，具體的實(shí)現(xiàn)標(biāo)準(zhǔn)可能是utf-8，utf-16，gbk ……
python 在內(nèi)部使用兩個(gè)字節(jié)來(lái)存儲(chǔ)一個(gè)unicode，使用unicode對(duì)象而不是str的好處，就是unicode方便于跨平臺(tái)。
你可以用如下兩種方式定義一個(gè)unicode:
Python s1 = u"人生苦短" s2 = unicode("人生苦短", "utf-8")| 1 2 | s1 = u"人生苦短" s2 = unicode("人生苦短", "utf-8") |
encode與decode
在python中的編碼解碼是這樣的：
所以我們可以寫這樣的代碼：
Python # -*- coding:utf-8 -*- su = "人生苦短" # ： su是一個(gè)utf-8格式的字節(jié)串 u = s.decode("utf-8") # ： s被解碼為unicode對(duì)象，賦給u sg = u.encode("gbk") # ： u被編碼為gbk格式的字節(jié)串，賦給sg print sg # 打印sg| 1 2 3 4 5 6 7 8 9 | # -*- coding:utf-8 -*- su = "人生苦短" # ： su是一個(gè)utf-8格式的字節(jié)串 u??= s.decode("utf-8") # ： s被解碼為unicode對(duì)象，賦給u sg = u.encode("gbk") # ： u被編碼為gbk格式的字節(jié)串，賦給sg print sg # 打印sg |
但是事實(shí)情況要比這個(gè)復(fù)雜，比如看如下代碼：
Python s = "人生苦短" s.encode('gbk')| 1 2 | s = "人生苦短" s.encode('gbk') |
看！str也能編碼，(事實(shí)上unicode對(duì)象也能解碼，但是意義不大)
這樣為什么可以？看上圖的編碼流程的箭頭，你就能想到原理，當(dāng)對(duì)str進(jìn)行編碼時(shí)，會(huì)先用默認(rèn)編碼將自己解碼為unicode，然后在將unicode編碼為你指定編碼。
這就引出了python2.x中在處理中文時(shí)，大多數(shù)出現(xiàn)錯(cuò)誤的原因所在：python的默認(rèn)編碼，defaultencoding是ascii
看這個(gè)例子：
Python # -*- coding: utf-8 -*- s = "人生苦短" s.encode('gbk')| 1 2 3 | # -*- coding: utf-8 -*- s = "人生苦短" s.encode('gbk') |
上面的代碼會(huì)報(bào)錯(cuò)，錯(cuò)誤信息：UnicodeDecodeError: ‘a(chǎn)scii’ codec can’t decode byte ……
因?yàn)槟銢]有指定defaultencoding,所以它其實(shí)在做這樣的事情:
Python # -*- coding: utf-8 -*- s = "人生苦短" s.decode('ascii').encode('gbk')| 1 2 3 | # -*- coding: utf-8 -*- s = "人生苦短" s.decode('ascii').encode('gbk') |
?
設(shè)置defaultencoding
設(shè)置defaultencoding的代碼如下：
Python reload(sys) sys.setdefaultencoding('utf-8')| 1 2 | reload(sys) sys.setdefaultencoding('utf-8') |
如果你在python中進(jìn)行編碼和解碼的時(shí)候，不指定編碼方式，那么python就會(huì)使用defaultencoding。
比如上一節(jié)例子中將str編碼為另一種格式，就會(huì)使用defaultencoding。
Python s.encode("utf-8") 等價(jià)于 s.decode(defaultencoding).encode("utf-8")| 1 | s.encode("utf-8") 等價(jià)于 s.decode(defaultencoding).encode("utf-8") |
再比如你使用str創(chuàng)建unicode對(duì)象時(shí)，如果不說(shuō)明這個(gè)str的編碼格式，那么程序也會(huì)使用defaultencoding。
Python u = unicode("人生苦短") 等價(jià)于 u = unicode("人生苦短",defaultencoding)| 1 | u = unicode("人生苦短") 等價(jià)于 u = unicode("人生苦短",defaultencoding) |
默認(rèn)的defaultcoding：ascii是許多錯(cuò)誤的原因，所以早早的設(shè)置defaultencoding是一個(gè)好習(xí)慣。
文件頭聲明編碼的作用。
這要感謝這篇博客關(guān)于python文件頭部分知識(shí)的講解。
頂部的:# -*- coding: utf-8 -*-目前看來(lái)有三個(gè)作用。
關(guān)于requests庫(kù)
requests是一個(gè)很實(shí)用的Python HTTP客戶端庫(kù)，編寫爬蟲和測(cè)試服務(wù)器響應(yīng)數(shù)據(jù)時(shí)經(jīng)常會(huì)用到。
其中的Request對(duì)象在訪問服務(wù)器后會(huì)返回一個(gè)Response對(duì)象，這個(gè)對(duì)象將返回的Http響應(yīng)字節(jié)碼保存到content屬性中。
但是如果你訪問另一個(gè)屬性text時(shí)，會(huì)返回一個(gè)unicode對(duì)象，亂碼問題就會(huì)常常發(fā)成在這里。
因?yàn)镽esponse對(duì)象會(huì)通過另一個(gè)屬性encoding來(lái)將字節(jié)碼編碼成unicode，而這個(gè)encoding屬性居然是responses自己猜出來(lái)的。
官方文檔：
text
Content of the response, in unicode.
If Response.encoding is None, encoding will be guessed using chardet.
The encoding of the response content is determined based solely on HTTP headers, following RFC 2616 to the letter. If you can take advantage of non-HTTP knowledge to make a better guess at the encoding, you should set r.encoding appropriately before accessing this property.
所以要么你直接使用content(字節(jié)碼)，要么記得把encoding設(shè)置正確，比如我獲取了一段gbk編碼的網(wǎng)頁(yè),就需要以下方法才能得到正確的unicode。
Python import requests url = "http://xxx.xxx.xxx" response = requests.get(url) response.encoding = 'gbk'print response.text| 1 2 3 4 5 6 | import requests url = "http://xxx.xxx.xxx" response = requests.get(url) response.encoding = 'gbk' print response.text |
不僅僅要原理，更要使用方法！
如果是早期的我寫博客，那么我一定會(huì)寫這樣的例子：
如果現(xiàn)在的文件編碼為gbk,然后文件頭為：# -*- coding: utf-8 -*-，再將默認(rèn)編碼設(shè)置為xxx，那么如下程序的結(jié)果會(huì)是……
這就類似于，當(dāng)年學(xué)c的時(shí)候，用各種優(yōu)先級(jí)，結(jié)合性，指針來(lái)展示自己水平的代碼。
實(shí)際上這些根本就不實(shí)用，誰(shuí)會(huì)在真正的工作中寫這樣的代碼呢？我在這里想談?wù)剬?shí)用的處理中文的python方法。
基本設(shè)置
主動(dòng)設(shè)置defaultencoding。（默認(rèn)的是ascii）
代碼文件的保存格式要與文件頭部的# coding:xxx一致
如果是中文，程序內(nèi)部盡量使用unicode，而不用str
關(guān)于打印
你在打印str的時(shí)候，實(shí)際就是直接將字節(jié)流發(fā)送給shell。如果你的字節(jié)流編碼格式與shell的編碼格式不相同，就會(huì)亂碼。
而你在打印unicode的時(shí)候，系統(tǒng)自動(dòng)將其編碼為shell的編碼格式，是不會(huì)出現(xiàn)亂碼的。
程序內(nèi)外要統(tǒng)一
如果說(shuō)程序內(nèi)部要保證只用unicode，那么在從外部讀如字節(jié)流的時(shí)候，一定要將這些字節(jié)流轉(zhuǎn)化為unicode，在后面的代碼中去處理unicode，而不是str。
Python with open("test") as f:for i in f:# 將讀入的utf-8字節(jié)流進(jìn)行解碼u = i.decode('utf-8')....| 1 2 3 4 5 | with open("test") as f: ????for i in f: ????????# 將讀入的utf-8字節(jié)流進(jìn)行解碼 ????????u = i.decode('utf-8') ????????.... |
如果把連接程序內(nèi)外的這段數(shù)據(jù)流比喻成通道的的話，那么與其將通道開為字節(jié)流，讀入后進(jìn)行解碼，不如直接將通道開為unicode的。
Python # 使用codecs直接開unicode通道 file = codecs.open("test", "r", "utf-8") for i in file:print type(i)# i的類型是unicode的| 1 2 3 4 5 | # 使用codecs直接開unicode通道 file = codecs.open("test", "r", "utf-8") for i in file: ????print type(i) ????# i的類型是unicode的 |
所以python處理中文編碼問題的關(guān)鍵是你要清晰的明白，自己在干什么，打算讀入什么格式的編碼，聲明的的這些字節(jié)是什么格式的，str到unicode是如何轉(zhuǎn)換的，str的一種編碼到另一種編碼又是如何進(jìn)行的。 還有，你不能把問題變得混亂，要自己主動(dòng)去維護(hù)一種統(tǒng)一。
總結(jié)
以上是生活随笔為你收集整理的Python中的str与unicode处理方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 七工匠发布 18mm F6.3Ⅱ 饼干镜
- 下一篇： A Complete Machine L