?

來源：http://blog.csdn.net/aqwd2008/article/details/7506007

?

?

python 模塊 chardet 下載及介紹

?

在處理字符串時(shí)，常常會遇到不知道字符串是何種編碼，如果不知道字符串的編碼就不能將字符串轉(zhuǎn)換成需要的編碼。面對多種不同編碼的輸入方式，是否會有一種有效的編碼方式？chardet 是一個(gè)非常優(yōu)秀的編碼識別模塊。

chardet 是 python 的第三方庫，需要下載和安裝。下載的地址有：

• 1.推薦地址：?http://download.csdn.net/download/aqwd2008/4256178
• 2.官方地址： ?http://pypi.python.org/pypi/chardet

如果采用源代碼安裝方法，有可能會提示缺少setuptools這個(gè)模塊。因此這里我們采用另外一種更為方便的安裝方法，不論你選擇哪種安裝包，將它解壓得到其中的文件夾【chardet】將這個(gè)文件夾復(fù)制到【python安裝根目錄\Lib\site-packages】下，確保這個(gè)位置可以被 python 引用到。如果不能被引用到請加入環(huán)境變量。

?

在安裝完 chardet 模塊，我就可以使用它了，來看一段示例代碼。

import chardet from urllib import request# 可根據(jù)需要，選擇不同的數(shù)據(jù) TestData = request.urlopen('http://www.baidu.com/').read() print(chardet.detect(TestData))# 運(yùn)行結(jié)果： # {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

運(yùn)行結(jié)果表示有99%的概率認(rèn)為這段代碼是 utf-8 編碼方式。

?

另外一個(gè)相對高級的應(yīng)用。

from urllib import request from chardet.universaldetector import UniversalDetectorusock = request.urlopen('http://www.baidu.com/')# 創(chuàng)建一個(gè)檢測對象 detector = UniversalDetector() for line in usock.readlines():# 分塊進(jìn)行測試，直到達(dá)到閾值detector.feed(line)if detector.done:break# 關(guān)閉檢測對象 detector.close() usock.close()# 輸出檢測結(jié)果 print(detector.result)# 運(yùn)行結(jié)果： # {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

應(yīng)用背景，如果要對一個(gè)大文件進(jìn)行編碼識別，使用這種高級的方法，可以只讀一部，去判別編碼方式從而提高檢測速度。如果希望使用一個(gè)檢測對象檢測多個(gè)數(shù)據(jù)，在每次檢測完，一定要運(yùn)行一下detector.reset()。清楚之前的數(shù)據(jù)。

?

?

?

總結(jié)

以上是生活随笔為你收集整理的python 模块 chardet下载方法及介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。