問題：

• page = requests.get().text返回的中文不管是直接print，還是保存進(jìn)csv都出現(xiàn)了亂碼

背景：

• 我爬取的網(wǎng)站head里定義了charset=utf-8

• 本地windows系統(tǒng)默認(rèn)編碼是gbk

嘗試：

直接print page; 寫入csv文件的時(shí)候, 不指定編碼

• writerow()報(bào)錯(cuò) -?UnicodeEncodeError: 'gbk' codec can't encode character '\xe6' in position 0: illegal multibyte sequence

直接print page; 寫入csv文件的時(shí)候，encoding='gbk'

• 報(bào)錯(cuò)同上

直接print page; 寫入csv文件時(shí)，encoding='utf-8'

• print/csv亂碼1

page.encode('utf-8').decode('gbk') - 對page進(jìn)行utf-8編碼后用gbk解碼

• print/csv亂碼1

page.encode('gbk','ignore').decode('gbk')；寫入csv時(shí)，encoding='gbk' - 對page進(jìn)行g(shù)bk編碼后用gbk解碼

• print/csv亂碼2

page.encode('gbk','ignore').decode('gbk')；寫入csv時(shí)，encoding='utf-8' - 對page進(jìn)行g(shù)bk編碼后用gbk解碼

• print亂碼2/csv亂碼3

page.encode(resquests.get().encoding).decode('gbk'); 寫入csv時(shí)，encoding='utf-8'

• print正常顯示/csv亂碼4

page.encode(resquests.get().encoding).decode('gbk'); 寫入csv時(shí)，encoding='gbk'

• 都正常顯示

page.encode(resquests.get().encoding).decode('gbk'); 寫入csv時(shí)，不指定編碼

• 都正常顯示

結(jié)論：

• 不要自己想網(wǎng)頁是用什么編碼，直接用requests.get()返回的編碼，我這個(gè)例子中的網(wǎng)站其實(shí)用的是ISO-8859-1編碼。。。
• csv寫入的時(shí)候，默認(rèn)編碼就是windows的編碼，也就是說一般中文系統(tǒng)的電腦，要寫入中文的話，不需要指定encoding

轉(zhuǎn)載于:https://www.cnblogs.com/break-dawnn/p/9044075.html

總結(jié)

以上是生活随笔為你收集整理的[python3 - TroubleShooting] requests爬取中文网站后直接print，以及保存csv乱码的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。