環(huán)境：

python3.6

爬取代碼：

import requests

url = 'https://www.dygod.net/html/tv/hytv/'

req = requests.get(url)

print(req.text)

爬取結(jié)果：

μ?êó?? / ?aó?μ?êó??_μ?ó°ììì?-??à×μ?ó°????

如上，title內(nèi)容出現(xiàn)亂碼，自己感覺應(yīng)該是編碼的問題，但是不知道如何解決，于是上網(wǎng)查看

參考網(wǎng)址：

問題找到，原來是reqponse header只指定了type，但是沒有指定編碼(一般現(xiàn)在頁面編碼都直接在html頁面中)，查找原網(wǎng)頁可以看到

在content-type屬性中，未設(shè)置編碼格式，正常設(shè)置如下

所以使用默認的編碼格式

《HTTP權(quán)威指南》里第16章國際化里提到，如果HTTP響應(yīng)中Content-Type字段沒有指定charset，則默認頁面是'ISO-8859-1'編碼。

這處理英文頁面當然沒有問題，但是中文頁面，就會有亂碼了！

print(req.apparent_encoding)

結(jié)果為：GB2312

所以只需要加上

req.encoding = req.apparent_encoding

這個就可以了！

代碼:

import requests

url = 'https://www.dygod.net/html/tv/hytv/'

req = requests.get(url)

req.encoding = req.apparent_encoding

print(req.text)

結(jié)果中文就不會亂碼了

總結(jié)

以上是生活随笔為你收集整理的python爬取内容乱码_python爬取html中文乱码的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。