bs4 乱码_Python BeautifulSoup中文乱码问题的2种解决方法
解決方法一:
使用python的BeautifulSoup來(lái)抓取網(wǎng)頁(yè)然后輸出網(wǎng)頁(yè)標(biāo)題,但是輸出的總是亂碼,找了好久找到解決辦法,下面分享給大家
首先是代碼
復(fù)制代碼 代碼如下:
from bs4 import BeautifulSoup
import urllib2
url = '//www.jb51.net/'
page = urllib2.urlopen(url)
soup = BeautifulSoup(page,from_encoding="utf8")
print soup.original_encoding
print (soup.title).encode('gb18030')
file = open("title.txt","w")
file.write(str(soup.title))
file.close()
for link in soup.find_all('a'):
print link['href']
在剛開始測(cè)試的時(shí)候發(fā)現(xiàn),雖然輸出是亂碼的,但是寫在文件里面卻是正常的.然后在網(wǎng)上找了找解決辦法才發(fā)現(xiàn)
print一個(gè)對(duì)象的邏輯:內(nèi)部是調(diào)用對(duì)象的__str__得到對(duì)應(yīng)的字符串的,此處對(duì)應(yīng)的是soup的__str__ 而針對(duì)于soup本身,其實(shí)已經(jīng)是Unicode編碼,所以可以通過指定__str__輸出時(shí)的編碼為GBK,以使得此處正確顯示非亂碼的中文
而對(duì)于cmd:(中文的系統(tǒng)中)編碼為GBK,所以只要重新編碼為gb18030就可以正常輸出了
就是下面這行代碼
復(fù)制代碼 代碼如下:
print (soup.title).encode('gb18030')
解決方法二:
BeautifulSoup在解析utf-8編碼的網(wǎng)頁(yè)時(shí),如果不指定fromEncoding或者將fromEncoding指定為utf-8會(huì)出現(xiàn)中文亂碼的現(xiàn)象。
解決此問題的方法是將Beautifulsoup構(gòu)造函數(shù)中的fromEncoding參數(shù)的值指定為:gb18030
復(fù)制代碼 代碼如下:
import urllib2
from BeautifulSoup import BeautifulSoup
page = urllib2.urlopen('//www.jb51.net/');
soup = BeautifulSoup(page,fromEncoding="gb18030")
print soup.originalEncoding
print soup.prettify()
本文標(biāo)題: Python BeautifulSoup中文亂碼問題的2種解決方法
本文地址: http://www.cppcns.com/jiaoben/python/107680.html
總結(jié)
以上是生活随笔為你收集整理的bs4 乱码_Python BeautifulSoup中文乱码问题的2种解决方法的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Android9.0 http网络请求失
- 下一篇: python 系统架构_Python之优