寫在前面

考研在即，想多了解考研er的想法，就是去找學(xué)長學(xué)姐或者去網(wǎng)上搜索，貼吧就是一個好地方。而借助強大的工具可以快速從網(wǎng)絡(luò)魚龍混雜的信息中得到有價值的信息。雖然網(wǎng)上有很多爬取百度貼吧的教程和例子，但是貼吧規(guī)則更新快，目的不一樣，爬取的內(nèi)容也不一樣，所以就有了這個工具。

目的

爬取1000條帖子→判斷是否是廣告或者垃圾信息→分析語言情感→生成詞云

一、分析

1.1 先查看貼吧的規(guī)則，果然有規(guī)律，每一頁是50條帖子

1.2 帖子內(nèi)容，也有規(guī)律，都在這個標簽里面

1.3 判斷內(nèi)容就用百度AI的內(nèi)容審核，情感分析也用百度AI了，省事

1.4 詞云可以先用jieba分詞然后再用wordcloud生成，但是后來發(fā)現(xiàn)網(wǎng)上有現(xiàn)成的工具

二、爬取過程

2.1 首先解決的一個小問題就是讓它自己計算一下每頁是50條帖子，我輸入1000條它應(yīng)該去爬取那幾個頁面，就用這種數(shù)學(xué)計算就行

2.2爬取過程代碼，爬取后就調(diào)用內(nèi)容審核以及情感分析，然后寫入文件

def gettbtz(tbname,tznum): ####根據(jù)給出的貼吧和帖子數(shù)(50的整數(shù)倍)獲得所有帖子

n = -50

tznum = int(tznum) ###z這里是要根據(jù)貼吧的規(guī)則，每頁顯示50條帖子

emotions = 0

while (tznum > n):

n = n + 50

print("正在爬取前" + str(n) + "條帖子")

url = "http://tieba.baidu.com/f?kw=" + tbname + "&ie=utf-8&pn=" + str(n)

soup = BeautifulSoup(requests.get(url).text,'lxml') ###爬取動作

a = soup.find_all('div',class_='threadlist_abs threadlist_abs_onlyline')

for a in a: ###接下來以此判斷文本是否合規(guī)，然后判斷情感正向傾向指數(shù)，然后寫入文件

if BDAITEXT(a.text) == "合規(guī)":

print("爬取到合規(guī)帖子,正在寫入文件：" + a.text)

with open("resaults.txt","a+",encoding='utf-8') as f:

f.write(str(a.text)) ###寫入這里特意轉(zhuǎn)換一下數(shù)據(jù)類型，避免后面發(fā)生文本編碼錯誤

try:

emotions = emotions + BDAIemotion(a.text)

print("當(dāng)前累計情感指數(shù)：" + str(emotions))

except:

print("情感分析出錯，跳過")

else:

print("帖子不合規(guī)，跳過")

time.sleep(10) ###君子協(xié)議，10秒暫停

f.close()

三、百度人工智能API調(diào)用

3.1 百度AK獲取，就是要先到百度AI開發(fā)平臺注冊一個開發(fā)者賬號，然后創(chuàng)建應(yīng)用，獲取應(yīng)用id和密鑰，然后得到這樣一個調(diào)用的密鑰

# client_id 為官網(wǎng)獲取的AK， client_secret 為官網(wǎng)獲取的SK

host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=【應(yīng)用ID】&client_secret=【SK】'

response = requests.get(host)

if response:

print(response.json())

3.2 內(nèi)容審核API調(diào)用

def BDAITEXT(text): ####百度AI文本審核，返回合規(guī)或者不合規(guī)

content = {"text": text}

r = requests.post(BDAItexturl,content).text

if r:

rback = json.loads(r)

return rback["conclusion"]

3.3 情感分析API調(diào)用

def BDAIemotion(text): ####百度AI情感分析，返回一個數(shù)值

content = {"text": text}

content = json.dumps(content)

r = requests.post(BDAIemotionurl,content).text

if r:

rback = json.loads(r)

return rback['items'][0]['positive_prob']

四、詞云生成

有很多在線工具，導(dǎo)入大段文本，然后根據(jù)需要進行文本的過濾、分詞，然后設(shè)置顏色、樣式就可以生成詞云。

五、信息分析

看詞云，結(jié)果不言而喻，提早地準備、豐富的經(jīng)驗、專業(yè)課、數(shù)學(xué)、政治、院校選擇…………

從情感上來看，大多數(shù)情感指數(shù)偏向積極，說明對待考研還是需要一個積極的態(tài)度。

運行截圖

待改進

1.應(yīng)該多線程，速度太慢了

2.爬取了帖子，沒有爬取評論

3.情感分析有很多出錯

“閑言碎語留給市井小民，你只管優(yōu)雅從容心懷遠方”

內(nèi)容來源于網(wǎng)絡(luò)如有侵權(quán)請私信刪除

總結(jié)

以上是生活随笔為你收集整理的python爬取考研成绩什么时候出来_用Python爬取了考研吧1000条帖子，原来他们都在讨论这些！...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。