最近開始整理python的資料，博主建立了一個qq群，希望給大家提供一個交流的平臺 78486745 。

我們要爬取的網站是：百度貼吧，一個非常適合新人練手的地方，那么讓我們開始吧。

本次要爬的貼吧是<< 西部世界 >>，貼吧地址 : https://tieba.baidu.com/f?kw=西部世界&ie=utf-8 。

Python版本 : 3.6 瀏覽器版本： Chrome

目標分析：

由于是第一個實驗性質爬蟲，我們要做的不多，我們需要做的就是：

從網上爬下特定頁碼的網頁。

對于爬下的頁面內容進行簡單的篩選分析。

找到每一篇帖子的 標題、發帖人、日期、樓層、以及跳轉鏈接。

將結果保存到文本。

前期準備： 看到貼吧的url地址是不是覺得很亂？有那一大串認不得的字符？

其實這些都是中文字符， %E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C

在編碼之后就是： 西部世界。

鏈接的末尾處：&ie=utf-8 表示該連接采用的是utf-8編碼。

windows的默認編碼是GBK，在處理這個連接的時候，需要我們在Python里手動設置一下，才能夠成功使用。

Python3相對于Python2對于編碼的支持有了很大的提升，默認全局采用utf-8編碼，所以建議還在學Python2的小伙伴趕緊投入Python3的懷抱，真的省了老大的功夫了。

接著我們翻到貼吧的第二頁：
url: https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8&pn=50

注意到沒有，連接的末尾處多了一個參數&pn=50, 這里我們很容易就能猜到，這個參數的與頁碼的聯系：

• &pn=0 ： 首頁
• &pn=50： 第二頁
• &pn=100：第三頁
• &pn=50*n 第n頁
• 50 表示 每一頁都有50篇帖子。

這下我們就能通過簡單的url修改，達到翻頁的效果了。

chrome開發人員工具的使用：

要寫爬蟲，我們一定要會使用開發工具，說起來這個工具是給前端開發人員用的，但是我們可以通過它快速定位我們要爬取的信息，并找到相對應的規律。

• 按cmmand+option+I 打開chrome工具，（win可以看按F12或者手動在chrome工具欄里打開）

• 使用模擬點擊工具快速定位到一個單獨帖子的位置。(左上角的鼠標箭頭圖標)

我們仔細的觀察一下，發現每個帖子的內容都包裹在一個li標簽內。

這樣我們只要快速找出所有的符合規則的標簽，在進一步分析里面的內容，最后篩選出數據就可以了。

最近開始整理python的資料，博主建立了一個qq群，希望給大家提供一個交流的平臺 78486745 。

內容分析

• 我們先寫出抓取頁面內容的函數：

這是前面介紹過的爬取框架，以后我們會經常用到。

import requests from bs4 import BeautifulSoup# 首先我們寫好抓取網頁的函數 def get_html(url):try:r = requests.get(url,timeout=30)r.raise_for_status()#這里我們知道百度貼吧的編碼是utf-8，所以手動設置的。爬去其他的頁面時建議使用：# r.endcodding = r.apparent_endconding r.encoding='utf-8'return r.textexcept:return " ERROR "

• 接著我們摘取其中的詳細信息：

我們來分一下每一個li標簽內部的結構：一個大的li標簽內包裹著很多個 div標簽，而我們要的信息就在這一個個div標簽之內：

# 標題&帖子鏈接 <a rel="noreferrer" href="/p/5803134498" title="【高淸】西部世界1-2季，中英字，未??刪?減.?任性給" target="_blank" class="j_th_tit ">【高淸】西部世界1-2季，中英字，未??刪?減.?任性給</a>#發帖人： <span class="tb_icon_author no_icon_author" title="主題作者: 愛學習的萌新_" data-field="{&quot;user_id&quot;:829797296}"><i class="icon_author"></i><span class="pre_icon_wrap pre_icon_wrap_theme1 frs_bright_preicon"><a class="icon_tbworld icon-crown-super-v1" href="/tbmall/tshow" data-field="{&quot;user_id&quot;:829797296}" target="_blank" title="貼吧超級會員"></a></span>#回復數量：<div class="col2_left j_threadlist_li_left"> <span class="threadlist_rep_num center_text" title="回復">822</span> </div>#發帖日期： <span class="pull-right is_show_create_time" title="創建時間">7-20</span>

分析完之后，我們就能很容易的通過soup.find()方法得到我們想要的結果。

具體代碼的實現：

''' 抓取百度貼吧---西部世界吧的基本內容 爬蟲線路： requests - bs4 Python版本： 3.6 OS： mac os 12.13.6 '''import requests import time from bs4 import BeautifulSoup# 首先我們寫好抓取網頁的函數def get_html(url):try:r = requests.get(url, timeout=30)r.raise_for_status()# 這里我們知道百度貼吧的編碼是utf-8，所以手動設置的。爬去其他的頁面時建議使用：# r.endcodding = r.apparent_endcondingr.encoding = 'utf-8'return r.textexcept:return " ERROR "def get_content(url):'''分析貼吧的網頁文件，整理信息，保存在列表變量中'''# 初始化一個列表來保存所有的帖子信息：comments = []# 首先，我們把需要爬取信息的網頁下載到本地html = get_html(url)# 我們來做一鍋湯soup = BeautifulSoup(html, 'lxml')# 按照之前的分析，我們找到所有具有‘ j_thread_list clearfix’屬性的li標簽。返回一個列表類型。liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})# 通過循環找到每個帖子里的我們需要的信息：for li in liTags:# 初始化一個字典來存儲文章信息comment = {}# 這里使用一個try except 防止爬蟲找不到信息從而停止運行try:# 開始篩選信息，并保存到字典中comment['title'] = li.find('a', attrs={'class': 'j_th_tit '}).text.strip()comment['link'] = "http://tieba.baidu.com/" + \li.find('a', attrs={'class': 'j_th_tit '})['href']comment['name'] = li.find('span', attrs={'class': 'tb_icon_author '}).text.strip()comment['time'] = li.find('span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()comment['replyNum'] = li.find('span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()comments.append(comment)except:print('出了點小問題')return commentsdef Out2File(dict):'''將爬取到的文件寫入到本地保存到當前目錄的 TTBT.txt文件中。'''with open('TTBT.txt', 'a+') as f:for comment in dict:f.write('標題： {} \t 鏈接：{} \t 發帖人：{} \t 發帖時間：{} \t 回復數量： {} \n'.format(comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))print('當前頁面爬取完成')def main(base_url, deep):url_list = []# 將所有需要爬去的url存入列表for i in range(0, deep):url_list.append(base_url + '&pn=' + str(50 * i))print('所有的網頁已經下載到本地！ 開始篩選信息。。。。')#循環寫入所有的數據for url in url_list:content = get_content(url)Out2File(content)print('所有的信息都已經保存完畢！')base_url = 'https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8' # 設置需要爬取的頁碼數量 deep = 3if __name__ == '__main__':main(base_url, deep)

代碼里有詳細的注釋和思路，看不懂的話 多看幾遍 下面是爬完的結果：

好了今天的小例子到這里就結束了。

【搜索圓方圓，獲得“python教程”，“python下載”，“python入門”類相關信息。】

總結

以上是生活随笔為你收集整理的Python爬虫实践： 获取百度贴吧内容的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。