爬取內容：中國最好的大學排名

輸入：大學排名網頁的url輸入

輸出：大學排名信息的屏幕輸出

技術路線：requests，bs4

step1：從網絡爬取網頁內容

step2：提取網頁信息到合適的數據結構

step3:利用數據結構展示并輸出結果

URL:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2017.html

查看robots協議：http://www.zuihaodaxue.cn/robots.txt

代碼：

import requests import bs4 from bs4 import BeautifulSoupdef getHTMLText(url):'''獲取網頁信息的通用框架'''try:r=requests.get(url,timeout=30)r.raise_for_status()r.encoding=r.apparent_encodingreturn r.textexcept:return ''def fillUnivList(ulist,html):soup=BeautifulSoup(html,'html.parser')# 檢查網頁代碼可以發現數據都儲存在tboyd標簽中，這里需要對tbody的兒子節點進行遍歷for tr in soup.find(&#

總結

以上是生活随笔為你收集整理的爬虫中国最好的大学排名的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。