使用Python爬取最好大学网大学排名
生活随笔
收集整理的這篇文章主要介紹了
使用Python爬取最好大学网大学排名
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
源代碼:
#-*-coding:utf-8-*- ''' Created on 2017年3月17日 @author: lavi ''' import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url):try:r = requests.get(url)r.raise_for_statusr.encoding = r.apparent_encodingreturn r.textexcept:return ""def fillUnivList(univList,html):soup = BeautifulSoup(html,"html.parser")for tr in soup.find("tbody").children:if isinstance(tr,bs4.element.Tag): #tobody有的節(jié)點(diǎn)是空串,屬于要判斷類型進(jìn)行過濾tds = tr("td") #等價(jià)于tr.find_all("td")univList.append([tds[0].string,tds[1].string,tds[2].string]) #NavigableString可以跨越多個(gè)層次def printUnivList(univList,num):tplt = "{0:^6}\t{1:^10}\t{2:^6}" #:前的數(shù)字說明使用format函數(shù)的第幾個(gè)參數(shù)填充模板print(tplt.format("排名","學(xué)校名稱","總分",chr(12288)))for i in range(num):u = univList[i]print(tplt.format(u[0],u[1],u[2],chr(12288))) def main():url= "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html";html = getHTMLText(url)univList=[]fillUnivList(univList,html)printUnivList(univList,20)main() ——— 中國(guó)大學(xué)MOOCPython網(wǎng)絡(luò)爬蟲與信息提取聽課筆記
總結(jié)
以上是生活随笔為你收集整理的使用Python爬取最好大学网大学排名的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: “你是程序员,帮我修个电脑吧” “不会,
- 下一篇: Unity AVPro视频播放路径问题(