requests

requests庫可以看看這篇文章
http://blog.csdn.net/shanzhizi/article/details/50903748
最近在學習嵩天老師的Python網(wǎng)絡(luò)爬蟲課程,記錄一下.

bs4

1.Beautiful Soup庫，也叫beautifulsoup4 或bs4
約定引用方式如下，即主要是用BeautifulSoup類

from bs4 import BeautifulSoup import bs4

2.BeautifulSoup庫解析器

3.BeautifulSoup類的基本元素

4.測試代碼(太亂了)

import requests from bs4 import BeautifulSoupr = requests.get('http://python123.io/ws/demo.html',timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding # print(r.text) demo = r.text soup = BeautifulSoup(demo,"html.parser") print(soup.title) tag = soup.a print(tag) print(soup.a.parent.name) #通過name獲得標簽的名字 print(soup.a.parent.parent.name) print(tag.attrs) #標簽的屬性,以字典形式打印,href class id print(tag.attrs['class']) print(tag.attrs['href']) print(type(tag)) # a標簽的類型 bs4中認可的屬性 print(tag.string) print(soup.p.string) print(type(soup.p.string)) #bs4.element.NavigableString類型,p標簽之間的內(nèi)容的類型

總結(jié)

以上是生活随笔為你收集整理的Python网络爬虫--BeautifulSoup库的基本元素的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。