下面我們創(chuàng)建一個真正的爬蟲例子

爬取我的博客園個人主頁首頁的推薦文章列表和地址

scrape_home_articles.py

from urllib.request importurlopenfrom bs4 importBeautifulSoupimportre

html= urlopen("http://www.cnblogs.com/davidgu")

bsObj= BeautifulSoup(html, "html.parser")for link in bsObj.find("div", {"id":"main_container"}).findAll("a", href=re.compile("^http://www.cnblogs.com/davidgu/p")):if 'href' in link.attrs and not('class' inlink.attrs):print(link.string)print(link.attrs['href'])print("--------------------------------------------------------------")

運行結(jié)果：

[置頂]解決adb server端口被占用的問題

http://www.cnblogs.com/davidgu/p/4515236.html

--------------------------------------------------------------

[置頂]解決Eclipse下不自動拷貝apk到模擬器問題( The connection to adb is down, and a sever

http://www.cnblogs.com/davidgu/p/4390661.html

--------------------------------------------------------------

常用的正則表達式一覽

http://www.cnblogs.com/davidgu/p/4831357.html

--------------------------------------------------------------

C++ 11 - STL - 函數(shù)對象(Function Object) (上)

http://www.cnblogs.com/davidgu/p/4829097.html

--------------------------------------------------------------

...

總結(jié)

以上是生活随笔為你收集整理的python网页爬虫例子_Python网络爬虫 - 一个简单的爬虫例子的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。