那天在新浪微博上看到北北出的題目，由于最近也在做類似的爬蟲研究，所以就有了這個實驗。

后來在QQ上和北北說了下，要求是啥都抓，就抓烏云的。。。

然后就開始了。。

第一個版本如下，后續(xù)不斷改進直到滿足需求：

import urllib2; from sgmllib import SGMLParser;class CatCh(SGMLParser):def reset(self):self.url=[]SGMLParser.reset(self)def start_a(self,attrs):href = [v for k, v in attrs if k == 'href']if href:self.url.extend(href)content = urllib2.urlopen("http://wooyun.org/").read() catch=CatCh() catch.feed(content) for item in catch.url:print item

?

轉(zhuǎn)載于:https://www.cnblogs.com/xiaoCon/p/3160657.html

總結(jié)

以上是生活随笔為你收集整理的python爬虫实验的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。