昨天用python寫了一個天氣預報采集，今天趁著興頭寫個新聞采集的。

　　目標是，將騰訊新聞主頁上所有新聞爬取下來，獲得每一篇新聞的名稱、時間、來源以及正文。

　　接下來分解目標，一步一步地做。

?

　　步驟1：將主頁上所有鏈接爬取出來，寫到文件里。

　　根據(jù)上一篇文章的方法，可以簡單地獲取到整個主頁的文本內(nèi)容。

　　我們都知道html鏈接的標簽是“a”，鏈接的屬性是“href”，也就是要獲得html中所有tag=a，attrs=href 值。

　　查閱了資料，一開始我打算用HTMLParser，而且也寫出來了。但是它有一個問題，就是遇到中文字符的時候無法處理。

1 class parser(HTMLParser.HTMLParser): 2 def handle_starttag(self, tag, attrs): 3 if tag == 'a': 4 for attr, value in attrs: 5 if attr == 'href': 6 print value

　　后來使用了SGMLParser，它就沒有這個問題。

1 class URLParser(SGMLParser): 2 def reset(self): 3 SGMLParser.reset(self) 4 self.urls = [] 5 6 def start_a(self,attrs): 7 href = [v for k,v in attrs if k=='href'] 8 if href: 9 self.urls.extend(href)

　　SGMLParser針對某個標簽都需要重載它的函數(shù)，這里是把所有的鏈接放到該類的urls里。

1 lParser = URLParser()#分析器來的 2 socket = urllib.urlopen("http://news.qq.com/")#打開這個網(wǎng)頁 3 4 fout = file('urls.txt', 'w')#要把鏈接寫到這個文件里 5 lParser.feed(socket.read())#分析啦 6 7 reg = 'http://news.qq.com/a/.*'#這個是用來匹配符合條件的鏈接，使用正則表達式匹配 8 pattern = re.compile(reg) 9 10 for url in lParser.urls:#鏈接都存在urls里 11 if pattern.match(url): 12 fout.write(url+'\n') 13 14 fout.close()

　　這樣子就把所有符合條件的鏈接都保存到urls.txt文件里了。

?

　　步驟2：對于每一個鏈接，獲取它的網(wǎng)頁內(nèi)容。

　　很簡單，只需要打開urls.txt文件，一行一行地讀出來就可以了。

　　也許這里會顯得多此一舉，但是基于我對解耦的強烈愿望，我還是果斷地寫到文件里了。后面如果采用面向?qū)ο缶幊?#xff0c;重構(gòu)起來是十分方便的。

　　獲取網(wǎng)頁內(nèi)容部分也是相對簡單的，但是需要把網(wǎng)頁的內(nèi)容都保存到一個文件夾里。

　　這里有幾個新的用法：

1 os.getcwd()#獲得當前文件夾路徑 2 os.path.sep#當前系統(tǒng)路徑分隔符（是這個叫法嗎？）windows下是“\”，linux下是“/” 3 4 #判斷文件夾是否存在，如果不存在則新建一個文件夾 5 if os.path.exists('newsdir') == False: 6 os.makedirs('newsdir') 7 8 #str()用來將某個數(shù)字轉(zhuǎn)為字符串 9 i = 5 10 str(i)

　　有了這些方法，將字符串保存到某個文件夾下不同的文件就不再是一件困難的事了。

?

　　步驟3：枚舉每一個網(wǎng)頁，根據(jù)正則匹配獲得目標數(shù)據(jù)。

　　下面的方法是用來遍歷文件夾的。

1 #這個是用來遍歷某個文件夾的 2 for parent, dirnames, filenames in os.walk(dir): 3 for dirname in dirnames 4 print parent, dirname 5 for filename in filenames: 6 print parent, filename

　　遍歷，讀取，匹配，結(jié)果就出來了。

　　我使用的數(shù)據(jù)提取的正則表達式是這樣的：

reg = '<div class="hd">.*?<h1>(.*?)</h1>.*?<span class="pubTime">(.*?)</span>.*?<a .*?>(.*?)</a>.*?<div id="Cnt-Main-Article-QQ" .*?>(.*?)</div>'

　　其實這個并不能匹配到騰訊網(wǎng)的所有新聞，因為上面的新聞有兩種格式，標簽有一點差別，所以只能提取出一種。

　　另外一點就是通過正則表達式的提取肯定不是主流的提取方法，如果需要采集其他網(wǎng)站，就需要變更正則表達式，這可是一件比較麻煩的事情。

　　提取之后觀察可知，正文部分總是會參雜一些無關(guān)信息，比如“<script>...</script>”“<p></p>”等等。所以我再通過正則表達式將正文切片。

1 def func(str):#誰起的這個名字 2 strs = re.split("<style>.*?</style>|<script.*?>.*?</script>|&#[0-9]+;|<!--\[if !IE\]>.+?<!\[endif\]-->|<.*?>", str)#各種匹配，通過“|”分隔 3 ans = '' 4 #將切分的結(jié)果組合起來 5 for each in strs: 6 ans += each 7 return ans

　　這樣騰訊網(wǎng)上面的正文基本全部能夠提取出來。

　　到此整個采集也就結(jié)束了。

　　展示一下我提取到的結(jié)果（不使用自動換行，右邊隱藏了）：

　　

　　注意：

　　1、打開某個網(wǎng)址的時候，如果網(wǎng)址是壞的（打不開），若不處理則會報錯。我簡單地使用處理異常的方式，估計應該有其他方式。

try:socket = urllib.urlopen(url) except:continue

　　2、Python正則表達式中的“.”號，可以匹配任意字符，但是除了“\n”。

　　3、如何去除字符串末尾的“\n”？python的處理簡直優(yōu)雅到死啊！

1 if line[-1] == '\n': 2 line = line[0:-1]

?

　

轉(zhuǎn)載于:https://www.cnblogs.com/coltfoal/archive/2012/10/07/2714468.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的Python多篇新闻自动采集的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。