日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪(fǎng)問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程语言 > python >内容正文

python

python爬取新闻网站标题_python如何正确抓取网页标题

發(fā)布時(shí)間:2025/3/11 python 15 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python爬取新闻网站标题_python如何正确抓取网页标题 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

有一個(gè)簡(jiǎn)單的錯(cuò)誤。HTML文件不能用正則表達(dá)式parse,因?yàn)樗奈姆ū日齽t表達(dá)式高級(jí),具體原因參考這里。

推薦解析這種HTML用一些第三方庫(kù),例如mechanize

我的代碼如下:import mechanize

import cookielib

if __name__=='__main__':

br = mechanize.Browser()

br.set_cookiejar(cookielib.LWPCookieJar()) # Cookie jar

br.set_handle_equiv(True) # Browser Option

br.set_handle_gzip(True)

br.set_handle_redirect(True)

br.set_handle_referer(True)

br.set_handle_robots(False)

br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.open("http://apple.com")

print br.title()

輸出為Apple

對(duì)于mechanize的詳細(xì)使用,參考這里

安裝mechanize,就easy_install一下就好。

總結(jié)

以上是生活随笔為你收集整理的python爬取新闻网站标题_python如何正确抓取网页标题的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。