GNE（GeneralNewsExtractor）是一個(gè)通用新聞網(wǎng)站正文抽取模塊，輸入一篇新聞網(wǎng)頁(yè)的 HTML， 輸出正文內(nèi)容、標(biāo)題、作者、發(fā)布時(shí)間、正文中的圖片地址和正文所在的標(biāo)簽源代碼。GNE在提取今日頭條、網(wǎng)易新聞、游民星空、 觀察者網(wǎng)、鳳凰網(wǎng)、騰訊新聞、ReadHub、新浪新聞等數(shù)百個(gè)中文新聞網(wǎng)站上效果非常出色，幾乎能夠達(dá)到100%的準(zhǔn)確率。

使用方式非常簡(jiǎn)單：

from gne import GeneralNewsExtractor

extractor = GeneralNewsExtractor()
html = '網(wǎng)站源代碼'
result = extractor.extract(html)
print(result)

GNE 的輸入是經(jīng)過(guò) js 渲染以后的 HTML 代碼，所以 GNE 可以配合Selenium 或者 Pyppeteer 使用。

下圖是 GNE 配合 Selenium 實(shí)現(xiàn)的一個(gè) Demo：

對(duì)應(yīng)的代碼為：

import time
from gne import GeneralNewsExtractor
from selenium.webdriver import Chrome


driver = Chrome('./chromedriver')
driver.get('https://www.toutiao.com/a6766986211736158727/')
time.sleep(3)
extractor = GeneralNewsExtractor()
result = extractor.extract(driver.page_source)
print(result)

下圖是 GNE 配合 Pyppeteer 實(shí)現(xiàn)的 Demo：

對(duì)應(yīng)代碼如下：

import asyncio
from gne import GeneralNewsExtractor
from pyppeteer import launch

async def main():
    browser = await launch(executablePath='/Applications/Google Chrome.app/Contents/MacOS/Google Chrome')
    page = await browser.newPage()
    await page.goto('https://news.163.com/20/0101/17/F1QS286R000187R2.html')
    extractor = GeneralNewsExtractor()
    result = extractor.extract(await page.content())
    print(result)
    input('檢查完成以后回到這里按下任意鍵')

asyncio.run(main())

如何安裝 GNE

現(xiàn)在你可以直接使用 pip 安裝 GNE 了：

pip install gne

如果訪問(wèn)pypi 官方源太慢，你也可以使用網(wǎng)易源：

pip install gne -i https://mirrors.163.com/pypi/simple/

安裝過(guò)程如下圖所示：

功能特性

獲取正文源代碼

在extract()方法只傳入網(wǎng)頁(yè)源代碼，不添加任何額外參數(shù)時(shí)，GNE 返回如下字段：

title：新聞標(biāo)題
publish_time：新聞發(fā)布時(shí)間
author：新聞作者
content：新聞?wù)?br /> images: 正文中的圖片（相對(duì)路徑或者絕對(duì)路徑）

可能有些朋友希望獲取新聞?wù)乃跇?biāo)簽的源代碼，此時(shí)可以給extract()方法傳入with_body_html參數(shù)，設(shè)置為 True：

extractor = GeneralNewsExtractor()
extractor.extract(html, with_body_html=True)

返回?cái)?shù)據(jù)中將會(huì)增加一個(gè)字段body_html，它的值就是正文對(duì)應(yīng)的 HTML 源代碼。

運(yùn)行效果如下圖所示：

總是返回圖片的絕對(duì)路徑

默認(rèn)情況下，如果新聞中的圖片使用的是相對(duì)路徑，那么 GNE 返回的images字段對(duì)應(yīng)的值也是圖片相對(duì)路徑的列表。

如果你想始終讓 GNE 返回絕對(duì)路徑，那么你可以給extract()方法增加host參數(shù)，這個(gè)參數(shù)的值是圖片的域名，例如：

extractor = GeneralNewsExtractor()
extractor.extract(html, host='https://www.kingname.info')

這樣，如果新聞中的圖片是/images/pic.png，那么 GNE 返回時(shí)會(huì)自動(dòng)把它變?yōu)?code>https://www.kingname.info/images/pic.png。

指定新聞標(biāo)題所在的 XPath

GNE 預(yù)定義了一組 XPath 和正則表達(dá)式用于提取新聞的標(biāo)題。但某些特殊的新聞網(wǎng)站可能無(wú)法提取標(biāo)題，此時(shí)，你可以給extract()方法指定title_xpath參數(shù)，用于提取新聞標(biāo)題：

extractor = GeneralNewsExtractor()
extractor.extract(html, title_xpath='//title/text()')

提前移除噪聲標(biāo)簽

某些新聞下面可能會(huì)存在長(zhǎng)篇大論的評(píng)論，這些評(píng)論看起來(lái)比新聞?wù)摹案瘛闭模瑸榱朔乐顾麄兏蓴_新聞的提取，可以通過(guò)給extract()方法傳入noise_node_list參數(shù)，提前把這些噪聲節(jié)點(diǎn)移除。noise_node_list的值是一個(gè)列表，里面是一個(gè)或多個(gè) XPath：

extractor = GeneralNewsExtractor()
extractor.extract(html, noise_node_list=['//div[@class="comment-list"]', '//*[@style="display:none"]'])

使用配置文件

API 中的參數(shù) title_xpath、 host、 noise_node_list、 with_body_html除了直接寫(xiě)到 extract() 方法中外，還可以通過(guò)一個(gè)配置文件來(lái)設(shè)置。

請(qǐng)?jiān)陧?xiàng)目的根目錄創(chuàng)建一個(gè)文件 .gne，配置文件可以用 YAML 格式，也可以使用 JSON 格式。

YAML 格式配置文件

title:
   xpath: //title/text()
host: https://www.xxx.com
noise_node_list:
   - //div[@class="comment-list"]
   - //*[@style="display:none"]
with_body_html: true

JSON 格式配置文件

{
   "title": {
       "xpath": "//title/text()"
   },
   "host": "https://www.xxx.com",
   "noise_node_list": ["//div[@class="comment-list"]",
                       "//*[@style="display:none"]"],
   "with_body_html": true
}

這兩種寫(xiě)法是完全等價(jià)的。

配置文件與 extract() 方法的參數(shù)一樣，并不是所有字段都需要提供。你可以組合填寫(xiě)你需要的字段。

如果一個(gè)參數(shù)，既在 extract() 方法中，又在 .gne 配置文件中，但值不一樣，那么 extract() 方法中的這個(gè)參數(shù)的優(yōu)先級(jí)更高。

FAQ

GeneralNewsExtractor(以下簡(jiǎn)稱GNE)是爬蟲(chóng)嗎？

GNE不是爬蟲(chóng)，它的項(xiàng)目名稱General News Extractor表示通用新聞抽取器。它的輸入是HTML，輸出是一個(gè)包含新聞標(biāo)題，新聞?wù)模髡撸l(fā)布時(shí)間的字典。你需要自行設(shè)法獲取目標(biāo)網(wǎng)頁(yè)的HTML。

GNE 現(xiàn)在不會(huì)，將來(lái)也不會(huì)提供請(qǐng)求網(wǎng)頁(yè)的功能。

GNE支持翻頁(yè)嗎？

GNE不支持翻頁(yè)。因?yàn)镚NE不會(huì)提供網(wǎng)頁(yè)請(qǐng)求的功能，所以你需要自行獲取每一頁(yè)的HTML，并分別傳遞給GNE。

GNE支持哪些版本的Python？

不小于Python 3.6.0

我用requests/Scrapy獲取的HTML傳入GNE，為什么不能提取正文？

GNE是基于HTML來(lái)提取正文的，所以傳入的HTML一定要是經(jīng)過(guò)JavaScript渲染以后的HTML。而requests和Scrapy獲取的只是JavaScript渲染之前的源代碼，所以無(wú)法正確提取。

另外，有一些網(wǎng)頁(yè)，例如今日頭條，它的新聞?wù)膶?shí)際上是以JSON格式直接寫(xiě)在網(wǎng)頁(yè)源代碼的，當(dāng)頁(yè)面在瀏覽器上面打開(kāi)的時(shí)候，JavaScript把源代碼里面的正文解析為HTML。這種情況下，你在Chrome上面就看不到Ajax請(qǐng)求。

所以建議你使用Puppeteer/Pyppeteer/Selenium之類的工具獲取經(jīng)過(guò)渲染的HTML再傳入GNE。

GNE 支持非新聞?lì)惥W(wǎng)站嗎（例如博客、論壇……）

不支持。

關(guān)于 GNE

GNE 官方文檔：https://generalnewsextractor.readthedocs.io/

GNE 的項(xiàng)目源代碼在：https://github.com/kingname/GeneralNewsExtractor。

關(guān)于作者

總結(jié)

以上是生活随笔為你收集整理的GNE: 4行代码实现新闻类网站通用爬虫的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。