4.1 實現(xiàn)PageProcessor

這部分我們直接通過GithubRepoPageProcessor這個例子來介紹PageProcessor的編寫方式。我將PageProcessor的定制分為三個部分，分別是爬蟲的配置、頁面元素的抽取和鏈接的發(fā)現(xiàn)。

public?class?GithubRepoPageProcessor?implements?PageProcessor?{

?

????// 部分一：抓取網(wǎng)站的相關(guān)配置，包括編碼、抓取間隔、重試次數(shù)等

????private?Site site = Site.me().setRetryTimes(3).setSleepTime(1000);

?

????@Override

????// process是定制爬蟲邏輯的核心接口，在這里編寫抽取邏輯

????public?void?process(Page page) {

????????// 部分二：定義如何抽取頁面信息，并保存下來

????????page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());

????????page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());

????????if?(page.getResultItems().get("name") == null) {

????????????//skip this page

????????????page.setSkip(true);

????????}

????????page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));

?

????????// 部分三：從頁面發(fā)現(xiàn)后續(xù)的url地址來抓取

????????page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());

????}

?

????@Override

????public?Site getSite() {

????????return?site;

????}

?

????public?static?void?main(String[] args) {

?

????????Spider.create(new?GithubRepoPageProcessor())

????????????????//從"https://github.com/code4craft"開始抓

????????????????.addUrl("https://github.com/code4craft")

????????????????//開啟5個線程抓取

????????????????.thread(5)

????????????????//啟動爬蟲

????????????????.run();

????}

}

轉(zhuǎn)載于:https://www.cnblogs.com/cnblog-long/p/5376495.html

總結(jié)

以上是生活随笔為你收集整理的实现PageProcessor的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。