準(zhǔn)備使用WebMagic實(shí)現(xiàn)爬取數(shù)據(jù)的功能。這里是一個(gè)比較完整的實(shí)現(xiàn)。

在這里我們實(shí)現(xiàn)的是聚焦網(wǎng)絡(luò)爬蟲(chóng)，只爬取招聘的相關(guān)數(shù)據(jù)。

---

---

業(yè)務(wù)分析

今天要實(shí)現(xiàn)的是爬取https://www.51job.com/上的招聘信息。只爬取“計(jì)算機(jī)軟件”和“互聯(lián)網(wǎng)電子商務(wù)”兩個(gè)行業(yè)的信息

首先訪問(wèn)頁(yè)面并搜索兩個(gè)行業(yè)。結(jié)果如下

點(diǎn)擊職位詳情頁(yè)，我們分析發(fā)現(xiàn)詳情頁(yè)還有一些數(shù)據(jù)需要抓取：

職位、公司名稱、工作地點(diǎn)、薪資、發(fā)布時(shí)間、職位信息、公司聯(lián)系方式、公司信息

---

---

---

---

數(shù)據(jù)庫(kù)表

CREATE TABLE `job_info` (`id` BIGINT(20) NOT NULL AUTO_INCREMENT COMMENT '主鍵id',`company_name` VARCHAR(100) DEFAULT NULL COMMENT '公司名稱',`company_addr` VARCHAR(200) DEFAULT NULL COMMENT '公司聯(lián)系方式',`company_info` TEXT COMMENT '公司信息',`job_name` VARCHAR(100) DEFAULT NULL COMMENT '職位名稱',`job_addr` VARCHAR(50) DEFAULT NULL COMMENT '工作地點(diǎn)',`job_info` TEXT COMMENT '職位信息',`salary_min` INT(10) DEFAULT NULL COMMENT '薪資范圍，最小',`salary_max` INT(10) DEFAULT NULL COMMENT '薪資范圍，最大',`url` VARCHAR(150) DEFAULT NULL COMMENT '招聘信息詳情頁(yè)',`time` VARCHAR(10) DEFAULT NULL COMMENT '職位最近發(fā)布時(shí)間',PRIMARY KEY (`id`) ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='招聘信息';

---

---

實(shí)現(xiàn)流程

需要解析職位列表頁(yè)，獲取職位的詳情頁(yè)，再解析頁(yè)面獲取數(shù)據(jù)。

獲取url地址的流程如下

但是在這里有個(gè)問(wèn)題：在解析頁(yè)面的時(shí)候，很可能會(huì)解析出相同的url地址(例如商品標(biāo)題和商品圖片超鏈接，而且url一樣)，如果不進(jìn)行處理，同樣的url會(huì)解析處理多次，浪費(fèi)資源。所以我們需要有一個(gè)url去重的功能

---

---

???????Scheduler組件

WebMagic提供了Scheduler可以幫助我們解決以上問(wèn)題。

Scheduler是WebMagic中進(jìn)行URL管理的組件。一般來(lái)說(shuō)，Scheduler包括兩個(gè)作用：

• 對(duì)待抓取的URL隊(duì)列進(jìn)行管理。

• 對(duì)已抓取的URL進(jìn)行去重。

???????WebMagic內(nèi)置了幾個(gè)常用的Scheduler。如果你只是在本地執(zhí)行規(guī)模比較小的爬蟲(chóng)，那么基本無(wú)需定制Scheduler，但是了解一下已經(jīng)提供的幾個(gè)Scheduler還是有意義的。

去重部分被單獨(dú)抽象成了一個(gè)接口：DuplicateRemover，從而可以為同一個(gè)Scheduler選擇不同的去重方式，以適應(yīng)不同的需要，目前提供了兩種去重方式。

RedisScheduler是使用Redis的set進(jìn)行去重，其他的Scheduler默認(rèn)都使用HashSetDuplicateRemover來(lái)進(jìn)行去重。

如果要使用BloomFilter，必須要加入以下依賴：

<!--WebMagic對(duì)布隆過(guò)濾器的支持--><dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>16.0</version></dependency>

?

總結(jié)

以上是生活随笔為你收集整理的案例开发分析 || ​​​​​​​Scheduler组件的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。