案例开发分析 || Scheduler组件
準(zhǔn)備使用WebMagic實(shí)現(xiàn)爬取數(shù)據(jù)的功能。這里是一個(gè)比較完整的實(shí)現(xiàn)。
在這里我們實(shí)現(xiàn)的是聚焦網(wǎng)絡(luò)爬蟲(chóng),只爬取招聘的相關(guān)數(shù)據(jù)。
業(yè)務(wù)分析
今天要實(shí)現(xiàn)的是爬取https://www.51job.com/上的招聘信息。只爬取“計(jì)算機(jī)軟件”和“互聯(lián)網(wǎng)電子商務(wù)”兩個(gè)行業(yè)的信息
首先訪問(wèn)頁(yè)面并搜索兩個(gè)行業(yè)。結(jié)果如下
點(diǎn)擊職位詳情頁(yè),我們分析發(fā)現(xiàn)詳情頁(yè)還有一些數(shù)據(jù)需要抓取:
職位、公司名稱、工作地點(diǎn)、薪資、發(fā)布時(shí)間、職位信息、公司聯(lián)系方式、公司信息
數(shù)據(jù)庫(kù)表
CREATE TABLE `job_info` (`id` BIGINT(20) NOT NULL AUTO_INCREMENT COMMENT '主鍵id',`company_name` VARCHAR(100) DEFAULT NULL COMMENT '公司名稱',`company_addr` VARCHAR(200) DEFAULT NULL COMMENT '公司聯(lián)系方式',`company_info` TEXT COMMENT '公司信息',`job_name` VARCHAR(100) DEFAULT NULL COMMENT '職位名稱',`job_addr` VARCHAR(50) DEFAULT NULL COMMENT '工作地點(diǎn)',`job_info` TEXT COMMENT '職位信息',`salary_min` INT(10) DEFAULT NULL COMMENT '薪資范圍,最小',`salary_max` INT(10) DEFAULT NULL COMMENT '薪資范圍,最大',`url` VARCHAR(150) DEFAULT NULL COMMENT '招聘信息詳情頁(yè)',`time` VARCHAR(10) DEFAULT NULL COMMENT '職位最近發(fā)布時(shí)間',PRIMARY KEY (`id`) ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='招聘信息';實(shí)現(xiàn)流程
需要解析職位列表頁(yè),獲取職位的詳情頁(yè),再解析頁(yè)面獲取數(shù)據(jù)。
獲取url地址的流程如下
但是在這里有個(gè)問(wèn)題:在解析頁(yè)面的時(shí)候,很可能會(huì)解析出相同的url地址(例如商品標(biāo)題和商品圖片超鏈接,而且url一樣),如果不進(jìn)行處理,同樣的url會(huì)解析處理多次,浪費(fèi)資源。所以我們需要有一個(gè)url去重的功能
???????Scheduler組件
WebMagic提供了Scheduler可以幫助我們解決以上問(wèn)題。
Scheduler是WebMagic中進(jìn)行URL管理的組件。一般來(lái)說(shuō),Scheduler包括兩個(gè)作用:
-
對(duì)待抓取的URL隊(duì)列進(jìn)行管理。
-
對(duì)已抓取的URL進(jìn)行去重。
???????WebMagic內(nèi)置了幾個(gè)常用的Scheduler。如果你只是在本地執(zhí)行規(guī)模比較小的爬蟲(chóng),那么基本無(wú)需定制Scheduler,但是了解一下已經(jīng)提供的幾個(gè)Scheduler還是有意義的。
去重部分被單獨(dú)抽象成了一個(gè)接口:DuplicateRemover,從而可以為同一個(gè)Scheduler選擇不同的去重方式,以適應(yīng)不同的需要,目前提供了兩種去重方式。
RedisScheduler是使用Redis的set進(jìn)行去重,其他的Scheduler默認(rèn)都使用HashSetDuplicateRemover來(lái)進(jìn)行去重。
如果要使用BloomFilter,必須要加入以下依賴:
<!--WebMagic對(duì)布隆過(guò)濾器的支持--><dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>16.0</version></dependency>?
總結(jié)
以上是生活随笔為你收集整理的案例开发分析 || Scheduler组件的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 爬虫分类——通用网络爬虫、聚焦网络爬虫、
- 下一篇: 定时任务 ||