數(shù)據(jù)源http://video.mtime.com/search

原數(shù)據(jù)是json格式的，其中i標(biāo)示頁(yè)碼

http://video.mtime.com/api/videoSearch/getFilterData?h=movie&y=2019-2015&r=美國(guó)&p=3&s=1&i=1&c=30

<dependency><groupId>cn.edu.hfut.dmic.webcollector</groupId><artifactId>WebCollector</artifactId><version>2.73-alpha</version> </dependency> public class MtimeMovieCrawler extends RamCrawler {public MtimeMovieCrawler(int pageNum) {//拼接url，將需要爬取url丟給Crawlerfor (int i = 1; i <= pageNum; i++) {String url = String.format("http://video.mtime.com/api/videoSearch/getFilterData?h=movie&y=2019-2015&r=美國(guó)&p=3&s=1&i=%s&c=30", i);addSeedAndReturn(url);}}@Overridepublic void visit(Page page, CrawlDatums next) {//解析抓取到的數(shù)據(jù)，因?yàn)槭莏son結(jié)果，實(shí)際就是解析jsonJsonArray list = page.jsonObject().get("movieIntegrateList").getAsJsonArray();list.forEach(element->{JsonObject movie = element.getAsJsonObject();System.out.println(movie.get("movieId").getAsString()+" "+movie.get("titleCn").getAsString()+" ("+movie.get("year").getAsInt()+")");System.out.println("導(dǎo)演："+movie.get("directorNameCn1").getAsString());System.out.println("演員："+movie.get("actorNameCn1").getAsString()+" "+movie.get("actorNameCn2").getAsString());System.out.println("海報(bào)："+"http:"+movie.get("coverPath").getAsString());System.out.println("");});}public static void main(String[] args) throws Exception {MtimeMovieCrawler crawler = new MtimeMovieCrawler(5);//開(kāi)啟5個(gè)線程抓取數(shù)據(jù)crawler.setThreads(5);//間隔500毫秒執(zhí)行crawler.getConf().setExecuteInterval(500);crawler.start(1);} } 218090 復(fù)仇者聯(lián)盟4：終局之戰(zhàn) (2019) 導(dǎo)演：安東尼·羅素 演員：小羅伯特·唐尼 克里斯·埃文斯 海報(bào)：http://img5.mtime.cn/mg/2019/03/29/095612.14234221_200X200X2.jpg235701 大偵探皮卡丘 (2019) 導(dǎo)演：羅伯·萊特曼 演員：瑞安·雷諾茲 賈斯提斯·史密斯 海報(bào)：http://img5.mtime.cn/mg/2019/05/06/105807.30044254_200X200X2.jpg213190 哥斯拉2：怪獸之王 (2019) 導(dǎo)演：邁克爾·道赫蒂 演員：米莉·博比·布朗 維拉·法梅加 海報(bào)：http://img5.mtime.cn/mg/2019/05/23/095634.71391607_200X200X2.jpg

總結(jié)

以上是生活随笔為你收集整理的使用WebCollector爬取时光网电影数据的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。