日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Quora cqa问题抓取

發布時間:2023/12/16 编程问答 42 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Quora cqa问题抓取 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.


quora是一個比較知名的社區問答網站,對于目前比較流行的cqa問題,通過quora提供的搜索工具來找到相似的問題進而抽取答案。

事實上,quora的搜索大致是根據關鍵詞匹配的。


String s=HttpRequest.sendGet("https://www.quora.com/search","q=Have%20you%20ever%20done%20the%20NoFap%20Challenge?"); Document doc = Jsoup.parse(s); List<String> answer_url = new ArrayList<String>(); Elements ctag = doc.select("div.pagedlist_item"); System.out.println(s); for(Element question : ctag){Element href = question.select("a.question_link").first();if(href != null){System.out.println("www.quora.com" + href.attr("href"));answer_url.add("https://www.quora.com" + href.attr("href"));} } for(String url : answer_url){//url = "http://www.quora.com/What-is-the-craziest-thing-you-have-ever-said-or-done-at-an-interview-and-still-got-the-job";String page = HttpRequest.sendGet(url,"");//System.out.println(page);SolveAnswerPage sol = new SolveAnswerPage();List<String> iRes = sol.solve(page);//for(String tem : iRes){// System.out.println(tem);//}//break; } System.out.println("done");

public class SolveAnswerPage {public List<String> solve(String s){List<String> res = new ArrayList<String>();Document doc = Jsoup.parse(s);Elements answers = doc.select("div.pagedlist_item");System.out.println(answers.size());for(Element answer : answers){res.add(answer.text());System.out.println(answer.text());}return res;} }


主要是借助HttpRequest類實現對給定問題的相似問題的抓取,主要分為兩個步驟:

1.首先通過給定問題的相似問題搜索頁面,得到排名前面的問題的url鏈接列表

2.根據第一步的url列表,抓取相應問題頁面的answer,并返回抓取結果


總結

以上是生活随笔為你收集整理的Quora cqa问题抓取的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。