Java实现爬取哔哩哔哩视频信息程序
生活随笔
收集整理的這篇文章主要介紹了
Java实现爬取哔哩哔哩视频信息程序
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一,說明
爬取b站視頻信息時,如果直接用URL打開流進行爬取網站源碼時,會發(fā)現Java程序上一片空白(既然大家看這篇文章了,想必大家頁遇到了這個問題),說明無法直接爬取,接下來我會講解怎么爬取b站。
二,程序演示
視頻地址:https://www.bilibili.com/video/BV1Kb411W75N/
(注意視頻地址一定要是這個格式的,因為本程序還沒通用性,大家也可以改改啊啊啊)
程序代碼
import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.MalformedURLException; import java.net.URL; import java.nio.charset.Charset; import java.util.regex.Matcher; import java.util.regex.Pattern;public class text04_bilibili { public static void main(String[] args) {String urlstr1;String urlstr2;String text;String name;String time;int a=0;String bvid;Pattern p1;Matcher m1;Pattern p2;Matcher m2;//分享出來的b站視頻的鏈接urlstr1 = "https://www.bilibili.com/video/BV1Kb411W75N/";//bvid就是 BV1Kb411W75N 這串字符 下面這行代碼對取視頻的bvid沒有通用型,讀者可以自己改進一下,現在只能處理b站視頻 分享 處獲得的鏈接bvid = urlstr1.substring(urlstr1.indexOf("BV"),urlstr1.lastIndexOf("/"));//b站視頻信息存放在https://api.bilibili.com/x/player/pagelist?bvid=BV1Kb411W75N這個鏈接里 或者https://api.bilibili.com/x/player/pagelist?aid=48144058這個鏈接里//我會在文章里講解bvid和aid在哪獲取(不用研究bvid和aid是啥,就把他當作名字就行) 本程序利用bvid操作urlstr2 = "https://api.bilibili.com/x/player/pagelist?bvid="+bvid;//獲得網站源碼text = text04_bilibili.getURLText(urlstr2, "utf-8");p1 = Pattern.compile("part\":\"[\\s\\S]+?\"");m1 = p1.matcher(text);p2 = Pattern.compile("duration\":[\\s\\S]+?,");m2 = p2.matcher(text);while(m1.find()) {a++;if(m2.find()) {//此處獲得視頻名稱name = m1.group().substring(7,m1.group().length()-1);//此處獲得播放時長time = m2.group().substring(10,m2.group().length()-1);//此處這個視頻播放鏈接就是https://www.bilibili.com/video/BV1Kb411W75N?p=第幾集System.out.println("編號:"+a+" "+name+" <----> "+"視頻長度: "+Integer.parseInt(time)/60+"分鐘"+Integer.parseInt(time)%60+"秒"+" 播放鏈接:https://www.bilibili.com/video/"+bvid+"?p="+a);}}System.out.println("\n\n總共:"+a+"集"); } public static String getURLText(String urlstr,String charset) {String temp = "";StringBuffer sb = new StringBuffer();try {URL url = new URL(urlstr);BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(),Charset.forName(charset)));while((temp=br.readLine())!=null) {sb.append(temp);}} catch (MalformedURLException e) {// TODO Auto-generated catch blocke.printStackTrace();}catch (IOException e) {// TODO: handle exception}return sb.toString(); } }三,爬取信息需要的網址在哪找到的
1,bvid的那個網址在哪獲取
我把network里的所有網址都試了一遍才找到!!!
大家如果想找一下可以按我圖中操作,https://api.bilibili.com/x/player/pagelist?bvid=BV1Kb411W75N
2,aid在哪獲取
四,結束
哪里不會的可以評論區(qū)問我哈
總結
以上是生活随笔為你收集整理的Java实现爬取哔哩哔哩视频信息程序的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 网站购买空间还是服务器,网站用空间还是服
- 下一篇: 用Java写一个水仙花数算法