這次都是一些純語言的表達，可能會有點啰嗦，或者有點枯燥，也是對爬蟲的一些小小的見解，可能只是一些常見話，哈哈，還是耐心的寫完。

網(wǎng)絡(luò)爬蟲的整體執(zhí)行流程：

1)確定一個(多個)種子網(wǎng)頁

2)進行數(shù)據(jù)內(nèi)容的提取

3)將網(wǎng)頁中的關(guān)聯(lián)網(wǎng)頁鏈接進行提取出來

4)將尚未爬去的關(guān)聯(lián)網(wǎng)頁內(nèi)容放入到一個隊列中

5)從隊列中取出一個待爬去的頁面，判斷之前是否爬過

6)把沒有爬過的內(nèi)容進行爬取，并進行之前的重復(fù)操作

7)直到隊列中沒有新的內(nèi)容，爬蟲執(zhí)行結(jié)束

跳 動

舞 蹈

這樣進行爬蟲時，一般會有一些概念必須知道的：

廣度優(yōu)先遍歷：指網(wǎng)絡(luò)爬蟲會先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁，然后選擇其中的一種鏈接網(wǎng)頁，繼續(xù)抓取在此網(wǎng)頁中的鏈接的所有網(wǎng)頁。這個方法最常用，也可以進行網(wǎng)絡(luò)爬蟲并行處理，提高爬去數(shù)據(jù)效率。

廣度優(yōu)先遍歷就是像金字塔一樣，首先抓取第一層數(shù)據(jù)，作為種子節(jié)點，然后遍歷第二層數(shù)據(jù)，接著遍歷第三層數(shù)據(jù)，等等以此類推

從一個已知的種子鏈接開始寬度的遍歷網(wǎng)頁，為了知道哪些網(wǎng)頁可以進行抓取，需要將新發(fā)現(xiàn)的網(wǎng)頁存儲到一個URL隊列中，使用ArrayDeque實現(xiàn)一個隊列，為了避免重復(fù)訪問一個網(wǎng)址，需要將遍歷過的網(wǎng)頁URL存入到歷史表中，使用HashSet實現(xiàn)這個歷史表。如果使用Queue來實現(xiàn)ToDo,則對每一個增加到ToDo的元素都需要進行對象封裝，因為ArrayQueue底層采用數(shù)組實現(xiàn)，所以增加到ArrayQueue的元素不需要對象封裝，ArrayDeque性能比Queue更好，所以todo采用ArrayDeque實現(xiàn)。

在爬蟲需要注意的一些事項：

1：分任務(wù)分包時，有可能出現(xiàn)線程安全問題

2：數(shù)據(jù)重復(fù)問題

3：頻率控制問題(盡量不要過快，有可能被發(fā)爬蟲干掉)

4：對象的創(chuàng)建和銷毀問題

5：沒有考慮到的所有問題

如感覺不錯點擊“好看”

總結(jié)

以上是生活随笔為你收集整理的java广度优先爬虫示例,【爬虫】广度优先遍历抓取数据概述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。