???????本以為蜘蛛很簡單,根據(jù)一個url,抓取到html內(nèi)容,然后根據(jù)正則匹配數(shù)據(jù)入庫.卻發(fā)現(xiàn),越看資料越復(fù)雜,蜘蛛應(yīng)該根據(jù)抓取相似頁面自動生成抓取模板,而且蜘蛛還要支持cookies和會自登錄等多種協(xié)議.
????????頁面解析方面,也不是簡單的獲得標題和內(nèi)容那么簡單,還要做dom解析,js解析,模擬瀏覽器的可視化抓取等等.
????????先從頁面數(shù)據(jù)的抽取這方面入手研究吧.

轉(zhuǎn)載于:https://www.cnblogs.com/xinzhyu/archive/2008/05/29/1209743.html

總結(jié)

以上是生活随笔為你收集整理的垂直搜索引擎蜘蛛的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。