1.理論上講只要網(wǎng)頁上面能夠看到的數(shù)據(jù)都是可以爬取的，因?yàn)樗锌吹降木W(wǎng)頁上的數(shù)據(jù)都是服務(wù)器發(fā)送到我們電腦上面的，只是有的數(shù)據(jù)加密過，很難解密。

2.在網(wǎng)頁上無法看到或者無法獲取的數(shù)據(jù)，爬蟲同樣不可能拿到，比如一些付費(fèi)資料。

3.分析頁面數(shù)據(jù)的原則是從簡到繁，從易到難

1）直接通過網(wǎng)頁源代碼獲取

2）分析是否為ajax異步加載

3）數(shù)據(jù)是否被加密

?

請關(guān)注我的訂閱號? ?松門一枝花? ?

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的爬虫的重要思想的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。