針對Python爬蟲，我還是有一定的話語權的

我之前就是先學習Python基礎，然后用Python做了幾個網站，后面需要數據，所以開始學習Python的爬蟲技術。

關于Python方面的爬蟲，

最基礎的用法實際上就是一個函數庫，這個函數庫的名字叫做request庫，在request的參數里面可以傳遞你需要爬取的URL，你的ip代理地址，和瀏覽器的header，這三個參數是最重要的，因為ip代理和瀏覽器header需要偽裝，這是反爬蟲最基礎的知識

一段時間后，你發現你的爬蟲程序單擊肯定是不夠用了，你需要分布式爬蟲提高效率，所以這個時候就涉及到另外一個分布式爬蟲框架scrapy

一般大型爬蟲項目是需要使用這個框架的，甚至其中如果涉及到高并發的話，那么一般還會涉及到scrapy redis框架(guthub項目)

等到你需要爬取的網站越來越復雜，甚至其中很多網站都使用了動態JavaScript技術去解析網頁，還有很多網頁會不斷的跳出驗證碼，需要人工輸入。這個時候就需要結合另外一個叫做Splash的框架,專門用來偽造cookies，自動登錄驗證等等動態的爬取

等到這些框架基本上很熟悉之后，你可能會涉及到自己從頭開發一個定制框架，那個就涉及到更高階的爬蟲領域。

這個時候你就已經小有所成了。

我們項目已經結合了上述所有的框架，在這方面也有比較豐富的經驗，如果你對這一塊感興趣，可以隨時和我共同探討。祝你成功！

總結

以上是生活随笔為你收集整理的python爬虫在哪里学_学完了python基础想学习python爬虫从哪里学起呢？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。