知乎回答多線程爬蟲

模式

單問題爬取模式

相似問題爬取模式

輸出

? 文件名 問題題目

? 文件內容

問題

問題id

回答者昵稱

回答者空間id

回答者id

回答者內容

單問題爬取模式

功能 主要通過用戶提供的問題id，爬取單個問題下的所有回答

相似問題爬取模式

功能 通過用戶提供的起始問題id，以及相關內容爬取數量，利用知乎的相關問題進行自動檢索，并不斷遞歸至用戶提供的爬取數量（默認數量為20）。

bug 由于知乎具有一定的反爬，所以在相似問題檢索時最大的檢索量為400，如果到達500就會觸發(fā)反爬機制，需要用戶填寫一個驗證碼才可以繼續(xù)爬取。（也許未來有時間的話會把獲取驗證碼的部分代碼補全，但具體機器打碼的實現還是太難了，所以還得自己手動輸入驗證碼）

優(yōu)點 簡單，明了，使用requests庫進行爬取，利用遞歸實現迭代檢索，代碼量不大。

缺點 功能較少，對線程的把握不夠好，可能會出現數據少量缺失的情況。

技術棧：

總結

以上是生活随笔為你收集整理的知乎回答多线程爬虫案例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。