知乎回答多線程爬蟲

模式

單問題爬取模式

相似問題爬取模式

輸出

? 文件名 問題題目

? 文件內(nèi)容

問題

問題id

回答者昵稱

回答者空間id

回答者id

回答者內(nèi)容

單問題爬取模式

功能 主要通過用戶提供的問題id，爬取單個問題下的所有回答

相似問題爬取模式

功能 通過用戶提供的起始問題id，以及相關(guān)內(nèi)容爬取數(shù)量，利用知乎的相關(guān)問題進(jìn)行自動檢索，并不斷遞歸至用戶提供的爬取數(shù)量（默認(rèn)數(shù)量為20）。

bug 由于知乎具有一定的反爬，所以在相似問題檢索時最大的檢索量為400，如果到達(dá)500就會觸發(fā)反爬機(jī)制，需要用戶填寫一個驗(yàn)證碼才可以繼續(xù)爬取。（也許未來有時間的話會把獲取驗(yàn)證碼的部分代碼補(bǔ)全，但具體機(jī)器打碼的實(shí)現(xiàn)還是太難了，所以還得自己手動輸入驗(yàn)證碼）

優(yōu)點(diǎn) 簡單，明了，使用requests庫進(jìn)行爬取，利用遞歸實(shí)現(xiàn)迭代檢索，代碼量不大。

缺點(diǎn) 功能較少，對線程的把握不夠好，可能會出現(xiàn)數(shù)據(jù)少量缺失的情況。

技術(shù)棧：

總結(jié)

以上是生活随笔為你收集整理的知乎回答多线程爬虫案例的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。