首先www.zhaopin.com是智聯招聘網站的首頁，進行搜索后，比如搜Java，點右鍵查看網頁源代碼可以看到，網頁里面搜到的內容是異步加載的如圖所示：

然后點擊f12打開開發者工具，如圖：

再點擊刷新查看發送的異步請求，并進行分析：

可以看到發送了兩個異步請求，發現第二個是個后端接口，直接拿到postman中進行測試 ，如圖：

發現是標準的接口，直接調用接口即可爬取到網站的數據，也就避免了對網頁進行分析，返回的是json數據?，還有需要注意的地方是pageSize請求的是60但是返回的卻是62：

然后查看網頁中填充的數據條目是62條。其他的就比較簡單了，直接根據url拼接發送請求，對每一個item進行解析即可，其中還需要進行url編碼，更多的代碼請訪問github地址?

?

總結

以上是生活随笔為你收集整理的爬取智联招聘网站的手段（scrapy）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。