最近需要爬取某網站，無奈頁面都是JS渲染后生成的，普通的爬蟲框架搞不定，于是想到用Phantomjs搭一個代理。

Python調用Phantomjs貌似沒有現成的第三方庫（如果有，請告知小編），漫步了一圈，發(fā)現只有pyspider提供了現成的方案。

簡單試用了一下，感覺pyspider更像一個為新手打造的爬蟲工具，好比一個老媽子，有時無微不至，有時喋喋不休。 輕巧的小工具應該更受人喜愛，我也懷著一點私心，可以帶著我最愛的BeautifulSoup一塊兒用，而不用再學PyQuery（pyspider用來解析HTML），更不用忍受瀏覽器寫Python的糟糕體驗（偷笑）。

所以花了一個下午的時間，把pyspider當中實現Phantomjs代理的部分拆了出來，獨立成一個小的爬蟲模塊，希望大家會喜歡（感謝binux！）。

準備工作

你當然要有Phantomjs，廢話！（Linux下最好用supervisord守護，必須保持抓取的時候Phantomjs一直處于開啟狀態(tài)）

用項目路徑下的phantomjs_fetcher.js啟動：phantomjs phantomjs_fetcher.js [port]

安裝tornado依賴（使用了tornado的httpclient模塊）

調用是超級簡單的

from tornado_fetcher import Fetcher

# 創(chuàng)建一個爬蟲

>>> fetcher=Fetcher(

user_agent='phantomjs', # 模擬瀏覽器的User-Agent

phantomjs_proxy='http://localhost:12306', # phantomjs的地址

poolsize=10, # 最大的httpclient數量

async=False # 同步還是異步

)

# 開始連接Phantomjs的代碼，可以渲染JS！

>>> fetcher.fetch(url)

# 渲染成功后執(zhí)行額外的JS腳本（注意用function包起來！）

>>> fetcher.fetch(url, js_script='function(){setTimeout("window.scrollTo(0,100000)}", 1000)')

總結

以上是生活随笔為你收集整理的python获取渲染之后的网页_Phantomjs抓取渲染JS后的网页（Python代码）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。