2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

scrapy的selector提供了xpath語言解析器，可以很方便的在將數(shù)據(jù)從復(fù)雜的網(wǎng)頁源碼中過濾。這里先不管使用JS將數(shù)據(jù)加載到前臺(tái)的類型，先來最簡單的，例如這個(gè)三國演義：http://www.newxue.com/gkmz/sgyy。

首先使用scrapy自帶的交互shell打開網(wǎng)頁進(jìn)行分析：

scrapy?shell?'?#注意一定不要忘記兩個(gè)''

然后使用火狐打開http://www.newxue.com/gkmz/sgyy，激活firebug。（用chrome，IE自帶的開發(fā)工具也行，但個(gè)人感覺沒有firebug好使）

差不多就是這個(gè)界面了：

然后利用右上角的搜索功能快速定位希望提取的元素：

要提取的就是上圖所示的網(wǎng)址：http://www.newxue.com/baike/12454027234683.html：

利用firebug的右鍵復(fù)制xpath功能得到xpath：

/html/body/div[7]/div[1]/div/div[2]/div[6]/ul/li[2]/a

這樣肯定是不行的。。

需要改一下：

/html/body/div/div/div/div/div[@class="xslttext"]/ul/li/a

在shell中驗(yàn)證一下：

response.xpath('/html/body/div/div/div/div/div[@class="xslttext"]/ul/li/a/@href').extract()

正常的化會(huì)返回：

[u'http://www.newxue.com/zuoze/12446132301834.html',?u'http://www.newxue.com/baike/12454027234683.html'...]

這樣就可以編寫第一個(gè)parse方法了：

????def?parse(self,?response):#print?response.urlURLs?=?response.xpath('/html/body/div/div/div/div/div[@class="xslttext"]/ul/li/a/@href').extract();reg?=?0for?i?in?URLs:yield?scrapy.Request(i,?callback=self.parsebook)

接著按照上述方法分析文章頁面：http://www.newxue.com/baike/12454027234683.html，然后完成parsebook方法：

?????def?parsebook(self,?response):#print?response.urlTexts?=?response.xpath('/html/body/div/div/div[@id="dashu_text"]/p/text()').extract()for?i?in?Texts:print?i

這樣對三國演義的遞歸抓取就完成了。

待續(xù)

轉(zhuǎn)載于:https://my.oschina.net/u/1242185/blog/325727

總結(jié)

以上是生活随笔為你收集整理的Scrapy -- 05的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。