當前位置：首頁 > 编程语言 > asp.net >内容正文

asp.net

python之scrapy：攻克技术点ASP.NET分页处理、request和response传参、pipeline区分传来Items

發布時間：2023/12/8 asp.net 45 豆豆

生活随笔收集整理的這篇文章主要介紹了 python之scrapy：攻克技术点ASP.NET分页处理、request和response传参、pipeline区分传来Items 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

上面一篇介紹了scrapy抓取的大概架構，此篇文章針對一些技術問題進行展開說明。

一、如何處理ASP.NET分頁?

我們還是深圳房地產信息系統為例，?

因為之前一直是寫ASP.NET的，.NET很多控件都是通過拖拽實現。很多代碼可以省去編寫過程，都是自動生成的。這里的下一頁操作就是通過自動生成的js代碼，scrapy框架是不能執行JS代碼。但我們清楚他執行了_doPostBack函數，我們再看_doPostBack是怎么定義的。?

function __doPostBack(eventTarget, eventArgument) {if (!theForm.onsubmit || (theForm.onsubmit() != false)) {theForm.__EVENTTARGET.value = eventTarget;theForm.__EVENTARGUMENT.value = eventArgument;theForm.submit();} }

來看看form1是怎么定義的?

里面有很多hidden的控件，里面的值很多而且都是自動產生的，具體我也不太清楚什么意思。?

但是我們清楚，他的原理就是向本頁面再次發送一次POST請求，進行分頁。所以從URL地址上看沒有變化。既然有POST操作，具體傳了些什么參數。靈光一現，與其研究JS代碼怎么封裝，不如直接抓包看看傳遞什么參數。

?這里使用經常用到的wireshark，簡單好用，清晰明了。

當我們點擊下一步以后，我們可以看見發送了一個HTTP請求，執行了POST方法。

進一步展開來看。所有的參數，一一羅列。傳遞參數也就是頁面上隱藏的。

回頭再來看我寫的分頁代碼，進行遞歸查詢。

def parse(self, response):context = response.xpath('//tr[@bgcolor="#F5F9FC"]/td[3]')dbhelp=RishomePipeline()for item in context:title=item.xpath('a/text()').extract_first()idstr=item.xpath('a/@href').extract_first()idstr=idstr[idstr.find('=')+1:]if dbhelp.ispropertyexits(idstr):returnrequest=scrapy.Request(url='http://ris.szpl.gov.cn/bol/projectdetail.aspx?id='+idstr, method='GET',callback=self.showdetailpage)yield request'''以下是分頁代碼，組合post_data結構體，POST請求要使用 yield scrapy.FormRequest(url=response.url,formdata =post_data,callback=self.parse,dont_filter=True)函數。'''next_page = response.xpath('//*[@id="AspNetPager1"]/div[2]/a[3]/@href')pnum=next_page.extract_first().split(',')[1].replace("'","").replace(")","")post_data = {"__EVENTTARGET" : "AspNetPager1","__EVENTARGUMENT" :pnum,"__VIEWSTATEENCRYPTED" : "","tep_name" : "","organ_name" : "","site_address" : "","AspNetPager1_input" : "1"}a = response.xpath('//*[@id="__VIEWSTATE"]/@value')post_data['__VIEWSTATE']=a.extract_first()b=response.xpath('//*[@id="__VIEWSTATEGENERATOR"]/@value')post_data['__VIEWSTATEGENERATOR']=b.extract_first()c = response.xpath('//*[@id="__EVENTVALIDATION"]/@value')post_data['__EVENTVALIDATION'] = c.extract_first()'''分頁到最后一頁，‘下一頁’的按鈕就不是鏈接了，頁面沒有href參數了，此時判斷分頁結束，即遞歸結束'''if pnum is not None and pnum!="":yield scrapy.FormRequest(url=response.url,formdata =post_data,callback=self.parse,dont_filter=True)

?二、request和response之間如何傳參

有些時候需要將兩個頁面的內容合并到一個item里面，這時候就需要在yield scrapy.Request的同時，傳遞一些參數到一下頁面中。這時候可以這樣操作。

request=scrapy.Request(houseurl,method='GET',callback=self.showhousedetail)request.meta['biid']=biidyield requestdef showhousedetail(self,response):house=HouseItem()house['bulidingid']=response.meta['biid']

三、pipeline區分傳來Items

各個頁面都會封裝items并將item傳遞給pipelines來處理，而pipelines接收的入口只有一個就是

def process_item(self, item, spider)函數

用來區分item的辦法。

def process_item(self, item, spider):if str(type(item))=="<class 'rishome.items.RishomeItem'>":self.saverishome(item)if str(type(item))=="<class 'rishome.items.BulidingItem'>":self.savebuliding(item)if str(type(item))=="<class 'rishome.items.HouseItem'>":self.savehouse(item)return item # 必須實現返回

總結

以上是生活随笔為你收集整理的python之scrapy：攻克技术点ASP.NET分页处理、request和response传参、pipeline区分传来Items的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：推荐几个网盘搜索工具，大大提高你的找资源
下一篇：设计模式(一) 工厂模式五种写法总结