?

scrapy中使用FormRequest向網(wǎng)頁(yè)提交數(shù)據(jù)

Scrapy post使用

?

如何post data：

http://httpbin.org/post

?

FormRequest : post請(qǐng)求

GitHub Login

借助瀏覽器分析登陸行為。

分析post的內(nèi)容

先嘗試一次錯(cuò)誤的登陸：

如下：分析：

需要post的數(shù)據(jù)有：

token:

utf-8:

commit:

login:

password:

以上只有token不是固定的

將以上內(nèi)容組裝出來(lái)。

scrapy 如下：

# -*- coding: utf-8 -*- import scrapy from scrapy import FormRequest, Requestclass SpiderpostSpider(scrapy.Spider):name = "spiderpost"# allowed_domains = ["httpbin.org"]# starturls = 'http://httpbin.org/post'# "oSqXgiQ0dBFn5aNywI/BLkosYQKNlKd0K4QspnZP1HLLuA/ePxcjU0RItphFoIkOfySKiLQW27AKcmjLmqPmjQ=="# "wOgMHIwtyvdS1iwLG05afiq0/+gSkFr0RjS+x6f0nP/DALNvQiBVvuKsLRVMHfDJEtfNdTga2MdmYid0OcqxwQ=="starturls='https://github.com/login'loginurls='https://github.com/session'def start_requests(self):yield Request(self.starturls, callback=self.pre_parse)def pre_parse(self, response):# print(response.url)# passform =response.xpath('//form[@action="/session"]').extract()# print(form)keys=['utf8', 'authenticity_token', 'commit']values=[]for key in keys:xpath_ = '//form[@action="/session"]//input[@name="%s"]/@value'%keyvalue = response.xpath(xpath_).extract()[0]values.append(value)# print(values)postdata=dict(zip(keys,values))postdata['login'] = 'your nanme'postdata['password']='your password'# print(postdata)yield FormRequest(self.loginurls, formdata=postdata,callback=self.login_parse)def login_parse(self,response):# print(response.url)#檢驗(yàn)是否登陸成功print(response.xpath('//meta[@name="user-login"]/@content').extract())

總結(jié)

以上是生活随笔為你收集整理的scrapy框架-post使用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。