今天要分析的網(wǎng)站是攜程網(wǎng)，獲取景點(diǎn)的用戶評(píng)論，評(píng)論信息通過(guò)json返回API，頁(yè)面是這個(gè)樣子的

按下F12之后，F5刷新一下

具體需要URL

Request的方式為POST，還需要你提取的哪一頁(yè)，下面圖片顯示了頁(yè)面id，景點(diǎn)id(viewid),pagenum頁(yè)面數(shù)，pagesize頁(yè)面的項(xiàng)數(shù)等等。

最基本的GET請(qǐng)求可以直接用post方法

response = requests.post("http://www.baidu.com/", data = data)

對(duì)于 POST 請(qǐng)求來(lái)說(shuō)，我們一般需要為它增加一些參數(shù)。那么最基本的傳參方法可以利用 data 這個(gè)參數(shù)。

data={

"pageid": "10650000804",

"viewid": 107540,

"tagid": "0",

"pagenum": "1",

"pagesize": "50",

"contentType": "json",

"SortType":"1",

"head": {

"appid": "100013776",

"cid": "09031037211035410190",

"ctok": "",

"cver": "1.0",

"lang": "01",

"sid": "8888",

"syscode": "09",

"auth": "",

"extension": [

{

"name": "protocal",

"value": "https"

}

]

},

"ver": "7.10.3.0319180000"

}

因此

html=requests.post(URL,data=json.dumps(data)).text

html=json.loads(html)

部分結(jié)果如下

處理json文件后可以得到如下結(jié)果

總結(jié)

以上是生活随笔為你收集整理的用python爬网站评论_python爬取携程景点评论信息的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。