Python 爬虫知识点 - 淘宝商品检索结果抓包分析(续一)
通過(guò)前一節(jié)得出地址可能的構(gòu)建規(guī)律,如下:
https://s.taobao.com/search?data-key=s&data-value=44&ajax=true&_ksTS=1481814489094_902&callback=jsonp903&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=3&ntoffset=0&p4ppushleft=1%2C48
https://s.taobao.com/search?data-key=s&data-value=88&ajax=true&_ksTS=1481814530312_1045&callback=jsonp1046&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=0&ntoffset=6&p4ppushleft=1%2C48&s=44
https://s.taobao.com/search?data-key=s&data-value=132&ajax=true&_ksTS=1481816198100_1326&callback=jsonp1327&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-3&ntoffset=3&p4ppushleft=1%2C48&s=88
https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481816618010_1533&callback=jsonp1534&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=0&p4ppushleft=1%2C48&s=132
https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481817378403_2108&callback=jsonp2109&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=132
https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481817378403_2108&callback=jsonp2109&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=132
https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481817378403_2108&callback=jsonp2109&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=132
https://s.taobao.com/search?data-key=s&data-value=220&ajax=true&_ksTS=1481816618010_1533&callback=jsonp1534&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=176
https://s.taobao.com/search?data-key=s&data-value=264&ajax=true&_ksTS=1481818506324_2454&callback=jsonp2455&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-9&ntoffset=-3&p4ppushleft=1%2C48&s=220
https://s.taobao.com/search?data-key=s&data-value=264&ajax=true&_ksTS=1481818506324_2454&callback=jsonp2455&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-9&ntoffset=-3&p4ppushleft=1%2C48&s=220
?
但是從瀏覽器者開(kāi)發(fā)工具中,拷貝出來(lái)的URL,放在瀏覽器中,刷新后,同樣的URL,而結(jié)果確實(shí)變化的,為什么???同時(shí)打開(kāi)兩次,返回的數(shù)據(jù)是變化的?初步判斷可能是后臺(tái)搜索服務(wù)器中對(duì)于bcoffset=-9&ntoffset=-3&p4ppushleft=1等參數(shù)做了偏移處理,這是不是由于后臺(tái)搜索機(jī)制引起的了???
URL是:https://s.taobao.com/search?data-key=s&data-value=264&ajax=true&_ksTS=1481818506324_2454&callback=jsonp2455&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-9&ntoffset=-3&p4ppushleft=1%2C48&s=220
?
?
?
?
?更為緊張的事情,本來(lái)關(guān)鍵詞是Python機(jī)器學(xué)習(xí),結(jié)果搜索的結(jié)果是:全套2本2016秋期末沖刺100分二年級(jí)上完全試卷 二年級(jí)上 數(shù)學(xué)語(yǔ)文2年級(jí)全2本2年級(jí)上冊(cè)人教版RJ小學(xué)生同步練習(xí)卷期中期末測(cè)試卷搭,正版【全2冊(cè)】C程序設(shè)計(jì)語(yǔ)言//計(jì)算機(jī)科學(xué)叢書(shū)(第2版新版) 第二版 教材+習(xí)題詳解 媲美譚浩強(qiáng) the c programming language 克尼漢等。為什么會(huì)是這樣的結(jié)果了?
?
?
?
可能解釋的結(jié)果是:淘寶禁止爬取通過(guò)搜索框輸入返回的結(jié)果列表???對(duì)參數(shù)做了特殊處理???有誰(shuí)知道這樣的規(guī)律了?僅僅是為了學(xué)習(xí)抓包分析和爬蟲(chóng)技術(shù),不做他用。
?
轉(zhuǎn)載于:https://www.cnblogs.com/defineconst/p/6185396.html
總結(jié)
以上是生活随笔為你收集整理的Python 爬虫知识点 - 淘宝商品检索结果抓包分析(续一)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: dubbo教程一
- 下一篇: python气象数据分析_气象数据分析-