淘宝爬虫(需要人工扫码一下)
生活随笔
收集整理的這篇文章主要介紹了
淘宝爬虫(需要人工扫码一下)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
from selenium import webdriver
import time
import redef gethtml(url):'''定義函數獲取html源代碼''''''由于淘寶是動態網頁無法用requests庫獲取所以使用selenium模擬器'''driver=webdriver.Chrome()#構造一個Chrom瀏覽器對象用來控制瀏覽器driver.get(url)#根據具體的url訪問網頁# 第一種滑塊驗證,人工操作i3 = driver.find_element_by_css_selector('#login > div.corner-icon-view.view-type-qrcode > i')i3.click()time.sleep(15) # 等待15秒,用來掃碼(人工操作)'''將進度條拉到頁面最后'''try:js = 'var q=document.documentElement.scrollTop=10000'driver.execute_script(js) # execute_script()函數運行js下滑腳本except:print('出現錯誤')html = driver.page_source #獲取網頁源代碼driver.close()#關閉瀏覽器print('關閉瀏覽器')#print(html)return htmldef xieru(html):with open("C:\\Users\86666\Desktop\python文件處理\釣魚.html",'at',encoding
總結
以上是生活随笔為你收集整理的淘宝爬虫(需要人工扫码一下)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 装饰模式学习总结
- 下一篇: 天狼50教学中部分英文缩写的含义