python自动点击网页按钮_Python+Selenium使用(二)- 自动点击下一页
繼續上一篇:
橘貓吃不胖:Python+Selenium使用(一)?zhuanlan.zhihu.com上一篇,獲取了百度搜索后的結果頁面,但是搜索結果又很多頁,這里就獲取下一頁按鈕,并點擊它。
現在瀏覽器上,找到下一頁按鈕:
btn = driver.find_element_by_css_selector('div.page-inner > a.n')print(btn.get_property('href')) btn.click()這里,就是用css來定位了“下一頁”按鈕,運行后,就可以看到自動切換到了下一頁
順便記錄一個問題,就是css selector,貌似不能跨層級,“div.page-inner > a.n”
一開始想用div的id去找,但是一直找不到
后來改了這個page_inner就可以了
然后,就想多點幾次,但是好像哪里有問題,只在第一頁、第二頁切換
flag = 1 while flag<10:btn = driver.find_element_by_css_selector('div.page-inner > a.n')print(btn.get_property('href')) btn.click()time.sleep(random.randint(1,9)) flag += 1看了下HTML
當切換到下一頁的時候,上一頁的class也是n
然后,換了一下選擇器的寫法
flag = 1 while flag<10:btn = driver.find_element_by_css_selector('a.n:last-child')print(btn.text, ':', btn.get_property('href')) btn.click()time.sleep(random.randint(5,9)) flag += 1這下就可以了
關于選擇器可以看看這個:CSS 選擇器參考手冊
現在是這樣子的,每次頁面更新后,我是手工滑動到頁面的最下面,看頁面切換是否一致
有點兒麻煩,如果可以自動滑動到下面就好了
滾動頁面
selenium中沒有直接操作頁面滾動的方法,但是我們可以通過調用JS的方式來實現
driver.execute_script('window.scrollBy(0,200)')這樣就可以滾動200個單位,應該是像素
當然,也可以讓頁面滾動到我們想要看到的元素那里
btn = driver.find_element_by_css_selector('a.n:last-child')driver.execute_script("arguments[0].scrollIntoView();",btn)上面,我們獲取了“下一頁”按鈕,這里,可以直接滾動到“下一頁”按鈕可見
讓頁面滾動,還有一個原因,現在很多頁面都是動態加載,如果你的頁面不滾動,某些元素就不會加載出來,直接去定位的話,也找不到這個元素
所以,才會需要頁面來滾動
除了上面說的按照像素來滾動,滾動到某元素可見,還可以直接根據頁面的高度來滾動
driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")如果頁面動態加載,高度不斷變化,這里可能還會有問題,這里后面具體場景再確認一下
總結
以上是生活随笔為你收集整理的python自动点击网页按钮_Python+Selenium使用(二)- 自动点击下一页的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: vue 防抖节流函数——组件封装
- 下一篇: python消息队列框架持久化_消息队列