當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

第七篇：爬虫实战— 3、自动登录123并且自动发送邮箱；自动爬取京东商品信息...

發布時間：2023/12/8 编程问答 34 豆豆

生活随笔收集整理的這篇文章主要介紹了第七篇：爬虫实战— 3、自动登录123并且自动发送邮箱；自动爬取京东商品信息... 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

selenium模塊

閱讀目錄

一、介紹

二、安裝

三、基本使用

四、選擇器

五、等待元素被加載

六、元素交互操作

七、其他

八、練習

一、介紹

selenium最初是一個測試工具，而爬蟲中使用它主要是為了解決requests無法直接執行JavaScript代碼的問題

selenium本質是通過驅動瀏覽器，完全模擬瀏覽器的操作，比如跳轉、輸入、點擊、下拉等，來拿到網頁渲染之后的結果，可支持多種瀏覽器

from selenium import webdriver browser=webdriver.Chrome() browser=webdriver.Firefox() browser=webdriver.PhantomJS() #無窗口瀏覽器 browser=webdriver.Safari() browser=webdriver.Edge()

二、安裝

1 #安裝：selenium+chromedriver2 pip3 install selenium3 下載chromdriver.exe放到python安裝路徑的scripts目錄中即可，注意最新版本是2.29，并非2.94 國內鏡像網站地址：http://npm.taobao.org/mirrors/chromedriver/2.29/5 最新的版本去官網找:https://sites.google.com/a/chromium.org/chromedriver/downloads6 7 #驗證安裝8 C:\Users\Administrator>python39 Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32 10 Type "help", "copyright", "credits" or "license" for more information. 11 >>> from selenium import webdriver 12 >>> driver=webdriver.Chrome() #彈出瀏覽器 13 >>> driver.get('https://www.baidu.com') 14 >>> driver.page_source 15 16 #注意： 17 selenium3默認支持的webdriver是Firfox，而Firefox需要安裝geckodriver 18 下載鏈接：https://github.com/mozilla/geckodriver/releases selenium+chromedriver 1 #安裝：selenium+phantomjs2 pip3 install selenium3 下載phantomjs，解壓后把phantomjs.exe所在的bin目錄放到環境變量4 下載鏈接：http://phantomjs.org/download.html5 6 #驗證安裝7 C:\Users\Administrator>phantomjs8 phantomjs> console.log('egon gaga')9 egon gaga 10 undefined 11 phantomjs> ^C 12 C:\Users\Administrator>python3 13 Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32 14 Type "help", "copyright", "credits" or "license" for more information. 15 >>> from selenium import webdriver 16 >>> driver=webdriver.PhantomJS() #無界面瀏覽器 17 >>> driver.get('https://www.baidu.com') 18 >>> driver.page_source selenium+phantomjs

三、基本使用

from selenium import webdriver from selenium.webdriver import ActionChains #破解活動驗證碼的時候用到 from selenium.webdriver.common.by import By ##按照什么方式查找，By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys #鍵盤按鍵操作 from selenium.webdriver.support import expected_conditions as EC #這個下面的一個是配合來使用的 from selenium.webdriver.support.wait import WebDriverWait #等待頁面加載某些元素 browser = webdriver.Chrome() # 彈出瀏覽器 try:browser.get("https://ai.taobao.com/") #打開要訪問的頁面input_tag = browser.find_element_by_id("key") #找到搜索框input_tag.send_keys("生日禮物") #輸入內容input_tag.send_keys(Keys.ENTER) #按回車wait = WebDriverWait(browser,10)wait.until(EC.presence_of_element_located((By.CLASS_NAME,"waterfall-bg"))) #等到class為waterfall-bg的元素加載完畢(也就是等加載的內容加載完),
最多等10秒print(browser.page_source)print(browser.current_url)print(browser.get_cookies()) except Exception as error:print(error) finally:browser.close()

四、選擇器

一基本用法

二 xpath

1 #官網鏈接：http://selenium-python.readthedocs.io/locating-elements.html2 from selenium import webdriver3 from selenium.webdriver import ActionChains4 from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR5 from selenium.webdriver.common.keys import Keys #鍵盤按鍵操作6 from selenium.webdriver.support import expected_conditions as EC7 from selenium.webdriver.support.wait import WebDriverWait #等待頁面加載某些元素8 import time9 10 driver=webdriver.PhantomJS() 11 driver.get('https://doc.scrapy.org/en/latest/_static/selectors-sample1.html') 12 # wait=WebDriverWait(driver,3) 13 driver.implicitly_wait(3) #使用隱式等待 14 15 try: 16 # find_element_by_xpath 17 #//與/ 18 # driver.find_element_by_xpath('//body/a') # 開頭的//代表從整篇文檔中尋找,body之后的/代表body的兒子，這一行找不到就會報錯了 19 20 driver.find_element_by_xpath('//body//a') # 開頭的//代表從整篇文檔中尋找,body之后的//代表body的子子孫孫 21 driver.find_element_by_css_selector('body a') 22 23 #取第n個 24 res1=driver.find_elements_by_xpath('//body//a[1]') #取第一個a標簽 25 print(res1[0].text) 26 27 #按照屬性查找,下述三者查找效果一樣 28 res1=driver.find_element_by_xpath('//a[5]') 29 res2=driver.find_element_by_xpath('//a[@href="image5.html"]') 30 res3=driver.find_element_by_xpath('//a[contains(@href,"image5")]') #模糊查找 31 print('==>', res1.text) 32 print('==>',res2.text) 33 print('==>',res3.text) 34 35 36 #其他 37 res1=driver.find_element_by_xpath('/html/body/div/a') 38 print(res1.text) 39 40 res2=driver.find_element_by_xpath('//a[img/@src="image3_thumb.jpg"]') #找到子標簽img的src屬性為image3_thumb.jpg的a標簽 41 print(res2.tag_name,res2.text) 42 43 res3 = driver.find_element_by_xpath("//input[@name='continue'][@type='button']") #查看屬性name為continue且屬性type為button的input標簽 44 res4 = driver.find_element_by_xpath("//*[@name='continue'][@type='button']") #查看屬性name為continue且屬性type為button的所有標簽 45 46 47 time.sleep(5) 48 49 finally: 50 driver.close() View Code

三獲取標簽屬性

五、等待元素被加載

#1、selenium只是模擬瀏覽器的行為，而瀏覽器解析頁面是需要時間的（執行css，js），一些元素可能需要過一段時間才能加載出來，為了保證能查找到元素，必須等待#2、等待的方式分兩種：隱式等待：在browser.get（'xxx'）前就設置，針對所有元素有效顯式等待：在browser.get（'xxx'）之后設置，只針對某個元素有效 1 from selenium import webdriver2 from selenium.webdriver import ActionChains3 from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR4 from selenium.webdriver.common.keys import Keys #鍵盤按鍵操作5 from selenium.webdriver.support import expected_conditions as EC6 from selenium.webdriver.support.wait import WebDriverWait #等待頁面加載某些元素7 8 browser=webdriver.Chrome()9 10 #隱式等待:在查找所有元素時，如果尚未被加載，則等10秒 11 browser.implicitly_wait(10) 12 13 browser.get('https://www.baidu.com') 14 15 16 input_tag=browser.find_element_by_id('kw') 17 input_tag.send_keys('美女') 18 input_tag.send_keys(Keys.ENTER) 19 20 contents=browser.find_element_by_id('content_left') #沒有等待環節而直接查找，找不到則會報錯 21 print(contents) 22 23 browser.close() 隱式等待 1 from selenium import webdriver2 from selenium.webdriver import ActionChains3 from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR4 from selenium.webdriver.common.keys import Keys #鍵盤按鍵操作5 from selenium.webdriver.support import expected_conditions as EC6 from selenium.webdriver.support.wait import WebDriverWait #等待頁面加載某些元素7 8 browser=webdriver.Chrome()9 browser.get('https://www.baidu.com') 10 11 12 input_tag=browser.find_element_by_id('kw') 13 input_tag.send_keys('美女') 14 input_tag.send_keys(Keys.ENTER) 15 16 17 #顯式等待：顯式地等待某個元素被加載 18 wait=WebDriverWait(browser,10) 19 wait.until(EC.presence_of_element_located((By.ID,'content_left'))) 20 21 contents=browser.find_element(By.CSS_SELECTOR,'#content_left') 22 print(contents) 23 24 25 browser.close() 顯式等待

六、元素交互操作

1 from selenium import webdriver2 from selenium.webdriver import ActionChains3 from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR4 from selenium.webdriver.common.keys import Keys #鍵盤按鍵操作5 from selenium.webdriver.support import expected_conditions as EC6 from selenium.webdriver.support.wait import WebDriverWait #等待頁面加載某些元素7 8 browser=webdriver.Chrome()9 browser.get('https://www.amazon.cn/') 10 wait=WebDriverWait(browser,10) 11 12 13 input_tag=wait.until(EC.presence_of_element_located((By.ID,'twotabsearchtextbox'))) 14 input_tag.send_keys('iphone 8') 15 button=browser.find_element_by_css_selector('#nav-search > form > div.nav-right > div > input') 16 button.click() 17 18 19 import time 20 time.sleep(3) 21 22 input_tag=browser.find_element_by_id('twotabsearchtextbox') 23 input_tag.clear() #清空輸入框 24 input_tag.send_keys('iphone7plus') 25 button=browser.find_element_by_css_selector('#nav-search > form > div.nav-right > div > input') 26 button.click() 27 28 29 30 # browser.close() 點擊，清空 1 from selenium import webdriver2 from selenium.webdriver import ActionChains3 from selenium.webdriver.common.by import By # 按照什么方式查找，By.ID,By.CSS_SELECTOR4 from selenium.webdriver.common.keys import Keys # 鍵盤按鍵操作5 from selenium.webdriver.support import expected_conditions as EC6 from selenium.webdriver.support.wait import WebDriverWait # 等待頁面加載某些元素7 import time8 9 driver = webdriver.Chrome() 10 driver.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable') 11 wait=WebDriverWait(driver,3) 12 # driver.implicitly_wait(3) # 使用隱式等待 13 14 try: 15 driver.switch_to.frame('iframeResult') ##切換到iframeResult 16 sourse=driver.find_element_by_id('draggable') 17 target=driver.find_element_by_id('droppable') 18 19 #方式一：基于同一個動作鏈串行執行 20 # actions=ActionChains(driver) #拿到動作鏈對象 21 # actions.drag_and_drop(sourse,target) #把動作放到動作鏈中，準備串行執行 22 # actions.perform() 23 24 #方式二：不同的動作鏈，每次移動的位移都不同 25 ActionChains(driver).click_and_hold(sourse).perform() 26 distance=target.location['x']-sourse.location['x'] 27 28 track=0 29 while track < distance: 30 ActionChains(driver).move_by_offset(xoffset=2,yoffset=0).perform() 31 track+=2 32 33 ActionChains(driver).release().perform() 34 35 time.sleep(10) 36 37 finally: 38 driver.close() Action Chains 1 from selenium import webdriver2 from selenium.webdriver import ActionChains3 from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR4 from selenium.webdriver.common.keys import Keys #鍵盤按鍵操作5 from selenium.webdriver.support import expected_conditions as EC6 from selenium.webdriver.support.wait import WebDriverWait #等待頁面加載某些元素7 8 9 try: 10 browser=webdriver.Chrome() 11 browser.get('https://www.baidu.com') 12 browser.execute_script('alert("hello world")') #打印警告 13 finally: 14 browser.close() 在交互動作比較難實現的時候可以自己寫JS（萬能方法） 1 #frame相當于一個單獨的網頁，在父frame里是無法直接查看到子frame的元素的，必須switch_to_frame切到該frame下，才能進一步查找2 3 from selenium import webdriver4 from selenium.webdriver import ActionChains5 from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR6 from selenium.webdriver.common.keys import Keys #鍵盤按鍵操作7 from selenium.webdriver.support import expected_conditions as EC8 from selenium.webdriver.support.wait import WebDriverWait #等待頁面加載某些元素9 10 11 try: 12 browser=webdriver.Chrome() 13 browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable') 14 15 browser.switch_to.frame('iframeResult') #切換到id為iframeResult的frame 16 17 tag1=browser.find_element_by_id('droppable') 18 print(tag1) 19 20 # tag2=browser.find_element_by_id('textareaCode') #報錯，在子frame里無法查看到父frame的元素 21 browser.switch_to.parent_frame() #切回父frame,就可以查找到了 22 tag2=browser.find_element_by_id('textareaCode') 23 print(tag2) 24 25 finally: 26 browser.close() 補充:frame的切換

七、其他

1 #模擬瀏覽器的前進后退2 import time3 from selenium import webdriver4 5 browser=webdriver.Chrome()6 browser.get('https://www.baidu.com')7 browser.get('https://www.taobao.com')8 browser.get('http://www.sina.com.cn/')9 10 browser.back() 11 time.sleep(10) 12 browser.forward() 13 browser.close() 模擬瀏覽器的前進后退 1 #cookies2 from selenium import webdriver3 4 browser=webdriver.Chrome()5 browser.get('https://www.zhihu.com/explore')6 print(browser.get_cookies())7 browser.add_cookie({'k1':'xxx','k2':'yyy'})8 print(browser.get_cookies())9 10 # browser.delete_all_cookies() cookies 1 #選項卡管理：切換選項卡，有js的方式windows.open,有windows快捷鍵：ctrl+t等，最通用的就是js的方式2 import time3 from selenium import webdriver4 5 browser=webdriver.Chrome()6 browser.get('https://www.baidu.com')7 browser.execute_script('window.open()')8 9 print(browser.window_handles) #獲取所有的選項卡 10 browser.switch_to_window(browser.window_handles[1]) 11 browser.get('https://www.taobao.com') 12 time.sleep(10) 13 browser.switch_to_window(browser.window_handles[0]) 14 browser.get('https://www.sina.com.cn') 15 browser.close() 選項卡管理 1 from selenium import webdriver2 from selenium.common.exceptions import TimeoutException,NoSuchElementException,NoSuchFrameException3 4 try:5 browser=webdriver.Chrome()6 browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')7 browser.switch_to.frame('iframssseResult')8 9 except TimeoutException as e: 10 print(e) 11 except NoSuchFrameException as e: 12 print(e) 13 finally: 14 browser.close() 異常處理

八、練習

1 from selenium import webdriver2 from selenium.webdriver import ActionChains3 from selenium.webdriver.common.by import By4 from selenium.webdriver.common.keys import Keys5 from selenium.webdriver.support import expected_conditions as EC6 from selenium.webdriver.support.wait import WebDriverWait7 browser=webdriver.Chrome()8 wait = browser.implicitly_wait(10)9 try: 10 browser.get('http://mail.163.com/') 11 #首先先切到ifame下面 12 frame = browser.switch_to.frame("x-URS-iframe") 13 input_user = browser.find_element_by_name("email") 14 input_pwd = browser.find_element_by_name("password") 15 loginbutton = browser.find_element_by_id("dologin") 16 17 input_user.send_keys("18093191510") #輸入郵箱 18 input_pwd.send_keys("zhy..azjash1111") #輸入密碼 19 loginbutton.click() #點擊登錄 20 21 # 如果遇到驗證碼，可以把下面一小段打開注釋 22 # import time 23 # time.sleep(10) 24 # button = browser.find_element_by_id('dologin') 25 # button.click() 26 27 #登錄完成之后開始點擊寫信 28 write_msg = browser.find_element_by_xpath("//div[@id='dvNavTop']//li[2]") #獲取第二個li標簽就是“寫信”了 29 print(write_msg.text) 30 write_msg.click() #點擊寫信按鈕 31 32 #找到寫信的輸入框輸入內容 33 recv_man = browser.find_element_by_class_name('nui-editableAddr-ipt') #收件人 34 title = browser.find_element_by_css_selector('.dG0 .nui-ipt-input') #標題 35 content = browser.find_element_by_class_name("nui-scroll") 36 37 recv_man.send_keys("2533916647@qq.com") 38 title.send_keys("每天都要開心，開心最重要！！！") 39 print(title.tag_name) 40 41 #輸入要發送的內容 42 frame = browser.find_element_by_class_name("APP-editor-iframe") 43 frame = browser.switch_to.frame(frame) 44 45 body = browser.find_element_by_xpath("//body") 46 print(body.text) 47 body.send_keys("啦啦啦啦啦啦") 48 #找到發送按鈕。點擊發送 49 browser.switch_to.parent_frame() # 切回他爹 50 send_button = browser.find_element_by_class_name('nui-toolbar-item') 51 send_button.click() 52 # 可以睡時間久一點別讓瀏覽器關掉，看看發送成功沒有 53 import time 54 55 time.sleep(10000) 56 57 finally: 58 browser.quit() 自動登錄123并且自動發送郵箱 1 from selenium import webdriver2 from selenium.webdriver import ActionChains3 from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR4 from selenium.webdriver.common.keys import Keys #鍵盤按鍵操作5 from selenium.webdriver.support import expected_conditions as EC6 from selenium.webdriver.support.wait import WebDriverWait #等待頁面加載某些元素7 import time8 9 10 def get_goods(driver): 11 try: 12 goods=driver.find_elements_by_class_name('gl-item') 13 14 for good in goods: 15 detail_url=good.find_element_by_tag_name('a').get_attribute('href') 16 17 p_name=good.find_element_by_css_selector('.p-name em').text.replace('\n','') 18 price=good.find_element_by_css_selector('.p-price i').text 19 p_commit=good.find_element_by_css_selector('.p-commit a').text 20 21 msg = ''' 22 商品 : %s 23 鏈接 : %s 24 價錢：%s 25 評論：%s 26 ''' % (p_name,detail_url,price,p_commit) 27 28 print(msg,end='\n\n') 29 30 31 button=driver.find_element_by_partial_link_text('下一頁') 32 button.click() 33 time.sleep(1) 34 get_goods(driver) 35 except Exception: 36 pass 37 38 def spider(url,keyword): 39 driver = webdriver.Chrome() 40 driver.get(url) 41 driver.implicitly_wait(3) # 使用隱式等待 42 try: 43 input_tag=driver.find_element_by_id('key') 44 input_tag.send_keys(keyword) 45 input_tag.send_keys(Keys.ENTER) 46 get_goods(driver) 47 finally: 48 driver.close() 49 50 51 if __name__ == '__main__': 52 spider('https://www.jd.com/',keyword='iPhone8手機') 爬取京東商城商品信息

轉載于:https://www.cnblogs.com/mqhpy/p/11370830.html

總結

以上是生活随笔為你收集整理的第七篇：爬虫实战— 3、自动登录123并且自动发送邮箱；自动爬取京东商品信息...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： dpi和ppi换算_DPI和PPI的计算
下一篇： LeetCode刷题日记2022-2-2