selenium

selenium是什么？

是Python的一個第三方庫，對外提供的接口可以操作瀏覽器，然后讓瀏覽器完成自動化的操作

環境搭建

1.安裝： pip install selenium2.獲取對應的驅動：以谷歌為例 2.1.查看谷歌瀏覽器幫助中的關于Google Chrome 查看版本2.2映射表地址： # 查看對應的驅動
http://blog.csdn.net/huilan_same/article/details/518966722.3谷歌瀏覽器驅動下載地址： # 根據映射表下載對應驅動
http://chromedriver.storage.googleapis.com/index.html

使用簡介

導包

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait

使用

driver = webdriver.Chrome(r'F:\Python\視屏\10爬蟲\chromedriver_win32\chromedriver.exe') driver.get('http://www.baidu.com') input_tag = driver.find_element_by_id('kw') # 找到id=kw 的input標簽 assert '百度一下' in driver.title # 頁面標題 print(driver.title) # 打印當前頁面的標題title input_tag.send_keys('python') # input框輸入值'python' input_tag.send_keys(Keys.ENTER) # 按回車 print(driver.current_url) # 當前頁面的url print(driver.page_source) # 當前頁面的response print(browser.get_cookies()) # 當前頁面的瀏覽器本地cookie # driver.close() # 關閉瀏覽器

select下拉菜單選擇

# dirver = Chrome(r'F:\Python\視屏\10爬蟲\chromedriver_win32\chromedriver.exe') # dirver.get('http://www.cma.gov.cn/') # print(dirver.page_source) # select_tag = Select(dirver.find_element(By.NAME, 'province')) # 獲取下拉菜單標簽 # select_tag.select_by_index(3) # 索引選擇 # select_tag.select_by_value('河北') # 按照下拉框的值選擇 # select_tag.select_by_visible_text('河北') # 按照下拉框可視化文本選擇 # select_tag.deselect_all() # 取消選中所有值

行為鏈

# 行為鏈 driver = webdriver.Chrome(r'F:\Python\視屏\10爬蟲\chromedriver_win32\chromedriver.exe') driver.get('http://www.baidu.com')input_tag = driver.find_element_by_id('kw') # 找到id=kw 的input標簽 submit_tag = driver.find_element_by_id('su') # 找到id=su 的submit提交標簽actions = ActionChains(driver) # 瀏覽器驅動傳進去實例化一個行為鏈對象 actions.move_to_element(input_tag) #移動到輸入框上 actions.send_keys_to_element(input_tag, 'python') # 給輸入框輸入python actions.move_to_element(submit_tag) # 移動到提交元素上 actions.click(submit_tag) # 點擊提交元素 actions.perform() # 執行行為鏈

cookie操作

driver = webdriver.Chrome(r'F:\Python\視屏\10爬蟲\chromedriver_win32\chromedriver.exe') driver.get('http://www.baidu.com') [print(cookie) for cookie in driver.get_cookies()] # 獲取所有瀏覽器上的cookie并展示 [driver.delete_cookie(cookie['domain']) for cookie in driver.get_cookies()] # 刪除所有的cookie driver.delete_all_cookies() # 刪除瀏覽器上當前頁面的所有cookie

等待

1.?隱式等待

driver = webdriver.Chrome(r'F:\Python\視屏\10爬蟲\chromedriver_win32\chromedriver.exe') driver.get('http://www.baidu.com')# driver.implicitly_wait(10) # 在找元素的時候等待10秒 如果找不到再報錯input_tag = driver.find_element_by_id('123') input_tag.send_keys('python') # input框輸入值'python'

2.?顯式等待

driver = webdriver.Chrome(r'F:\Python\視屏\10爬蟲\chromedriver_win32\chromedriver.exe') driver.get('http://www.baidu.com') try:WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, 'somename'))) # 等待10s 一直等待 id='somename'的標簽出現。 如果沒有再報錯。 finally:driver.quit()

js代碼執行和窗口切換

driver = webdriver.Chrome(r'F:\Python\視屏\10爬蟲\chromedriver_win32\chromedriver.exe') driver.get('http://www.baidu.com')driver.execute_script('window.open("http://www.cma.gov.cn/")') # 執行js代碼 print(driver.current_url) # https://www.baidu.com/ driver.switch_to_window(driver.window_handles[1]) # 類似于列表操作 print(driver.current_url) # http://www.cma.gov.cn/

ip代理

driver = webdriver.Chrome(r'F:\Python\視屏\10爬蟲\chromedriver_win32\chromedriver.exe') options = webdriver.ChromeOptions() # 是指谷歌瀏覽器的選項信息 ip = 'http://125.123.136.226:9999' # 代理ip options.add_argument(f"--proxy-server={ip}") # 使用代理ip driver.get('http://httpbin.org/ip')

注意：如果是Anaconda3的jupyter的情況，不能直接下載到本地的cpython解釋器? 要在Anaconda3\Scripts中指定下載

示例：先運行下看下結果

from time import sleep from selenium import webdriver# 后面是你的瀏覽器驅動位置，記得前面加r'','r'是防止字符轉義的 driver = webdriver.Chrome(r'F:\Python\10爬蟲\包\chromedriver_win32\chromedriver.exe')# 用get打開百度頁面 driver.get("http://www.baidu.com") # 查找頁面的“設置”選項，并進行點擊 driver.find_elements_by_link_text('設置')[0].click() sleep(2) # # 打開設置后找到“搜索設置”選項，設置為每頁顯示50條 driver.find_elements_by_link_text('搜索設置')[0].click() sleep(2)# 選中每頁顯示50條 m = driver.find_element_by_id('nr') sleep(2) m.find_element_by_xpath('//*[@id="nr"]/option[3]').click() m.find_element_by_xpath('.//option[3]').click() sleep(2)# 點擊保存設置 driver.find_elements_by_class_name("prefpanelgo")[0].click() sleep(2)# 處理彈出的警告頁面 確定accept() 和 取消dismiss() driver.switch_to_alert().accept() sleep(2) # 找到百度的輸入框，并輸入 美女 driver.find_element_by_id('kw').send_keys('美女') sleep(2) # 點擊搜索按鈕 driver.find_element_by_id('su').click() sleep(2) # 在打開的頁面中找到“Selenium - 開源中國社區”，并打開這個頁面 driver.find_elements_by_link_text('美女_百度圖片')[0].click() sleep(3)# 關閉瀏覽器 driver.quit()

代碼介紹：

#導包 from selenium import webdriver #創建瀏覽器對象，通過該對象可以操作瀏覽器 browser = webdriver.Chrome('驅動路徑') #使用瀏覽器發起指定請求 browser.get(url)#使用下面的方法，查找指定的元素進行操作即可find_element_by_id 根據id找節點find_elements_by_name 根據name找find_elements_by_xpath 根據xpath查找find_elements_by_tag_name 根據標簽名找find_elements_by_class_name 根據class名字查找

phantomJs

PhantomJS是一款無界面的瀏覽器，其自動化操作流程和上述操作谷歌瀏覽器是一致的。由于是無界面的，為了能夠展示自動化操作流程，PhantomJS為用戶提供了一個截屏的功能，使用save_screenshot函數實現。

示例：

from time import sleep from selenium import webdriver# 后面是你的瀏覽器驅動位置，記得前面加r'','r'是防止字符轉義的 driver = webdriver.Chrome(r'F:\Python\10爬蟲\包\chromedriver_win32\chromedriver.exe')# 用get打開百度頁面 driver.get("http://www.baidu.com") # 查找頁面的“設置”選項，并進行點擊 driver.find_elements_by_link_text('設置')[0].click() sleep(2) # # 打開設置后找到“搜索設置”選項，設置為每頁顯示50條 driver.find_elements_by_link_text('搜索設置')[0].click() sleep(2)# 選中每頁顯示50條 m = driver.find_element_by_id('nr') sleep(2) m.find_element_by_xpath('//*[@id="nr"]/option[3]').click() m.find_element_by_xpath('.//option[3]').click() sleep(2)# 點擊保存設置 driver.find_elements_by_class_name("prefpanelgo")[0].click() sleep(2)# 處理彈出的警告頁面 確定accept() 和 取消dismiss() driver.switch_to_alert().accept() sleep(2) # 找到百度的輸入框，并輸入 美女 driver.find_element_by_id('kw').send_keys('美女') sleep(2) # 點擊搜索按鈕 driver.find_element_by_id('su').click() sleep(2) # 在打開的頁面中找到“Selenium - 開源中國社區”，并打開這個頁面 driver.find_elements_by_link_text('美女_百度圖片')[0].click() sleep(3)# 關閉瀏覽器 driver.quit()

谷歌無界面使用

# selenium 對 無頭谷歌 的調用######################################################### #固定格式 from selenium import webdriver import time from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument('--headless') chrome_options.add_argument('--disable-gpu') #########################################################path = r'F:\Python\視屏\10爬蟲\包\chromedriver_win32\chromedriver.exe' bro = webdriver.Chrome(executable_path=path,chrome_options=chrome_options) # 此時 屬于無界面的調用谷歌瀏覽器# 請求的發送 bro.get(url='https://www.baidu.com')#根據find系列的函數定位到指定的標簽 baidu_input = bro.find_element_by_id('kw')baidu_input.send_keys('python') # 百度搜索框輸入 python time.sleep(0.5)bro.find_element_by_id('su').click() # 找到百度一下 time.sleep(1) response = bro.find_element_by_xpath('//*[@id="1"]/h3/a[1]').click() time.sleep(6)bro.quit()

?

重點：selenium+phantomjs 就是爬蟲終極解決方案:有些網站上的內容信息是通過動態加載js形成的，所以使用普通爬蟲程序無法回去動態加載的js內容。例如豆瓣電影中的電影信息是通過下拉操作動態加載更多的電影信息。

?#需求:爬取豆瓣電影動態加載出的電影詳情數據

from time import sleep from selenium import webdriver# 后面是你的瀏覽器驅動位置，記得前面加r'','r'是防止字符轉義的 driver = webdriver.Chrome(r'F:\Python\視屏\10爬蟲\包\chromedriver_win32\chromedriver.exe')url = 'https://movie.douban.com/typerank?type_name=%E7%88%B1%E6%83%85&type=13&interval_id=100:90&action=' # 豆瓣的urldriver.get(url=url) # 調用瀏覽器訪問豆瓣js = 'window.scrollTo(0,document.body.scrollHeight)' # 滾動下拉當前屏幕對應像素的js代碼driver.execute_script(js) # 下拉滾動第一次 sleep(2)driver.execute_script(js) # 下拉滾動第二次 sleep(2)driver.execute_script(js) # 下拉滾動第三次 sleep(2)page_text = driver.page_source # 類似requests.get(url).text # print(page_text)with open('./douban.html','w',encoding='utf-8') as fp:fp.write(page_text)bro.quit()

?qq空間登錄爬取

from time import sleep from selenium import webdriver from lxml import etree#登錄qq空間 bro = webdriver.Chrome(executable_path=r'F:\Python\視屏\10爬蟲\包\chromedriver_win32\chromedriver.exe') url = 'https://qzone.qq.com/' #請求的發送 bro.get(url=url) sleep(1) #定位到指定的iframe # 使用的組件嵌套 點位組件 bro.switch_to.frame('login_frame')bro.find_element_by_id('switcher_plogin').click() # 定位切換賬號密碼登錄 sleep(1)userName = bro.find_element_by_id('u') # 賬號輸入框 userName.send_keys('qq賬號')passWord = bro.find_element_by_id('p') # 密碼輸入欄 passWord.send_keys('qq密碼.') sleep(1) bro.find_element_by_id('login_button').click() # 點擊登錄 sleep(1) js = 'window.scrollTo(0,document.body.scrollHeight)' # 向下滾動的js代碼 bro.execute_script(js) # 1次 sleep(3) bro.execute_script(js) # 2次 sleep(3) bro.execute_script(js) # 3次 sleep(3) bro.execute_script(js) # 3次 sleep(3) bro.execute_script(js) # 3次 sleep(3) page_text = bro.page_source # 獲取頁面的response.text的內容 print(page_text) sleep(5)#解析 tree = etree.HTML(page_text) # DOM數div_list = tree.xpath('//div[@class="f-info qz_info_cut"] | //div[@class="f-info"]') # 獲取 說說 或者其他轉發dom節點 for div in div_list:text = div.xpath('.//text()') # 得到每一個節點的文本內容text = "".join(text) print(text)bro.quit()

?

轉載于:https://www.cnblogs.com/clbao/p/10252528.html

總結

以上是生活随笔為你收集整理的爬虫之selenium和PhantomJS的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。