案例1：斗魚爬蟲

爬取斗魚直播平臺的所有房間信息：https://www.douyu.com/directory/all

思路分析:

1.1數據的位置：
每個房間的數據都在id=live-list-contentbox的ul中。

1.2實現翻頁和控制程序結束

selenium中通過點擊就可以實現翻頁，觀察存在下一頁和不存在下一頁時候標簽的變化
存在下一頁時：

不存在下一頁時：

完整代碼如下：

from selenium import webdriver import timeclass DouYu:def __init__(self):self.start_url = "https://www.douyu.com/directory/all"self.driver = webdriver.Chrome(executable_path='/home/worker/Desktop/driver/chromedriver')def get_content_list(self): #提取數據li_list = self.driver.find_elements_by_xpath("//ul[@id='live-list-contentbox']/li")content_list = []for li in li_list:item = {}item["title"] = li.find_element_by_xpath("./a").get_attribute("title")item["anchor"] = li.find_element_by_xpath(".//span[@class='dy-name ellipsis fl']").textitem["watch_num"] = li.find_element_by_xpath(".//span[@class='dy-num fr']").text# print(item)content_list.append(item)#提取下一頁的元素next_url = self.driver.find_elements_by_xpath("//a[@class='shark-pager-next']")next_url = next_url[0] if len(next_url)>0 else Nonereturn content_list,next_urldef save_content_list(self,content_lsit):#保存for content in content_lsit:print(content)def run(self): #實現主要邏輯#1. start_url#2. 發送請求，獲取響應self.driver.get(self.start_url)#3. 提取數據content_list,next_url = self.get_content_list()#4.保存self.save_content_list(content_list)# 5. 下一頁數據的提取while next_url is not None:next_url.click() #頁面沒有完全加載完，會報錯time.sleep(3)content_list,next_url = self.get_content_list()self.save_content_list(content_list)if __name__ == '__main__':douyu = DouYu()douyu.run()

案例2.網易云音樂爬蟲

完成網易云音樂的所有列表的名字和url地址

地址：http://music.163.com/#/discover/playlist

2.1 思路分析：

確定程序入口的位置

確定首頁數據的位置和url地址

實現翻頁和程序停止的判斷

完整代碼如下：

from selenium import webdriver import timeclass CloudMuisc():def __init__(self):self.start_url = 'http://music.163.com/#/discover/playlist'self.driver = webdriver.Chrome(executable_path='/home/worker/Desktop/driver/chromedriver')def get_content_list(self): #提取數據# 切入frame標簽login_frame = self.driver.find_element_by_id('g_iframe') # 根據id定位 frame元素self.driver.switch_to.frame(login_frame) # 轉向到該frame中li_list = self.driver.find_elements_by_xpath('//*[@id="m-pl-container"]/li')print(len(li_list))content_list = []for li in li_list:item = {}item["title"] = li.find_element_by_class_name('msk').get_attribute("title")item["href"] = li.find_element_by_xpath('.//a').get_attribute("href")# print(item)content_list.append(item)#提取下一頁的元素page_url_list = self.driver.find_elements_by_xpath('.//div[@class="u-page"]/a')next_url = page_url_list[-1] if len(page_url_list)>0 else Nonereturn content_list, next_urldef save_content_list(self,content_lsit):#保存for content in content_lsit:print(content)def run(self): #實現主要邏輯#1. start_url#2. 發送請求，獲取響應self.driver.get(self.start_url)time.sleep(3)#3. 提取數據content_list, next_url = self.get_content_list()#4.保存self.save_content_list(content_list)# 5. 下一頁數據的提取while next_url is not None:js = 'window.scrollTo(0,document.body.scrollHeight)' # js語句：滾動到頁面最底部self.driver.execute_script(js) # 執行js的方法print(next_url.get_attribute('href'))next_url.click() #頁面沒有完全加載完，會報錯time.sleep(3)# 此時在iframe標簽中 代碼邏輯需要我們先切出windows = self.driver.window_handlesself.driver.switch_to.window(windows[0])content_list, next_url = self.get_content_list()self.save_content_list(content_list)# 6. 退出driverself.driver.quit()if __name__ == '__main__':spider = CloudMuisc()spider.run()

總結

以上是生活随笔為你收集整理的selenium的使用教程3的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。