python爬取豆瓣电影名称与评分进行分析
生活随笔
收集整理的這篇文章主要介紹了
python爬取豆瓣电影名称与评分进行分析
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
通過使用python進行豆瓣網(wǎng)上的數(shù)據(jù)爬取,進行分析,得到電影名稱與評分。可直接運行。
import time import os import numpy as np import pandas as pd import matplotlib.pyplot as plt from selenium import webdriver from selenium.common.exceptions import NoSuchElementException import datetime ## 爬取劇集列表,并輸出成為excel表格 driver = webdriver.Chrome(executable_path = "D:\\work\\python\\chromedriver.exe") driver.maximize_window() #driver.close() driver.switch_to_window(driver.window_handles[0]) url = 'https://movie.douban.com/tag/#/?sort=U&range=2,10&tags=%E7%94%B5%E5%BD%B1,2010%E5%B9%B4%E4%BB%A3,%E4%B8%AD%E5%9B%BD%E5%A4%A7%E9%99%86' js='window.open("'+url+'")' driver.execute_script(js) driver.close() driver.switch_to_window(driver.window_handles[0])'''測試 i_pag = 0 while i_pag < 3:try:js="var q=document.documentElement.scrollTop=10000000" driver.execute_script(js)driver.find_element_by_class_name('more').click()time.sleep(2)i_pag = i_pag + 1except:break '''while True:try:js="var q=document.documentElement.scrollTop=10000000" driver.execute_script(js)driver.find_element_by_class_name('more').click()time.sleep(2)except:break name = [k.text for k in driver.find_elements_by_class_name('title')] score = [k.text for k in driver.find_elements_by_class_name('rate')] url = [k.get_attribute('href') for k in driver.find_elements_by_class_name('item')] pd.DataFrame({'name':name,'score':score,'url':url}).to_excel('電影名稱.xlsx')僅用于學習使用!
總結(jié)
以上是生活随笔為你收集整理的python爬取豆瓣电影名称与评分进行分析的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 用PHP实现手机对jar,jad文件的下
- 下一篇: 华为数通设备常用命令大全