import re import requests# 偽裝頭部，反爬 headers = {'Host': 'm.weibo.cn','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36','X-Requested-With': 'XMLHttpRequest' } # 目標(biāo)微博用戶地址 url = "https://m.weibo.cn/api/container/getIndex?type=uid&value=1182391231&containerid=1076031182391231" response = requests.get(url, headers=headers) # 返回response為json格式 weibo_data = response.json() for mblog_data in weibo_data['data']['cards']:try:# 獲取微博文本內(nèi)容content_data = mblog_data['mblog']['text']# 過濾特殊符號p = re.compile(r'(<span.*>.*</span>)*(<a.*>.*</ a>)?')content_data = re.sub('[^\u4e00-\u9fa5]', '', content_data)content_data = p.sub(r'', content_data)# 獲取微博發(fā)布時間time_data = mblog_data['mblog']['created_at']print(content_data)print(time_data)except:pass import time from selenium import webdriver import csv# 聲明瀏覽器對象，使用Chromedriver option = webdriver.ChromeOptions() # “有頭”模式，即可以看到瀏覽器界面，若要隱藏瀏覽器，可設(shè)置為 "headless" option.add_argument('head') # 得到操作對象 driver = webdriver.Chrome(options=option) # 模擬瀏覽器打開教育部官網(wǎng)信息檢索頁 driver.get('https://hudong.moe.gov.cn/sousuo/web/search?channelid=244081')# 找到搜索欄文字輸入框，輸入搜索關(guān)鍵字 driver.find_element_by_id('searchword').send_keys("立德樹人") # 找到“搜索”按鈕，模擬點擊 driver.find_element_by_id('wasSubmit').click() # 停頓3秒，留足頁面加載時間 time.sleep(3)# 創(chuàng)建/打開一個csv文件 f = open('立德樹人.csv', 'w', encoding='utf-8', newline='') # 基于文件對象構(gòu)建csv寫入對象 csv_writer = csv.writer(f) # 構(gòu)建csv列表頭 csv_writer.writerow(["標(biāo)題", "發(fā)布時間"])# 第一次for循環(huán)，共有330頁數(shù)據(jù) for page in range(330):# 第二次for循環(huán)，每頁共有20條信息for i in range(20):# i的輸出值是0到19，記得加1num = str(i + 1)# 用xpath獲取每一篇文章標(biāo)題、發(fā)布時間title = driver.find_element_by_xpath('/html/body/div[1]/div/div[6]/div[2]/div[4]/dl[ ' + num + ' ]/dt/h2/a').textdate = driver.find_element_by_xpath('/html/body/div[1]/div/div[6]/div[2]/div[4]/dl[' + num + ']/dd[2]').text# 將數(shù)據(jù)寫入到csv文件中csv_writer.writerow([title, date])# 顯示數(shù)據(jù)print(title)print(date)# 提示爬取進度print("---------第" + str(page+1) + "頁爬取完畢---------")# 找到“下一頁”按鈕，模擬點擊driver.find_element_by_xpath('/html/body/div[1]/div/div[6]/div[2]/div[5]/div/ul/li[7]/a').click() # 關(guān)閉csv文件 f.close()

總結(jié)

以上是生活随笔為你收集整理的Selenium爬虫的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。