python selenium 怎么查找modal悬浮窗的内容_python教程:五分钟从pubmed down几万篇文献...
小編有話說:hello guys!昨天推送的stata做圖教程您學會了嗎?有任何疑問歡迎后臺咨詢我們熱心的羅仔。今天換個口味,學學python自動化。
作為科研小達人,不學一些旁門左道傍身怎么行!
今天我們扒一扒pubmed,如何快速下載10000篇以外的文獻?
今天推送一波python自動化,目標pubmed。平時在pubmed如果查找的內容對應文獻在一萬篇內,可以通過pubmed對題目摘要一鍵下載。如果大于一萬篇呢,今天介紹的是如何使用python的selenium模塊,進行自動下載。
先上一波視頻看效果?
通過自動化操作,對每一個頁面文獻自動下載成csv文件,后期可再通過插件方方格子或python對每一個表格進行合成。
敲重點
為了完成自動化操作,我們還需要:python、谷歌瀏覽器(Edge瀏覽器或火狐,推薦谷歌)、webdriver和selenium模塊。
?webdriver安裝:
點擊谷歌瀏覽器設置→關于Chrome→查看版本。
在該鏈接:
http://npm.taobao.org/mirrors/chromedriver/
根據谷歌瀏覽器版本下載對應的webdriver,將解壓后的webdriver軟件移動到谷歌瀏覽器的目標文件夾即可。
selenium安裝:同時按下WIN+R,輸入cmd,在命令行輸入pip install selenium,回車
提示成功后可在vscode直接開敲代碼:
from?selenium?import?webdriverfrom?selenium.webdriver.support.ui?import?Select這是python常見的第一步操作:導入模塊。python有眾多模塊,也是因為模塊讓python在各個領域都能干點事。
第一行代碼是調用slenium模塊下的webdriver,這是今天的主角,在后續所有自動化中也是必不可少的一句命令行;
第二行代碼,是因為今日份的自動化過程中需要對選擇框進行選擇,所以需要導入Select。
find = input('請輸入要查找的內容,回車確認:')url =?'https://pubmed.ncbi.nlm.nih.gov/?term='+find+'&size=200&page=51'input()語句可以讓python與用戶互動,將用戶輸入的內容賦值給“find”對象,然后將賦值過的“find”與pubmed基礎鏈接相互銜接,生成一個新的鏈接“url”對象。
driver?=?webdriver.Chrome()driver.get(url)driver.maximize_window()driver.implicitly_wait(10)通過webdriver.Chrome()語句調用了谷歌瀏覽器,并get到了一個鏈接對象url,這時候可以看到谷歌瀏覽器自動打開了一個鏈接。再給driver對象一個微調,設置為窗口保持最大化,以及隱性等待10秒。
tip:隱性等待跟強制等待的區別,顧名思義,強制等待就是只有過了等待的時間才能進行下一個命令行。而在操作網頁時,因為網速等原因,頁面元素沒能及時加載出來;
而python在執行上一條命令行后,準備運行下一條命令行時沒找到對應的網頁元素,就會報錯。對于這種不可抗力因素,我們可以添加一個隱性等待,設置為10秒,意思是:如果10秒內沒找到指定的元素,繼續等;如果找到了,執行下一個命令行;
如果過了10秒還沒找到,那就報錯。所以小伙伴可以根據自己網速情況,把隱性等待調高或者調低。
for?i?in?range(51,56):for語句是python中常見的循環語句,就是在條件內不斷循環命令行。
在這里是設置的循環條件為 i in range(51,56),意思是當 i 從51走到55時候(python的括號范圍是前閉后開,故不包含56),執行下列命令行。
因為我們要自動下載51頁及以后的文獻信息,所以前面是從51開始;
如果要下載的頁面總共就51-55頁,后面的數字要寫成56(55+1),也就是總共執行5次:51/52/53/54/55。
執行五次什么操作呢?以及如果是要下載51-100頁該如何操作呢?
預知后事如何,請看下回分解。
創作部羅仔
好啦!有什么不懂的都可以后臺問小編哦~小編看到的都會盡快回復的~下期想學什么也可以留言哦~
end
Bye bye all guys! see u next time?
1.STATA教程3:作圖
3.STATA教程1:metan的功能
2.谷ge學術訪問
3.STATA教程2:中間變量
關注本公眾號,更多資源教程免費咨詢,做一個寵粉的公眾號!讓我們Ldq小編帶您悄悄變強!
點下【在看】給小編加雞腿總結
以上是生活随笔為你收集整理的python selenium 怎么查找modal悬浮窗的内容_python教程:五分钟从pubmed down几万篇文献...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 主攻计算机专业英语翻译,湖师大“博导”黄
- 下一篇: opython3l_python之 数据