2022小木虫与研招网调剂监视脚本
前言
轉眼間22年的調劑就要結束了,或有不甘,亦是注定,22考研失敗了。考研前心比天高,考試時七上八下,考試后心如死灰;調劑前信心滿滿,調劑中一頭霧水,隨著各種郵件石沉大海,最后也釋然接受失敗的命運。準備時心比天高,眼高手低,忽略數學的基礎題;按照往年真題的出題思路簡單復習專業課,而并不搞懂其中原理;雖然已經注意保暖,卻還是在考試的過程中受寒,出考場嘔吐;亦或是專業課題型大改,給分不高。每一次的失敗都會很多原因,但最根本的還是自己復習沒有效果:數學一本題集都沒寫,甚至連參考書目的課后習題都沒有做完,英語單詞簡單看看,專業課簡單背背。簡簡單單的努力,簡簡單單的分數,除了花費了不少時間外,沒有什么需要抱怨。
人的一生沒有多少能夠改變自己賽道的機會,高考一次,研究生一次,博士一次,亦或是其他諸如公務員考試等等。雖然這些考試已經存在了很多年,未來已經繼續存在著,但是人的精力卻是一去不返了。如果在一二十歲的年紀里就開始選擇了妥協、打折扣,那么接下來的一生里將不知道有多少唏噓。不妥協、不將就是我在調劑期間堅持如一的思想,即使沒有希望(分數太少),擁有其他選擇(其他研究原聯系)卻仍然選擇走到底。這就是小時候老是被稱作別勁頭的后遺癥吧(手動狗頭)。
作者不是一個善于抒情的人,寫了一點點就像是沒寫什么,說了一點點與沒說一樣。還是先進入正題吧。
背景
平臺介紹
小木蟲是一個科研交流平臺,是中國科研界中最大的一個論壇,雖然其已經十分老舊,但仍然能夠從該平臺上找到可能對我們有幫助的信息。研招網就是研究生考試的官方指定調劑平臺,調劑上的大部分事情都是通過該網站完成。
需求介紹
考研的調劑是一場信息戰,更早的掌握調劑信息有利于聯系老師,進行準備。時間充裕的話到是可以一天都守在電腦旁邊,但這種做法太低效,浪費了太多的時間。那么如何有效地利用起時間并且不盡量不錯過有價值的信息呢?
爬蟲是一類能夠自動抓取目標網頁上指定信息的自動化程序。我們將能夠自動的實時獲取目標網站上更新數據的爬蟲稱為增量式網絡爬蟲。顯而易見,增量式網絡爬蟲的能夠能夠滿足我們的需要。
Python增量式爬蟲
Python增量式網絡爬蟲是使用Python語言編寫的一種爬蟲。由于Python具有強大的第三庫,與快速編寫項目的能力,本項目將會使用Python作為主要編寫語言。同時,為了避免分析繁雜的網頁調用、生成關系,將會使用selenium進行自動化渲染。
需求環境
本項目的環境為Python3.6.7,在更高的Python版本中依然能夠使用。使用的selenium第三方庫的版本為3.141.0(更高版本的selenium刪減了一些列方法,可能會造成項目運行錯誤)
此外,由于本項目使用selenium做自動化渲染,所以需要下載響應瀏覽器的驅動文件。本項目默認使用的是Firefox瀏覽器,其驅動可以在https://github.com/mozilla/geckodriver/releases 下載。
同時本項目將統一使用pushdeer應用作為通知。pushdeer源碼地址:https://github.com/easychen/pushdeer pushdeer官網及下載地址:https://www.pushdeer.com/
小木蟲監視腳本
小木蟲監視腳本主要是針對于一個小木蟲模塊:導師招生。在這個模塊中,需要招收調劑的導師將會提前發布條及相關信息,常見的都是通過科研團隊的名義發布招生信息 。一般的話都是通過郵件聯系。
具體腳本文件參見:https://github.com/Thesoul20/daily-work/blob/main/postgraduation/muchongzhaosheng_kui.py
研招網監視腳本
研招網監視主要是針對于研招網上公布的調劑信息:如當前三個平行志愿的狀態,查詢某學校/研究所發布的考研信息。通過使用selenium自動渲染,操控瀏覽器進行相應點擊,切換標簽等操作。
具體腳本文件參見:https://github.com/Thesoul20/daily-work/blob/main/postgraduation/yanzhao.py
監視設置
以上腳本的使用都不具有重復執行的功能,雖然在設計的過程中對最新添加的信息進行了優化設置,但距離能夠實時監控還有一段距離。同時應該主要的是:調劑信息通常都會在發出后的兩三天內有效,可以適當的將監視時間間隔擴大一點,減少目標網站的運營維護壓力。
為了使本項目具有定時運行的功能,首先需要一臺能夠全天無間斷運行的計算機(服務器),之后在服務器上設置定時。在Linux服務器中,可以通過使用crontab工具來實現。
crontab實現
crontab 能夠定時運行linux系統上的腳本文件。故需要先編寫出一個腳本文件,然后通過crontab 工具定是運行該腳本文件。本項目選擇sh腳本,具體內容如下
# activate Python environment cd python_env pipenv shell# enter the project directory and run the py file cd project python **.py結語
調劑真的是一場大混戰,各種分數,各種專業的都在一起競爭,很多大神(有科研,有獎項,有獎學金)也會下場求一個研究生名額。所以還是需要初試分考得高一點,面試的時候好好準備。準重要的是,定學校的時候好好調研,有沒有歧視,存不存在壓分。
再定學校之前請牢記一句話:選擇大于努力。 定完學校之后,請認真準備,初試分數下來之后也請萬不要懈怠,復試之前一定要抽出大量時間準備。要注意的點太多,相信也有不少文章會交代這些事情,但還是忍不住要交代一些事情。
由于本項目的目標網站都比較敏感,故本博客將寫的比較隨意,那些有Python基礎的同志們應該會看懂,小白的話就先不要嘗試了。同時應該提醒一下:請在調劑系統關閉的時候停止運行以上爬蟲,減少目標網站服務器維護壓力。設置自動檢測時盡量把時間間隔跳的長一些。
聲明
本項目僅供學習交流使用,如果侵犯了您的法律權利,請郵件聯系floatingdream24@163.com。作者將會在一周內進行回復。
總結
以上是生活随笔為你收集整理的2022小木虫与研招网调剂监视脚本的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 微信小程序设置横竖屏
- 下一篇: 当当网页面