python网络库_python的网络库
最近新功能上線,幫忙加了幾個(gè)監(jiān)控腳本。上次用的perl,語法太隨意了,看起來很是不整潔,自己寫的都覺得不好,更不要說給別人看。好久沒用python了,反正這次準(zhǔn)備使用新的監(jiān)控設(shè)計(jì)方案,剛好換一下。
用perl寫的是第一次做監(jiān)控腳本,什么都不知道,看著別人的邏輯來寫。覺得不是很好,一個(gè)腳本只監(jiān)控一個(gè)功能,太多的重復(fù)工作和體力勞動(dòng),布置、統(tǒng)計(jì)也不方便。這次把它們都集中到一起,并抽象出黑箱監(jiān)控的一些參數(shù),一套東東搞定。其實(shí)邏輯很簡單,就像下圖所示。
麻煩的地方在于,以前是用socket做通信,這次為了方便,直接用python的庫去做request。前后用了urllib2,httplib,httplib2。
urllib2在我的機(jī)器上建立連接用了1秒鐘,要知道我用瀏覽器去訪問總時(shí)間也不過幾百ms(包括加載圖片、CSS、JS等)。監(jiān)控用的那臺(tái)機(jī)python還是2.4,沒有超時(shí)設(shè)置接口,用了一個(gè)計(jì)時(shí)器在超時(shí)的時(shí)候做close并在代碼里捕獲異常。最后還是因?yàn)樘?#xff0c;轉(zhuǎn)用httplib。
httplib建立一個(gè)就很快了,不過做request和read還是慢,要比瀏覽器慢上200到300ms。一樣沒有超時(shí)設(shè)置,發(fā)現(xiàn)httplib的read在開始的時(shí)候如果發(fā)現(xiàn)文件被關(guān)閉的話會(huì)返回長度為0的字符串,這個(gè)不是我所要的。自己去修改它的代碼,加上了超時(shí)設(shè)置并在read的時(shí)候加上了異常。基本可以用,不過還是覺得在read的時(shí)候比較慢,估計(jì)是一些內(nèi)存拷貝的算法太差。
實(shí)在受不了這種慢動(dòng)作。用perl寫的一個(gè)腳本實(shí)現(xiàn)同樣功能要比這個(gè)快得多,后來找到一個(gè)httplib2,感覺對(duì)HTTP的支持要完善得多,另外也可以做超時(shí)設(shè)置(但似乎在read開始后就無效?)。
我的機(jī)器環(huán)境比較慢一點(diǎn),三個(gè)庫做同一個(gè)request所用的時(shí)間大概是:
urllib2 1.2s
httplib 800ms
httplib2 400ms
總結(jié):
1)雖然python 2.4相同邏輯比perl慢,但因?yàn)榇a風(fēng)格比較好控制,后續(xù)還是盡量考慮使用python
2)不同的庫實(shí)現(xiàn)不同,用python的時(shí)候注意在比較慢的情況下考慮使用其他庫。
總結(jié)
以上是生活随笔為你收集整理的python网络库_python的网络库的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: php业务的适用场景,根据业务场景寻找合
- 下一篇: python pandas合并多个exc