python网络库_python的网络库
最近新功能上線,幫忙加了幾個監控腳本。上次用的perl,語法太隨意了,看起來很是不整潔,自己寫的都覺得不好,更不要說給別人看。好久沒用python了,反正這次準備使用新的監控設計方案,剛好換一下。
用perl寫的是第一次做監控腳本,什么都不知道,看著別人的邏輯來寫。覺得不是很好,一個腳本只監控一個功能,太多的重復工作和體力勞動,布置、統計也不方便。這次把它們都集中到一起,并抽象出黑箱監控的一些參數,一套東東搞定。其實邏輯很簡單,就像下圖所示。
麻煩的地方在于,以前是用socket做通信,這次為了方便,直接用python的庫去做request。前后用了urllib2,httplib,httplib2。
urllib2在我的機器上建立連接用了1秒鐘,要知道我用瀏覽器去訪問總時間也不過幾百ms(包括加載圖片、CSS、JS等)。監控用的那臺機python還是2.4,沒有超時設置接口,用了一個計時器在超時的時候做close并在代碼里捕獲異常。最后還是因為太慢,轉用httplib。
httplib建立一個就很快了,不過做request和read還是慢,要比瀏覽器慢上200到300ms。一樣沒有超時設置,發現httplib的read在開始的時候如果發現文件被關閉的話會返回長度為0的字符串,這個不是我所要的。自己去修改它的代碼,加上了超時設置并在read的時候加上了異常。基本可以用,不過還是覺得在read的時候比較慢,估計是一些內存拷貝的算法太差。
實在受不了這種慢動作。用perl寫的一個腳本實現同樣功能要比這個快得多,后來找到一個httplib2,感覺對HTTP的支持要完善得多,另外也可以做超時設置(但似乎在read開始后就無效?)。
我的機器環境比較慢一點,三個庫做同一個request所用的時間大概是:
urllib2 1.2s
httplib 800ms
httplib2 400ms
總結:
1)雖然python 2.4相同邏輯比perl慢,但因為代碼風格比較好控制,后續還是盡量考慮使用python
2)不同的庫實現不同,用python的時候注意在比較慢的情況下考慮使用其他庫。
總結
以上是生活随笔為你收集整理的python网络库_python的网络库的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: php业务的适用场景,根据业务场景寻找合
- 下一篇: python pandas合并多个exc