日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > python >内容正文

python

python进程监控 supervisor_使用Python的Supervisor进行进程监控以及自动启动

發布時間:2024/7/23 python 47 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python进程监控 supervisor_使用Python的Supervisor进行进程监控以及自动启动 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

做服務器端開發的同學應該都對進程監控不會陌生,最近恰好要更換 uwsgi 為 gunicorn,而gunicorn又恰好有這么一章講進程監控,所以多研究了下。

結合之前在騰訊工作的經驗,也會講講騰訊的服務器監控是怎么做的。同時也會講下小團隊又該怎么敏捷的解決。

下面按照監控的方法依次介紹。

一、按照進程名監控

在騰訊內部所有server都是要打包發布的,而在打包過程中是需要填寫要監控的進程名,然后在crontab中定時通過ps查詢進程是否存在。

這種方法是比較簡單的方法,但是考慮到很多進程會在啟動之后改名,以及進程名存在各種特殊字符,多個進程同時存在的問題,實際操作起來并不是很舒服。

舉個簡單的例子,gunicorn啟動之后的進程名類似這樣 master: [wsgi:app],其中的方括號在grep時要記得轉義,否則就會出問題。

不過不管怎么說,這種方法在很多其他方式用不了的時候反而是最簡單的方法。

下面是用python的實現:

def monitor_process(key_word, cmd):

p1 = subprocess.Popen(['ps', '-ef'], stdout=subprocess.PIPE)

p2 = subprocess.Popen(['grep', key_word], stdin=p1.stdout, stdout=subprocess.PIPE)

p3 = subprocess.Popen(['grep', '-v', 'grep'], stdin=p2.stdout, stdout=subprocess.PIPE)

lines = p3.stdout.readlines()

if len(lines) > 0:

return

sys.stderr.write('process[%s] is lost, run [%s]\n' % (key_word, cmd))

subprocess.call(cmd, shell=True)

二、按照端口監控

這種方式之前在騰訊打包的時候也有用,但是可能是進程名更直觀的原因吧,貌似一直沒怎么用起來。

不過現在自己在做包部署的時候,反而覺得端口監控是個最靠譜的事情了。這個也沒什么好多說的,直接上剛寫完的python代碼:

def monitor_port(protocol, port, cmd):

address = ('127.0.0.1', port)

socket_type = socket.SOCK_STREAM if protocol == 'tcp' else socket.SOCK_DGRAM

client = socket.socket(socket.AF_INET, socket_type)

try:

client.bind(address)

except Exception, e:

pass

else:

sys.stderr.write('port[%s-%s] is lost, run [%s]\n' % (protocol, port, cmd))

subprocess.call(cmd, shell=True)

finally:

client.close()

有的朋友可能說對于tcp端口檢查,其實以client的方式來connect()看是否成功會不會更好?其實我覺得這種方式也挺好的,并且對于不同的協議可以再深入處理一下,比如對http協議可以用urllib2.urlopen確保返回正確的包才算正常。不過如果這么做的話,就有點偏黑盒監控 了,比如監控寶、阿里云監控之類的服務了。

三、通過監控server啟動進程,并以監控子進程的方式監控

這個也是在gunicorn頁面上看到的,說起來gunicorn很不厚道的把gaffer放到第一個,讓我還以為是個很成熟的產品,結果發現連啟動都是個問題。

相反排在后面的supervisor反而相當的好用,下面是截圖:

supervisor可以很方便的管理進程,包括重啟,停止等等,而且提供了web界面和用戶驗證,可以很方便的在線管理。

但是有好處就有壞處,用了supervisor之后,就不能自己隨便的去自己重啟服務了,否則會影響supervisor的監控,這對我這種喜歡自己執行 xx.sh restart 的人實在有點太痛苦了。當然,其實要是習慣了去supervisorctl 里面start/stop/reload 之后也就還好了。

用supervisor配置gunicorn的配置項如下:

[program:yuanzhaopin]

environment=PYTHON_EGG_CACHE=/tmp/.python-eggs/,PYTHONPATH=/data/release/yuanzhaopin

command=/usr/local/bin/gunicorn --debug --log-level debug --log-file /tmp/g.log wsgi:app

user=zny2008

autorestart=true

redirect_stderr=true

ok,目前自己常用的就是這幾種模式了,大家如果有其他選擇歡迎留言討論。

完整代碼如下:

#!/usr/bin/env python

# -*- coding: utf-8 -*-

#*/1 * * * * python /xxx/monitor.py >> /xxx/logs/monitor.log 2>&1? &

import sys

import subprocess

import os.path as op

import socket

def this_abs_path(script_name):

return op.abspath(op.join(op.dirname(__file__), script_name))

def monitor_process(key_word, cmd):

p1 = subprocess.Popen(['ps', '-ef'], stdout=subprocess.PIPE)

p2 = subprocess.Popen(['grep', key_word], stdin=p1.stdout, stdout=subprocess.PIPE)

p3 = subprocess.Popen(['grep', '-v', 'grep'], stdin=p2.stdout, stdout=subprocess.PIPE)

lines = p3.stdout.readlines()

if len(lines) > 0:

return

sys.stderr.write('process[%s] is lost, run [%s]\n' % (key_word, cmd))

subprocess.call(cmd, shell=True)

def monitor_port(protocol, port, cmd):

address = ('127.0.0.1', port)

socket_type = socket.SOCK_STREAM if protocol == 'tcp' else socket.SOCK_DGRAM

client = socket.socket(socket.AF_INET, socket_type)

try:

client.bind(address)

except Exception, e:

pass

else:

sys.stderr.write('port[%s-%s] is lost, run [%s]\n' % (protocol, port, cmd))

subprocess.call(cmd, shell=True)

finally:

client.close()

#=============================================================================

def yuanzhaopin():

cmd = '%s start' % this_abs_path('gun.sh')

#monitor_process('\[yuanzhaopin\]', cmd)

monitor_port('tcp', 8635, cmd)

def main():

yuanzhaopin()

if __name__ == '__main__':

main()

總結

以上是生活随笔為你收集整理的python进程监控 supervisor_使用Python的Supervisor进行进程监控以及自动启动的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。