本文將簡單講述一下 Python 探針的實現原理。 同時為了驗證這個原理，我們也會一起來實現一個簡單的統計指定函數執行時間的探針程序。

探針的實現主要涉及以下幾個知識點:

sys.meta_path

sitecustomize.py

sys.meta_path

sys.meta_path這個簡單的來說就是可以實現 import hook 的功能， 當執行 import 相關的操作時，會觸發 sys.meta_path 列表中定義的對象。 關于 sys.meta_path 更詳細的資料請查閱 python 文檔中 sys.meta_path 相關內容以及 PEP 0302 。

sys.meta_path 中的對象需要實現一個 find_module 方法， 這個 find_module 方法返回 None 或一個實現了 load_module 方法的對象 (代碼可以從 github 上下載 part1) :

import sys

class MetaPathFinder:

def find_module(self, fullname, path=None):

print('find_module {}'.format(fullname))

return MetaPathLoader()

class MetaPathLoader:

def load_module(self, fullname):

print('load_module {}'.format(fullname))

sys.modules[fullname] = sys

return sys

sys.meta_path.insert(0, MetaPathFinder())

if __name__ == '__main__':

import http

print(http)

print(http.version_info)

load_module 方法返回一個 module 對象，這個對象就是 import 的 module 對象了。 比如我上面那樣就把 http 替換為 sys 這個 module 了。

$ python meta_path1.py

find_module http

load_module http

sys.version_info(major=3, minor=5, micro=1, releaselevel='final', serial=0)

通過 sys.meta_path 我們就可以實現 import hook 的功能： 當 import 預定的 module 時，對這個 module 里的對象來個貍貓換太子， 從而實現獲取函數或方法的執行時間等探測信息。

上面說到了貍貓換太子，那么怎么對一個對象進行貍貓換太子的操作呢？ 對于函數對象，我們可以使用裝飾器的方式來替換函數對象(代碼可以從 github 上下載 part2) :

import functools

import time

def func_wrapper(func):

@functools.wraps(func)

def wrapper(*args, **kwargs):

print('start func')

start = time.time()

result = func(*args, **kwargs)

end = time.time()

print('spent {}s'.format(end - start))

return result

return wrapper

def sleep(n):

time.sleep(n)

return n

if __name__ == '__main__':

func = func_wrapper(sleep)

print(func(3))

image.png

我們的 import hook 是 hook.py:

import functools

import importlib

import sys

import time

_hook_modules = {'hello'}

class MetaPathFinder:

def find_module(self, fullname, path=None):

print('find_module {}'.format(fullname))

if fullname in _hook_modules:

return MetaPathLoader()

class MetaPathLoader:

def load_module(self, fullname):

print('load_module {}'.format(fullname))

# ``sys.modules`` 中保存的是已經導入過的 module

if fullname in sys.modules:

return sys.modules[fullname]

# 先從 sys.meta_path 中刪除自定義的 finder

# 防止下面執行 import_module 的時候再次觸發此 finder

# 從而出現遞歸調用的問題

finder = sys.meta_path.pop(0)

# 導入 module

module = importlib.import_module(fullname)

module_hook(fullname, module)

sys.meta_path.insert(0, finder)

return module

sys.meta_path.insert(0, MetaPathFinder())

def module_hook(fullname, module):

if fullname == 'hello':

module.sleep = func_wrapper(module.sleep)

def func_wrapper(func):

@functools.wraps(func)

def wrapper(*args, **kwargs):

print('start func')

start = time.time()

result = func(*args, **kwargs)

end = time.time()

print('spent {}s'.format(end - start))

return result

return wrapper

image.png

image.png

image.png

image.png

實現一個agent

import os

import sys

current_dir = os.path.dirname(os.path.realpath(__file__))

boot_dir = os.path.join(current_dir, 'bootstrap')

def main():

args = sys.argv[1:]

os.environ['PYTHONPATH'] = boot_dir

# 執行后面的 python 程序命令

# sys.executable 是 python 解釋器程序的絕對路徑 ``which python``

# >>> sys.executable

# '/usr/local/var/pyenv/versions/3.5.1/bin/python3.5'

os.execl(sys.executable, sys.executable, *args)

if __name__ == '__main__':

main()

總結

以上是生活随笔為你收集整理的python 底层原理_Python 探针实现原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。