為什么需要熱加載

在某些情況，你可能不希望關(guān)閉Python進(jìn)程并重新打開(kāi)，或者你無(wú)法重新啟動(dòng)Python，這時(shí)候就需要實(shí)現(xiàn)實(shí)時(shí)修改代碼實(shí)時(shí)生效，而不用重新啟動(dòng)Python

在我的需求下，這個(gè)功能非常重要，我將Python注入到了其他進(jìn)程，并作為一個(gè)線程運(yùn)行。如果我想關(guān)閉Python，要么殺死Python相關(guān)的線程，要么重新啟動(dòng)進(jìn)程，這都比較麻煩。所以當(dāng)我修改完代碼后，熱加載代碼是最方便的方法

Python中的導(dǎo)入機(jī)制

我們重復(fù)導(dǎo)入一個(gè)庫(kù)時(shí)，第二次導(dǎo)入時(shí)并沒(méi)有運(yùn)行庫(kù)里面的代碼，比如先寫一個(gè)a.py,在里面寫一行代碼print("a模塊加載")，然后在寫一個(gè)b.py, 里面寫兩行import a。即使你在多線程中再導(dǎo)入一遍a模塊，也不會(huì)打印。例如下面的代碼：

import a
import threading
print(id(a))

def test():
    import a
    print(id(a))

threading.Thread(target=test).start()

可以看到a的id是一樣的，也就是同一個(gè)對(duì)象。

為什么會(huì)這樣呢？這和Python的模塊導(dǎo)入機(jī)制有關(guān)，Python會(huì)在sys.modules這個(gè)字典里存儲(chǔ)著所有的全局模塊，當(dāng)你導(dǎo)入一個(gè)新模塊時(shí)，他會(huì)先查找sys.modules里有沒(méi)有這個(gè)模塊，如果沒(méi)有再導(dǎo)入，如果有就在當(dāng)前代碼增加個(gè)引用。舉個(gè)最簡(jiǎn)單的例子:

a.py

print("a模塊加載")

def aa():
    print("a模塊中的aa方法被加載")

b.py

import sys
a = sys.modules["a"]
a.aa()

c.py

import a
import b

先導(dǎo)入a模塊，這樣sys.modules已經(jīng)有了a模塊，你就可以使用sys.modules["a"]來(lái)使用a模塊，它和import a基本是一樣的。如果你先import b就會(huì)發(fā)現(xiàn)sys.modules不存在a

重新導(dǎo)入模塊1

既然知道它是先查找sys.modules，那我在導(dǎo)入之前，先刪除掉里面的a再導(dǎo)入就可以了

import a
import sys
del sys.modules["a"]
import a

這樣就能重新加載模塊

重新導(dǎo)入模塊2

Python基礎(chǔ)庫(kù)也提供了一個(gè)方法重新加載模塊:

import a
import importlib

importlib.reload(a)

看一下內(nèi)部代碼是怎么實(shí)現(xiàn)的：

邏輯也比較簡(jiǎn)單， 先看sys.modules里有沒(méi)有這個(gè)模塊，如果有就使用_bootstrap._exec導(dǎo)入模塊。我們是不是也可以通過(guò)_bootstrap._exec來(lái)重新導(dǎo)入模塊，可以但不建議，因?yàn)橄聞澗€開(kāi)頭的模塊或者函數(shù)都是不建議外部使用的，這些接口可能在版本更新后變動(dòng)比較頻繁

無(wú)法熱加載的情況

__main__模塊無(wú)法熱加載。當(dāng)你執(zhí)行python a.py，這個(gè)a.py文件是無(wú)法熱加載的，它并沒(méi)有作為模塊導(dǎo)入，在sys.modules的名稱就是__main__

如果你在__main__使用from a import A導(dǎo)入的類，即使a模塊重新加載，__main__里面的A也不會(huì)改變

熱加載無(wú)法影響已經(jīng)實(shí)例化的對(duì)象，比如你修改了模塊里面的類代碼，但是已經(jīng)在__main__里實(shí)例化了這個(gè)類對(duì)象，并且一直使用未釋放，它的邏輯在熱加載之后不會(huì)受影響。

函數(shù)級(jí)熱加載

要想實(shí)現(xiàn)函數(shù)、方法乃至對(duì)象級(jí)別的熱加載，得修改內(nèi)存中的Python對(duì)象。有一個(gè)項(xiàng)目實(shí)現(xiàn)了這種，有興趣的可以看：https://github.com/breuleux/jurigged

我的需求沒(méi)有這么細(xì)，就不測(cè)試了

監(jiān)聽(tīng)文件變化

我選擇的是watchdog，另一個(gè)pyinotify不支持Windows。

watchdog在Windows上有點(diǎn)小bug，修改文件會(huì)觸發(fā)兩次事件。搜到一個(gè)解決方案：不使用默認(rèn)的事件觸發(fā)，而是利用文件快照，每隔一段時(shí)間做一次比對(duì)。原文鏈接：Python神器watchdog(監(jiān)控文件變化)，我測(cè)試了一下效果很好。

源碼

完整的源碼就不放了，具體可以看：https://github.com/kanadeblisst00/module_hot_loading

國(guó)內(nèi)倉(cāng)庫(kù)：http://www.pygrower.cn:21180/kanadeblisst/module_hot_loading

安裝

pip install module-hot-loading

使用

from threading import Event
from module_hot_loading import monitor_dir


if __name__ == "__main__":
    event = Event()
    event.set()
    path = "."
    monitor_dir(path, event, __file__, interval=2, only_import_exist=False)
    

monitor_dir的參數(shù):

1. 需要監(jiān)控的目錄路徑
2. 停止監(jiān)控的事件信號(hào)
3. __main__的代碼文件路徑
4. interval: 每隔幾秒打一次文件快照做比對(duì)
5. only_import_exist: 只重新加載已經(jīng)導(dǎo)入的模塊

效果

總結(jié)

以上是生活随笔為你收集整理的Python实现模块热加载的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。