2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

最近在閱讀Python微型Web框架Bottle的源碼，發(fā)現(xiàn)了Bottle中有一個(gè)既是裝飾器類(lèi)又是描述符的有趣實(shí)現(xiàn)。剛好這兩個(gè)點(diǎn)是Python比較的難理解，又混合在一起，讓代碼有些晦澀難懂。但理解代碼之后不由得為Python語(yǔ)言的簡(jiǎn)潔優(yōu)美贊嘆。所以把相關(guān)知識(shí)和想法稍微整理，以供分享。

正文

Bottle是Python的一個(gè)微型Web框架，所有代碼都在一個(gè)bottle.py文件中，只依賴(lài)標(biāo)準(zhǔn)庫(kù)實(shí)現(xiàn)，兼容Python 2和Python 3，而且最新的穩(wěn)定版0.12代碼也只有3700行左右。雖然小，但它實(shí)現(xiàn)了Web框架基本功能。這里就不以過(guò)多的筆墨去展示Bottle框架，需要的請(qǐng)?jiān)L問(wèn)其網(wǎng)站了解更多。這里著重介紹與本文相關(guān)的重要對(duì)象request。在Bottle里，request對(duì)象代表了當(dāng)前線程處理的請(qǐng)求，客戶(hù)端發(fā)送的請(qǐng)求數(shù)據(jù)如表單數(shù)據(jù)，請(qǐng)求網(wǎng)站和cookie都可以從request對(duì)象中獲得。下面是官方文檔中的兩個(gè)例子
from bottle import request, route, response, template

# 獲取客戶(hù)端cookie以實(shí)現(xiàn)登陸時(shí)問(wèn)候用戶(hù)功能 @route('/hello') def hello():name = request.cookie.username or 'Guest'return template('Hello {{name}}', name=name)# 獲取形如/forum?id=1&page=5的查詢(xún)字符串中id和page變量的值 route('/forum') def display_forum():forum_id = request.query.idpage = request.query.page or '1'return template('Forum ID: {{id}} (page {{page}})', id=forum_id, page=page)

那么Bottle是如何實(shí)現(xiàn)的呢？根據(jù)WSGI接口規(guī)定，所有的HTTP請(qǐng)求信息都包含在一個(gè)名為envrion的dict對(duì)象中。所以Bottle要做的就是把HTTP請(qǐng)求信息從environ解析出來(lái)。在深入Request類(lèi)如何實(shí)現(xiàn)之前先要了解下Bottle的FormsDict。FormsDict與字典類(lèi)相似，但擴(kuò)展了一些功能，比如支持屬性訪問(wèn)、一對(duì)多的鍵值對(duì)、WTForms支持等。它在Bottle中被廣泛應(yīng)用，如上面的示例中cookie和query數(shù)據(jù)都以FormsDict存儲(chǔ)，所以我們可以用request.query.page的方式獲取相應(yīng)屬性值。
下面是0.12版Bottle中Request類(lèi)的部分代碼，0.12版中Request類(lèi)繼承了BaseRequest，為了方便閱讀我把代碼合并在一起，同時(shí)還有重要的DictProperty的代碼。需要說(shuō)明的是Request類(lèi)__init__傳入的environ參數(shù)就是WSGI協(xié)議中包含HTTP請(qǐng)求信息的envrion，而query方法中的_parse_qsl函數(shù)可以接受形如/forum?id=1&page=5原始查詢(xún)字符串然后以[(key1, value1), (ke2, value2), ...]的list返回。

class DictProperty(object):""" Property that maps to a key in a local dict-like attribute. """def __init__(self, attr, key=None, read_only=False):self.attr, self.key, self.read_only = attr, key, read_onlydef __call__(self, func):functools.update_wrapper(self, func, updated=[])self.getter, self.key = func, self.key or func.__name__return selfdef __get__(self, obj, cls):if obj is None: return selfkey, storage = self.key, getattr(obj, self.attr)if key not in storage: storage[key] = self.getter(obj)return storage[key]def __set__(self, obj, value):if self.read_only: raise AttributeError("Read-Only property.")getattr(obj, self.attr)[self.key] = valuedef __delete__(self, obj):if self.read_only: raise AttributeError("Read-Only property.")del getattr(obj, self.attr)[self.key]class Request:def __init__(self, environ=None):self.environ {} if environ is None else envrionself.envrion['bottle.request'] = self@DictProperty('environ', 'bottle.request.query', read_only=True)def query(self):get = self.environ['bottle.get'] = FormsDict()pairs = _parse_qsl(self.environ.get('QUERY_STRING', ''))for key, value in pairs:get[key] = valuereturn get

query方法的邏輯和代碼都比較簡(jiǎn)單，就是從environ中獲取'QUERY_STRING'，并用把原始查詢(xún)字符串解析為一個(gè)FormsDict，將這個(gè)FormsDict賦值給environ['bottle.request.query']并返回。但這個(gè)函數(shù)的裝飾器的作用就有些難以理解，裝飾器的實(shí)現(xiàn)方式都是"dunder"特殊方法，有些晦澀難懂。如果上來(lái)就看這些源碼可能難以理解代碼實(shí)現(xiàn)的功能。那不如這些放一邊，假設(shè)自己要實(shí)現(xiàn)這些方法，你會(huì)寫(xiě)出什么代碼。
一開(kāi)始你可能寫(xiě)出這樣的代碼。

# version 1 class Request:"""some codes here"""def query(self):get = self.environ['bottle.get'] = FormsDict()pairs = _parse_qsl(self.environ.get('QUERY_STRING', ''))for key, value in pairs:get[key] = valuereturn get

這樣確實(shí)實(shí)現(xiàn)了解析查詢(xún)字符串的功能，但每次在調(diào)用這個(gè)方法時(shí)都需要對(duì)原始查詢(xún)字符串解析一次，實(shí)際上在處理某特請(qǐng)求時(shí)，查詢(xún)字符串是不會(huì)改變的，所以我們只需要解析一次并把它保存起來(lái)，下次使用時(shí)直接返回就好了。另外此時(shí)的query方法還是一個(gè)普通方法，必須使用這樣的方法來(lái)調(diào)用它

# 獲取id request.query().id # 獲取page request.query().page

query后面的小括號(hào)讓語(yǔ)句顯得不那么協(xié)調(diào)，其實(shí)就是我覺(jué)得它丑。要是也能和官方文檔中的示例實(shí)現(xiàn)以屬性訪問(wèn)的方式獲取相應(yīng)的數(shù)據(jù)就好了。所以代碼還得改改。

# query method version 2 class Request:"""some codes here"""@propertydef query(self):if 'bootle.get.query' not in self.environ:get = self.environ['bottle.get'] = FormsDict()pairs = _parse_qsl(self.environ.get('QUERY_STRING', ''))for key, value in pairs:get[key] = valuereturn self.environ['bottle.get.query']

第二版改變的代碼就兩處，一個(gè)是使用property裝飾器，實(shí)現(xiàn)了request.query的訪問(wèn)方式；另一個(gè)就是在query函數(shù)體中增加了判斷'bottle.get.query'是否在environ中的判斷語(yǔ)句，實(shí)現(xiàn)了只解析一次的要求。第二版幾乎滿(mǎn)足了所有要求，它表現(xiàn)得就像Bottle中真正的query方法一樣。但它還是有些缺陷。
首先，Request類(lèi)并不只有query一個(gè)方法，如果要編寫(xiě)完整的Request類(lèi)就會(huì)發(fā)現(xiàn)，有很多方法的代碼與query相似，都是從environ中解析出需要的數(shù)據(jù)，而且都只需要解析一次，保存起來(lái)，第二次或以后訪問(wèn)時(shí)返回保存的數(shù)據(jù)就好了。所以可以考慮將屬性管理的代碼從方法體內(nèi)抽象出來(lái)，正好Python中的描述符可以實(shí)現(xiàn)這樣的功能。另外如果使用Bottle的開(kāi)發(fā)者在寫(xiě)代碼時(shí)不小心嘗試進(jìn)行request.query = some_data的賦值時(shí)，將會(huì)拋出如下錯(cuò)誤。

>>> AttributeError: can't set attribute

我們確實(shí)希望屬性是只讀的，在對(duì)其賦值時(shí)應(yīng)該拋出錯(cuò)誤，但這樣的報(bào)錯(cuò)信息并沒(méi)有提供太多有用的信息，導(dǎo)致調(diào)bug時(shí)一頭霧水，找不到方向。我們更希望拋出如

>>> AttributeError: Read-only property

這樣明確的錯(cuò)誤信息。
所以第三版的代碼可以這樣寫(xiě)

# query method version 3 class Descriptor:def __init__(self, attr, key, getter, read_only=False):self.attr = attrself.key = keyself.getter = getterself.read_only = read_onlydef __set__(self, obj, value):if self.read_only:raise AttributeError('Read only property.')getattr(obj, self.attr)[self.key] = valuedef __get__(self, obj, cls):if obj is None:return selfkey, storage = self.key, getattr(obj, self.attr)if key not in storage:storage[key] = self.getter(obj)return storage[key]def __delete__(self, obj):if self.read_only:raise AttributeError('Read only property.')del getattr(obj, self.attr)[self.key]class Reqeust:"""some codes"""def query(self):get = self.environ['bottle.get'] = FormsDict()pairs = _parse_qsl(self.environ.get('QUERY_STRING', ''))for key, value in pairs:get[key] = valuereturn get query = Descriptor('environ', 'bottle.get.query', query, read_only=True)

第三版的代碼沒(méi)有使用property裝飾器，而是使用了描述符這個(gè)技巧。如果你之前沒(méi)有見(jiàn)到過(guò)描述符，在這里限于篇幅只能做個(gè)簡(jiǎn)單的介紹，但描述符涉及知識(shí)點(diǎn)眾多，如果有不清楚之處可以看看《流暢的Python》第20章屬性描述符，里面有非常詳細(xì)的介紹。
簡(jiǎn)單來(lái)說(shuō)，描述符是對(duì)多個(gè)屬性運(yùn)用相同存取邏輯的一種方式，如Bottle框架里我們需要對(duì)很多屬性都進(jìn)行判斷某個(gè)鍵是否在environ中，如果在則返回，如果不在，需要解析一次這樣的存取邏輯。而描述符需要實(shí)現(xiàn)特定協(xié)議，包括__set__, __get__, __delete___方法，分別對(duì)應(yīng)設(shè)置，讀取和刪除屬性的方法。他么的參數(shù)也比較特殊，如__get__方法的三個(gè)參數(shù)self, obj, cls分別對(duì)應(yīng)描述符實(shí)例的引用，對(duì)第三版的代碼來(lái)說(shuō)就是Descriptor('environ', 'bottle.get.query', query, read_only=True)創(chuàng)建的實(shí)例的引用；obj則對(duì)應(yīng)將某個(gè)屬性托管給描述的實(shí)例對(duì)象的引用，對(duì)應(yīng)的應(yīng)該為request對(duì)象；而cls則為Request類(lèi)的引用。在調(diào)用request.query時(shí)編譯器會(huì)自動(dòng)傳入這些參數(shù)。如果以Request.query的方式調(diào)用，那么obj參數(shù)的傳入值為None，這時(shí)候通常的處理是返回描述符實(shí)例。
在Descriptor中__get__方法的代碼最多，也比較難理解，但如果記住其參數(shù)的意義也沒(méi)那么難。下面以query的實(shí)現(xiàn)為例，我添加一些注釋來(lái)幫助理解

key, storage = self.key, getattr(obj, self.attr) # key='bottle.get.query' # storage = environ 即包含HTTP請(qǐng)求的信息的environ# 判斷envrion中是否包含key來(lái)決定是否需要解析 if key not in storage:storage[key] = self.getter(obj)# self.getter(obj)就是調(diào)用了原來(lái)的query方法，不過(guò)要傳入一個(gè)Request實(shí)例，也就是obj return storage[key]

而__set__, __delete__代碼比較簡(jiǎn)單，在這里我們把只讀屬性在賦值和刪除時(shí)拋出的錯(cuò)誤定制為AttributeError('Read only property.')，方便調(diào)試。
通過(guò)使用描述符這個(gè)有些難懂的方法，我們可以在Request的方法中專(zhuān)心于編寫(xiě)如何解析的代碼，不用擔(dān)心屬性的存取邏輯。和在每個(gè)方法中都使用if判斷相比高到不知道哪里去。但美中不足的是，這樣讓我們的方法代碼后面拖著一個(gè)“小尾巴”，即

query = Descriptor('envrion', 'bottle.get.query', query, read_only=True)

怎么去掉這個(gè)這個(gè)“小尾巴“呢？回顧之前的代碼幾乎都是對(duì)query之類(lèi)的方法進(jìn)行修飾，所以可以嘗試使用裝飾器，畢竟裝飾器就是對(duì)某個(gè)函數(shù)進(jìn)行修飾的，而且我們應(yīng)該使用參數(shù)化的裝飾器，這樣才能將envrion等參數(shù)傳遞給裝飾器。如果要實(shí)現(xiàn)參數(shù)化裝飾器就需要一個(gè)裝飾器工廠函數(shù)，也就是說(shuō)裝飾器的代碼里需要嵌套至少3個(gè)函數(shù)體，寫(xiě)起來(lái)有寫(xiě)繞，代碼可閱讀性也有差。更大的問(wèn)題來(lái)自如何將描述符與裝飾器結(jié)合起來(lái)，因?yàn)镈escriptor是一個(gè)類(lèi)而不是方法。
解決辦法其實(shí)挺簡(jiǎn)單的。如果知道Python中函數(shù)也是對(duì)象，實(shí)現(xiàn)了__call__方法的對(duì)象可以表現(xiàn)得像函數(shù)一樣。所以我們可以修改Descirptor的代碼，實(shí)現(xiàn)__call__方法，讓它的實(shí)例成為callable對(duì)象就可以把它用作裝飾器；而要傳入的參數(shù)可以以實(shí)例屬性存儲(chǔ)起來(lái)，通過(guò)self.attribute的形式訪問(wèn)，而不是像使用工廠函數(shù)實(shí)現(xiàn)參數(shù)化裝飾器時(shí)通過(guò)閉包來(lái)實(shí)現(xiàn)參數(shù)的訪問(wèn)獲取。這時(shí)候再來(lái)看看Bottle里的DictProperty代碼

class DictProperty(object):""" Property that maps to a key in a local dict-like attribute. """def __init__(self, attr, key=None, read_only=False):self.attr, self.key, self.read_only = attr, key, read_onlydef __call__(self, func):functools.update_wrapper(self, func, updated=[])self.getter, self.key = func, self.key or func.__name__return selfdef __get__(self, obj, cls):if obj is None: return selfkey, storage = self.key, getattr(obj, self.attr)if key not in storage: storage[key] = self.getter(obj)return storage[key]def __set__(self, obj, value):if self.read_only: raise AttributeError("Read-Only property.")getattr(obj, self.attr)[self.key] = valuedef __delete__(self, obj):if self.read_only: raise AttributeError("Read-Only property.")del getattr(obj, self.attr)[self.key]

其實(shí)就是一個(gè)有描述符作用的裝飾器類(lèi)，它的使用方法很簡(jiǎn)單：

@DictProperty('environ', 'bottle.get.query', read_only=True) def query(self):""" some codes """

拆開(kāi)會(huì)更好理解點(diǎn)：

property = DictProperty('environ', 'bottle.get.query', read_only=True) @property def query(self):""" some codes """

再把@實(shí)現(xiàn)的語(yǔ)法糖拆開(kāi)：

def query(self):""" some codes """

property = DictProperty('environ', 'bottle.get.query', read_only=True)
query = property(query) # @實(shí)現(xiàn)的語(yǔ)法糖
再修改以下代碼形式：

def query(self):""" some codes """

query = DictProperty('environ', 'bottle.get.query', read_only=True)(query)
是不是和第三版的實(shí)現(xiàn)方式非常相似。

def query(self):""" some codes """query = Descriptor('environ', 'bottle.get.query', query, read_only=True)

但我們可以使用裝飾器把方法體后面那個(gè)不和諧的賦值語(yǔ)句”小尾巴“去掉，將屬性存取管理抽象出來(lái)，而且只需要使用一行非常簡(jiǎn)便的裝飾器把這個(gè)功能添加到某個(gè)方法上。這也許就是Python的美之一吧。

寫(xiě)在后面

DictProperty涉及知識(shí)遠(yuǎn)不止文中涉及的那么簡(jiǎn)單，如果你還是不清楚DictProperty的實(shí)現(xiàn)功能，建議閱讀《流暢的Python》第7章和第22章，對(duì)裝飾器和描述符有詳細(xì)的描述，另外《Python Cookbook》第三版第9章元編程有關(guān)于參數(shù)化裝飾器和裝飾器類(lèi)的敘述和示例。如果你對(duì)Bottle為什么要實(shí)現(xiàn)這樣的功能感到困惑，建議閱讀Bottle的文檔和WSGI相關(guān)的文章。
其實(shí)前一陣再閱讀Bottle源碼時(shí)就想寫(xiě)一篇文章，但奈何許久不寫(xiě)東西文筆生疏加上醫(yī)院實(shí)習(xí)期間又比較忙，一直推到現(xiàn)在才終于磕磕絆絆地把我閱讀的Bottle源碼的一些感悟?qū)懗鰜?lái)，希望對(duì)喜歡Python的各位有些幫助把。

轉(zhuǎn)載于:https://my.oschina.net/leejun2005/blog/79918

總結(jié)

以上是生活随笔為你收集整理的Bottle 框架中的装饰器类和描述符应用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。