编程界的“二向箔”——Dart元编程
閱讀過《三體》的同學肯定知道“降維打擊”,從更高維度看問題,直接將對手KO。今天我們閑聊一下編程界的“二向箔”——元編程。
1. 什么是元編程
我們聽過了太多太多的名詞,耳朵似乎都有點名詞麻痹癥了。比如,有些名詞為了裝x(比如筆者的文章標題...)或者其本身的意義難以定義,就會加上一些似乎閃爍著光芒的前綴——如meta。計算機軟件這行業就有meta data, meta model, meta programming。
今天我們裝x的主角就是meta programming——元編程。
其實網絡上也能搜出很多相關的文章,對于該詞的定義參考wikipedia的一句話:
Metaprogramming is a programming technique in which computer programs have the ability to treat other programs as their data. It means that a program can be designed to read, generate, analyze or transform other programs, and even modify itself while running. In some cases, this allows programmers to minimize the number of lines of code to express a solution, in turn reducing development time. It also allows programs greater flexibility to efficiently handle new situations without recompilation.
簡而言之,就是將程序作為數據,可以用于操作程序或者自身,而實現某些能力,比如將運行時工作移到編譯時。
按照編譯器發展的進程,元編程可實現如代碼替換(通過宏實現),泛型編程(從宏演變而來,脫離類型,高度抽象邏輯,可減少代碼量),或者在更高級的語言中,運行時通過內省/反射機制來操作代碼邏輯,或者隨著編譯過程的解耦和開放,可以實現在中間語言階段(AST,IL),操作語法樹和中間語言,實現更可擴展性的能力。
Dart做為一門現代高級語言,除了模板化能力,也能基于中間語言來操作代碼。本篇文章主要討論如何基于其中間語言(dill),通過AST樹的操作來進行元編程,并實現一些現有dart語法本身實現不了的能力。并且這種實現在編譯時,對于程序在運行時的性能幾乎沒有影響。
2. Dart中的元編程簡介
2.1 背景知識
我們知道,幾乎任何語言中,代碼在 "編譯"(解釋型語言在運行時也有編譯的過程) 的過程中,都會生成一種樹狀的中間狀態,這就是 AST(抽象語法樹)。AST 描述了每個表達式/語句中的子語句的執行順序和執行邏輯,因而它可以被很方便地翻譯成目標代碼 。基于這種抽象,能合理的將編譯器拆分為三階段:FrontEnd,Optimizer, Backend,從而實現能兼容各種語法形式的語言,更易于遷移并兼容不同架構的cpu。見下圖:
?
這三個階段圍繞這IL(intermediate language)進行。IL語言隔離了語法(能輕易適配各種新的語種),平臺架構等的差異性。
?
2.2 Dart的編譯流程
Dart的設計也類似,其中間語言就是Dill。不同的是,這里的Dill不像java的IL或者DotNet的IL那樣開放出來可以直接編寫,而是通過程序的方式操作實現。
這種方式其實就是基于AST庫對Dill進行manipulation。
這個庫內的組件包含了所有AST樹涉及到的節點的定義和訪問,將類型,函數,語句,聲明,表達式等編程基本概念抽象成了對象。基于這些對象我們可以遍歷整個AST樹, 或者生成新的類型和函數,插入代碼語句,實現新的邏輯。
2.3 幾個栗子
入門其實很簡單,看一下例子代碼就可以啦。
2.3.1. 比如以下語句定義了一個新的Map變量,并且調用了它的構造函數:
//組裝參數 Arguments mapFromArgs = Arguments.empty(); mapFromArgs.positional.add(MapLiteral([], keyType:keyInterType)); //調用from構造函數 StaticInvocation mapConstructor = StaticInvocation(MapFromFactoryProc, mapFromArgs); //聲明一個名字為jsonMap的Map類型變量 VariableDeclaration mapInstDecl = VariableDeclaration("jsonMap", type:mapInterType); //相當于var jsonMap = new Map(); VariableSet set_mymap = VariableSet(mapInstDecl, mapConstructor);2.3.2. 創建函數體
函數體其實就是Block。
Block bodyStatements = Block(List<Statement>()); bodyStatements.addStatement(mapInstDecl); bodyStatements.addStatement(ExpressionStatement(inst));2.3.3 創建函數
這個例子是參考某個函數的聲明形式來創建新函數,篇幅所限,一些參數從略。
static Procedure createProcedure(Procedure referProcedure ,Statement bodyStatements, DartType returnType) {FunctionNode functionNode = new FunctionNode(bodyStatements,//...參數從略);Procedure procedure = new Procedure(Name(referProcedure.canonicalName.name, referProcedure.name.library),ProcedureKind.Method, functionNode,//...參數從略);return procedure;} //調用函數創建,并添加到類定義中 Procedure overridedToJsonFunc = createProcedure(jsonTypes.StaticBaseToJsonProc, bodyStatements, InterfaceType(mapClass)); youClazz.addMember(overridedToJsonFunc);2.3.4 其他
基于AST還可以創建復雜的表達式和語句,如ForInStatement(for...in循環)等,語句和表達式還可以通過ExpressionStatement和BlockExpression互相轉化。更多的技巧可參考AST的定義。
2.4 如何調試
編輯好的Dill似乎是個黑盒,除了看日志或者看異常堆棧,并不能進行單步調試,給開發帶來了一些困難。但Dart提供了已將將kernel dill轉成可閱讀的文本的工具,方便調試:
$DartHome/dart ../../pkg/vm/bin/dump_kernel.dart /your/dill/file/path /output/dill/text/file.text打開的text文件是類似于這樣的:
static method __from_Json1(core::Map<dynamic, dynamic> m) → aop2::UserDataT {aop2::UserDataT inst;inst = new aop2::UserDataT::?();inst.name = m.[]("name") is core::String ?{core::String} m.[]("name") : null;inst.city = m.[]("city") is core::String ?{core::String} m.[]("city") : null;inst.age = m.[]("age") is core::int ?{core::int} m.[]("age") : null;inst.squres = m.[]("squres") is core::double ?{core::double} m.[]("squres") : null;inst.sex = m.[]("sex") is core::bool ?{core::bool} m.[]("sex") : null;inst.houses = m.[]("houses") is core::Map<dynamic, dynamic> ?{core::Map<dynamic, dynamic>} block {core::Map<core::String, core::String> mymap;mymap = col::LinkedHashMap::from<core::String, core::String>(<core::String, core::String>{});for (core::String item in (m.[]("houses") as core::Map<dynamic, dynamic>).keys) {mymap.[]=(item, (m.[]("houses") as core::Map<dynamic, dynamic>).[](item) is core::String ?{core::String} (m.[]("houses") as core::Map<dynamic, dynamic>).[](item) : null);}} =>mymap : null;return inst;}3. 應用暢想
基于Dill的Manipulation,我們可以實現往代碼中注入新的邏輯。比如閑魚科技之前開源的AOP庫AspectD的原理就是通過加載dill文件生成AST,然后遍歷AST,尋找到已經annotation到的函數或語句,在dill層面操作后又生成dill參加到編譯器后續的流程,最終實現了AOP。
類似的,我們知道Dart對于Json解析操作不是很方便,jsonDecode不能直接生成業務對象,而是Map或者List之類的集合,還需要用戶自己手動代碼遍歷這些集合并裝載對象。雖然官方開源了一個基于Source_gen的方案,但使用上也不友好(還有其他一些方案如Dason等,但依賴于Mirror,詳見這里的比較)。其實遍歷Map或者List并裝配對象這樣的操作邏輯很簡單,我們也可以通過Dill Manipulation來做。
其使用方式簡便,舉例如下:
@JsonModel() class UserData {String name;String city;UserData son; }void main(){var str = '''{"name": "Jim","city": "hangzhou","son":{"name": "Kong","city":"Hangzhou"}}''';UserData userData = JsonDrill.fromJson<UserData>(jsonDecode(str));var map = JsonDrill.toJson<UserData>(userData);print("$map");}更深入的思考一下,Dart現有的mirror能力至今未推薦使用(原因分析可參考這篇文章),那我們是否可以基于Dill Manipulation實現一個簡單輕量的LiteMirror庫呢?并基于這個LiteMirror庫實現更上層的Json解析和AOP甚至Hook能力?
當然,聰明的你或許已經發現,Dill Manipulation不可避免的要對編譯流程進行定制,這就要求比如在Flutter環境中,需要對Flutter Tool進行定制,以加入Dill再編輯的環節。劇透一下,閑魚科技目前就已經實現了Json解析器,正在準備開源中,敬請期待
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的编程界的“二向箔”——Dart元编程的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 数据仓库介绍与实时数仓案例
- 下一篇: 来了!云栖大会都能看到什么?