日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

Hades:移动端静态分析框架

發(fā)布時(shí)間:2024/7/5 编程问答 33 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Hades:移动端静态分析框架 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

只有通過(guò)別人的眼睛,才能真正地了解自己 ——《云圖》

背景

作為全球最大的互聯(lián)網(wǎng) + 生活服務(wù)平臺(tái),美團(tuán)點(diǎn)評(píng)近年來(lái)在業(yè)務(wù)上取得了飛速的發(fā)展。為支持業(yè)務(wù)的快速發(fā)展,移動(dòng)研發(fā)團(tuán)隊(duì)規(guī)模也逐漸從零星的小作坊式運(yùn)營(yíng),演變?yōu)榍思?jí)研發(fā)軍團(tuán)協(xié)同作戰(zhàn)。

在公司蓬勃發(fā)展的大背景下,移動(dòng)項(xiàng)目架構(gòu)也有了全新的演進(jìn)方向:需要支持高效的集成策略,支持研發(fā)流程自動(dòng)化等等,最終提升研發(fā)效能,加速產(chǎn)品迭代和交付能力。

雖然高效的研發(fā)交付體系幫助 App 項(xiàng)目縮短了迭代周期,但井噴式的模塊發(fā)版和頻繁的項(xiàng)目集成,使得純?nèi)斯さ捻?xiàng)目維護(hù)和質(zhì)量保證變得“獨(dú)木難支”。

上圖漫畫(huà)中,列舉了大型項(xiàng)目在持續(xù)優(yōu)化和維護(hù)過(guò)程中較為常見(jiàn)的幾類需求。這些需求主要包括以下幾個(gè)方面:

  • 在 CI 流程中加入靜態(tài)準(zhǔn)入檢查,避免繁瑣的人工 Review 以及減少人工 Review 可能帶來(lái)的失誤。
  • 為了推進(jìn)項(xiàng)目的優(yōu)化過(guò)程,需要方法數(shù)監(jiān)控、宏定義分析等代碼分析報(bào)表和監(jiān)控。
  • 零 PV 報(bào)表、依賴分析和頭文件引用規(guī)范、無(wú)用代碼分析等項(xiàng)目?jī)?yōu)化方案。
  • 不難發(fā)現(xiàn),這些需求的本質(zhì)是:借助代碼靜態(tài)分析能力,提升項(xiàng)目可持續(xù)發(fā)展所需要的自動(dòng)化水平。針對(duì) C/Objective-C 主流的靜態(tài)分析開(kāi)源項(xiàng)目包括:Static Analyzer、Infer、OCLint 等。但是,這些分析工具對(duì)我們而言存在一些問(wèn)題:

    • 開(kāi)發(fā)成本高,收益有限,研發(fā)參與積極性不夠。
    • 針對(duì)局部代碼分析,跨編譯單元以及全局性分析較難。
    • 增量分析困難,CI 靜態(tài)檢查效率低下。
    • 工具性較強(qiáng),大部分只作代碼規(guī)范檢查,應(yīng)用范疇局限。
    • 接入和維護(hù)成本高,難以平臺(tái)化。

    針對(duì)以上背景和現(xiàn)有方案的不足,我們決定自研基于語(yǔ)義的靜態(tài)分析框架。

    Hades 項(xiàng)目簡(jiǎn)介

    大眾點(diǎn)評(píng)靜態(tài)分析框架 Hades,取名源于古希臘神話中的冥王。冥王 Hades 公正無(wú)私,能夠?qū)徱曥`魂的是非善惡。

    Hades 框架支持語(yǔ)義分析能力,我們希望這種能力不僅僅能夠去實(shí)現(xiàn)一個(gè)傳統(tǒng)的 Lint 工具,而且能成為創(chuàng)造更多能力的基礎(chǔ),可以幫助我們更輕松地審視代碼,理解把控大型項(xiàng)目。

    Hades 方案選型

    文本處理方式

    首先,最簡(jiǎn)單的靜態(tài)分析是字符匹配和文本處理。這種方式雖然實(shí)現(xiàn)簡(jiǎn)單,但是存在能力上限,也不可能在語(yǔ)義理解上有足夠的把控力。另外,以正則匹配為核心建立的工具棧難以得到持續(xù)優(yōu)化。為了分析項(xiàng)目的依賴關(guān)系,我們需要判斷代碼中的符號(hào)含義以及符號(hào)間關(guān)系(如包含哪些類,類中有哪些方法等),分析過(guò)程的正則表達(dá)式如下圖所示。

    由此可見(jiàn),繁瑣的文本匹配不僅可讀性差,也存在容易分析出錯(cuò)的問(wèn)題。

    基于編譯器的靜態(tài)分析方案

    我們需求的本質(zhì)是對(duì)代碼進(jìn)行分析,而在源代碼編譯過(guò)程中,語(yǔ)法分析器會(huì)創(chuàng)建出抽象語(yǔ)法樹(shù)(Abstract Syntax Tree 縮寫(xiě)為 AST)。AST 是源代碼的抽象語(yǔ)法結(jié)構(gòu)的樹(shù)狀表現(xiàn)形式,樹(shù)上的每個(gè)節(jié)點(diǎn)都表示源碼的一種結(jié)構(gòu)。

    以上圖為例,代碼塊區(qū)域是用 Objective-C 和 TypeScript 編寫(xiě)的一個(gè)簡(jiǎn)單條件語(yǔ)句源碼,下面是其對(duì)應(yīng)的抽象語(yǔ)法結(jié)構(gòu)表達(dá)。這種樹(shù)狀的結(jié)構(gòu)表達(dá),省略了一些細(xì)節(jié)(比如:沒(méi)有生成括號(hào)節(jié)點(diǎn)),從圖中的這種映射關(guān)系中我們也可以發(fā)現(xiàn):

    • 源碼的語(yǔ)法結(jié)構(gòu)是可以通過(guò)明確的數(shù)據(jù)結(jié)構(gòu)表示的。
    • 大多數(shù)編程語(yǔ)言都可以用相似的 AST 表達(dá)的。

    對(duì)于 C/Objective-C 而言,主流編譯器是 Clang/LLVM(Low Level Virtual Machine)的,它是一個(gè)開(kāi)源的編譯器架構(gòu),并被成功應(yīng)用到多個(gè)應(yīng)用領(lǐng)域。Clang(發(fā)音為/kl??/,不是C浪)是 LLVM的一個(gè)編譯器前端,它目前支持 C, C++, Objective-C 等編程語(yǔ)言。Clang 會(huì)對(duì)源程序進(jìn)行詞法分析和語(yǔ)義分析,將分析結(jié)果轉(zhuǎn)換為 AST。現(xiàn)有方案中不少 Lint 工具便是基于 Clang 的,Clang 包含了以下特點(diǎn):

    • 編譯速度快:Clang 的編譯速度遠(yuǎn)快于 GCC。
    • 占用內(nèi)存小:Clang 生成的 AST 所占用的內(nèi)存是 GCC 的五分之一左右。
    • 模塊化設(shè)計(jì):Clang 采用基于庫(kù)的模塊化設(shè)計(jì),易于 IDE 集成及其他用途的重用。

    因此,借助 Clang 的模塊化設(shè)計(jì)和高效編譯等諸多優(yōu)點(diǎn),Hades 也將更容易開(kāi)發(fā)和升級(jí)維護(hù)。Clang 對(duì)源碼強(qiáng)有力的分析能力也是主流靜態(tài)分析工具的不二之選。

    Clang AST 初識(shí)

    Clang 項(xiàng)目非常龐大。僅僅是 Clang AST 相關(guān)代碼就超過(guò) 10W+ 行代碼。如何利用 Clang 實(shí)現(xiàn) AST 分析工作,這里可以參考官網(wǎng)提供的文檔 Choosing the Right Interface for Your Application ,以下是三種方式:

    • LibClang

      提供 C 語(yǔ)言的穩(wěn)定接口,支持Python Binding。AST 并不完整,不能完全掌控 Clang AST。

    • Clang Plugins

      提供 C++ 接口,更新快,不能保留上下文信息。插件的存在形式是一個(gè)動(dòng)態(tài)鏈接庫(kù),不能在構(gòu)建環(huán)境外獨(dú)立存在。

    • LibTooling

      提供 C++ 接口,更新快,可以通過(guò)標(biāo)準(zhǔn)的 main() 函數(shù)作為入口,可獨(dú)立運(yùn)行,能夠完全掌控 AST,相比 Plugin 更容易設(shè)置。

    這里我們選擇可獨(dú)立運(yùn)行并且能完全掌控 AST 的 LibTooling 作為 Hades 的基礎(chǔ)。

    在使用 Clang 的學(xué)習(xí)過(guò)程中,基本的概念便是表示 AST 的節(jié)點(diǎn)類型,這里重要的幾點(diǎn)是:

    • ASTContext。

    ASTContext 是編譯實(shí)例用來(lái)保存 AST 相關(guān)信息的一種結(jié)構(gòu),也包含了編譯期間的符號(hào)表。我們可以通過(guò) TranslationUnitDecl * getTranslationUnitDecl(): 方法得到整個(gè)翻譯單元的 AST 的入口節(jié)點(diǎn)。

    • 節(jié)點(diǎn)類型。

    AST 通過(guò)三組核心類構(gòu)建:Decl (declarations)、Stmt (statements)、Type (types)。其它節(jié)點(diǎn)類型并不會(huì)從公共基類繼承,因此,沒(méi)有用于訪問(wèn)樹(shù)中所有節(jié)點(diǎn)的通用接口。

    • 遍歷方式。

    為了分析 AST,我們需要遍歷語(yǔ)法樹(shù)。Clang 提供了兩種方式:RecursiveASTVisitor 和 ASTMatcher。RecursiveASTVisitor 能夠讓我們以深度優(yōu)先的方式遍歷 Clang AST 節(jié)點(diǎn)。我們可以通過(guò)擴(kuò)展類并實(shí)現(xiàn)所需的 VisitXXX 方法來(lái)訪問(wèn)特定節(jié)點(diǎn)。

    ASTMatcher API 提供了一種域特定語(yǔ)言(DSL)來(lái)構(gòu)建基于 Clang AST 的謂詞,它能高效地匹配到我們感興趣的節(jié)點(diǎn)。

    除了這兩種方式外,LibClang 也提供了 Cursors 來(lái)遍歷 AST。更多細(xì)節(jié)內(nèi)容可以前往 :clang.llvm.org 。

    常用開(kāi)源工具的不足

    通過(guò)上一章節(jié)的介紹,我們大致了解了 Clang 的基本特點(diǎn)。 但是在實(shí)踐開(kāi)發(fā)過(guò)程中發(fā)現(xiàn):通過(guò) Clang API 去遍歷和分析 AST 的源碼樹(shù)形結(jié)構(gòu)較為復(fù)雜。現(xiàn)有靜態(tài)分析方案(如:OCLint),大多是直接給出封裝好的 Lint 工具,擴(kuò)展方面也是提供腳手架生成 Rule 文件,然后在 Rule 中編寫(xiě)訪問(wèn)特定 AST 節(jié)點(diǎn)的方法(例如:VisitObjCMethodDecl 方法用來(lái)訪問(wèn) Objective-C 的方法定義)。

    因此,現(xiàn)有方案大多數(shù)只提供了直接訪問(wèn) AST 的方式,而且這種方式較為“局部”。每實(shí)現(xiàn)一個(gè)實(shí)際需求需要耗費(fèi)大量精力去理解如何從 AST 分析映射到源碼的語(yǔ)義邏輯。

    但是,Code Review 時(shí)我們并不會(huì)將目標(biāo)代碼轉(zhuǎn)換為 AST 然后再去分析代碼的語(yǔ)義如何,更多的是直接理解代碼的具體邏輯和調(diào)用關(guān)系。AST 樹(shù)狀結(jié)構(gòu)分析的復(fù)雜性容易帶來(lái)理解上的差異鴻溝。因此,這也不利于調(diào)動(dòng)業(yè)務(wù)研發(fā)團(tuán)隊(duì)的積極性,很多基于源碼分析工作也難以落地。

    Hades 核心實(shí)現(xiàn)

    為了讓分析過(guò)程更清晰,我們需要在 AST 的基礎(chǔ)之上再進(jìn)行一次抽象。本章節(jié)主要內(nèi)容包含:Hades 的整體架構(gòu)、為什么要定義語(yǔ)義模型、定義什么樣的語(yǔ)義模型、如何輸出語(yǔ)義模型以及模型的序列化和持久化。

    Hades 總體架構(gòu)

    按照 Hades 的架構(gòu)目標(biāo)進(jìn)行基礎(chǔ)方案選型以后,我們來(lái)看下 Hades 的整體技術(shù)框架,可以用下圖所示的四層架構(gòu)表示:

    下面簡(jiǎn)述下這幾層的不同職責(zé):

    編譯器架構(gòu)層。Clang 的諸多優(yōu)勢(shì)前文已經(jīng)提到,這也是 Hades 的基礎(chǔ)依賴。

    Hades 核心層。在編譯器架構(gòu)層,我們借助 Clang 得到了代碼的抽象語(yǔ)法結(jié)構(gòu)表示 AST。而 Hades 核心層的職責(zé)便是將 AST 解析成人們更容易理解的,更高層級(jí)的語(yǔ)義模型。

    Hades 接口封裝層。抽象出的模型,能夠像 Clang 提供豐富 AST 訪問(wèn)接口那樣,為開(kāi)發(fā)者提供豐富的模型訪問(wèn)接口。

    靜態(tài)分析應(yīng)用。通過(guò) Hades 接口封裝,我們無(wú)需清楚底層模型是如何生成的,在這一層我們可以制作 Lint 或者其它監(jiān)控、分析工具。

    為什么 Hades 的架構(gòu)設(shè)計(jì)是這樣的呢?下面我們將一一道來(lái)。

    為何要定義語(yǔ)義模型 ?

    首先,正如「常用開(kāi)源工具的不足」章節(jié)所述,大多現(xiàn)有方案是直接通過(guò)編譯器前端提供的接口實(shí)現(xiàn)對(duì) AST 的操作,從而達(dá)到靜態(tài)分析的目的。

    當(dāng)然,除了現(xiàn)有方案的不足以外,在業(yè)務(wù)研發(fā)過(guò)程中出現(xiàn)的 Case ,其原因大多數(shù)并不是違反了現(xiàn)有的 Lint 工具中所定義的基本語(yǔ)法規(guī)范,這些規(guī)則分析的往往是“常識(shí)”類問(wèn)題。在靜態(tài)分析中,更多的是對(duì)象的錯(cuò)誤方法調(diào)用和非法的繼承/復(fù)寫(xiě)關(guān)系等問(wèn)題,即便具備良好的編碼規(guī)范也會(huì)疏忽。這里乍一看沒(méi)太大區(qū)別,但是從著重點(diǎn)來(lái)說(shuō),Hades 的設(shè)計(jì)理念上會(huì)存在本質(zhì)區(qū)別。

    如上圖所示,現(xiàn)有方案如 OCLint 或者 Clang Static Analyser 等,其核心原理是在編譯器將源碼生成 AST 時(shí),通過(guò)分析節(jié)點(diǎn)和節(jié)點(diǎn)間的關(guān)系,從而達(dá)到靜態(tài)分析的目的。這種方式不利于跨編譯單元分析,自然對(duì)項(xiàng)目級(jí)別的理解分析存在局限性。

    所以,這里可以借助 AST 針對(duì)每個(gè)編譯單元建立更直觀的、更容易理解的結(jié)構(gòu)化表達(dá)。我們將這個(gè)更高層級(jí)的語(yǔ)義表達(dá)稱為 HadesModel。

    定義什么樣的語(yǔ)義模型 ?

    建立 HadesModel 以后的靜態(tài)分析中,我們的著重點(diǎn)變化如下圖所示:

    下面我們可以簡(jiǎn)單描述需要設(shè)計(jì)的 HadesModel 的基本特點(diǎn):

    • HadesModel 可以結(jié)構(gòu)化表達(dá)源碼的語(yǔ)義。它能夠表達(dá)一個(gè)編譯單元定義了哪些接口聲明、實(shí)現(xiàn)了哪些類/類別的方法、定義和展開(kāi)了哪些宏定義、對(duì)象的方法調(diào)用和函數(shù)使用情況等等。
    • HadesModel 使我們不需要了解 Clang 編譯器以及 AST 如何表達(dá)源碼。
    • HadesModel 以一個(gè)完整的編譯單元為單位,支持 JSON 格式表達(dá)。
    • 對(duì)于 Objective-C ,分析過(guò)程不必強(qiáng)依賴于 xcodebuild 編譯構(gòu)建過(guò)程。

    通過(guò)以上幾點(diǎn)特征描述,我們得到了 HadesModel 更清晰的表述:

    HadesModel 是基于 AST 的更高層級(jí)語(yǔ)義表達(dá),它能夠序列化為 JSON 格式并描述完整的編譯單元,這種結(jié)構(gòu)化信息使得靜態(tài)分析能更接近于開(kāi)發(fā)者閱讀理解源碼的思維習(xí)慣。

    在介紹完 HadesModel 的基本目標(biāo)后,我們用下面一段簡(jiǎn)單的 Objective-C 代碼為例來(lái)明確 HadesModel 的具體表達(dá)形式:

    在示例代碼中,我們簡(jiǎn)單了解下包含的語(yǔ)義邏輯:

    • 這是一段 Objective-C 代碼,實(shí)現(xiàn)文件名為 HadesViewController.m。
    • 在實(shí)現(xiàn)文件中,定義了一個(gè)名為 HadesMacro 的宏定義。
    • 實(shí)現(xiàn)文件中包含了 HadesViewController 類的實(shí)現(xiàn)部分,HadesViewController 是 UIViewController 的子類。
    • HadesViewController 類中包含了兩個(gè)方法實(shí)現(xiàn)。其中第一個(gè)方法名為 sayHello ,里面包含了局部對(duì)象 testView 的初始化以及對(duì)象的方法調(diào)用,另外還包含了宏定義的使用。

    可以發(fā)現(xiàn),HadesModel 能夠表達(dá)開(kāi)發(fā)者對(duì)語(yǔ)義信息的直觀理解即可。

    如何生成語(yǔ)義模型:HadesModel ?

    接下來(lái)介紹 Hades 基本架構(gòu)圖中 HadesCore 的核心實(shí)現(xiàn),重點(diǎn)在如何生成前文所述的 HadesModel。

    這里 HadesCore 借助 Clang LibTooling 分析源碼的 AST,然后將我們所需的語(yǔ)義信息抽象成 HadesModel。將數(shù)據(jù)抽象和轉(zhuǎn)換過(guò)程用以下簡(jiǎn)要流程表示:

    下面將從一個(gè)流程圖來(lái)看看 HadesCore 是如何生成 HadesModel 的實(shí)現(xiàn)細(xì)節(jié):

    流程圖中主要包括以下幾點(diǎn)內(nèi)容。

    1. 構(gòu)建編譯數(shù)據(jù)庫(kù)

    首先,Hades 是基于 Clang 的模塊化設(shè)計(jì)開(kāi)發(fā),所以它可以獨(dú)立運(yùn)行,因此,可以利用 RubyGem 的方式將模型生成過(guò)程封裝并提供命令行工具。對(duì)于需要得到 HadesModel 的編譯單元.m,首先需要作為源文件集成到 workspace (iOS 可以用 CocoaPods),然后利用 Xcode 提供的 xcodebuild 結(jié)合 xcpretty 編譯得到項(xiàng)目的編譯數(shù)據(jù)庫(kù) compile_commands.json。編譯數(shù)據(jù)庫(kù)用來(lái)指定每個(gè)編譯單元的命令行參數(shù)。

    2. 創(chuàng)建 HadesDriver

    在創(chuàng)建驅(qū)動(dòng)器之前,可以使用 Clang 提供的 CommonOptionsParser 類,它將負(fù)責(zé)解析與編譯數(shù)據(jù)庫(kù)和輸入相關(guān)的命令行參數(shù),然后將其作為驅(qū)動(dòng)器的輸入。驅(qū)動(dòng)器控制整個(gè)模型生成周期,它的輸出結(jié)果便是 HadesModel。

    3. 構(gòu)建 HadesModel

    在 HadesDriver 的驅(qū)動(dòng)下,首先需要?jiǎng)?chuàng)建編譯器實(shí)例,執(zhí)行編譯前可以分析宏定義和頭文件展開(kāi)等預(yù)處理信息,并將這些內(nèi)容初始化到 HadesModel 對(duì)象。接著,在編譯器實(shí)例中將 FrontendAction 接口作為擴(kuò)展編譯過(guò)程的執(zhí)行入口,利用 Clang LibTooling 提供的 ASTVistor 訪問(wèn) AST 節(jié)點(diǎn)(更多 Clang 技術(shù)細(xì)節(jié)見(jiàn):Clang 8 documentation),最終將所有翻譯單元的“元數(shù)據(jù)”填充到 HadesModel。

    以前文的 HadesViewController.m 為例,我們得到 HadesModel 并序列化為 JSON 數(shù)據(jù)以后,如下圖所示:

    顯然,示例 HadesModel 已經(jīng)能夠表達(dá)開(kāi)發(fā)者 Code Review 時(shí),絕大多數(shù)“直白”的語(yǔ)義信息了。

    HadesModel 的序列化/持久化

    由于 HadesModel 最終需要以 JSON 格式作為提供靜態(tài)分析的原始數(shù)據(jù)類型,所以需要保證 HadesModel 具備序列化的能力。

    JSON 格式使 Hades 具備了全局分析能力,也符合設(shè)計(jì)之初的分析和平臺(tái)、語(yǔ)言無(wú)關(guān)的要求。再者,JSON 類型也方便利用具備較好類型系統(tǒng)的語(yǔ)言作為分析接口層。

    實(shí)踐中,以 iOS 常用的 CocoaPods 的 Pod 為單位,在私有 Pod 發(fā)版時(shí)生成模型數(shù)據(jù)然后打包存儲(chǔ)在 Maven 中,以便于增量分析

    在 CI 系統(tǒng)中,特別是大型項(xiàng)目持久化的模型存儲(chǔ)非常重要。CI 中為了加快集成速度,不得不使用部分二進(jìn)制的集成方式,但是這樣將無(wú)法對(duì)靜態(tài)庫(kù)進(jìn)行源碼分析。利用 Hades 的模型緩存,我們可以解決二進(jìn)制集成的局限性。緩存數(shù)據(jù)也不需要再次編譯、模型生成等耗時(shí)操作,所以接入 Hades 后基本不影響集成項(xiàng)目的集成速度。

    Hades 應(yīng)用案例(1):制作 Lint 工具

    在這一章,我們將介紹 Hades 架構(gòu)中的接口層,以及在 Lint 工具上的應(yīng)用。

    HadesLint 架構(gòu)描述

    HadesLint 是基于 Hades 框架制作的靜態(tài)分析工具。作為平臺(tái)標(biāo)準(zhǔn)的 Lint 工具,目前在持續(xù)集成有了廣泛應(yīng)用(詳情見(jiàn)此篇文章:MCI:大眾點(diǎn)評(píng)千人移動(dòng)研發(fā)團(tuán)隊(duì)怎樣做持續(xù)集成?)。

    HadesLint 開(kāi)發(fā)語(yǔ)言是 TypeScript。它具備完善的類型系統(tǒng),結(jié)合 VSCode 的智能補(bǔ)全和完善的 Debug 能力,使得 HadesLint 具備良好的開(kāi)發(fā)體驗(yàn)。

    HadesLint 的實(shí)現(xiàn)細(xì)節(jié)如下圖所示:

    在接入 HadesLint 的項(xiàng)目后,我們將項(xiàng)目以 Pod 為單位,從 Maven 中讀取緩存模型 Zip 包。如果不存在緩存,那么將利用前文所述封裝好的 HadesGem 通過(guò)編譯數(shù)據(jù)庫(kù)實(shí)時(shí)生成每個(gè)編譯單元的 HadesModel。

    由于我們的項(xiàng)目較大,模型數(shù)據(jù)量也非常龐大,為了防止分析過(guò)程內(nèi)存泄露的危險(xiǎn),提升分析性能,可以通過(guò)Lazy.js進(jìn)行惰性求值,漸進(jìn)加載有效解決了模型數(shù)據(jù)龐大的問(wèn)題。

    被 Lazy.js 加載的 JSON 對(duì)象,需要通過(guò) TypeScript 聲明來(lái)保證 HadesModel 具備類型。這樣,我們就可以在 VSCode 中編寫(xiě)代碼時(shí),享受自動(dòng)補(bǔ)全、類型推斷,從而保證編寫(xiě)過(guò)程更加安全、高效。借助 VSCode 對(duì) TypeScript 的良好支持,在編寫(xiě)分析過(guò)程中方便地 Debug。

    最后 HadesLint Driver 會(huì)加載每個(gè)規(guī)則對(duì)象,在規(guī)則中分析 HadesModel 然后確定檢查項(xiàng)是否合法。

    當(dāng)然,如果希望程序執(zhí)行效率更高些,也可以嘗試 OCaml+ATD 來(lái)構(gòu)建 Lint 項(xiàng)目。

    HadesLint 應(yīng)用案例:打印項(xiàng)目中的類名

    需求描述:我們需要找到項(xiàng)目中定義的所有類名。

    我們只需要通過(guò)腳手架創(chuàng)建新的規(guī)則,然后編寫(xiě)以下代碼(HadesLint規(guī)則代碼):

    this.hadesModels.each((hadesModel: HadesModel.HModel) => {hadesModel.class_list.forEach((occlass: HadesNode.Class) => {console.log(occlass.name);}) });

    編寫(xiě)代碼以后,可以在 VSCode 的 Debug 面板中開(kāi)啟調(diào)試:

    當(dāng)然,除了以上簡(jiǎn)單的查詢功能以外,我們也可以定制相對(duì)復(fù)雜的檢查規(guī)則,比如繼承鏈管控、方法復(fù)寫(xiě)檢查、非空檢查等。

    在引出方法復(fù)寫(xiě)管控之前,開(kāi)發(fā)者往往會(huì)通過(guò)隨意繼承的方式復(fù)寫(xiě)代碼,或者通過(guò)不合理擴(kuò)展方式來(lái)滿足當(dāng)前需求。但是,人工 Review 代碼很難保證集成項(xiàng)目中,這些擴(kuò)展或者子類在運(yùn)行時(shí)的行為。因此,對(duì)繼承鏈管控的需求非常有必要。我們的 App 之前就出現(xiàn)了擴(kuò)展同名方法,意外導(dǎo)致方法復(fù)寫(xiě),從而在程序運(yùn)行時(shí)出現(xiàn)問(wèn)題,甚至導(dǎo)致 Crash。

    為此,我們?cè)诩蓽?zhǔn)入檢查中加入了方法覆蓋檢查。當(dāng)然,如果父類設(shè)計(jì)之初本身是希望子類復(fù)寫(xiě),我們?cè)?Lint 過(guò)程中通常會(huì)忽略這些合法的復(fù)寫(xiě)情況。

    對(duì)于這類跨編譯單元的分析需求,如果我們按照 Clang Static Analyser 是較難分析的,但是 Hades 就可以非常輕松地做到,因?yàn)?Hades 可以輕松獲取整個(gè)繼承鏈以及每個(gè)類的實(shí)現(xiàn)定義。

    Hades 應(yīng)用案例(2):構(gòu)建 HadesDB

    HadesModel 是結(jié)構(gòu)化數(shù)據(jù),因此,我們也可以將這些模型數(shù)據(jù)以 Document 的形式存儲(chǔ)到文檔型數(shù)據(jù)庫(kù)中,例如:CouchDB。

    在 CouchDB 的基礎(chǔ)上建立模型數(shù)據(jù)庫(kù),這樣便能夠方便地通過(guò) Map-Reduce 建立視圖文檔(Design Documents),然后,我們可以獲取項(xiàng)目中包含的類及其方法列表、分析每個(gè) Document 的字段按需輸出結(jié)果。

    例如,存儲(chǔ)建立完整的項(xiàng)目 HadesModel 數(shù)據(jù)后,在 CouchDB 中建立 Design Document,然后在 Map Function 中編寫(xiě)以下代碼:

    function (doc) {if (doc.extracontext.macro_list !== null) {emit(doc._id, doc.extracontext.macro_list);} }

    CouchDB 支持 JS 代碼編寫(xiě) map-reduce,以上代碼表示在當(dāng)前的數(shù)據(jù)庫(kù)中,對(duì)于每個(gè) HadesModel Document 判斷是否存在宏定義,如果存在,那么輸出宏定義作為 Design Document 的結(jié)果。

    最后,通過(guò) CouchDB 接口返回可以獲取如下結(jié)果:

    // App 項(xiàng)目中源碼中使用的所有宏定義信息: {"total_rows": xxx,"offset": 0,"rows": [{"id": "NVShopInfoBlackPearlMultiDealCell","key": "NVShopInfoBlackPearlMultiDealCell","value": [{"name": "NVActionSheet","expanded": true,"expandstr": "UIResponder<NVActionSheetDelegate> *","location": ${path_location},...}]},...] }

    有了 HadesDB 以后,我們能賦予代碼語(yǔ)義分析更大的想象空間。比如,可以利用 HadesDB 制作 Web 項(xiàng)目,通過(guò) Web 頁(yè)面搜索、查詢我們所需要知道的語(yǔ)義信息和分析數(shù)據(jù)。

    總結(jié)

    本文介紹了在美團(tuán)點(diǎn)評(píng)業(yè)務(wù)快速發(fā)展背景下,針對(duì)大型移動(dòng)項(xiàng)目的靜態(tài)分析需求,結(jié)合開(kāi)源項(xiàng)目利弊,最終設(shè)計(jì)實(shí)現(xiàn)的靜態(tài)分析框架 Hades。

    Hades 作為大眾點(diǎn)評(píng)移動(dòng)研發(fā)的基礎(chǔ)設(shè)施之一,在實(shí)踐中得到了廣泛的應(yīng)用,為大型 App 項(xiàng)目的日常維護(hù)、代碼分析提供支持。基于 HadesModel 的靜態(tài)分析易上手,開(kāi)發(fā)接入成本低,能夠理解代碼語(yǔ)義,具備全局分析能力等諸多優(yōu)點(diǎn)。

    最后,我們也希望 Hades 的設(shè)計(jì)是賦予創(chuàng)造能力的能力,而不僅僅是作為傳統(tǒng)意義上的 Lint 輔助工具,這也是我們?yōu)槭裁床蝗∶麨椤肮ぞ摺?#xff0c;而是稱之為“框架”的原因。當(dāng)然,基于 Hades 我們也是能夠很方便地制作出 Lint 工具的。

    Hades 是否開(kāi)源?不久將會(huì)開(kāi)源,敬請(qǐng)期待。如果對(duì)我們平臺(tái)感興趣,歡迎小伙伴們加入大眾點(diǎn)評(píng)的大家庭。

    參考資料

    • [1] Clang 8 documentation
    • [2] Infer static analyzer
    • [3] Clang Tidy
    • [4] OCLint static analyzer
    • [5] Apache CouchDB
    • [6] TypeScript
    • [7] ATD
    • [8] Lazy.js
    • [9] xcpretty
    • [10] Visual Studio Code

    作者簡(jiǎn)介

    • 吳達(dá),大眾點(diǎn)評(píng) iOS 技術(shù)專家,Hades 項(xiàng)目開(kāi)發(fā)者。目前專注于移動(dòng) CI 研發(fā),靜態(tài)分析和點(diǎn)評(píng) App 業(yè)務(wù)研發(fā)。
    • 智聰,移動(dòng)信息組件負(fù)責(zé)人,大眾點(diǎn)評(píng) iOS 高級(jí)專家。專注于移動(dòng)工具鏈開(kāi)發(fā),對(duì)移動(dòng)持續(xù)集成、靜態(tài)分析平臺(tái)建設(shè)有深刻理解和豐富的實(shí)踐經(jīng)驗(yàn)。

    招聘信息

    大眾點(diǎn)評(píng)移動(dòng)研發(fā)中心,Base 上海,為美團(tuán)提供移動(dòng)端底層基礎(chǔ)設(shè)施服務(wù),包含網(wǎng)絡(luò)通信、移動(dòng)監(jiān)控、推送觸達(dá)、動(dòng)態(tài)化引擎、移動(dòng)研發(fā)工具等。同時(shí)團(tuán)隊(duì)還承載流量分發(fā)、UGC、內(nèi)容生態(tài)、個(gè)人中心等業(yè)務(wù)研發(fā)工作,長(zhǎng)年虛位以待專注于移動(dòng)端研發(fā)的各路英雄豪杰。歡迎投遞簡(jiǎn)歷:dawei.xing@dianping.com。

    總結(jié)

    以上是生活随笔為你收集整理的Hades:移动端静态分析框架的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

    如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。