Go語言中文網(wǎng)，致力于每日分享編碼、開源等知識，歡迎關注我，會有意想不到的收獲！

剛開始寫這篇文章的時候，目標非常大，想要探索 Go 程序的一生：編碼、編譯、匯編、鏈接、運行、退出。它的每一步具體如何進行，力圖弄清 Go 程序的這一生。

在這個過程中，我又復習了一遍《程序員的自我修養(yǎng)》。這是一本講編譯、鏈接的書，非常詳細，值得一看！數(shù)年前，我第一次看到這本書的書名，就非常喜歡。因為它模仿了周星馳喜劇之王里出現(xiàn)的一本書 ——《演員的自我修養(yǎng)》。心向往之！

在開始本文之前，先推薦一下王晶大佬(以前在滴滴)的博客——《面向信仰編程》，他的 Go 編譯系列文章，非常有深度，直接深入編譯器源代碼，我是看了很多遍了。博客鏈接可以從參考資料里獲取。

理想很大，實現(xiàn)的難度也是非常大。為了避免砸了“深度解密”這個牌子，這次起了個更溫和的名字，嘿嘿。

引入

我們從一個 Hello World 的例子開始：

package mainimport "fmt"func main() { fmt.Println("hello world")}

當我用我那價值 1800 元的 cherry 鍵盤瀟灑地敲完上面的 hello world 代碼時，保存在硬盤上的 hello.go 文件就是一個字節(jié)序列了，每個字節(jié)代表一個字符。

用 vim 打開 hello.go 文件，在命令行模式下，輸入命令：

:%!xxd

就能在 vim 里以十六進制查看文件內容：

最左邊的一列代表地址值，中間一列代表文本對應的 ASCII 字符，最右邊的列就是我們的代碼。再在終端里執(zhí)行 man ascii：

和 ASCII 字符表一對比，就能發(fā)現(xiàn)，中間的列和最右邊的列是一一對應的。也就是說，剛剛寫完的 hello.go 文件都是由 ASCII 字符表示的，它被稱為文本文件，其他文件被稱為二進制文件。

當然，更深入地看，計算機中的所有數(shù)據(jù)，像磁盤文件、網(wǎng)絡中的數(shù)據(jù)其實都是一串比特位組成，取決于如何看待它。在不同的情景下，一個相同的字節(jié)序列可能表示成一個整數(shù)、浮點數(shù)、字符串或者是機器指令。

而像 hello.go 這個文件，8 個 bit，也就是一個字節(jié)看成一個單位(假定源程序的字符都是 ASCII 碼)，最終解釋成人類能讀懂的 Go 源碼。

Go 程序并不能直接運行，每條 Go 語句必須轉化為一系列的低級機器語言指令，將這些指令打包到一起，并以二進制磁盤文件的形式存儲起來，也就是可執(zhí)行目標文件。

從源文件到可執(zhí)行目標文件的轉化過程：

完成以上各個階段的就是 Go 編譯系統(tǒng)。你肯定知道大名鼎鼎的 GCC(GNU Compile Collection)，中文名為 GNU 編譯器套裝，它支持像 C，C++，Java，Python，Objective-C，Ada，Fortran，Pascal，能夠為很多不同的機器生成機器碼。

可執(zhí)行目標文件可以直接在機器上執(zhí)行。一般而言，先執(zhí)行一些初始化的工作；找到 main 函數(shù)的入口，執(zhí)行用戶寫的代碼；執(zhí)行完成后，main 函數(shù)退出；再執(zhí)行一些收尾的工作，整個過程完畢。

在接下來的文章里，我們將探索編譯和運行的過程。

編譯鏈接概述

Go 源碼里的編譯器源碼位于 src/cmd/compile 路徑下，鏈接器源碼位于 src/cmd/link 路徑下。

編譯過程

我比較喜歡用 IDE(集成開發(fā)環(huán)境)來寫代碼， Go 源碼用的 Goland，有時候直接點擊 IDE 菜單欄里的“運行”按鈕，程序就跑起來了。這實際上隱含了編譯和鏈接的過程，我們通常將編譯和鏈接合并到一起的過程稱為構建(Build)。

編譯過程就是對源文件進行詞法分析、語法分析、語義分析、優(yōu)化，最后生成匯編代碼文件，以 .s 作為文件后綴。

之后，匯編器會將匯編代碼轉變成機器可以執(zhí)行的指令。由于每一條匯編語句幾乎都與一條機器指令相對應，所以只是一個簡單的一一對應，比較簡單，沒有語法、語義分析，也沒有優(yōu)化這些步驟。

編譯器是將高級語言翻譯成機器語言的一個工具，編譯過程一般分為 6 步：掃描、語法分析、語義分析、源代碼優(yōu)化、代碼生成、目標代碼優(yōu)化。下圖來自《程序員的自我修養(yǎng)》：

詞法分析

通過前面的例子，我們知道，Go 程序文件在機器看來不過是一堆二進制位。我們能讀懂，是因為 Goland 按照 ASCII 碼(實際上是 UTF-8)把這堆二進制位進行了編碼。例如，把 8個 bit 位分成一組，對應一個字符，通過對照 ASCII 碼表就可以查出來。

當把所有的二進制位都對應成了 ASCII 碼字符后，我們就能看到有意義的字符串。它可能是關鍵字，例如：package；可能是字符串，例如：“Hello World”。

詞法分析其實干的就是這個。輸入是原始的 Go 程序文件，在詞法分析器看來，就是一堆二進制位，根本不知道是什么東西，經(jīng)過它的分析后，變成有意義的記號。簡單來說，詞法分析是計算機科學中將字符序列轉換為標記(token)序列的過程。

我們來看一下維基百科上給出的定義：

詞法分析(lexical analysis)是計算機科學中將字符序列轉換為標記(token)序列的過程。進行詞法分析的程序或者函數(shù)叫作詞法分析器(lexical analyzer，簡稱lexer)，也叫掃描器(scanner)。詞法分析器一般以函數(shù)的形式存在，供語法分析器調用。

.go 文件被輸入到掃描器(Scanner)，它使用一種類似于有限狀態(tài)機的算法，將源代碼的字符系列分割成一系列的記號(Token)。

記號一般分為這幾類：關鍵字、標識符、字面量(包含數(shù)字、字符串)、特殊符號(如加號、等號)。

例如，對于如下的代碼：

slice[i] = i * (2 + 6)

總共包含 16 個非空字符，經(jīng)過掃描后：

上面的例子源自《程序員的自我修養(yǎng)》，主要講解編譯、鏈接相關的內容，很精彩，推薦研讀。

Go 語言(本文的 Go 版本是 1.9.2)掃描器支持的 Token 在源碼中的路徑：

src/cmd/compile/internal/syntax/token.go

感受一下：

還是比較熟悉的，包括名稱和字面量、操作符、分隔符和關鍵字。

而掃描器的路徑是：

src/cmd/compile/internal/syntax/scanner.go

其中最關鍵的函數(shù)就是 next 函數(shù)，它不斷地讀取下一個字符(不是下一個字節(jié)，因為 Go 語言支持 Unicode 編碼，并不是像我們前面舉得 ASCII 碼的例子，一個字符只有一個字節(jié))，直到這些字符可以構成一個 Token。

代碼的主要邏輯就是通過 c := s.getr() 獲取下一個未被解析的字符，并且會跳過之后的空格、回車、換行、tab 字符，然后進入一個大的 switch-case 語句，匹配各種不同的情形，最終可以解析出一個 Token，并且把相關的行、列數(shù)字記錄下來，這樣就完成一次解析過程。

當前包中的詞法分析器 scanner 也只是為上層提供了 next 方法，詞法解析的過程都是惰性的，只有在上層的解析器需要時才會調用 next 獲取最新的 Token。

語法分析

上一步生成的 Token 序列，需要經(jīng)過進一步處理，生成一棵以表達式為結點的語法樹。

比如最開始的那個例子，slice[i] = i * (2 + 6)，得到的一棵語法樹如下：

整個語句被看作是一個賦值表達式，左子樹是一個數(shù)組表達式，右子樹是一個乘法表達式；數(shù)組表達式由 2 個符號表達式組成；乘號表達式則是由一個符號表達式和一個加號表達式組成；加號表達式則是由兩個數(shù)字組成。符號和數(shù)字是最小的表達式，它們不能再被分解，通常作為樹的葉子節(jié)點。

語法分析的過程可以檢測一些形式上的錯誤，例如：括號是否缺少一半，+ 號表達式缺少一個操作數(shù)等。

語法分析是根據(jù)某種特定的形式文法(Grammar)對 Token 序列構成的輸入文本進行分析并確定其語法結構的一種過程。

語義分析

語法分析完成后，我們并不知道語句的具體意義是什么。像上面的 * 號的兩棵子樹如果是兩個指針，這是不合法的，但語法分析檢測不出來，語義分析就是干這個事。

編譯期所能檢查的是靜態(tài)語義，可以認為這是在“代碼”階段，包括變量類型的匹配、轉換等。例如，將一個浮點值賦給一個指針變量的時候，明顯的類型不匹配，就會報編譯錯誤。而對于運行期間才會出現(xiàn)的錯誤：不小心除了一個 0 ，語義分析是沒辦法檢測的。

語義分析階段完成之后，會在每個節(jié)點上標注上類型：

Go 語言編譯器在這一階段檢查常量、類型、函數(shù)聲明以及變量賦值語句的類型，然后檢查哈希中鍵的類型。實現(xiàn)類型檢查的函數(shù)通常都是幾千行的巨型 switch/case 語句。

類型檢查是 Go 語言編譯的第二個階段，在詞法和語法分析之后我們得到了每個文件對應的抽象語法樹，隨后的類型檢查會遍歷抽象語法樹中的節(jié)點，對每個節(jié)點的類型進行檢驗，找出其中存在的語法錯誤。

在這個過程中也可能會對抽象語法樹進行改寫，這不僅能夠去除一些不會被執(zhí)行的代碼對編譯進行優(yōu)化提高執(zhí)行效率，而且也會修改 make、new 等關鍵字對應節(jié)點的操作類型。

例如比較常用的 make 關鍵字，用它可以創(chuàng)建各種類型，如 slice，map，channel 等等。到這一步的時候，對于 make 關鍵字，也就是 OMAKE 節(jié)點，會先檢查它的參數(shù)類型，根據(jù)類型的不同，進入相應的分支。如果參數(shù)類型是 slice，就會進入 TSLICE case 分支，檢查 len 和 cap 是否滿足要求，如 len <= cap。最后節(jié)點類型會從 OMAKE 改成 OMAKESLICE。

中間代碼生成

我們知道，編譯過程一般可以分為前端和后端，前端生成和平臺無關的中間代碼，后端會針對不同的平臺，生成不同的機器碼。

前面詞法分析、語法分析、語義分析等都屬于編譯器前端，之后的階段屬于編譯器后端。

編譯過程有很多優(yōu)化的環(huán)節(jié)，在這個環(huán)節(jié)是指源代碼級別的優(yōu)化。它將語法樹轉換成中間代碼，它是語法樹的順序表示。

中間代碼一般和目標機器以及運行時環(huán)境無關，它有幾種常見的形式：三地址碼、P-代碼。例如，最基本的三地址碼是這樣的：

x = y op z

表示變量 y 和 變量 z 進行 op 操作后，賦值給 x。op 可以是數(shù)學運算，例如加減乘除。

前面我們舉的例子可以寫成如下的形式：

t1 = 2 + 6t2 = i * t1slice[i] = t2

這里 2 + 6 是可以直接計算出來的，這樣就把 t1 這個臨時變量“優(yōu)化”掉了，而且 t1 變量可以重復利用，因此 t2 也可以“優(yōu)化”掉。優(yōu)化之后：

t1 = i * 8slice[i] = t1

Go 語言的中間代碼表示形式為 SSA(Static Single-Assignment，靜態(tài)單賦值)，之所以稱之為單賦值，是因為每個名字在 SSA 中僅被賦值一次。。

這一階段會根據(jù) CPU 的架構設置相應的用于生成中間代碼的變量，例如編譯器使用的指針和寄存器的大小、可用寄存器列表等。中間代碼生成和機器碼生成這兩部分會共享相同的設置。

在生成中間代碼之前，會對抽象語法樹中節(jié)點的一些元素進行替換。這里引用王晶大佬《面向信仰編程》編譯原理相關博客里的一張圖：

例如對于 map 的操作 m[i]，在這里會被轉換成 mapacess 或 mapassign。

Go 語言的主程序在執(zhí)行時會調用 runtime 中的函數(shù)，也就是說關鍵字和內置函數(shù)的功能其實是由語言的編譯器和運行時共同完成的。

中間代碼的生成過程其實就是從 AST 抽象語法樹到 SSA 中間代碼的轉換過程，在這期間會對語法樹中的關鍵字在進行一次更新，更新后的語法樹會經(jīng)過多輪處理轉變最后的 SSA 中間代碼。

目標代碼生成與優(yōu)化

不同機器的機器字長、寄存器等等都不一樣，意味著在不同機器上跑的機器碼是不一樣的。最后一步的目的就是要生成能在不同 CPU 架構上運行的代碼。

為了榨干機器的每一滴油水，目標代碼優(yōu)化器會對一些指令進行優(yōu)化，例如使用移位指令代替乘法指令等。

這塊實在沒能力深入，幸好也不需要深入。對于應用層的軟件開發(fā)工程師來說，了解一下就可以了。

鏈接過程

編譯過程是針對單個文件進行的，文件與文件之間不可避免地要引用定義在其他模塊的全局變量或者函數(shù)，這些變量或函數(shù)的地址只有在此階段才能確定。

鏈接過程就是要把編譯器生成的一個個目標文件鏈接成可執(zhí)行文件。最終得到的文件是分成各種段的，比如數(shù)據(jù)段、代碼段、BSS段等等，運行時會被裝載到內存中。各個段具有不同的讀寫、執(zhí)行屬性，保護了程序的安全運行。

這部分內容，推薦看《程序員的自我修養(yǎng)》和《深入理解計算機系統(tǒng)》。

Go 程序啟動

仍然使用 hello-world 項目的例子。在項目根目錄下執(zhí)行：

go build -gcflags "-N -l" -o hello src/main.go

-gcflags "-N -l" 是為了關閉編譯器優(yōu)化和函數(shù)內聯(lián)，防止后面在設置斷點的時候找不到相對應的代碼位置。

得到了可執(zhí)行文件 hello，執(zhí)行：

[qcrao@qcrao hello-world]$ gdb hello

進入 gdb 調試模式，執(zhí)行 info files，得到可執(zhí)行文件的文件頭，列出了各種段：

同時，我們也得到了入口地址：0x450e20。

(gdb) b *0x450e20Breakpoint 1 at 0x450e20: file /usr/local/go/src/runtime/rt0_linux_amd64.s, line 8.

這就是 Go 程序的入口地址，我是在 linux 上運行的，所以入口文件為 src/runtime/rt0_linux_amd64.s，runtime 目錄下有各種不同名稱的程序入口文件，支持各種操作系統(tǒng)和架構，代碼為：

TEXT _rt0_amd64_linux(SB),NOSPLIT,$-8 LEAQ 8(SP), SI // argv MOVQ 0(SP), DI // argc MOVQ $main(SB), AX JMP AX

主要是把 argc，argv 從內存拉到了寄存器。這里 LEAQ 是計算內存地址，然后把內存地址本身放進寄存器里，也就是把 argv 的地址放到了 SI 寄存器中。最后跳轉到：

TEXT main(SB),NOSPLIT,$-8 MOVQ $runtime·rt0_go(SB), AX JMP AX

繼續(xù)跳轉到 runtime·rt0_go(SB)，位置：/usr/local/go/src/runtime/asm_amd64.s，代碼：

參考文獻里的一篇文章【探索 golang 程序啟動過程】研究得比較深入，總結下：

• 檢查運行平臺的CPU，設置好程序運行需要相關標志。

TLS的初始化。

runtime.args、runtime.osinit、runtime.schedinit 三個方法做好程序運行需要的各種變量與調度器。

runtime.newproc創(chuàng)建新的goroutine用于綁定用戶寫的main方法。

runtime.mstart開始goroutine的調度。

最后用一張圖來總結 go bootstrap 過程吧：

main 函數(shù)里執(zhí)行的一些重要的操作包括：新建一個線程執(zhí)行 sysmon 函數(shù)，定期垃圾回收和調度搶占；啟動 gc；執(zhí)行所有的 init 函數(shù)等等。

上面是啟動過程，看一下退出過程：

當 main 函數(shù)執(zhí)行結束之后，會執(zhí)行 exit(0) 來退出進程。若執(zhí)行 exit(0) 后，進程沒有退出，main 函數(shù)最后的代碼會一直訪問非法地址：

exit(0)for { var x *int32 *x = 0}

正常情況下，一旦出現(xiàn)非法地址訪問，系統(tǒng)會把進程殺死，用這樣的方法確保進程退出。

關于程序退出這一段的闡述來自群聊《golang runtime 閱讀》，又是一個高階的讀源碼的組織，github 主頁見參考資料。

當然 Go 程序啟動這一部分其實還會涉及到 fork 一個新進程、裝載可執(zhí)行文件，控制權轉移等問題。還是推薦看前面的兩本書，我覺得我不會寫得更好，就不敘述了。

GoRoot 和 GoPath

GoRoot 是 Go 的安裝路徑。mac 或 unix 是在 /usr/local/go 路徑上，來看下這里都裝了些什么：

bin 目錄下面：

pkg 目錄下面：

Go 工具目錄如下，其中比較重要的有編譯器 compile，鏈接器 link：

GoPath 的作用在于提供一個可以尋找 .go 源碼的路徑，它是一個工作空間的概念，可以設置多個目錄。Go 官方要求，GoPath 下面需要包含三個文件夾：

srcpkgbin

src 存放源文件，pkg 存放源文件編譯后的庫文件，后綴為 .a；bin 則存放可執(zhí)行文件。

Go 命令詳解

直接在終端執(zhí)行：

go

就能得到和 go 相關的命令簡介：

和編譯相關的命令主要是：

go buildgo installgo run

go build

go build 用來編譯指定 packages 里的源碼文件以及它們的依賴包，編譯的時候會到 $GoPath/src/package 路徑下尋找源碼文件。go build 還可以直接編譯指定的源碼文件，并且可以同時指定多個。

通過執(zhí)行 go help build 命令得到 go build 的使用方法：

usage: go build [-o output] [-i] [build flags] [packages]

-o 只能在編譯單個包的時候出現(xiàn)，它指定輸出的可執(zhí)行文件的名字。

-i 會安裝編譯目標所依賴的包，安裝是指生成與代碼包相對應的 .a 文件，即靜態(tài)庫文件(后面要參與鏈接)，并且放置到當前工作區(qū)的 pkg 目錄下，且?guī)煳募哪夸泴蛹壓驮创a層級一致。

至于 build flags 參數(shù)，build, clean, get, install, list, run, test 這些命令會共用一套：

我們知道，Go 語言的源碼文件分為三類：命令源碼、庫源碼、測試源碼。

命令源碼文件：是 Go 程序的入口，包含 func main() 函數(shù)，且第一行用 package main 聲明屬于 main 包。

庫源碼文件：主要是各種函數(shù)、接口等，例如工具類的函數(shù)。

測試源碼文件：以 _test.go 為后綴的文件，用于測試程序的功能和性能。

注意，go build 會忽略 *_test.go 文件。

我們通過一個很簡單的例子來演示 go build 命令。我用 Goland 新建了一個 hello-world 項目(為了展示引用自定義的包，和之前的 hello-world 程序不同)，項目的結構如下：

最左邊可以看到項目的結構，包含三個文件夾：bin，pkg，src。其中 src 目錄下有一個 main.go，里面定義了 main 函數(shù)，是整個項目的入口，也就是前面提過的所謂的命令源碼文件；src 目錄下還有一個 util 目錄，里面有 util.go 文件，定義了一個可以獲取本機 IP 地址的函數(shù)，也就是所謂的庫源碼文件。

中間是 main.go 的源碼，引用了兩個包，一個是標準庫的 fmt；一個是 util 包，util 的導入路徑是 util。所謂的導入路徑是指相對于 Go 的源碼目錄 $GoRoot/src 或者 $GoPath/src 的下的子路徑。例如 main 包里引用的 fmt 的源碼路徑是 /usr/local/go/src/fmt，而 util 的源碼路徑是 /Users/qcrao/hello-world/src/util，正好我們設置的 GoPath = /Users/qcrao/hello-world。

最右邊是庫函數(shù)的源碼，實現(xiàn)了獲取本機 IP 的函數(shù)。

在 src 目錄下，直接執(zhí)行 go build 命令，在同級目錄生成了一個可執(zhí)行文件，文件名為 src，使用 ./src 命令直接執(zhí)行，輸出：

hello world!Local IP: 192.168.1.3

我們也可以指定生成的可執(zhí)行文件的名稱：

go build -o bin/hello

這樣，在 bin 目錄下會生成一個可執(zhí)行文件，運行結果和上面的 src 一樣。

其實，util 包可以單獨被編譯。我們可以在項目根目錄下執(zhí)行：

go build util

編譯程序會去 $GoPath/src 路徑找 util 包(其實是找文件夾)。還可以在 ./src/util 目錄下直接執(zhí)行 go build 編譯。

當然，直接編譯庫源碼文件不會生成 .a 文件，因為：

go build 命令在編譯只包含庫源碼文件的代碼包(或者同時編譯多個代碼包)時，只會做檢查性的編譯，而不會輸出任何結果文件。

為了展示整個編譯鏈接的運行過程，我們在項目根目錄執(zhí)行如下的命令：

go build -v -x -work -o bin/hello src/main.go

-v 會打印所編譯過的包名字，-x 打印編譯期間所執(zhí)行的命令，-work 打印編譯期間生成的臨時文件路徑，并且編譯完成之后不會被刪除。

執(zhí)行結果：

從結果來看，圖中用箭頭標注了本次編譯過程涉及 2 個包：util，command-line-arguments。第二個包比較詭異，源碼里根本就沒有這個名字好嗎？其實這是 go build 命令檢測到 [packages] 處填的是一個 .go 文件，因此創(chuàng)建了一個虛擬的包：command-line-arguments。

同時，用紅框圈出了 compile, link，也就是先編譯了 util 包和 main.go 文件，分別得到 .a 文件，之后將兩者進行鏈接，最終生成可執(zhí)行文件，并且移動到 bin 目錄下，改名為 hello。

另外，第一行顯示了編譯過程中的工作目錄，此目錄的文件結構是：

可以看到，和 hello-world 目錄的層級基本一致。command-line-arguments 就是虛擬的 main.go 文件所處的包。exe 目錄下的可執(zhí)行文件在最后一步被移動到了 bin 目錄下，所以這里是空的。

整體來看，go build 在執(zhí)行時，會先遞歸尋找 main.go 所依賴的包，以及依賴的依賴，直至最底層的包。這里可以是深度優(yōu)先遍歷也可以是寬度優(yōu)先遍歷。如果發(fā)現(xiàn)有循環(huán)依賴，就會直接退出，這也是經(jīng)常會發(fā)生的循環(huán)引用編譯錯誤。

正常情況下，這些依賴關系會形成一棵倒著生長的樹，樹根在最上面，就是 main.go 文件，最下面是沒有任何其他依賴的包。編譯器會從最左的節(jié)點所代表的包開始挨個編譯，完成之后，再去編譯上一層的包。

總結

以上是生活随笔為你收集整理的go 二进制程序守护_图解 Go 程序是怎样跑起来的的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。