sbt启动机制、配置优化及与Intellij IDEA的集成
?
一、sbt啟動機(jī)制理解與啟動緩慢的原因分析
眾所周知，不加修改，直接使用sbt，那么sbt“啟動（launch）”會非常慢，甚至?xí)?#xff0c;尤其當(dāng)初次運行時，本地尚無緩存，需要大量加載自身依賴文件的情況下更是如此。
主要原因是：不加修改的情況下，sbt在啟動時會使用啟動器（sbt-launch.jar）內(nèi)置sbt.boot.properties文件（在bt-launch.jar內(nèi)的sbt/目錄下）中所指定的構(gòu)建成果物庫（build Artifact Repository）。這些缺省構(gòu)建成果物庫都是國外網(wǎng)站，在國際網(wǎng)絡(luò)通道日益擁堵的今天，初次下載速度就會格外緩慢。
又因為這些配置是在sbt啟動時使用和加載，對于所有sbt項目而言，它們又是全局（global）配置，會影響到所有的sbt 項目。因此，我們需要了解這些配置及其作用，sbt-launch.jar中內(nèi)置sbt.boot.properties文件中構(gòu)建成果物庫的配置片段如下：
| [repositories] ? local ? local-preloaded-ivy: file:///${sbt.preloaded-${sbt.global.base-${user.home}/.sbt}/preloaded/}, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext] ? local-preloaded: file:///${sbt.preloaded-${sbt.global.base-${user.home}/.sbt}/preloaded/} ? maven-central ? sbt-maven-releases: https://repo.scala-sbt.org/scalasbt/maven-releases/, bootOnly ? sbt-maven-snapshots: https://repo.scala-sbt.org/scalasbt/maven-snapshots/, bootOnly ? typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly ??sbt-ivy-snapshots: https://repo.scala-sbt.org/scalasbt/ivy-snapshots/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly |
其中：
庫名: 庫配置項
各部分如何配置如下：
- 庫名，是為了跟蹤調(diào)試時給使用者查看所用，使用者可以根據(jù)方便自己的記憶來進(jìn)行設(shè)置，但庫名不能重復(fù)。
- 庫配置，給出了庫所在的位置（Url），成果物文件所在的路徑布局(Layout)格式，以及這個庫在什么階段使用。格式為：
? ? ? ?位置Url, 庫文件路徑布局（Layout）格式, 使用階段指示符
其中：
? ?位置Url必須給出。
? 庫文件路徑布局(Layout)格式的用途是給Sbt將想要下載的庫文件描述定義（比如具體依賴的成果物的組織、名字、版本等）格式 化成滿足Maven或Ivy成果物庫中的路徑布局（layout）的路徑（path）信息，并與與庫的Url地址結(jié)合，生成具體的依賴相關(guān)文件（比如pom\ivy文件和Jar文件）的完整下載地址。所謂庫文件路徑布局（Layout），對于庫服務(wù)器而言，就是存儲成果物文件的存儲路徑安排。對于訪問者而言，就對成果物文件在庫服務(wù)器URL下的訪問路徑規(guī)約。Sbt缺省的布局格式用于格式化maven2庫的路徑，缺省路徑布局格式如下：
[organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext]
需要注意的是，有一些scala寫的sbt插件成果物的版本號中包括了scala版本號和sbt版本號，sbt需要用scala版本變量、sbt版本變量并與成果物自身的版本號一起來生成完整的成果物版本號，其[revision]格式會略有不同，完整布局（layout）格式如下：
[organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
使用階段指示符用來指出該庫僅在“sbt啟動期間”使用，還是后續(xù)加載項目（project）所用依賴時一直使用，該指示符用bootOnly來指示。bootOnly表明該庫只在sbt啟動過程中使用，用來下載sbt本身（或所嵌入IDE）所需的插件。在sbt成功啟動后，我們可以用sbt命令查看sbt當(dāng)前所使用的庫。其中，show? fullResolvers 命令能夠查看包括在項目（project）的build.sbt文件中用resolvers配置的項目級構(gòu)建成果物庫，和全局級（global）的構(gòu)建成果物庫（比如，上面所提到的sbt.boot.properties文件所配置的）；而show resolvers命令則用來列出項目級構(gòu)建成果物庫。sbt在加載依賴（dependency）時，會按照配置文件中出現(xiàn)的順序依次地嘗試從所配置的庫來加載依賴文件 。如果某個比較慢的遠(yuǎn)程庫在排在前面，就會使得整個加載速度變慢，如果遠(yuǎn)程庫出現(xiàn)了超時，則會從下一個遠(yuǎn)程庫中加載，如果這個庫加載速度較快，那么整個加載過程就會變快。在網(wǎng)絡(luò)不穩(wěn)定時（比如國外網(wǎng)站超時機(jī)率高）的時候，就會出現(xiàn)某次啟動加載速度快，某次啟動加載速度慢的情況。不明白這種機(jī)制，會導(dǎo)致我們的配置某次好像很成功，啟動加載速度很快，但給別人用的時候就又變慢了的情況。
上面我們介紹了sbt構(gòu)建成果物庫在啟動時（也是全局）的配置，值得注意的是，sbt在該配置段中設(shè)置了兩個“內(nèi)置的”配置條目，就是在上面配置片段中的local和maven-central，通過show? fullResolvers 命令可以看到：
maven-central配置條目所代表的完整配置是：
public: https://repo1.maven.org/maven2/
它指向了Maven中央倉，它不是bootOnly，因此在sbt啟動和后續(xù)所有項目中都會用到，因此，因為前面所說的原因，忘記刪除這個配置條目，會導(dǎo)致國內(nèi)開發(fā)者sbt啟動和后續(xù)加載依賴出現(xiàn)極為緩慢的可能。
Local配置條目所代表的整配置是：
FileRepository(local, Patterns(ivyPatterns=Vector(${ivy.home}/local/[organisation]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)([branch]/)[revision]/[type]s/[artifact](-[classifier]).[ext]), artifactPatterns=Vector(${ivy.home}/local/[organisation]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)([branch]/)[revision]/[type]s/[artifact](-[classifier]).[ext]), isMavenCompatible=false, descriptorOptional=false, skipConsistencyCheck=false), FileConfiguration(true, None))
看起來比較嚇人，實際上不復(fù)雜，它表明該庫名為local，其所指的庫位置位于${ivy.home}配置變量所表示的ivy home目錄下的local子目錄，如果不修改ivy home配置，缺省ivy home位置就是操作系統(tǒng)登錄賬號的home目錄下的 .ivy2目錄，如果不存在，sbt會自動創(chuàng)建，對于linux和mac os來說，ivy home路徑就是 $HOME/.ivy2/，而local庫的位置則是：$HOME/.ivy2/local，這個local子目錄需要使用者自己創(chuàng)建，再在其中放入所有本地依賴庫。sbt與intellij IDEA進(jìn)行配合使用時，我們會用到本地依賴庫。
如果您對下載和解析依賴文件感興趣，請從以下官方文檔獲得更多信息：
https://www.scala-sbt.org/1.x/docs/Resolvers.html
https://www.scala-sbt.org/1.x/docs/Proxy-Repositories.html
?
二、啟動緩慢的解決辦法
1.總體思路
讓sbt在“啟動（launch）時”只使用國內(nèi)的構(gòu)建成果物庫（build Artifact Repository）鏡像服務(wù)器，比如：
阿里云: https://maven.aliyun.com/repository/public
或華為云：https://mirrors.huaweicloud.com/repository/maven/
或者，讓SBT在啟動時使用開發(fā)團(tuán)隊自己的搭建的構(gòu)建成果物庫，即所謂的“私服”。用來搭建“私服”的軟件產(chǎn)品包括收費的商業(yè)產(chǎn)品sonatype nexus或JFrog Artifactory，以及開源免費的apache Archiva等，如何搭建私服，本文不再詳述。
2.實現(xiàn)方法
上述思路的實現(xiàn)，需要更改sbt的啟動設(shè)置，如果前面所述，這些設(shè)置對所有sbt項目都有作用，也就是修改全局設(shè)置，sbt官方文檔：
https://www.scala-sbt.org/1.x/docs/Launcher-Configuration.html
給出了三種修改sbt 啟動設(shè)置的方式，分別是：
sbt? -Dsbt.override.build.repos=true? -Dsbt.repository.config=/.repositories
這三種方式的優(yōu)先級依次升高，對我而言，比較喜歡第三種方式，主要是它的優(yōu)先級高，而且比較靈活。第一種方式的缺點是需要修改sbt-launch.jar文件，一旦sbt 本身升級，就需要重新制作sbt-launch.jar文件，比較麻煩。第二種方式的缺點是sbt.boot.properties不能設(shè)定所有需要的全局配置，比如，repository服務(wù)器的身份認(rèn)證信息就無法用sbt.boot.properties文件來設(shè)置。
那么使用第三種方式是不是意味著每次使用sbt都要在命令行中輸入一串長長的配置參數(shù)呢？答案是樂觀的。我們可以在sbt安裝目錄下的conf/目錄中的“sbt運行參數(shù)配置文件”中給出這些自定義的配置參數(shù)，而且還可以給出更多的運行配置選項。這樣，在命令行中輸入sbt時，就會自動按照這些設(shè)置運行。在windows系統(tǒng)中，這個配置文件是的名稱是sbtconfig.txt，在linux和mac os系統(tǒng)中，這個配置文件的名稱是sbtopts。
順便說一下，可以在sbt運行工作目錄的日志中查看sbt的啟動運行日志文件來查看這些運行配置是否生效，缺省情況下，這個啟動運行日志文件的全路徑為：
/${操作系統(tǒng)登錄用戶Home目錄}/.sbt/boot/update.log
下面給出的是sbtopts中部分sbt運行參數(shù)配置示例：
| #允許覆蓋內(nèi)置的repositories -Dsbt.override.build.repos=true ? #給出自定義repositories配置文件 -Dsbt.repository.config=/Users/Shared/App4Deve/sbt/conf/.repositories |
如果理解了本文第一部分中的內(nèi)容，剩下的工作很簡單，就是創(chuàng)建一個僅存放[repositories]配置段的文件，文件名沒有要求，下面給出該文件的一個示例：
| [repositories] #國內(nèi)maven庫鏡像的本地“私服”的代理 local-mavenRepo-server: http://localhost:8088/artifactory/aliyun/ #國內(nèi)maven庫鏡像 maven-china: https://maven.aliyun.com/repository/public |
如果你所使用的“私服”需要身份認(rèn)證，那么將私服的身份認(rèn)證信息存放在一個文件中，“身份認(rèn)證信息文件”的名稱沒有要求，只要在“sbt運行參數(shù)配置文件（sbtopts或sbtconfig.txt文件）”中指定該身份認(rèn)證信息文件位置的全路徑即可，此時的“sbt運行參數(shù)配置文件”內(nèi)容如下：
| #私服的身份認(rèn)證配置文件位置 -Dsbt.boot.credentials=/Users/Shared/App4Deve/sbt/conf/credentials.sbt ? #允許覆蓋內(nèi)置的repositories -Dsbt.override.build.repos=true ? #給出自定義repositories配置文件 -Dsbt.repository.config=/Users/Shared/App4Deve/sbt/conf/.repositories |
而“身份認(rèn)證信息文件”的內(nèi)容則很簡單，示例如下：
| realm=Artifactory Realm host=localhost user=developer password=123#@! |
此時，sbt 已經(jīng)可以訪問“私服”，但還需要注意以下幾點：
java.net.SocketException: Broken pipe (Write failed)
其主要原因是，如果SBT對私服進(jìn)行訪問時，采用了并行請求的訪問機(jī)制，此時nexus的身份認(rèn)證尚未完成，就處理上傳成果物文件請求，會導(dǎo)致并行上傳失敗，出現(xiàn)上述的 Broken pipe錯誤。問題及解決方法，詳見：https://support.sonatype.com/hc/en-us/articles/360000228868-Artifact-uploads-fail-with-broken-pipe-errors
| #關(guān)閉gigahorse，防止nexus 的Broken pipe錯誤 -Dsbt.gigahorse=false ? #私服的身份認(rèn)證配置文件位置 -Dsbt.boot.credentials=/Users/Shared/App4Deve/sbt/conf/credentials.sbt ? #允許覆蓋內(nèi)置的repositories -Dsbt.override.build.repos=true ? #給出自定義repositories配置文件 -Dsbt.repository.config=/Users/Shared/App4Deve/sbt/conf/.repositories |
但這里還有一個簡單粗暴的解決方法，就是關(guān)閉sbt的并行上傳機(jī)制。就是“sbt運行參數(shù)配置文件”中設(shè)置sbt 的gigahorse參數(shù)為false。此時的“sbt運行參數(shù)配置文件”如下所示：
以上設(shè)置完成后，sbt 的啟動運行就會很快，尤其在使用私服的情況下會更快。簡單總結(jié)為兩步：
三、Intellj IDEA中sbt的使用設(shè)置
如果我們學(xué)會了如何更改sbt的設(shè)置，并在控制臺（console）的命令行下驗證了sbt的設(shè)置的成功。那么在IDEA對sbt的設(shè)置思路也是一樣的，主要是找到如何設(shè)置這些參數(shù)的地方，但是還存在其他的一些問題，導(dǎo)致sbt 在IDEA中無法運行。
首先，我們要知道，IDEA中已經(jīng)打包了（bundled）某個版本的sbt，不同IDEA的版本打包了不同版本的sbt，目前我所使用的IDEA版本是2019.3，該版本IDEA所打包是sbt1.2.8，而我下載sbt則是較新的sbt1.3.8。為了在操作系統(tǒng)控制臺（console）中所使用sbt與IDEA中所使用的sbt能夠利用同一套配置好的構(gòu)建成果物庫（repositores）的配置文件和“私服”的認(rèn)證（credentials）信息文件，我們需要更改IDEA的配置1。具體操作菜單路徑如下：
Preferences｜Build,Execution,Deployment|Build Tools｜sbt
此時看到的IDEA設(shè)置界面如下：
轉(zhuǎn)存失敗重新上傳取消轉(zhuǎn)存失敗重新上傳取消
?
| 1.IEDA更改配置有兩個級別，一個是全局（global）級別配置，一個是項目(project)級別設(shè)置。全局級別配置用來設(shè)置所有項目都會用到的通用配置項（General Settings），全局級別配置相當(dāng)于這些通用配置項在項目級別配置中的缺省值。項目級別配置中這些通用配置項的配置值會覆蓋全局級別配置，項目級別配置中還有項目專有的配置項。無論全局級別配置還是項目級別配置，二者都是通過設(shè)置Preferencs開始，區(qū)別在于設(shè)置Preferences的時機(jī)，全局配置是未打開任何工程所做的Preferences配置，而項目級別Preferences則是打開具體項目后所的Preferences配置。 |
在General Settings|Lancher(sbt-lanuch.jar)下，選擇Custom,給定所要使用的sbt的sbt-launch.jar文件，這就完成了對sbt自定義選擇設(shè)置。
?
其次，我們需要了解的是，“sbt運行參數(shù)配置文件”——前面所說的sbtconfig.txt文件（windows）或sbtopts文件（linux\mac os）中所配置的sbt 運行參數(shù)對于在IDEA中運行sbt并不起作用，因為在操作系統(tǒng)控制臺（console）中運行sbt 命令實際上是一個shell腳本，現(xiàn)在把它叫做sbt 命令腳本它調(diào)用了操作系統(tǒng)JVAV_HOME中的JRE來運行sbt-launch.jar，即：java -jar sbt-launch.jar? [運行參數(shù)] ，而[運行參數(shù)]則是sbt 命令腳本從“sbt運行參數(shù)配置文件”中讀取出來的。在IDEA中，是由IDEA使用配置的JRE來運行sbt-launch.jar文件，因此需要在VM參數(shù)中指定先前在“sbt運行參數(shù)配置文件”所指定的運行參數(shù)。具體操做菜單路徑還是：
Preferences｜Build,Execution,Deployment|Build Tools｜sbt
界面如下：
點擊黃色小圈部分，可以展開一個更大的輸入窗口來輸入運行參數(shù)，示例如下：
當(dāng)配置到這一步，你可能會認(rèn)為，IDEA中使用sbt與在操作系統(tǒng)控制臺中使用sbt是一樣的效果。但現(xiàn)實沒有那么豐滿，你會發(fā)現(xiàn)有些版本的IDEA中（目前為止，IDEA 2019.1.3以后版本均會出現(xiàn)問題）仍然使用不了sbt，仔細(xì)閱讀錯誤提示信息會提示org.jetbrains組織所開發(fā)三個sbt插件（plugin）下載失敗。這三個插件分別是：
| 插件 | 作用 |
| sbt-idea-compiler-indices | 幫助IDEA對.calss文件建立索引，提高性能 |
| sbt-idea-shell | 在IDEA中提供sbt操作的命令行控制臺 |
| sbt-structure-extractor | 幫助IDEA導(dǎo)入sbt項目時進(jìn)行目錄結(jié)構(gòu)轉(zhuǎn)換 |
其中，后兩個是IDEA所必須的。
Jetbrains目前還沒有把這三個插件適應(yīng)不同版本scala和sbt的所有版本成的插件果物都放在中央倉中，所以無論如何都無法下載到這些插件的合適版本（適應(yīng)你所使用的scala與sbt 版本）。因此，Jetbrains把這些插件IDEA打包在一起，安裝在本地磁盤上，IDEA在運行sbt前，通過其他方式設(shè)定了sbt repositories條目（比如，在classpath中配置sbt啟動設(shè)置，這一點我沒有深入研究），指向了這些插件所在的本地磁盤目錄，這樣，IDEA運行sbt時就能夠找到適合IDEA所打包（bundled）的sbt版本所使用的插件。但是，由于我們通過VM參數(shù) -Dsbt.override.build.repos=true 的設(shè)置，覆蓋了sbt原有的repositories設(shè)置，此時，IDEA運行sbt就會找不到這些本地插件所在的repository，又無法遠(yuǎn)程下載，故而會出現(xiàn)上述的錯誤。這是IDEA已知的問題（issue），感興趣可以看Jetbrains官方文檔：https://youtrack.jetbrains.com/issue/SCL-15261 。
知道了這個原因后，我們就很好解決這個問題，那我們就有多種方式來解決這個問題，包括但不限于：
- 修改我們的repositories配置文件，添加一個repository配置項，重新指向IDEA所安裝的本地插件庫2。
- 如果repositories配置文件中有local這個內(nèi)置配置條目，則不需要修改repositories配置文件，將插件庫直接拷貝到ivy HOME路徑下的local目錄中即可。
-
將插件庫拷貝到一個新目錄中，并修改repositories配置文件，增加一個repository配置項，指向這個新目錄。2.不同操作系統(tǒng)中，安裝位置可能不同，這里不在一一列舉。這個插件庫的目錄名稱為：org.jetbrains,通過搜索找到該目錄即可。如果需要拷貝，必須將org.jetbrains目錄整體拷貝，不能只拷貝其下的子目錄，否則將無法匹配layout格式，因為丟失了成果物開發(fā)組織的路徑信息（這里是org.jetbrains）。
?
?
| [repositories] #idea所需的org.jetbrains本地插件庫 local-ideaSbtPluginRepo-path: file:Users/learn/.sbtlocal/local/,[organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext] #國內(nèi)maven庫鏡像的本地“私服”的代理 local-mavenRepo-server: http://localhost:8088/artifactory/aliyun/ #國內(nèi)maven庫鏡像 maven-china: https://maven.aliyun.com/repository/public |
為展示知識點，我采用最后一種方式，此時repositories配置文件示例如下：
?
在這個示例中，我把org.jetbrains插件庫拷貝到了如下目錄：
/Users/learn/.sbtlocal/local/
??? 到了這一步，在IDEA中就可以啟動運行sbt了嗎？答案可沒那么樂觀，intellj IDEA作為sbt的集成者，其步伐總會落后一步，最大的可能就是因為IDEA所帶的sbt-idea-compiler-indices插件與你當(dāng)前所使用的scala與sbt 版本不匹配而導(dǎo)致sbt在intellj中無法工作。好在這個插件的功能不是必須的，可以在IDEA中關(guān)閉。關(guān)閉的操作路徑及界面如下：
Preferences｜Build,Execution,Deployment|Compiler|Scala Compiler|ByteCode Indices
將上述界面中紅圈所示的index ?.class files選項關(guān)閉即可。
至此，我解決了我目前所遇到的sbt的所有棘手問題
-----------全文完。
總結(jié)
以上是生活随笔為你收集整理的sbt启动机制、配置优化及与Intellij IDEA的集成的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 在线制作html模板,快速建站 20个设
- 下一篇： 对SAAS浅谈