當前位置：首頁 > 编程语言 > java >内容正文

java

docker集群_使用Docker，Chef和Amazon OpsWorks进行集群范围的Java / Scala应用程序部署...

發布時間：2023/12/3 java 53 豆豆

生活随笔收集整理的這篇文章主要介紹了 docker集群_使用Docker，Chef和Amazon OpsWorks进行集群范围的Java / Scala应用程序部署... 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

docker集群

Docker非常適合在單個節點上運行隔離的容器。但是，大多數軟件系統都在多個節點上運行，因此，除了Docker之外，我們還需要某種方法來指定哪些容器應在哪些節點上運行。

我要解決的特定問題如下：我有兩個Scala守護程序，我想在多個節點上運行（取決于配置，每個節點可以運行一個或兩個守護程序）。我想要一種在集群中部署修改后的二進制文件的快速方法。我也不想花費太多時間來設置服務器。（我的Gentoo日子已經過去了。）

我到達的最終解決方案涉及Docker ， OpsWorks ， Chef和Vagrant 。但是，一步一步來。

順便說一句-您將如何解決上述問題？請評論。

打包Java / Scala應用程序

首先，我需要能夠打包和上傳二進制文件。在這里，Docker非常完美。我編寫了一個簡單的Dockerfile ，其中：

基于受信任的ubuntu + java7映像–無需在服務器上安裝Java！
將胖子從我的磁盤復制到映像
指定使用復制的jar運行Java的入口點

完整的Dockerfile可以在這里找到： https ://gist.github.com/adamw/166b82ec04c9c0f67453。

有了這樣的映像，我可以將其推送到（公共或私有） Docker注冊表中，群集中的節點可以在該注冊表中進行下載。

如果需要，我還可以安裝我的應用程序需要的任何其他操作系統級別的依賴項，而不必擔心版本沖突并在實際服務器上進行設置。

如果看一下Dockerfile，您可能會注意到有兩個jar。這樣做是為了最小化每次代碼更改后必須上傳的Docker映像的大小。第一個jar僅包含依賴項（Scala庫，日志記錄庫，框架等）。第二個jar包含已編譯的應用程序代碼。從Dockerfile構建Docker映像時，將創建一系列中間映像，每個步驟之后一個。對于涉及相同文件的相同命令，不會創建新映像，但是會從Docker緩存中重新使用映像。

依賴關系很少改變，因此通常dep-jar保持不變，因此緩存的版本會被重用（并且中間映像會上傳一次）。另一方面，應用程序代碼始終會更改。重要的是，首先將依賴項jar添加到映像中，以便中間映像包含dep，但不包含應用程序代碼（更改后的代碼）。最后，通常只需要上傳2-3MB。

不過，這里要注意一件事。在確定是否可以在ADD命令（該命令將文件從本地磁盤復制到該映像）之后重新使用該映像時，Docker僅檢查該文件的最后修改時間戳。這將導致依賴項fat-jar在每次重新構建時都被重新添加，即使它們是相同的。因此，我創建了一個簡單的bash腳本，僅當其md5校驗和發生更改時，該腳本才會復制dockerfile旁邊的fat-jar（作為Docker上下文的一部分從該文件上傳）： https : //gist.github.com/adamw/ ba5d8b79ff553fba83fd 。

如何使用SBT創建這樣兩個單獨的jar？非常簡單。只需使用SBT Assembly插件并更改其設置即可：

assemblyOption in assembly ~= { _.copy(includeBin = true, includeScala = false, includeDependency = false) }

然后， assemblyPackageDependency目標將創建僅依賴項的jar，而assembly將創建僅應用程序的jar。

設置服務器

隨著包含我們應用程序的Docker鏡像在云中（在Docker集線器上）在等待，現在是時候設置服務器了，Docker守護程序將在其中運行容器。

為了配置服務器，我選擇了Amazon OpsWorks的Chef，這有兩個原因：可以使用Stacks和Layers清楚地分離和組織EC2實例，這些服務器與Chef具有現成的集成，并且使用自定義廚師食譜非常容易。完全不需要手動實例設置！

以下步驟部分是摘要，部分是ShopIgniter博客上描述的內容的擴展。

Chef安裝程序（由OpsWorks運行）將是最少的，并且僅包括運行Docker所需的內容。

首先，我們需要創建一個具有更新內核的基于Ubuntu 12.04的AMI（14.04尚不適用于OpsWorks）–有關詳細信息，請參閱ShopIgniter的博客。

其次，我們將使用自定義的廚師食譜；為此，您需要創建一個專用的存儲庫（例如在GitHub上）。食譜非常基本和簡單： https : //gist.github.com/adamw/792f8c22abb09699b6d5 。

總結一下：

docker::setup安裝Docker
docker::kill_containers殺死并刪除所有正在運行的容器
docker::myapp從Docker注冊表中提取myapp映像并運行一個容器，該容器具有例如Chef-JSON配置文件的每個應用程序部分中指定的命令行參數和環境變量（此處我們的應用程序使用單個命令-line參數，并且需要環境中的AWS憑證）：

{"myapp": {"image": "adamw/myapp:latest","cmdline": [ "com.softwaremill.myapp.Main", "10" ],"env": {"AWS_ACCESS_KEY_ID": “...","AWS_SECRET_ACCESS_KEY": “..."}} }

配置OpsWorks

要配置OpsWorks，我們需要使用自定義Chef食譜和自定義配置JSON創建一個Stack，例如上面的示例（對于要運行的每個應用程序/容器類型，我們需要在配置JSON中有一個部分）。其次，對于我們要部署的每個應用程序（容器），我們需要創建一個圖層。由于這些層只能運行Docker，因此我們不使用任何預配置的層，而使用“自定義”層。

該層將包含我們的自定義配方：在Setup階段，我們需要使用docker::setup配方，在Deploy階段，我們需要使用docker::kill_containers和docker::kill_containers docker::myapp配方。

現在，每次在該層上運行Deploy階段時，Docker都會提取映像并運行指定的容器！通過創建具有適當配方的圖層，我們可以在任何節點上啟動容器的任何組合。

運行部署階段

要一次單擊即可實際運行Deploy階段，我們需要創建一個虛擬的OpsWorks應用程序：只需選擇“類型：其他”和“存儲庫類型：其他”。現在，每次要在服務器上部署應用程序（運行更新的Docker容器）時，只需將此虛擬應用程序部署在所需的實例或層上即可。

這也可以通過API調用來完成（就像AWS上的一切一樣）！因此，構建應用程序，創建Docker映像，推送該映像以及在OpsWorks上運行部署的整個過程可以非常容易地實現自動化-例如在成功構建之后。

一切就緒之后，我們現在可以將新實例添加到圖層，啟動和停止它們，并讓多節點集群運行我們的應用程序！要更新應用程序，只需將二進制文件推送到注冊表即可。

在本地測試廚師

雖然Chef的食譜非常少，但仍然可以在本地對其進行測試仍然很有用。使用Vagrant可以輕松實現。使用Vagrant，我們可以輕松地創建安裝了Chef的虛擬機，該虛擬機運行我們的配方，從而運行Docker容器。此特定情況的Vagrantfile在這里： https ://gist.github.com/adamw/bf6fa803b6b13fd7430b。

Vagrantfile包含對我們正在開發的Chef食譜的引用（通過chef.cookbooks_path ），并且具有與OpsWorks中使用的相同的配置JSON。

發布vagrant up ，我們將運行虛擬機。更改食譜或上載新容器后，我們可以通過使用vagrant provision --provision-with chef_solo輕松地重新運行Chef食譜。

加起來

我們最終得到以下關注點分離：

Docker –在隔離的容器中運行應用程序，具有所有必需的依賴關系
Chef –在定義的節點上設置docker，運行并鏈接具有指定參數/環境的容器
OpsWorks –管理實例，觸發部署
流浪漢–整個設置的本地測試

盡管在上述整個過程中肯定有一些事情可以簡化（我希望Atomic項目能夠做到這一點！）最后，在集群中輕松地部署新版本的修改后的應用程序是輕而易舉的，這提供了開發環境。

翻譯自: https://www.javacodegeeks.com/2014/06/cluster-wide-javascala-application-deployments-with-docker-chef-and-amazon-opsworks.html