背景

機器學習平臺資源管理之前使用的是Mesos+Marathon，隨著業務的發展，Mesos+Marathon已經不能滿足我們的需求，所以需要使用K8s取代Mesos+Marathon。Alpha管理平臺需要實現對K8s集群的操作。

Alpha管理平臺基于Spring Boot開發，需要集成Fabric8來實現對K8s集群的操作。本文介紹兩種Fabric8操作Kubernetes集群的方法，分別是【證書訪問】和【kubeconfig訪問】。不多說了，直接開始動手寫代碼。

POM依賴

io.fabric8

kubernetes-client

4.2.0

一、證書訪問

1. 配置文件

要初始化Fabric8的KubernetesClient，需要4項配置，分別是：

k8s.url：K8s集群地址

k8s.client-crt：客戶端CA證書

k8s.client-key：客戶端RSA私鑰

k8s.ca-crt：K8s集群CA證書

當然，配置項的名稱可以自行定義，這里為了圖省事，我就直接使用了kubelet的證書，從下面的配置可以看到，這些證書位于classpath:k8s目錄下，即/src/main/resources/k8s。

配置文件位于/src/main/resources/application.properties

# k8s 配置

k8s.url=https://10.103.18.42:6443

k8s.client-crt=classpath:k8s/apiserver-kubelet-client.crt

k8s.client-key=classpath:k8s/apiserver-kubelet-client.key

k8s.ca-crt=classpath:k8s/ca.crt

2. 自動配置

通過Spring Boot的AutoConfiguration機制自動加載相關配置。

首先定義K8sProperties內部類，并通過@ConfigurationProperties("k8s")注解，指定要綁定的配置項。

從下面的代碼可以看到，我將證書和key文件綁定為Resource對象，而不是綁定為String直接獲取文件路徑，是因為Spring Boot發布成jar包后，無法通過路徑獲取classpath下的自定義文件，而通過綁定為Resource則可以直接獲取到InputStream從而讀取文件內容。

import lombok.Data;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.beans.factory.annotation.Value;

import org.springframework.boot.context.properties.ConfigurationProperties;

import org.springframework.boot.context.properties.EnableConfigurationProperties;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.Configuration;

import org.springframework.core.io.Resource;

import java.util.Map;

@Configuration

@EnableConfigurationProperties(K8sConfig.K8sProperties.class)

public class K8sConfig {

/**

* K8s properties

*/

@Autowired

private K8sProperties k8sProperties;

@Data

@ConfigurationProperties("k8s")

public static class K8sProperties {

private String url;

// 注意用 Resource

@Value("client-crt")

private Resource clientCrt;

@Value("client-key")

private Resource clientKey;

@Value("ca-crt")

private Resource caCrt;

}

@Bean

public K8sUtils k8sUtils() {

if (k8sProperties == null) {

return null;

}

final String url = k8sProperties.getUrl();

if(StringUtils.isEmpty(url)){

return null;

}

return new K8sUtils(k8sProperties);

}

}

3. 初始化KubernetesClient

如果你發布Spring Boot項目不是使用jar包形式，建議你使用withXxxFile方法，傳入文件絕對路徑，讓Fabric8自動讀取證書和key文件。

否則建議你使用withXxxData方法，直接傳入文件內容。

這里有兩處需要特別注意：

讀取到client-crt文件內容后，需要先用 Base64 加密，否則會提示:input null。通過簡單分析Fabric8，是因為Fabric8會先將ClientCertData通過 Base64 解密。

此處需要顯式地通過.withNamespace(null)將Namespace設為null，因為Fabric8在初始化Config時，會默認從環境變量從讀取當前Namespace，如果你的服務也部署在K8s集群內，就會提示：kubernetesclientexception: namespace mismatch.。

@Slf4j

public class K8sUtils {

private KubernetesClient client;

private Config config;

public K8sUtils(K8sConfig.K8sProperties k8sProperties){

try {

final String k8sUrl = k8sProperties.getUrl();

log.info("k8sUrl : {}", k8sUrl);

if(k8sUrl.startsWith(HTTPS_PREFIX)) {

final String caCrtData = IOUtils.toString(k8sProperties.getCaCrt().getInputStream());

final String clientKeyData = IOUtils.toString(k8sProperties.getClientKey().getInputStream());

// 注意：此處必須先用 Base64 對證書內容加密，否則會提示 input null

final String clientCrtData = Base64.getEncoder().encodeToString(IOUtils.toByteArray(k8sProperties.getClientCrt().getInputStream()));

log.info("caCrtFile data: {} ", caCrtData);

log.info("clientKeyFile data: {} ", clientKeyData);

log.info("clientCrtFile data: {} ", clientCrtData);

config = new ConfigBuilder().withMasterUrl(k8sUrl)

.withTrustCerts(true)

.withCaCertData(caCrtData)

.withClientCertData(clientCrtData)

.withClientKeyData(clientKeyData)

// 需將 Namespace 初始化為 null

.withNamespace(null)

.build();

}else {

config = new ConfigBuilder().withMasterUrl(k8sUrl).build();

}

client = new DefaultKubernetesClient(config);

}catch (Exception e){

client = null;

log.error("初始化 K8sUtils 失敗！", e);

}

}

public KubernetesClient getClient() {

return client;

}

public Config getConfig(){

return config;

}

}

二、kubeconfig訪問(推薦)

但有時候因為未知原因，使用證書訪問時，在初始化KubernetesClient時會提示”java.io.IOException: PEM is invalid: no begin marker “，這個問題我在網上沒有查到解決方案。

這時，就可以使用kubeconfig訪問K8s集群。

kubeconfig文件默認路徑是/etc/kubernetes/admin.conf

通過kubeconfig與通過證書訪問基本相同，只是配置和初始化過程略有差異，具體修改如下文所示：

1.配置文件

與證書訪問基本相同。

# k8s 配置

k8s.admin-conf=classpath:k8s/admin.conf

2. 自動化配置

@Data

@ConfigurationProperties("k8s")

public static class K8sProperties {

private String url;

@Value("admin-conf")

private Resource adminConf;

}

3. 初始化KubernetesClient

public K8sUtils(K8sConfig.K8sProperties k8sProperties){

try {

String adminConfData = IOUtils.toString(k8sProperties.getAdminConf().getInputStream());

config = Config.fromKubeconfig(adminConfData);

client = new DefaultKubernetesClient(config);

}catch (Exception e){

client = null;

log.error("初始化 K8sUtils 失敗！", e);

}

}

總結

以上是生活随笔為你收集整理的java mesos kubernete_Fabric8操作Kubernetes（一）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。