openshift

本系列有關(guān)Radanalytics.io的Kubernetes Spark運(yùn)算符
OpenShift起源 。 它是一個(gè)開源的運(yùn)營商來管理
Apache Spark集群和應(yīng)用程序。 為了在OpenShift Origin上部署操作員，第一次需要為其克隆GitHub存儲(chǔ)庫：

git clone https://github.com/radanalyticsio/spark-operator.git

然后使用OpenShift命令行登錄到集群
oc ：

oc login -u <username>:<password>

假設(shè)像我和我的團(tuán)隊(duì)以前在OpenShift Origin環(huán)境中一樣，開發(fā)人員沒有創(chuàng)建CRD的權(quán)限，則需要使用Config Maps，因此必須使用
克隆存儲(chǔ)庫中提供的operator-com.yaml文件：

oc apply -f manifest/operator-cm.yaml

上面命令的輸出應(yīng)類似于以下內(nèi)容：

serviceaccount/spark-operator created
role.rbac.authorization.k8s.io/edit-resources created
rolebinding.rbac.authorization.k8s.io/spark-operator-edit-resources created

成功創(chuàng)建操作員后，您可以嘗試創(chuàng)建第一個(gè)集群。 選擇您要使用的特定項(xiàng)目：

oc project <project_name>

然后使用克隆存儲(chǔ)庫中可用的ConfigMap的示例文件創(chuàng)建一個(gè)小型Spark集群（1個(gè)主服務(wù)器和2個(gè)工作器）：

oc apply -f examples/cluster-cm.yaml

這是該文件的內(nèi)容：

apiVersion: v1 kind: ConfigMap metadata:name: my-spark-clusterlabels:radanalytics.io/kind: SparkCluster data:config: |-worker:instances: "2"master:instances: "1"

上面命令的輸出是：

configmap/my-spark-cluster created

成功創(chuàng)建集群后，查看OpenShift Web UI，情況應(yīng)為：

要訪問Spark Web UI，您需要為其創(chuàng)建路由。 可以通過OpenShift Origin UI來執(zhí)行此操作，方法是選擇Spark服務(wù)，然后單擊
路線鏈接。 一旦創(chuàng)建了路由，就可以從OpenShift外部訪問主服務(wù)器和工作服務(wù)器的Spark Web UI。

現(xiàn)在，您可以使用Spark集群。 您可以通過進(jìn)入主Pod控制臺(tái)，在此處啟動(dòng)Scala Spark shell并執(zhí)行一些代碼來開始對(duì)其進(jìn)行測(cè)試：

在本系列的第二部分中，我們將在轉(zhuǎn)到Spark應(yīng)用程序管理之前探索Spark運(yùn)算符的實(shí)現(xiàn)和配置詳細(xì)信息。

翻譯自: https://www.javacodegeeks.com/2019/05/kubernetes-spark-operator-openshift-origin.html

openshift

總結(jié)

以上是生活随笔為你收集整理的openshift_OpenShift Origin中的Kubernetes Spark运算符（第1部分）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。