Kubernetes環(huán)境偶爾出現(xiàn)StatefulSet中的Pod被刪除，新啟動的Pod（還是調(diào)度到原有節(jié)點）掛載volume失敗的問題，如下圖，經(jīng)過一番定位分析，也讓我們對于Kubernetes系統(tǒng)復(fù)雜程度有了新的認知。

在分析此問題之前，作為相關(guān)背景知識，先簡單介紹對于Kubernetes存儲系統(tǒng)的理解。

|? 存儲系統(tǒng)簡析

存儲也是Kubernetes中比較重要而復(fù)雜的系統(tǒng)，功能比較龐大，涉及到不同組件中，不同控制器的協(xié)作，如下圖。

從三個維度分析：

1、從卷的生命周期來講，卷被Pod使用或者卷被回收，會依賴順序嚴格的幾個階段
卷被Pod使用：

• provision，卷分配成功

• attach，卷掛載在對應(yīng)worker node

• mount，卷掛載為文件系統(tǒng)并且映射給對應(yīng)Pod

卷要成功被Pod使用，需要遵循以上順序。
卷被回收：

• umount，卷已經(jīng)和對應(yīng)worker node解除映射，且已經(jīng)從文件系統(tǒng)umount

• detach，卷已經(jīng)從worker node卸載

• recycle，卷被回收

卷要成功回收，需要遵循以上順序。

2、從Kubernetes存儲系統(tǒng)來講，卷生命周期管理的職責，又分散于不同的控制器中

• pv controller，負責創(chuàng)建和回收卷

• attach detach controller，負責掛載和卸載卷

• volume manager，負責mount和umount卷

3、controller模式，每個controller負責特定功能，并且不斷進行reconcile（對比期望狀態(tài)與實際狀態(tài)），然后進行調(diào)整
比如attach detach controller和volume manager中，各自都會有desiredStateOfWorld（緩存期望狀態(tài)）和actualStateOfWorld（緩存實際狀態(tài)）緩存，并且由各自的syncLoopFunc不斷對比兩個緩存的差異，并進行調(diào)整，下文中會介紹。

for?{desired?:=?getDesiredState();current?:=?getCurrentState();makeChanges(desired,?current); }

結(jié)合以上三個維度，Kubernetes需要保證卷的管理功能分布在不同控制器的前提下保證卷生命周期順序的正確性。以Pod使用卷為例，看Kubernetes是如何做到這一點？

|? Pod啟動流程

假設(shè)scheduler已經(jīng)完成worker node選擇，確定調(diào)度的節(jié)點，此時啟動Pod前，需要先完成卷映射到Pod路徑中，結(jié)合前面的分析，整個過程如下：

1、卷分配，pvc綁定pv，由pv controller負責完成，結(jié)合相關(guān)代碼1[1]。

此時pvc綁定pv。

2、attach detach controlle，如果pod分配到worker node，并且對應(yīng)卷已經(jīng)創(chuàng)建，則將卷掛載到對應(yīng)worker node，并且給worker node資源增加volume已經(jīng)掛載對應(yīng)卷的狀態(tài)信息，結(jié)合相關(guān)代碼2[2]和代碼3[3]。

此時對應(yīng)node資源狀態(tài)中增加volume信息。

[root@10-10-88-152?~]#?kubectl?get?nodes?10-10-88-113?-o?yaml? apiVersion:?v1 kind:?Node .... volumesAttached: -?devicePath:?csi-add9fc778d9593d01818d65ccde7013e87327d9f675b47df42a34b860c581711 name:?kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-4faa18f5bbbd11e8-1365 -?devicePath:?csi-5dd249387138238e8e2209eb471450a072dd6543adde7a6769c8461943c789ca name:?kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-4fa9b764bbbd11e8-1366 -?devicePath:?csi-bc9b81e32d84e8890d17568964c1e01af97b0c175e0b73d4bf30bba54e3f1a1e name:?kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-4fa94533bbbd11e8-1364 volumesInUse: -?kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-4fa94533bbbd11e8-1364 -?kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-4fa9b764bbbd11e8-1366 -?kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-4faa18f5bbbd11e8-1365

3、volume manager在worker node中負責將卷掛載到對應(yīng)路徑。

Pod分配到本worker node后，獲取Pod需要的volume，通過對比node狀態(tài)中的volumesAttached，確認volume是否已經(jīng)attach到node節(jié)點，如果attach到node節(jié)點則將自身actualStateOfWorld中的volume狀態(tài)設(shè)置成attached，對應(yīng)代碼4[4]、代碼5[5]。

如果已經(jīng)attached成功，則進入到文件系統(tǒng)掛載流程，相關(guān)代碼6[6]。

• 先掛載到node中全局路徑，比如/var/lib/kubelet/plugins/kubernetes.io/csi/pv/pvc-3ecd68c7b7d211e8/globalmount。

• 映射到Pod對應(yīng)路徑，比如/var/lib/kubelet/pods/49a5fede-b811-11e8-844f-fa7378845e00/volumes/kubernetes.io~csi/pvc-3ecd68c7b7d211e8/mount。

• actualStateOfWorld中設(shè)置volume為掛載成功狀態(tài)。

4、pod controller確認卷已經(jīng)映射成功，啟動Pod，此處不詳細展開。

| Pod被刪除的過程

pod controller watch到pod處于被刪除狀態(tài)，執(zhí)行killPod操作，刪除Pod，此處不詳細展開。

volume manager獲取到Pod被刪除的信息，會執(zhí)行如下幾步，相關(guān)代碼5[5]。

• 將Pod從desiredStateOfWorld的緩存信息中清除。

• actualStateOfWorld中已經(jīng)掛載的卷和desiredStateOfWorld發(fā)現(xiàn)Pod不應(yīng)該掛載，執(zhí)行UmountVolume操作，將Pod和卷映射關(guān)系解除，并將Pod從actualStateOfWorld的卷信息中剔除。

• 此時如果實際狀態(tài)中卷沒有關(guān)聯(lián)任何Pod，則說明卷需要可以完全與節(jié)點分離，則先執(zhí)行UnmountDevice將卷的globalpath umount掉，等到下次reconcile時執(zhí)行MarkVolumeAsDetached將卷完全從實際狀態(tài)中刪除掉。

attach detach controller發(fā)現(xiàn)掛載到node節(jié)點的volume沒有被Pod使用，執(zhí)行detach操作，將卷從node節(jié)點detach，此時卷完全處于集群中未被使用的狀態(tài)，此處不詳細展開。

總結(jié)為Kubernetes存儲系統(tǒng)的特點：

• 不同組件通過資源狀態(tài)協(xié)作，attach detach controller需要PVC綁定PV的狀態(tài)，volume manager需要node status中volume attached狀態(tài)。

• 組件通過reconcile方式達到期望狀態(tài)，并且狀態(tài)可能需要多次reconcile中完成，如Pod清除掉后，volume最終和node分離。

|? 問題

理解了存儲系統(tǒng)的整體過程之后，回到問題，StatefulSet中Pod被刪除會發(fā)生什么？
首先，對于StatefulSet的了解，Pod被刪除，StatefulSet controller應(yīng)該會很快創(chuàng)建Pod，在我們的場景中，Pod還是調(diào)度到先前節(jié)點中啟動。結(jié)合對存儲的理解，可能的場景：
場景一：delete Pod，感知順序為volume manager(umount)->statefulset->scheduler->volume manager(mount)。

volume manager發(fā)現(xiàn)Pod被刪除，執(zhí)行umount

StatefulSet發(fā)現(xiàn)Pod被刪除，馬上創(chuàng)建Pod

scheduler發(fā)現(xiàn)Pod進行調(diào)度

volume manager發(fā)現(xiàn)原有volume需要綁定Pod，執(zhí)行mount

場景二：delete Pod，感知順序為volume manager(umount)->volume manager(unmountDevice)->volume manager(MarkVolumeAsDelete)->attach detach controller(Detach)->statefulset->scheduler->attach detach controller(Attach)->volume manager。

volume manager發(fā)現(xiàn)Pod被刪除，執(zhí)行umount/unmountDevice/MarkVolumeAsDelete（通過幾次reconcile）

attach detach controller發(fā)現(xiàn)volume在node節(jié)點未被使用，執(zhí)行detach

scheduler發(fā)現(xiàn)Pod進行調(diào)度

attach detach controller發(fā)現(xiàn)volume需要attach，執(zhí)行attach

volume manager掛載

場景三：delete Pod，感知順序為statefulset->volume manager(umount/deviceUmount)->scheduler->volume manager(mount)。

StatefulSet發(fā)現(xiàn)Pod被刪除，馬上創(chuàng)建Pod

volume manager發(fā)現(xiàn)Pod被刪除，執(zhí)行umount/deviceUmount（通過幾次reconcile），注意此時devicePath和deviceMountPath都為空

scheduler發(fā)現(xiàn)Pod進行調(diào)度

volume manager發(fā)現(xiàn)原有volume需要綁定Pod，執(zhí)行mount而此時devicePath和deviceMountPath都為空，問題出現(xiàn)

再結(jié)合問題出現(xiàn)日志分析：
Sep? 14 19 : 28 : 33 10 -10 -40 -16 kubelet:?I0914? 19 : 28 : 33.174310 1953 operation_generator. go : 1168 ]?Controller?attach?succeeded? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?pod? "yoooo-416ea0-0" (UID:? "49a5fede-b811-11e8-844f-fa7378845e00" )?device?path:? "csi-eb93736e654600786d95eaffa7cd5d616f11a90bdc109e0df575e8646c250eb2"
Sep? 14 19 : 28 : 33 10 -10 -40 -16 kubelet:?I0914? 19 : 28 : 33.273344 1953 operation_generator. go : 486 ]?MountVolume.WaitForAttach?entering? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?pod? "yoooo-416ea0-0" (UID:? "49a5fede-b811-11e8-844f-fa7378845e00" )?DevicePath? "csi-eb93736e654600786d95eaffa7cd5d616f11a90bdc109e0df575e8646c250eb2"
Sep? 14 19 : 28 : 33 10 -10 -40 -16 kubelet:?I0914? 19 : 28 : 33.318275 1953 operation_generator. go : 495 ]?MountVolume.WaitForAttach?succeeded? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?pod? "yoooo-416ea0-0" (UID:? "49a5fede-b811-11e8-844f-fa7378845e00" )?DevicePath? "csi-eb93736e654600786d95eaffa7cd5d616f11a90bdc109e0df575e8646c250eb2"
Sep? 14 19 : 28 : 33 10 -10 -40 -16 kubelet:?I0914? 19 : 28 : 33.319345 1953 operation_generator. go : 514 ]?MountVolume.MountDevice?succeeded? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?pod? "yoooo-416ea0-0" (UID:? "49a5fede-b811-11e8-844f-fa7378845e00" )?device?mount?path? "/var/lib/kubelet/plugins/kubernetes.io/csi/pv/pvc-3ecd68c7b7d211e8/globalmount"
Sep? 14 19 : 29 : 12 10 -10 -40 -16 kubelet:?I0914? 19 : 29 : 12.826916 1953 operation_generator. go : 486 ]?MountVolume.WaitForAttach?entering? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?pod? "yoooo-416ea0-0" (UID:? "67f223dc-b811-11e8-844f-fa7378845e00" )?DevicePath? "csi-eb93736e654600786d95eaffa7cd5d616f11a90bdc109e0df575e8646c250eb2"
Sep? 14 19 : 29 : 14 10 -10 -40 -16 kubelet:?I0914? 19 : 29 : 14.465225 1953 operation_generator. go : 495 ]?MountVolume.WaitForAttach?succeeded? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?pod? "yoooo-416ea0-0" (UID:? "67f223dc-b811-11e8-844f-fa7378845e00" )?DevicePath? "csi-eb93736e654600786d95eaffa7cd5d616f11a90bdc109e0df575e8646c250eb2"
Sep? 14 19 : 29 : 14 10 -10 -40 -16 kubelet:?I0914? 19 : 29 : 14.466483 1953 operation_generator. go : 514 ]?MountVolume.MountDevice?succeeded? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?pod? "yoooo-416ea0-0" (UID:? "67f223dc-b811-11e8-844f-fa7378845e00" )?device?mount?path? "/var/lib/kubelet/plugins/kubernetes.io/csi/pv/pvc-3ecd68c7b7d211e8/globalmount"
Sep? 14 19 : 29 : 15 10 -10 -40 -16 kubelet:?W0914? 19 : 29 : 15.491424 1953 csi_mounter. go : 354 ]?kubernetes.io/csi:?skipping?mount?dir?removal,?path?does?not?exist?[/ var /lib/kubelet/pods/ 49 a5fede-b811 -11e8 -844f -fa7378845e00/volumes/kubernetes.io~csi/pvc -3 ecd68c7b7d211e8/mount]
Sep? 14 19 : 29 : 15 10 -10 -40 -16 kubelet:?I0914? 19 : 29 : 15.491450 1953 operation_generator. go : 686 ]?UnmountVolume.TearDown?succeeded? for volume? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" (OuterVolumeSpecName:? "data" )?pod? "49a5fede-b811-11e8-844f-fa7378845e00" (UID:? "49a5fede-b811-11e8-844f-fa7378845e00" ).?InnerVolumeSpecName? "pvc-3ecd68c7b7d211e8" .?PluginName? "kubernetes.io/csi" ,?VolumeGidValue? ""
Sep? 14 19 : 29 : 44 10 -10 -40 -16 kubelet:?W0914? 19 : 29 : 44.896387 1953 csi_mounter. go : 354 ]?kubernetes.io/csi:?skipping?mount?dir?removal,?path?does?not?exist?[/ var /lib/kubelet/pods/ 67f 223dc-b811 -11e8 -844f -fa7378845e00/volumes/kubernetes.io~csi/pvc -3 ecd68c7b7d211e8/mount]
Sep? 14 19 : 29 : 44 10 -10 -40 -16 kubelet:?I0914? 19 : 29 : 44.896403 1953 operation_generator. go : 686 ]?UnmountVolume.TearDown?succeeded? for volume? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" (OuterVolumeSpecName:? "data" )?pod? "67f223dc-b811-11e8-844f-fa7378845e00" (UID:? "67f223dc-b811-11e8-844f-fa7378845e00" ).?InnerVolumeSpecName? "pvc-3ecd68c7b7d211e8" .?PluginName? "kubernetes.io/csi" ,?VolumeGidValue? ""
Sep? 14 19 : 29 : 44 10 -10 -40 -16 kubelet:?I0914? 19 : 29 : 44.917540 1953 reconciler. go : 278 ]?operationExecutor.UnmountDevice?started? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?on?node? "10-10-40-16"
Sep? 14 19 : 29 : 44 10 -10 -40 -16 kubelet:?W0914? 19 : 29 : 44.919231 1953 mount_linux. go : 179 ]?could?not?determine?device? for path:? "/var/lib/kubelet/plugins/kubernetes.io/csi/pv/pvc-3ecd68c7b7d211e8/globalmount"
Sep? 14 19 : 29 : 45 10 -10 -40 -16 kubelet:?I0914? 19 : 29 : 45.609605 1953 operation_generator. go : 760 ]?UnmountDevice?succeeded? for volume? "pvc-3ecd68c7b7d211e8" %!(EXTRA? string =UnmountDevice?succeeded? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?on?node? "10-10-40-16" )
Sep? 14 19 : 29 : 45 10 -10 -40 -16 kubelet:?I0914? 19 : 29 : 45.624963 1953 operation_generator. go : 486 ]?MountVolume.WaitForAttach?entering? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?pod? "yoooo-416ea0-0" (UID:? "77b8caf7-b811-11e8-844f-fa7378845e00" )?DevicePath? ""
Sep? 14 19 : 29 : 46 10 -10 -40 -16 kubelet:?E0914? 19 : 29 : 46.006612 1953 nestedpendingoperations. go : 267 ]?Operation? for "\"kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338\"" failed.?No?retries?permitted?until? 2018 -09 -14 19 : 29 : 46.506583596 + 0800 CST?m=+ 105572.978439381 (durationBeforeRetry? 500 ms).?Error:? "MountVolume.WaitForAttach?failed?for?volume?\"pvc-3ecd68c7b7d211e8\"?(UniqueName:?\"kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338\")?pod?\"yoooo-416ea0-0\"?(UID:?\"77b8caf7-b811-11e8-844f-fa7378845e00\")?:?resource?name?may?not?be?empty"
Sep? 14 19 : 29 : 46 10 -10 -40 -16 kubelet:?I0914? 19 : 29 : 46.533962 1953 operation_generator. go : 486 ]?MountVolume.WaitForAttach?entering? for volume? "pvc-3ecd68c7b7d211e8" (UniqueName:? "kubernetes.io/csi/csi-qcfsplugin^csi-qcfs-volume-3ecd68c7b7d211e8-338" )?pod? "yoooo-416ea0-0" (UID:? "77b8caf7-b811-11e8-844f-fa7378845e00" )?DevicePath? ""

WaitForAttach有兩個階段：

• Sep 14 19:29:14以及之前DevicePath非空

• Sep 14 19:29:45以及之后DevicePath為空

那么在這兩個時間點之間發(fā)生了什么，懷疑這個時間點發(fā)生的問題造成卷無法掛載。
通過日志發(fā)現(xiàn)Sep 14 19:29:14到Sep 14 19:29:45有一段日志信息比較關(guān)鍵，分析如下：
Sep 14?19 :29 :14 ……? MountVolume .MountDevice ……
Sep 14?19 :29 :15 …..? UnmountVolume .TearDown ……
Sep 14?19 :29 :44 ……? UnmountVolume .TearDown ……
Sep 14?19 :29 :44 ……? operationExecutor .UnmountDevice ……
Sep 14?19 :29 :44 ……? could not determine device for path ….

在步驟4中，有設(shè)置相關(guān)函數(shù)的：

UnmountDevice->GenerateUnmountDeviceFunc->actualStateOfWorld.MarkDeviceAsUnmounted->asw.SetVolumeGloballyMounted

其中比較關(guān)鍵的函數(shù)SetVolumeGloballyMounted：

asw.SetVolumeGloballyMounted(volumeName,? false /*?globallyMounted?*/ ,? /*?devicePath?*/ "" ,? /*??deviceMountPath?*/ "" )

|? 總結(jié)

Kubernetes之所以在當前成為容器編排領(lǐng)域的事實標準，原因很多，但是對我們來講基于聲明式API的編程范式是我們依賴Kubernetes的重要原因，當然在其解決的問題規(guī)模下復(fù)雜程度也不言而喻，總之，一句話，沒有銀彈。
相關(guān)鏈接：

https://github.com/kubernetes/kubernetes/blob/release-1.10/pkg/controller/volume/persistentvolume/pv_controller.go#L301

https://github.com/kubernetes/kubernetes/blob/release-1.10/pkg/controller/volume/attachdetach/populator/desired_state_of_world_populator.go#L88

https://github.com/kubernetes/kubernetes/blob/release-1.10/pkg/controller/volume/attachdetach/reconciler/reconciler.go#L251

https://github.com/kubernetes/kubernetes/blob/release-1.10/pkg/kubelet/volumemanager/populator/desired_state_of_world_populator.go#L152

https://github.com/kubernetes/kubernetes/blob/release-1.10/pkg/kubelet/volumemanager/reconciler/reconciler.go#L160

https://github.com/kubernetes/kubernetes/blob/release-1.10/pkg/kubelet/volumemanager/reconciler/reconciler.go#L238

來自 “ ITPUB博客 ” ，鏈接：http://blog.itpub.net/28218939/viewspace-2217186/，如需轉(zhuǎn)載，請注明出處，否則將追究法律責任。

轉(zhuǎn)載于:http://blog.itpub.net/28218939/viewspace-2217186/

總結(jié)

以上是生活随笔為你收集整理的Pod挂载Volume失败问题分析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。