背景

最近一個無人看管的ceph集群出現了osd被寫滿的情況，osd磁盤使用量99.99%，然后osd自己down了，重啟也啟動不起來。

可能是因為之前有人調過full的限制值，所以才完全寫滿了，由于好幾個osd同時寫滿了，導致有些PG down了，無法提供服務。

所以必須將這些down的osd想辦法up起來。

ceph版本：v15.2.16

解決過程

啟動不起來的osd的日志如下：

通過bluestore工具查看osd的磁盤使用情況，看到只有34MB可以用 ceph-bluestore-tool --path /var/lib/ceph/osd/ceph-237/ --command bluefs-bdev-sizes inferring bluefs devices from bluestore path 1 : device size 0x1bf1f800000 : own 0x[4c10000~450000,1dd60000 。。。。。。省略。。。。。。 0x1dd6d70000 : using 0x1dd6d10000(119 GiB) : bluestore has 0x21b0000(34 MiB) available

查看host上磁盤情況

看到host系統盤上還有未使用的分區，osd下面使用lvm，所以可以考慮通過lvm擴容來將osd的存儲空間擴大

查看down的osd塊設備所屬vg，Free PE為0 vgdisplay ceph-cf3140a4-13fd-4a4c-a4a0-74020ef40af3--- Volume group ---VG Name ? ? ? ? ? ? ? ceph-cf3140a4-13fd-4a4c-a4a0-74020ef40af3System ID? ? ? ? ? ? ?Format? ? ? ? ? ? ? ? lvm2Metadata Areas? ? ? ? 1Metadata Sequence No? 5VG Access ? ? ? ? ? ? read/writeVG Status ? ? ? ? ? ? resizableMAX LV? ? ? ? ? ? ? ? 0Cur LV? ? ? ? ? ? ? ? 1Open LV ? ? ? ? ? ? ? 0Max PV? ? ? ? ? ? ? ? 0Cur PV? ? ? ? ? ? ? ? 1Act PV? ? ? ? ? ? ? ? 1VG Size ? ? ? ? ? ? ? <1.75 TiBPE Size ? ? ? ? ? ? ? 4.00 MiBTotal PE? ? ? ? ? ? ? 457854Alloc PE / Size ? ? ? 457854 / <1.75 TiBFree? PE / Size ? ? ? 0 / 0? ?VG UUID ? ? ? ? ? ? ? vGFYbT-z3JC-2yQK-8OhA-wjEz-8UwG-xWs3PT

fdisk創建500G的分區 fdisk /dev/sda Welcome to fdisk (util-linux 2.33.1). Changes will remain in memory only, until you decide to write them. Be careful before using the write command.Command (m for help): n All space for primary partitions is in use. Adding logical partition 7 First sector (1298579456-3750748159, default 1298579456):? Last sector, +/-sectors or +/-size{K,M,G,T,P} (1298579456-3750748159, default 3750748159): +500GCreated a new partition 7 of type 'Linux' and of size 500 GiB.Command (m for help): w The partition table has been altered. Syncing disks.

創建pv pvcreate /dev/sda6 Physical volume "/dev/sda6" successfully created.

將pv加入vg vgextend ceph-cf3140a4-13fd-4a4c-a4a0-74020ef40af3 /dev/sda6Volume group "ceph-cf3140a4-13fd-4a4c-a4a0-74020ef40af3" successfully extended

查看vg，看到Free PE為數：127999 vgdisplay ceph-cf3140a4-13fd-4a4c-a4a0-74020ef40af3--- Volume group ---VG Name ? ? ? ? ? ? ? ceph-cf3140a4-13fd-4a4c-a4a0-74020ef40af3System ID? ? ? ? ? ? ?Format? ? ? ? ? ? ? ? lvm2Metadata Areas? ? ? ? 2Metadata Sequence No? 6VG Access ? ? ? ? ? ? read/writeVG Status ? ? ? ? ? ? resizableMAX LV? ? ? ? ? ? ? ? 0Cur LV? ? ? ? ? ? ? ? 1Open LV ? ? ? ? ? ? ? 0Max PV? ? ? ? ? ? ? ? 0Cur PV? ? ? ? ? ? ? ? 2Act PV? ? ? ? ? ? ? ? 2VG Size ? ? ? ? ? ? ? 2.23 TiBPE Size ? ? ? ? ? ? ? 4.00 MiBTotal PE? ? ? ? ? ? ? 585853Alloc PE / Size ? ? ? 457854 / <1.75 TiBFree? PE / Size ? ? ? 127999 / <500.00 GiBVG UUID ? ? ? ? ? ? ? vGFYbT-z3JC-2yQK-8OhA-wjEz-8UwG-xWs3PT

擴展osd的lvm lvextend -l +127999 /dev/ceph-cf3140a4-13fd-4a4c-a4a0-74020ef40af3/osd-block-35085cee-0773-48af-8afc-69579b4dcfa6?Size of logical volume ceph-cf3140a4-13fd-4a4c-a4a0-74020ef40af3/osd-block-35085cee-0773-48af-8afc-69579b4dcfa6 changed from <1.75 TiB (457854 extents) to 2.23 TiB (585853 extents).Logical volume ceph-cf3140a4-13fd-4a4c-a4a0-74020ef40af3/osd-block-35085cee-0773-48af-8afc-69579b4dcfa6 successfully resized.

lsblk查看，/dev/sda6已經加入到lvm中 lsblk NAME? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? MAJ:MIN RM ? SIZE RO TYPE MOUNTPOINT sda ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 8:0? ? 0 ? 1.8T? 0 disk? ├─sda1? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 8:1? ? 0 111.8G? 0 part / ├─sda2? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 8:2? ? 0 ? ? 1K? 0 part? ├─sda5? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 8:5? ? 0 ? 7.5G? 0 part? ├─sda6? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 8:6? ? 0 ? 500G? 0 part? │ └─ceph--cf3140a4--13fd--4a4c--a4a0--74020ef40af3-osd--block--35085cee--0773--48af--8afc--69579b4dcfa6 254:2? ? 0 ? 2.2T? 0 lvm ? └─sda7? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 8:7? ? 0 ? 500G? 0 part? sdb ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 8:16 ? 0 ? 1.8T? 0 disk? └─ceph--badbd0bf--066c--40fc--add8--36795c2216b5-osd--block--07267e4a--40e3--4b3c--abee--3b785626589f ? 254:3? ? 0 ? 1.8T? 0 lvm ? sdc ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 8:32 ? 0 ? 1.8T? 0 disk? └─ceph--cf3140a4--13fd--4a4c--a4a0--74020ef40af3-osd--block--35085cee--0773--48af--8afc--69579b4dcfa6 ? 254:2? ? 0 ? 2.2T? 0 lvm ? sdd ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 8:48 ? 0 ? 1.8T? 0 disk? └─ceph--636b0594--a7bf--4f47--bc01--9e78baba6278-osd--block--e01a5446--03b7--4c55--bba0--ab3df46cf0d1 ? 254:1? ? 0 ? 1.8T? 0 lvm ? sde ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 8:64 ? 0 ? 1.8T? 0 disk? └─ceph--2e089c9e--fe37--4166--ad28--23f945299fe8-osd--block--4b86c81c--8f92--48e7--8747--8985700fe901 ? 254:0? ? 0 ? 1.8T? 0 lvm ?

bluestore工具擴容bluefs ceph-bluestore-tool bluefs-bdev-expand --path /var/lib/ceph/osd/ceph-237/ 。。省略。。 135 GiB) : bluestore has 0x1720000(23 MiB) available Expanding DB/WAL... 1 : expanding? from 0x1bf1f800000 to 0x23c1f400000
?

啟動osd，能夠正常啟動

用同樣的方法再處理其他寫滿的osd。

總結

以上是生活随笔為你收集整理的解决ceph osd写满导致osd无法启动的问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。