文章目錄

• • • 創建RAMDISK
    • 使用內存盤
    • • 使用內存盤格式化文件系統
      • 使用內存盤部署ceph-osd
    • 刪除內存盤

為了測試內存盤類型的磁盤做ceph osd的io性能，將內存部分空間取出來用作普通物理磁盤(RAMDISK)，并在該磁盤上部署ceph osd
支持該操作的系統驅動為brd.ko

PS ：使用內存盤千萬不要存放數據，因為內存在操作系統上下電會被回收掉，如果用作存儲會造成數據的丟失

創建RAMDISK

一般centos7及以上都存在brd.ko文件，不過還是確認當前操作系統是否存在brd.ko驅動文件

• locate brd.ko或者 find / -name brd.ko

  /usr/lib/modules/3.10.0-123.el7.x86_64/kernel/drivers/block/brd.ko
  /usr/lib/modules/3.10.0-123.el7.x86_64-002/kernel/drivers/block/brd.ko
  

• 加載內存盤
  insmod /usr/lib/modules/3.10.0-123.el7.x86_64/kernel/drivers/block/brd.ko rd_nr=2 rd_size=16777216 max_part=0
  使用insmod通過絕對路徑加載驅動，或者直接執行如下命令更為簡單
  modprobe brd rd_nr=2 rd_size=16777216 max_part=0
modprobe命令不需要絕對路徑，只要操作系統存在該文件，它會自動加載并且將與該驅動相關的依賴驅動一同加載進去

  關于加載中的參數配置描述如下:

  • rd_nr 表示一次創建多少個內存盤
  • rd_size 表示每隔內存盤的大小，單位為KB.這里設置容量需要根據操作系統內存占用容量來設置，free -h查看后使用空余內存空間
  • max_part 表示每隔內存盤支持的最大分區數

• 查看創建好的內存盤
  因為內存盤并不是物理磁盤，也不是塊設備，所以lsblk查看系統快設備是看不到的，但是它已經已io驅動文件形式存在，所以在目錄/dev/下是可以看到該文件

  [root@node1 ~]# ls -l /dev/ram*
  brw-rw---- 1 root disk 1, 0 Jul  3 12:55 /dev/ram0
  brw-rw---- 1 root disk 1, 1 Jul  3 12:55 /dev/ram1
  

使用內存盤

由于我這里是用作ceph-osd部署，則不需要自己去格式化操作，

使用內存盤格式化文件系統

• 查看內存盤容量
  fdisk -l /dev/ram0

  Disk /dev/ram0: 17.2 GB, 17179869184 bytes, 33554432 sectors
  Units = sectors of 1 * 512 = 512 bytes
  Sector size (logical/physical): 512 bytes / 512 bytes
  I/O size (minimum/optimal): 512 bytes / 512 bytes
  

• 對內存盤格式化文件系統
  mkfs.xfs /dev/ram0
• 掛載文件系統
  mount /dev/ram0 /mnt/test
df -h查看文件系統已經成功掛載
  
  接下來就可以向文件系統中寫入數據

使用內存盤部署ceph-osd

因為ceph部署osd默認block 分區大小為10G,所以這里我們需要在分區上部署osd才可行

• 在內存盤上使用fdisk做出5G的分區，可以參考fdisk為磁盤做分區
  做出的內存盤分區如下

  [root@node1 ~]# ls -l /dev/ram0*
  brw-rw---- 1 root disk 1, 0 Jul  3 15:40 /dev/ram0
  brw-rw---- 1 root disk 1, 1 Jul  3 15:40 /dev/ram0p1
  

• 寫入osd block配置到ceph.conf中，如下

  [osd.0]
  bluestore_block_size = 4294967296
  

• 執行如下命令在做好的分區上部署osd
  ceph-disk -v prepare /dev/ram0p1
ceph-disk -v activate /dev/ram0p1
  在激活的時候會報出如下錯誤

  activate: ceph osd.0 data dir is ready at /var/lib/ceph/tmp/mnt.Egdb_s
  move_mount: Moving mount to final location...
  command_check_call: Running command: /bin/mount -o noatime,user_xattr -- /dev/ram0p1 /var/lib/ceph/osd/ceph-0
  command_check_call: Running command: /bin/umount -l -- /var/lib/ceph/tmp/mnt.Egdb_s
  command_check_call: Running command: /sbin/sgdisk --change-name=1:ceph data osd.0 /dev/ram0p
  Problem opening /dev/ram0p for reading! Error is 2.
  The specified file does not exist!
  

  該錯誤為修改分區名稱時報出的錯誤，因為內存盤做出的分區 物理分區表并沒有分配具體的容量配置。即每個分區容量都是整個內存盤容量。但是部署到這里，osd該有的配置已經完成。但因為異常，找不到1分區文件，已經跳出了部署腳本，不會執行systemd的start服務。但是此時osd是可以被拉起來的。

  關于如上問題，有一個更好的解決辦法是可以映射多塊內存盤，每個內存盤分別做一個OSD或者其他OSD的db/wal分區即可，這里可以不使用內存盤的分區來進行操作。

  systemctl start ceph-osd@0
  查看掛載：

  /dev/ram0p1      16G   45M   15G   1% /var/lib/ceph/osd/ceph-0
  

  這里分區容量問題需要描述一下，因為我們取出的內存容量為16G用作內存盤。但是需要我們在ceph-disk源碼中會有sgdisk操作，命令sgdisk中有設置typecode以及將mbr分區轉成gpt分區過程。這個過程會清除mbr分區，內存盤分區表格式為dos mbr分區，所以這里/dev/ram0p1文件仍然存在，但是分區表已經被破壞，所以此時看到的容量即為內存盤的所有容量了。

  查看osd具體容量:
  為我們配置文件中設置的容量
  

刪除內存盤

• 卸載所有掛載在內存盤上的文件夾
• 直接執行modprobe -r brd 卸載brd驅動

總結

以上是生活随笔為你收集整理的使用内存盘 格式化文件系统以及部署ceph-osd的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。