ceph linux内核配置,centos 7.4-aarch64如何编译Ceph
一、Ceph簡介
簡而言之，Ceph作為一個分布式存儲系統設計的目標定位為：
①可輕松擴展到數PB級別的容量(Ceph目前的版本可以輕松支持EB級別的存儲容量)
②能夠自動適應多種工作負載的高性能(每秒輸入/輸出操作[IOPS]和帶寬)
③高可靠性，提供了對象、塊、文件系統一整套存儲解決方案，大大降低運維的成本
Ceph作為一個優秀的分布式存儲系統，未來分布式存儲系統提供了設計基礎。自Linux內核2.6.34版開始，Ceph.ko已經集成到Linux內核之中，作為分布式文件系統的備選項之一。同時Ceph也是OpenStack中優秀的開源存儲解決方案，支持通過Ceph作為塊存儲或對象存儲進行讀寫訪問。
Ceph提供3種存儲方式：對象存儲，塊存儲和文件系統，下圖很好的展示了 Ceph 存儲集群的架構：
(1)Ceph核心組件：
在Ceph存儲中，包含以下幾個核心組件，分別是Ceph OSD；Ceph Monitor和Ceph MDS。
Ceph OSD：全稱是Object Storage Device，主要功能包括存儲數據，處理數據的復制、恢復、回補、平衡數據分布，并將一些相關數據提供給Ceph Monitor,如Ceph OSD心跳等。
Ceph Monitor：Ceph的監控器，主要功能是維護整個集群健康狀態，提供一致性的決策，包含Monitor map、OSD map、PG(Placement Group) map和CRUSH map。
Ceph MDS：全稱是Ceph Metadata server。主要保存的是Ceph文件系統(File system)的元數據。(Ceph的塊存儲和對象存儲不需要Ceph MDS。Ceph MDS為基于POSIX文件系統的用戶提供一些基礎命令，如ls，find等命令)。
(2)Ceph功能特性：
對象存儲功能特性基于LIBRADOS之上，提供當前流行的RESTful協議的網關，并兼容S3和Swift接口，作為對象存儲，可以對接網盤應用以及HLS流媒體應用等，
塊存儲功能特性也基于LIBRADOS之上，通過LIBRBD創建一個塊設備，通過QEMU/KVM附加到VM上，作為傳統的塊設備來用。
文件系統存儲功能特性是基于RADOS來實現分布式的文件系統，引入了MDS(Metadata server),主要為兼容POSIX文件系統提供元數據，可當做文件系統掛載。
(3)Ceph架構
(4)Ceph設計思想
Ceph最初針對的應用場景，就是大規模的、分布式的存儲系統。所謂“大規模”和“分布式”，至少是能夠承載PB級別的數據和成千上萬的存儲節點組成的存儲集群。
Ceph的技術特性：
①集群可靠性
②集群可擴展性
③數據安全性
④接口統一性
二、如何源碼編譯Ceph
(1)安裝pip
$:curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
$:python get-pip.py
(2)安裝gcc-7.3
查看當前的gcc版本：gcc ?-v
$: gcc -v
Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/libexec/gcc/aarch64-redhat-linux/4.8.5/lto-wrapper
Target: aarch64-redhat-linux
Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --with-bugurl=http://bugzilla.redhat.com/bugzilla --enable-bootstrap --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-gnu-unique-object --enable-linker-build-id --with-linker-hash-style=gnu --enable-languages=c,c++,objc,obj-c++,java,fortran,ada,lto --enable-plugin --enable-initfini-array --disable-libgcj --with-isl=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-aarch64-redhat-linux/isl-install --with-cloog=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-aarch64-redhat-linux/cloog-install --enable-gnu-indirect-function --build=aarch64-redhat-linux
Thread model: posix
gcc version 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC)
下載gcc 8.2.0的源碼：
將源碼上傳至服務器然后解壓
$: mkdir -p /usr/local/gcc
$:tar -xvf gcc-7.3.0.tar.gz -C /usr/local/gcc/
解壓完成后，編譯安裝gcc源碼
進入gcc 8.2.0目錄，運行 download_prerequisites 腳本 。
$:cd? ?/usr/local/gcc/
$:cd? ?gcc-8.2.0/
$: ./contrib/download_prerequisites
2018-07-18 16:06:03 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/gmp-6.1.0.tar.bz2 [2383840] -> "./gmp-6.1.0.tar.bz2" [1]
2018-07-18 16:08:29 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/mpfr-3.1.4.tar.bz2 [1279284] -> "./mpfr-3.1.4.tar.bz2" [1]
2018-07-18 16:09:25 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/mpc-1.0.3.tar.gz [669925] -> "./mpc-1.0.3.tar.gz" [1]
2018-07-18 16:12:42 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/isl-0.16.1.tar.bz2 [1626446] -> "./isl-0.16.1.tar.bz2" [1]
gmp-6.1.0.tar.bz2: OK
mpfr-3.1.4.tar.bz2: OK
mpc-1.0.3.tar.gz: OK
isl-0.16.1.tar.bz2: OK
All prerequisites downloaded successfully.
建立編譯輸出目錄，將所有的中間文件都放到該目錄中。
$:cd /usr/local/gcc/gcc-8.2.0
$:mkdir gcc-build-7.3.0
$:cd gcc-build-7.3.0/
$: cp ../gmp-6.1.0.tar.bz2 ./
$: cp ../mpfr-3.1.4.tar.bz2 ./
$: cp ../mpc-1.0.3.tar.gz ./
$: cp ../isl-0.16.1.tar.bz2 ./
配置：
在當前目錄執行：
$: ../configure --enable-checking=release --enable-languages=c,c++ --disable-multilib
參數解釋：
--enable-checking=release ? ? ? ? ? //增加一些檢查，也可以–disable-checking生成的編譯器在編譯過程中不做檢查；
--enable-languages=c,c++ ? ? ? ? ?//讓gcc支持的編程語言 ；
--disable-multilib ? ? ? ? ? ? ? //取消多目標庫編譯(取消32位庫編譯)。
make編譯
當前目錄執行：make ?-j4
進入make的gcc目錄進行安裝
make install -j8
生成軟鏈接
$:ln -s /usr/local/bin/gcc /usr/bin/gcc
$:ln -s /usr/local/bin/g++ /usr/bin/g++
驗證
$:gcc -v && g++ -v
(3)安裝cmake
下載cmake源碼包cmake-3.13
創建用于安裝cmake的目錄/usr/local/cmake，并解壓cmake源碼包到/usr/local/cmake
配置并編譯
$:./configure
$:make
$:make install
$:mv ??* ?../
$:rm ??-rf ??cmake-2.8.5
修改/etc/profile文件
$:vim ??/etc/profile
#cmake
PATH=/usr/local/cmake/bin:$PATH
export PATH
檢查cmake是否安裝成功
(4)下載ceph源碼
從github下載源碼，要加上–recursive參數，不然ceph源碼內的很多子程序無法下載
$:git clone --recursive https://github.com/ceph/ceph.git
(5)下載ceph所需的庫
$:cd ceph
$:sudo ./install-deps.sh
(6)運行腳本
$:sudo ./do_cmake.sh
(7)編譯ceph
$:cd build
$:sudo make -j10
(8)安裝ceph
$:sudo make install
(9)驗證ceph
[zc@node-02 build]$ ./bin/ceph -v
*** DEVELOPER MODE: setting PATH, PYTHONPATH and LD_LIBRARY_PATH ***
ceph version 14.0.1-924-g38e95b2 (38e95b2d8a40df264ea685ad528f89c78e01da0c) nautilus (dev)
錯誤處理
Error1>
[endif]Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-*(其中×與要安裝的軟件有關)
$:sudo python -m pip install --upgrade --force pip
$:sudo pip install setuptools==33.1.1
Error2>
$:yum install -y libffi-devel
Error3>
/lib64/libsnappy.so: undefined reference to `operator delete(void*, unsigned long)@CXXABI_1.3.9'
collect2: error: ld returned 1 exit status
make[2]: *** [bin/ceph_perf_local] Error 1
make[1]: *** [src/test/CMakeFiles/ceph_perf_local.dir/all] Error 2
[ 56%] Built target ceph_test_keys
make: *** [all] Error 2
$:sudo mv /usr/lib64/libstdc++.so.6 ~
$:sudo mv /usr/lib64/libstdc++.so.6.0.19 ~
$:sudo ln -s /usr/local/lib64/libstdc++.so.6 /usr/lib64/libstdc++.so.6
$:sudo ln -s /usr/local/lib64/libstdc++.so.6.0.24 /usr/lib64/libstdc++.so.6.0.19
Error4>
LevelDBStore.cc:(.text+0x170c): undefined reference to `leveldb::RepairDB(std::__cxxptions const&)'
LevelDBStore.cc:(.text+0x1750): undefined reference to `leveldb::Status::ToString[ab
collect2: error: ld returned 1 exit status
下載leveldb-1.20
解壓安裝包到指定目錄
$:tar -zxvf leveldb-1.20.tar.gz -C /usr/local/
$:cd?/usr/local/leveldb-1.20
$:make
編譯完成后：找一下動態庫
$:cd out-shared/
$:ll
total 648
drwxr-xr-x 2 root root ???299 Nov 21 09:49 db
-rwxr-xr-x 1 root root ?80536 Nov 21 09:49 db_bench
drwxr-xr-x 3 root root ????20 Nov 21 09:47 helpers
lrwxrwxrwx 1 root root ????18 Nov 21 09:49 libleveldb.so -> libleveldb.so.1.20
lrwxrwxrwx 1 root root ????18 Nov 21 09:49 libleveldb.so.1 -> libleveldb.so.1.20
-rwxr-xr-x 1 root root 591128 Nov 21 09:49 libleveldb.so.1.20
drwxr-xr-x 2 root root ????50 Nov 21 09:49 port
drwxr-xr-x 2 root root ???182 Nov 21 09:49 table
drwxr-xr-x 2 root root ???241 Nov 21 09:49 util
將新編譯的動態庫替換掉原來的庫：
[root@node-02 out-shared]# cp libleveldb.so* /usr/lib64/
[root@node-02 lib64]# ll libleveldb.so*
-rwxr-xr-x. 1 root root 423152 Mar? 8 02:22 libleveldb.so
-rwxr-xr-x. 1 root root 423152 Mar? 8 02:22 libleveldb.so.1
-rwxr-xr-x. 1 root root 348928 May 17? 2016 libleveldb.so.1.0.7
-rwxr-xr-x. 1 root root 423152 Mar? 8 02:22 libleveldb.so.1.20
[root@node-02 lib64]# rm libleveldb.so libleveldb.so.1
[root@node-02 lib64]# ll libleveldb.so*
-rwxr-xr-x. 1 root root 348928 May 17? 2016 libleveldb.so.1.0.7
-rwxr-xr-x. 1 root root 423152 Mar? 8 02:22 libleveldb.so.1.20
[root@node-02 lib64]# ln -s libleveldb.so.1.20 libleveldb.so
[root@node-02 lib64]# ln -s libleveldb.so.1.20 libleveldb.so.1
[root@node-02 lib64]# ll libleveldb.so*
lrwxrwxrwx. 1 root root???? 18 Mar? 8 02:23 libleveldb.so -> libleveldb.so.1.20
lrwxrwxrwx. 1 root root???? 18 Mar? 8 02:23 libleveldb.so.1 -> libleveldb.so.1.20
-rwxr-xr-x. 1 root root 348928 May 17? 2016 libleveldb.so.1.0.7
-rwxr-xr-x. 1 root root 423152 Mar? 8 02:22 libleveldb.so.1.20
保險起見，把include下的頭文件也替換掉：
[root@node-02 ~]# cd /usr/local/leveldb-1.20/include
[root@node-02 include]# cp -r leveldb/ /usr/include/
Error>
(如果以安裝gcc-8.2.0不會出現下面報錯)
with preprocessed source if appropriate.
Please include the complete backtrace with any bug report.
See for instructions.
make[2]: *** [src/test/librbd/CMakeFiles/unittest_librbd.dir/managed_lock/test_mock_GetLockerRequest.cc.o] Error 1
make[2]: *** Waiting for unfinished jobs....
[ 98%] Built target radosgw
make[1]: *** [src/test/librbd/CMakeFiles/unittest_librbd.dir/all] Error 2
make[1]: *** Waiting for unfinished jobs....
[ 98%] Built target ceph-dencoder
make: *** [all] Error 2
報編輯器內部錯誤，當前使用的是gcc-7.3.0，更換gcc版本為gcc-8.2.0編譯成功。
總結
以上是生活随笔為你收集整理的ceph linux内核配置,centos 7.4-aarch64如何编译Ceph的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Prometheus（普罗米修斯）监控系
- 下一篇： Linux测量进程内存峰值,linux