2019獨角獸企業重金招聘Python工程師標準>>>

Mongodb安裝搭建Replica Set+Sharding集群

一．簡介

Replica Set：復制在為數據提供了冗余同時，也提高了數據的可用性。由于在不同的數據庫服務器上擁有多個數據鏡像，復制可以有效的防止由于單臺服務器故障而導致的數據丟失。復制還能夠幫助我們從硬件故障或是服務中斷中恢復數據。復制集是由一組擁有相同數據集的 mongod 實例組成的。其中的一個節點為主節點（Primary），所有的寫請求都是在它上面完成的。而其他的節點都是從節點（secondary），從節點接收從主節點上傳來的操作并應用，并以此來保證其與主節點的數據集一致。

Sharding：分片是使用多個機器存儲數據的方法,MongoDB使用分片以支持巨大的數據存儲量與對數據操作.。高數據量和吞吐量的數據庫應用會對單機的性能造成較大壓力,大的查詢量會將單機的CPU耗盡,大的數據量對單機的存儲壓力較大,最終會耗盡系統的內存而將壓力轉移到磁盤IO上。

Shard server：存儲實際數據分片。每個shard可以是一個mongod實例，也可以是一組mongod實例構成的replicasets為了提供高可用性和數據的一致性，shard內部的故障自動切換，建議每個shard為一組replica sets。

Config server：所有shard節點的配置信息，每個分片的shard key范圍，分片在各個shard的分布情況，集群中所有db和collection的sharding的配置信息。配置一個數據集存儲于那些分片中。

Router server：客戶端接入，先詢問配置服務器需要到那個shard上查詢或者保存記錄然后連接shard執行，最后返回結果給客戶端。分片群集可以包含多個查詢路由器來劃分客戶端請求負載?？蛻舳税l送請求給一個查詢的路由器。大多數分片集群有很多查詢的路由器。

二．服務器以及服務信息

服務器	Ip	服務及端口
CentosA	10.255.4.200	mongod shard1_1:27017
mongod shard2_1:27018
mongod config:20000
Mongs:30000
CentosB	10.255.4.201	mongod shard1_2:7017
mongod shard2_2:7018
mongod config:20000
Mongs:30000
centosC	10.255.4.202	mongod shard1_3:27017
mongod shard2_3:27018
mongod config:20000
Mongs:30000

三．配置步驟和命令

1. 連接服務器

ssh root@10.255.4.200

ssh root@10.255.4.201

ssh root@10.255.4.202

2. 建立數據和日志的目錄

centosA:

mkdir -p /data/shard1_1

mkdir -p /data/shard2_1

mkdir -p /data/config

centosB:

mkdir -p /data/shard1_2

mkdir -p /data/shard2_2

mkdir -p /data/config

centosC:

mkdir -p /data/shard1_3

mkdir -p /data/shard2_3

mkdir -p /data/config

3. 安裝mongodb

CentosA:yum –y install mongodb*

centosB:yum –y install mongodb*

centosC:yum –y install mongodb*

4. 啟動分片mongod服務

centosA:

service mongod stop 停止已經啟動的服務，可能會占用端口，導致后面報錯

mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/shard1_1 --logpath /data/shard1_1/shard1_1.log --logappend --fork

mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data/shard2_1 --logpath /data/shard2_1/shard2_1.log --logappend --fork

centosB：

service mongod stop

mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/shard1_2 --logpath /data/shard1_2/shard1_2.log --logappend --fork

mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data/shard2_2 --logpath /data/shard2_2/shard2_2.log --logappend –fork

centosC：

service mongod stop

mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/shard1_3 --logpath /data/shard1_3/shard1_3.log --logappend --fork

mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data/shard2_3 --logpath /data/shard2_3/shard2_3.log --logappend –fork

5. 任意連接一臺centos配置分片和數據集

mongo --port 27017

config= = {_id:'shard1',members:[{_id:0,host:'10.255.4.200:27017'},{_id:1,host:'10.255.4.201:27017'},{_id:2,host:'10.255.4.202:27017'}]}

rs.initiate(config)

mongo --port 27018

config= = {_id:'shard2',members:[{_id:0,host:'10.255.4.200:27018'},{_id:1,host:'10.255.4.201:27018'},{_id:2,host:'10.255.4.202:27018'}]}

rs.initiate(config)

6. 啟動config mongod服務

CentosA:

mongod --configsvr --dbpath /data/config --port 20000 --logpath /data/config/config.log --logappend –fork

CentosB:

mongod --configsvr --dbpath /data/config --port 20000 --logpath /data/config/config.log --logappend --fork

CentosC:

mongod --configsvr --dbpath /data/config --port 20000 --logpath /data/config/config.log --logappend --fork

7. 啟動路由服務

centosA：

mongos --configdb 10.255.4.200:20000,10.255.4.201:20000,10.255.4.202:20000 --port 30000 --chunkSize 1 --logpath /data/mongos.log --logappend --fork

centosB：

mongos --configdb 10.255.4.200:20000,10.255.4.201:20000,10.255.4.202:20000 --port 30000 --chunkSize 1 --logpath /data/mongos.log --logappend --fork

centosC：

mongos --configdb 10.255.4.200:20000,10.255.4.201:20000,10.255.4.202:20000 --port 30000 --chunkSize 1 --logpath /data/mongos.log --logappend --fork

8．添加分片復制集，激活數據庫和表分片

use admin

db.runCommand({addshard:"shard1/10.255.4.200:27017,10.255.4.201:27017,10.255.4.202:27017"});

db.runCommand({addshard:"shard2/10.255.4.200:27018,10.255.4.201:27018,10.255.4.202:27018"});

db.runCommand({enablesharding:"test"})

db.runCommand({shardcollection:"test.users",key:{_id:1}})

9. 測試集群分片結果

use test

for(var i=1;i<=200000;i++){db.users.insert({id:i,addr_1:"beijing",addr_2:"shenzhen"});}

db.users.stats()

如果得到如下結果，集群就搭建好了。

{

"sharded" : true,

"paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",

"userFlags" : 1,

"capped" : false,

"ns" : "test.users",

"count" : 200000,

"numExtents" : 14,

"size" : 22400000,

"storageSize" : 45015040,

"totalIndexSize" : 6532624,

"indexSizes" : {

"_id_" : 6532624

},

"avgObjSize" : 112,

"nindexes" : 1,

"nchunks" : 41,

"shards" : {

"shard1" : {

"ns" : "test.users",

"count" : 97323,

"size" : 10900176,

"avgObjSize" : 112,

"numExtents" : 7,

"storageSize" : 22507520,

"lastExtentSize" : 11325440,

"paddingFactor" : 1,

"paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",

"userFlags" : 1,

"capped" : false,

"nindexes" : 1,

"totalIndexSize" : 3180464,

"indexSizes" : {

"_id_" : 3180464

},

"ok" : 1,

"$gleStats" : {

"lastOpTime" : Timestamp(0, 0),

"electionId" : ObjectId("55b8e2373dd78de0a20af2af")

}

},

"shard2" : {

"ns" : "test.users",

"count" : 102677,

"size" : 11499824,

"avgObjSize" : 112,

"numExtents" : 7,

"storageSize" : 22507520,

"lastExtentSize" : 11325440,

"paddingFactor" : 1,

"paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",

"userFlags" : 1,

"capped" : false,

"nindexes" : 1,

"totalIndexSize" : 3352160,

"indexSizes" : {

"_id_" : 3352160

},

"ok" : 1,

"$gleStats" : {

"lastOpTime" : Timestamp(0, 0),

"electionId" : ObjectId("55b8e272eb6c0b02db85986a")

}

}

},

"ok" : 1

}

轉載于:https://my.oschina.net/wms3001/blog/485981

總結

以上是生活随笔為你收集整理的Mongodb安装搭建Replica Set+Sharding集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。