【引自SoulMio的博客】分片

在Mongodb里面存在另一種集群，就是分片技術(shù),可以滿足MongoDB數(shù)據(jù)量大量增長的需求。

當(dāng)MongoDB存儲海量的數(shù)據(jù)時(shí)，一臺機(jī)器可能不足以存儲數(shù)據(jù)，也可能不足以提供可接受的讀寫吞吐量。這時(shí)，我們就可以通過在多臺機(jī)器上分割數(shù)據(jù)，使得數(shù)據(jù)庫系統(tǒng)能存儲和處理更多的數(shù)據(jù)。

為什么使用分片

• 復(fù)制所有的寫入操作到主節(jié)點(diǎn)
• 延遲的敏感數(shù)據(jù)會在主節(jié)點(diǎn)查詢
• 單個(gè)副本集限制在12個(gè)節(jié)點(diǎn)
• 當(dāng)請求量巨大時(shí)會出現(xiàn)內(nèi)存不足。
• 本地磁盤不足
• 垂直擴(kuò)展價(jià)格昂貴

MongoDB分片

下圖展示了在MongoDB中使用分片集群結(jié)構(gòu)分布： 

上圖中主要有如下所述三個(gè)主要組件：

• Shard:

用于存儲實(shí)際的數(shù)據(jù)塊，實(shí)際生產(chǎn)環(huán)境中一個(gè)shard server角色可由幾臺機(jī)器組個(gè)一個(gè)replica set承擔(dān)，防止主機(jī)單點(diǎn)故障

• Config Server:

mongod實(shí)例，存儲了整個(gè) ClusterMetadata，其中包括 chunk信息。

• Query Routers:

前端路由，客戶端由此接入，且讓整個(gè)集群看上去像單一數(shù)據(jù)庫，前端應(yīng)用可以透明使用。

分片實(shí)例

192.168.1.100 : mongos

192.168.1.110 : config server

192.168.1.101 : Shard1

192.168.1.102 : Shard2

以上四個(gè)主機(jī)上都以安裝mongodb數(shù)據(jù)庫。

一.配置config server

編輯配置文件mongod.conf:

vim /etc/mongod.conf 

添加如下并啟用config server服務(wù):

configsvr=true 

重新啟動mongodb服務(wù):

service mongod restart 

注:默認(rèn)監(jiān)聽27019端口。也可以使用如下命令啟動mongod進(jìn)程。

# mongod --configsvr --dbpath <path> --port <port> 

此時(shí)，默認(rèn)端口由27017變?yōu)?7019： 

二.配置mongos實(shí)例

安裝mongos:

yum install mongodb-org-mongos-2.6.1-1.x86_64.rpm 

啟動mongos：

mongos --configdb=192.168.1.110 --fork --logpath=/var/log/mongodb/mongos.log 

注:mongos屬于輕量級應(yīng)用，完全可以與其它服務(wù)運(yùn)行于同一節(jié)點(diǎn);啟動時(shí)，需要為mongos實(shí)例指明各config服務(wù)器的訪問地址;

默認(rèn)情況下，mongos監(jiān)聽于27017端口;可以使用如下命令啟動mongos實(shí)例。

# mongos --configdb <config server hostnames((IP|Hostname):Port)> 

也可以直接編輯配置文件：

1、注釋dbpath指令;

2、添加configdb指令，并指定config服務(wù)器的地址;

而后使用如下命令啟動mongos實(shí)例：

# mongos -f /etc/mongod.conf 

登錄mongos并配置shard節(jié)點(diǎn)：

mongo --host 192.168.1.100 
mongos> sh.addShard("192.168.1.101") 
{ "shardAdded" : "shard0000", "ok" : 1 } 
mongos> sh.addShard("192.168.1.102") 
{ "shardAdded" : "shard0001", "ok" : 1 }  

查看shard狀態(tài)：

mongos> sh.status() 
--- Sharding Status ---  
  sharding version: { 
"_id" : 1, 
"version" : 4, 
"minCompatibleVersion" : 4, 
"currentVersion" : 5, 
"clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d") 
} 
  shards: 
{  "_id" : "shard0000",  "host" : "192.168.1.101:27017" } 
{  "_id" : "shard0001",  "host" : "192.168.1.102:27017" } 
  databases: 
{  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }  

啟動sharding功能：

mongos> sh.enableSharding("testdb")； 
{ "ok" : 1 }  

注:mongodb的shard功能實(shí)現(xiàn)于collection級別，但若要在collection上啟動shard，還需要事先其相關(guān)的數(shù)據(jù)庫上啟用之。在數(shù)據(jù)庫上啟用shard功能后，MongoDB會為其指定一個(gè)主shard。

啟用過程需要mongos實(shí)例上實(shí)現(xiàn)，可以使用sh.enableSharding()方法，也可以使用db.runCommand()的“enableSharding命令，它們的使用格式分別如下所示：

sh.enableSharding("<database>") 
db.runCommand( { enableSharding: <database> } )  

此時(shí)，再次查看shard狀態(tài)為:

mongos> sh.status() 
--- Sharding Status ---  
  sharding version: { 
"_id" : 1, 
"version" : 4, 
"minCompatibleVersion" : 4, 
"currentVersion" : 5, 
"clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d") 
} 
  shards: 
{  "_id" : "shard0000",  "host" : "192.168.1.101:27017" } 
{  "_id" : "shard0001",  "host" : "192.168.1.102:27017" } 
  databases: 
{  "_id" : "testdb",  "partitioned" : true,  "primary" : "shard0000" }  

測試：

在collection上進(jìn)行sharding:

mongos> sh.shardCollection("testdb.student",{"age":1}) 
{ "collectionsharded" : "testdb.student", "ok" : 1 }  

插入數(shù)據(jù):

mongos> for (i=1;i<=100000;i++) db.student.insert({name:"student"+i,age:(i%120),classes:"class+(i%10)"}); 
WriteResult({ "nInserted" : 1 })  

此時(shí)我們再次查看sharding狀態(tài)如下: