这是MongoDB宣传周的第五篇,这周真漫长,今天说说分片,对分片就是那个很多人都在问的MongoDB的分片。你知道吗? 有一些根本没有用过MongoDB的人直接上来就问,MongoDB怎么分片,问分片的性能好不好,能存多少数据!我对此的看法,这人一定不是BT,但可能是SB,抱歉爆粗口了。可能因为MySQL的毒害,很多搞MySQL的开发者,架构师,甚至是MySQL的部分DBA,上来对MongoDB的想法就是分片,对应着MySQL在存储大量数据的时候,需要进行分片,物理分库,或者逻辑分库。
抱歉,MongoDB对MySQL来说,他们根本不在一个数据量的存储水平线,可能MySQL一张表你未见过他存储10亿行,但MongoDB一个设计良好的集合,他当然可以存储10亿行。所以你在问分表的时候,你有100亿的数据量?? 你问分片的意义是什么,一副没见过世面样子。
一顿贬损后,我们来说说正题。MongoDB 分片的功能何时去用,为什么MongoDB存储那么大的单表数据量没有问题。(当然你别说你要做聚合)
这里整理了关于必须要使用MongoDB sharding 的缘由
1 插入的速度:对插入的速度极限要求,在物理主机层面,说的通,以前是往一个节点上插入数据,且分发到其他的节点上,而分片则是每次可以将数据根据分片键的设计,将数据分布在不同的物理节点上,这必然分担了插入数据的物理上的速度限制,值得注意的是,必须要合理的使用分片键。
2 查询的速度:虽然我们提到单体的MongoDB在一个集合(表)中可以存储大量的数据,在查询中也能满足查询速度的需求,在你有合理的索引的情况下,但不能否认的是,如果你的业务逻辑合理,且数据量巨大,并且你的查询是分散的,并不是类似聚合类的操作,那么合理的分片还是有助你来实现查询速度在一定数量集上的提升。
MongoDB的分片和传统数据库的分片的原理也是类似,支持两种类型的分片
1 Hash
2 范围
3 LIST (通过范围模拟)
三种分别对应不同的状态
1 HASH:选择了HASH的方式主要的目的还是为了插入的速度,因为动态的将数据根据HASH去插入不同的物理节点,这必然是非常快的。
2 范围:这是对于要存储时间较长的历史数据而来的,通过时间范围可以将数据存储在不同的物理位置上
3 LIST (范围模拟):这实际上是针对字段中某个一个属性而对数据进行分离,比如美国,中国,俄罗斯的数据存储在1号节点,日本,韩国,越南,存储在2号节点,但同时这也是容易出现问题的地方,随着你的定义被改变,你的分片将失去平衡。查询和写入的性能不在均衡。
下面举例一个通用基于Hash 的方式是怎么完成相关命令设置的。
sh.enableSharding("mydb")
db.users.createIndex( { user_id: "hashed" } )
sh.shardCollection("mydb.users", { user_id: "hashed" } )
db.users.insertMany([
{ user_id: 1, name: "Alice" },
{ user_id: 2, name: "Bob" },
{ user_id: 3, name: "Charlie" },
{ user_id: 4, name: "David" },
{ user_id: 5, name: "Eve" },
{ user_id: 6, name: "Frank" },
{ user_id: 7, name: "Grace" },
{ user_id: 8, name: "Henry" },
{ user_id: 9, name: "Ivy" }
]);
shards:
{ "_id" : "shard0000", "host" : "shard0000/shard0000a:27017" }
{ "_id" : "shard0001", "host" : "shard0001/shard0001a:27017" }
{ "_id" : "shard0002", "host" : "shard0002/shard0002a:27017" }
chunks:
mydb.users
shard0000 3
shard0001 3
shard0002 3
同时使用分片的技术时需要考虑你还需要解决如下问题
1 数据的备份问题:如果数据要求多个节点的备份时刻强一直,那么你必须具有LVM快照的方式对多个节点包含config server的部分进行数据备份。或者使用ops manager来进行数据备份。
2 在使用分片的时候,建议MongoDB的数据版本需要超过5.0
3 分片后的数据倾斜的原因主要基于你的分片键本身的问题,重新进行数据均衡只能是治标不治本。
本文分享自 AustinDatabases 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!