前往小程序,Get更优阅读体验!
立即前往
发布
社区首页 >专栏 >MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分

MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分

作者头像
AustinDatabases
发布2025-01-22 09:23:35
发布2025-01-22 09:23:35
6900
代码可运行
举报
文章被收录于专栏:AustinDatabasesAustinDatabases
运行总次数:0
代码可运行

这是MongoDB宣传周的第五篇,这周真漫长,今天说说分片,对分片就是那个很多人都在问的MongoDB的分片。你知道吗? 有一些根本没有用过MongoDB的人直接上来就问,MongoDB怎么分片,问分片的性能好不好,能存多少数据!我对此的看法,这人一定不是BT,但可能是SB,抱歉爆粗口了。可能因为MySQL的毒害,很多搞MySQL的开发者,架构师,甚至是MySQL的部分DBA,上来对MongoDB的想法就是分片,对应着MySQL在存储大量数据的时候,需要进行分片,物理分库,或者逻辑分库。

抱歉,MongoDB对MySQL来说,他们根本不在一个数据量的存储水平线,可能MySQL一张表你未见过他存储10亿行,但MongoDB一个设计良好的集合,他当然可以存储10亿行。所以你在问分表的时候,你有100亿的数据量?? 你问分片的意义是什么,一副没见过世面样子。

一顿贬损后,我们来说说正题。MongoDB 分片的功能何时去用,为什么MongoDB存储那么大的单表数据量没有问题。(当然你别说你要做聚合)

这里整理了关于必须要使用MongoDB sharding 的缘由

1 插入的速度:对插入的速度极限要求,在物理主机层面,说的通,以前是往一个节点上插入数据,且分发到其他的节点上,而分片则是每次可以将数据根据分片键的设计,将数据分布在不同的物理节点上,这必然分担了插入数据的物理上的速度限制,值得注意的是,必须要合理的使用分片键。

2 查询的速度:虽然我们提到单体的MongoDB在一个集合(表)中可以存储大量的数据,在查询中也能满足查询速度的需求,在你有合理的索引的情况下,但不能否认的是,如果你的业务逻辑合理,且数据量巨大,并且你的查询是分散的,并不是类似聚合类的操作,那么合理的分片还是有助你来实现查询速度在一定数量集上的提升。

MongoDB的分片和传统数据库的分片的原理也是类似,支持两种类型的分片

1 Hash

2 范围

3 LIST (通过范围模拟)

三种分别对应不同的状态

1 HASH:选择了HASH的方式主要的目的还是为了插入的速度,因为动态的将数据根据HASH去插入不同的物理节点,这必然是非常快的。

2 范围:这是对于要存储时间较长的历史数据而来的,通过时间范围可以将数据存储在不同的物理位置上

3 LIST (范围模拟):这实际上是针对字段中某个一个属性而对数据进行分离,比如美国,中国,俄罗斯的数据存储在1号节点,日本,韩国,越南,存储在2号节点,但同时这也是容易出现问题的地方,随着你的定义被改变,你的分片将失去平衡。查询和写入的性能不在均衡。

下面举例一个通用基于Hash 的方式是怎么完成相关命令设置的。

代码语言:javascript
代码运行次数:0
复制
sh.enableSharding("mydb")
db.users.createIndex( { user_id: "hashed" } )
sh.shardCollection("mydb.users", { user_id: "hashed" } )
db.users.insertMany([
  { user_id: 1, name: "Alice" },
  { user_id: 2, name: "Bob" },
  { user_id: 3, name: "Charlie" },
  { user_id: 4, name: "David" },
  { user_id: 5, name: "Eve" },
  { user_id: 6, name: "Frank" },
  { user_id: 7, name: "Grace" },
  { user_id: 8, name: "Henry" },
  { user_id: 9, name: "Ivy" }
]);
 shards:
        {  "_id" : "shard0000",  "host" : "shard0000/shard0000a:27017" }
        {  "_id" : "shard0001",  "host" : "shard0001/shard0001a:27017" }
        {  "_id" : "shard0002",  "host" : "shard0002/shard0002a:27017" }
  chunks:
        mydb.users
                shard0000  3
                shard0001  3
                shard0002  3

同时使用分片的技术时需要考虑你还需要解决如下问题

1 数据的备份问题:如果数据要求多个节点的备份时刻强一直,那么你必须具有LVM快照的方式对多个节点包含config server的部分进行数据备份。或者使用ops manager来进行数据备份。

2 在使用分片的时候,建议MongoDB的数据版本需要超过5.0

3 分片后的数据倾斜的原因主要基于你的分片键本身的问题,重新进行数据均衡只能是治标不治本。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2025-01-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AustinDatabases 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档