MongoDB数据库 之 balancer的使用详解
在MongoDB中,balancer(平衡器)是一个后台进程,它监控每个shard上的chunk数量,一旦chunk的数量差异超过了阈值,balancer会自动迁移数据块,从而保证每个分片上chunk数量的相对平衡。
整个搬迁的过程对于用户来说是透明的,但是搬迁的过程中会对用户产生一些影响。
01 balancer简介
从MongoDB3.4开始,balancer运行在config server的主节点上。
在3.4版本中,balancer进程活跃期间,config server的主节点通过修改locks集合中的一个_id为balancer的文档,来持有”balancer lock”;
3.6版本中,balancer不再持有锁
默认的情况下,balancer始终处于开启状态,可以使用下面的命令来查看balancer的运行情况:
mongos> sh.getBalancerState() true
同样的,我们可以使用下面几个命令来简单的管理balancer:
查看banlancer是否正在工作 sh.isBalancerRunning() 停止balancer sh.stopBalancer() 启动balancer sh.setBalancerState( true )
02 balancer工作中可能对业务造成的影响?
1、磁盘占用:
从MongoDB2.6开始,MongoDB会自动归档迁移的chunk文档,以方便在chunk搬迁过程中出现问题后的文档恢复。
我们可以通过配置文件中的参数:sharding.archiveMovedChunks
来控制是否开启迁移过程中chunk的自动归档,该参数在MongoDB2.6和3.0版本是默认开启的,其他版本都是默认关闭的。
2、带宽和负载占用:
balancer再对chunk迁移过程中,会造成带宽和负载方面的开销。为了减轻这些影响,平衡器做了如下的工作:
a、一次迁移只能迁一个chunk,
b、一个shard同一时间只能执行一个迁移任务
c、从MongoDB3.4开始,引入了并行的chunk迁移,对于一个有n个shard的集群,每次最多并行迁移n/2(向下取整)个数据块
d、只有当chunk数量最多的shard和chunk数量最少的shard的差异达到阈值的时候,才开始迁移chunk
e、支持用户设置balancer的窗口时间,在业务低峰窗口时间内进行chunk的迁移工作,从而最大程度减轻对业务的影响。
03 设置balancer的执行时间窗口
1、通过mongo shell连接到mongos上
2、切换到config数据库
use config
3、确保当前balancer是开启的
sh.getBalancerState() 返回true
4、设置窗口时间
db.settings.update( { _id: "balancer" }, { $set: { activeWindow : { start : "<start-time>", stop : "<stop-time>" } } }, { upsert: true } )
其中,start-time和stop-time的取值如下:
- For HH values, use hour values ranging from 00 – 23.
- For MM value, use minute values ranging from 00 – 59.
MongoDb会以config数据库的primary节点的时间为参考,开始执行相关chunk的搬迁操作。
要确保设置的时间范围内,所有的chunk能够搬迁完毕,否则会出现数据库搬迁过后,依旧不均衡的现象。
移除chunk搬迁时间窗口的命令如下:
use config db.settings.update({ _id : "balancer" }, { $unset : { activeWindow : true } })
04 备份和balancer
MongoDB中,不要在备份的时候启用balancer,否则,备份的数据将会不一致。通常情况下,备份的时间窗口要和balancer的时间窗口错开,如果balancer没有设置时间窗口,则在备份的时候,关闭balancer
时间关系,就先到这里吧,其他内容后面再说
在MongoDB中,balancer(平衡器)是一个后台进程,它监控每个shard上的chunk数量,一旦chunk的数量差异超过了阈值,balancer会自动迁移数据块,从而保证每个分片上chunk数量的相对平衡。
整个搬迁的过程对于用户来说是透明的,但是搬迁的过程中会对用户产生一些影响。
01 balancer简介
从MongoDB3.4开始,balancer运行在config server的主节点上。
在3.4版本中,balancer进程活跃期间,config server的主节点通过修改locks集合中的一个_id为balancer的文档,来持有”balancer lock”;
3.6版本中,balancer不再持有锁
默认的情况下,balancer始终处于开启状态,可以使用下面的命令来查看balancer的运行情况:
mongos> sh.getBalancerState() true
同样的,我们可以使用下面几个命令来简单的管理balancer:
查看banlancer是否正在工作 sh.isBalancerRunning() 停止balancer sh.stopBalancer() 启动balancer sh.setBalancerState( true )
02 balancer工作中可能对业务造成的影响?
1、磁盘占用:
从MongoDB2.6开始,MongoDB会自动归档迁移的chunk文档,以方便在chunk搬迁过程中出现问题后的文档恢复。
我们可以通过配置文件中的参数:sharding.archiveMovedChunks
来控制是否开启迁移过程中chunk的自动归档,该参数在MongoDB2.6和3.0版本是默认开启的,其他版本都是默认关闭的。
2、带宽和负载占用:
balancer再对chunk迁移过程中,会造成带宽和负载方面的开销。为了减轻这些影响,平衡器做了如下的工作:
a、一次迁移只能迁一个chunk,
b、一个shard同一时间只能执行一个迁移任务
c、从MongoDB3.4开始,引入了并行的chunk迁移,对于一个有n个shard的集群,每次最多并行迁移n/2(向下取整)个数据块
d、只有当chunk数量最多的shard和chunk数量最少的shard的差异达到阈值的时候,才开始迁移chunk
e、支持用户设置balancer的窗口时间,在业务低峰窗口时间内进行chunk的迁移工作,从而最大程度减轻对业务的影响。
03 设置balancer的执行时间窗口
1、通过mongo shell连接到mongos上
2、切换到config数据库
use config
3、确保当前balancer是开启的
sh.getBalancerState() 返回true
4、设置窗口时间
db.settings.update( { _id: "balancer" }, { $set: { activeWindow : { start : "<start-time>", stop : "<stop-time>" } } }, { upsert: true } )
其中,start-time和stop-time的取值如下:
- For HH values, use hour values ranging from 00 – 23.
- For MM value, use minute values ranging from 00 – 59.
MongoDb会以config数据库的primary节点的时间为参考,开始执行相关chunk的搬迁操作。
要确保设置的时间范围内,所有的chunk能够搬迁完毕,否则会出现数据库搬迁过后,依旧不均衡的现象。
移除chunk搬迁时间窗口的命令如下:
use config db.settings.update({ _id : "balancer" }, { $unset : { activeWindow : true } })
04 备份和balancer
MongoDB中,不要在备份的时候启用balancer,否则,备份的数据将会不一致。通常情况下,备份的时间窗口要和balancer的时间窗口错开,如果balancer没有设置时间窗口,则在备份的时候,关闭balancer
时间关系,就先到这里吧,其他内容后面再说
以上就是MongoDB balancer的使用详解的详细内容,更多关于MongoDB balancer的使用的资料请关注其它相关文章!