mongodb 常见问题处理方法收集

1 非正常关闭服务或关机后 mongod服务无法正常启动

在使用中发现mongodb 的服务很容易因为非正常关闭而启动不了，不过解决也很容易
删除data目录下的 *.lock文件，再运行下 /mongodb_binpath/mongod -repair -f config文件路径 再启动即可
也可以在/etc/init.d/mongod 服务启动的文件中加入 启动前删除该文件 如下：

2、server-side JavaScript execution is disabled

完整信息：JavaScript execution failed: group command failed: { “ok” : 0, “errmsg” : “server-side JavaScript execution is disabled” }
解决方法：mongod.conf 这个配置文件里 noscripting：false 如果true 就是禁止

3、 Decimal转换成BsonValue值异常

BsonValue 暂不支持 Decimal类型，转换前强制转换类型，

if (type==typeof(Decimal))
{
return Convert.ToDouble(value);
}

如果用MongoDB，最好不要用decimal类型，否则在序列化的时候也有问题，可用double

4、MONGO Replica 频繁插入大数据的问题

MONGO Replica 频繁插入大数据的问题,当在复制集中频繁插入大数据时有可能出现 “error RS102 too stale to catch up”出现这个错误的原因是SECONDARY即副节点的复制速度跟不上了，当需要批量频繁向副本集中写入数据时最好先移除副本节点，待插入完后重新同步。

5 Mongo集群没有primary但有secondary时连接不上且不能读数据

#mongodb默认是从主节点读写数据的，副本节点上不允许读，需要设置副本节点可以读。
shell
1 repset:SECONDARY> db.getMongo().setSlaveOk(); #要在primary上执行
2 rs.slaveOk()
其他客户端
从secondary 读数据
如果应用程序没有设置相应的ReadReference也可能不能进行读取操作

MongoClientSettings set = new MongoClientSettings();
List<MongoServerAddress> servers = new List<MongoServerAddress>();
servers.Add(new MongoServerAddress(“192.168.129.129”, 37017));
servers.Add(new MongoServerAddress(“192.168.129.129”, 37018));
servers.Add(new MongoServerAddress(“192.168.129.129”, 37019));
set.Servers = servers;

//设置副本集名称
set.ReplicaSetName = “rs0”;
//设置超时时间为3秒
set.ConnectTimeout = new TimeSpan(0, 0, 0, 3, 0);

MongoClient client = new MongoClient(set);
MongoServer server = client.GetServer();
MongoDatabase db = server.GetDatabase(“test”);
MongoCollection coll = db.GetCollection(“test”);

注：设置驱动的ReadReference也可以通过MongoDB连接字符串配置：mongodb://example1.com,example2.com,example3.com/?readPreference=secondary。通过连接字符串指定的read preference是针对整个连接。

set.ReadPreference = new ReadPreference(ReadPreferenceMode.PrimaryPreferred);
将ReadPreferenceMode设置成Secondary或SecondaryPreferred

下面是其他网友的补充：

一、
1. addshard 遇到的错误 db.runCommand({addshard:”172.16.5.104:20000″}) { “ok” : 0, “errmsg” : “can’t use localhost as a shard since all shards need to communicate. either use all shards and configdbs in localhost or all in actual IPs host: 172.16.5.104:20000 isLocalHost:0″ } 遇到这样的错误是由于某些服务启动在 localhost 地址。 经过检查发现 route 启动时，读取 config 服务是读取的 localhost 地址： ./mongos –port 40000 –configdb localhost:30000 –fork […]

1. addshard 遇到的错误

db.runCommand({addshard:”172.16.5.104:20000″})
{
“ok” : 0,
“errmsg” : “can’t use localhost as a shard since all shards need to communicate. either use all shards and configdbs in localhost or all in actual IPs host: 172.16.5.104:20000 isLocalHost:0″
}

遇到这样的错误是由于某些服务启动在 localhost 地址。
经过检查发现 route 启动时，读取 config 服务是读取的 localhost 地址：

./mongos –port 40000 –configdb localhost:30000 –fork –logpath /data/route/log/route.log –chunkSize 1

将 localhost 修改为 IP 地址，问题解决。

2. 为什么要同时有 config 和 route

一开始看到 config 和 route 的逻辑结构有一点疑惑。既然一个数据库查询的过程是：

客户端
|
route
|
config
|
Database

而 config 的作用就是告诉 route 应该去哪一个 Database 取数据。那么为什么不能直接由客户端向 config 发起请求呢？这时 route 的存在岂不是多余？
简单的思考之后，得出了以下结论：

在有多个 route 和多个 config 的情况下，route 与 route 之间是平行的存在，也就是说，一个 route 并不知道另外一个 route 的存在。但是一个 route 知道所有 config 的存在。
那么当要写入数据时，只要你是通过了 route，route 就会通知到所有的 config，那么每一个 config 便会知道数据是如何分片的。
如果将 route 这层去掉，那么 config 与 config 之间并不知道彼此的存在。客户端的请求很可能会只发向其中的一个 config，那么也只有这一个 config 知道最新的分片状态。

这个答案其实经不起太多的推敲，比如：

config 是可以从客户端那里拿到所有 config 的列表的，一旦有了列表之后，config 就可以彼此相互通信了。可以解决数据同步的问题。

我还要看多一些文档。

3. Replica Set 启动顺序
在启动两个 rs 机器时，我先启动了 second，后启动了 Primary。这是一台机器上显示自己为 second，另外一台为 unreachable。而另外一台机器显示两台机器均在 second。

这个现象需要验证，是否 Replica Set 是有启动顺序限制。

二、

昨天到今天一直在尝试在同一台机器上用多个IP地址来创建 Replica Set + Shard。 由于 MongoDB 官方用户验证方面的文档说的也不太细。所以走了一些回头路。 下面整理一些常见的错误，以及他们可能表达的意思。描述的顺序是按照排错的逻辑： 1. route 启动的时候，连接 config 不可以以 localhost 为地址链接。不然会遇到以下错误： “errmsg” : “can’t use localhost as a shard since all shards need to communicate. either use all shards and configdbs in localhost or all in actual IPs host: 172.16.5.104:20000 isLocalHost:0″ 2. 如果不以 localhost 为地址链接，那么 config 启动的时候不能加 –auth 选项，不然会在log文件中遇到以下错误： ERROR: […]

昨天到今天一直在尝试在同一台机器上用多个IP地址来创建 Replica Set + Shard。
由于 MongoDB 官方用户验证方面的文档说的也不太细。所以走了一些回头路。
下面整理一些常见的错误，以及他们可能表达的意思。描述的顺序是按照排错的逻辑：

1. route 启动的时候，连接 config 不可以以 localhost 为地址链接。不然会遇到以下错误：

“errmsg” : “can’t use localhost as a shard since all shards need to communicate. either use all shards and configdbs in localhost or all in actual IPs host: 172.16.5.104:20000 isLocalHost:0″

2. 如果不以 localhost 为地址链接，那么 config 启动的时候不能加 –auth 选项，不然会在log文件中遇到以下错误：

ERROR: config servers not in sync! not authorized, did you start with –keyFile?

此时进程无法启动

3.在 route 和 config 准备完毕后，通过 route 以远程 IP 为地址添加shard，则报错：（有 –auth 参数）

db.runCommand({addshard:’a1:28010′})
{
“ok” : 0,
“errmsg” : “failed listing a1:28010′s databases:{ errmsg: \”need to login\”, ok: 0.0 }”
}

4. 去掉 –auth 参数，添加 shard，成功！

5. 依旧保留 –auth 参数，添加用户后，再添加shard。报错：

“errmsg” : “couldn’t connect to new shard DBClientBase::findN: transport error: a1:28010 query: { getlasterror: 1 }”

总结：MongoDB 2.0 的认证方式

1.Replica Set 之间通过 key 来相互认证。
2.Route 与 Config 之间不存在认证关系，Route 连接 Config 时不能以 localhost 连接。
3.单个Mongod进程启动后，如果无 –auth 选项且无用户，则必须通过 localhost 连接才能添加用户和做其他操作。如果通过远程（非127.0.0.1的IP地址）连接，则必须要输入用户名、密码。此时如果还无用户存在，则无法连接。
4.添加 Shard 时，mongod 不可以带 –auth 参数，不然会添加失败。

三、

续上篇 笔记2 ，还是说一下关于 MongoDB 认证的问题。 在 王文龙 所写的 《MongoDB 实战》 中，写到： 创建主从 key 文件,用于标识集群的私钥的完整路径,如果各个实例的 key file 内容不一 致,程序将不能正常用。 我误以为 –keyFile 是各个节点之间的认证方式。其实不是的。各个节点之间的确认关系参数是 –replSet。只要此参数后面的内容一致。Replica Set 就可以创建成功。 在官方文档中提到： You do not need to use the –auth option, too (although there’s no harm in doing so), –keyFile implies –auth. –auth does not imply –keyFile. 也就是说 keyFile 其实包含了 auth 的作用。 […]

续上篇 笔记2 ，还是说一下关于 MongoDB 认证的问题。
在 王文龙 所写的 《MongoDB 实战》 中，写到：

创建主从 key 文件,用于标识集群的私钥的完整路径,如果各个实例的 key file 内容不一 致,程序将不能正常用。

我误以为 –keyFile 是各个节点之间的认证方式。其实不是的。各个节点之间的确认关系参数是 –replSet。只要此参数后面的内容一致。Replica Set 就可以创建成功。

在官方文档中提到：

You do not need to use the –auth option, too (although there’s no harm in doing so), –keyFile implies –auth. –auth does not imply –keyFile.

也就是说 keyFile 其实包含了 auth 的作用。

而当你加了 –keyFile 参数后，如果你要添加 Shard，则会收到报错：

need to login

这和加了 auth 的报错一致。

以前没接触过 MongoDB，直接从 2.0 使用，所以里面的有些细节可能还不理解。看到有人说 auth 是 2.0 的新功能。而之前只能用 keyFile 验证。还不太清楚 keyFile 下用户登陆的一些细节。

MongoDB 常见问题处理

       说明： 这里的问题是我在看MongoDB官网文章时，从里面总结出来的。
mongod process “disappeared”：
           这个说的是mongodb进行消失，可以理解为死掉等。可以从下面中找问题在
               #grep mongod /var/log/messages
               #grep score /var/log/messages
Socket errors in sharded clusters and replica sets：
         echo 300 > /proc/sys/net/ipv4/tcp_keepalive_time 默认是7200
关于tomm many open files:
           First:检查以下几项：
          lsof | grep mongod
          lsof | grep mongod | grep TCP
          lsof | grep mongod | grep data | wc
       可以用：ulimit解决: ulimit -n X
High TCP Connection Count：
TCP Connection过大时，可以检查是不是client apps使用连接池问题
Mongod (hard) connection limit
            这个连接数限制在20000，可以手动调整大小
Data files count with very large databases
            数据在T级以上时，确定是否做了限制（手动增加），再用repairdatabase时，会同时有2 copies
No space left on device
            这个时候reads仍然在进行，要做的是first shutdown servers, then to delete some      data and compact
     Checking Siez of a collection(检查集合）
              >db.(collectionname).validate();
NUMA：
       Linu,
Numa and MongoDB不能很好的一起工作。如果机器在numa硬件运行的时候，需要把它关闭。一般出现大规模性能慢下来或一段时间cpu占用很高的system time 。可以从日志中抓取NUMA字。（我也翻译不出这个NUMA是什么意思）
关闭的方法：

一：在启动mongoDB的时候：
                    numactl –interleave=all ${MONGODB_HOME}/bin/mongod –config conf/mongodb.conf

二：在不关闭mongoDB时：
                   echo 0 > /proc/sys/vm/zone_reclaim_mod
         案例：