首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

【最佳实践】MongoDB导出导入数据

首先说一下这个3节点MongoDB集群各个维度的数据规模:1、dataSize: 1.9T2、storageSize: 600G3、全量备份-加压缩开关:186G,耗时 8h4、全量备份-不加压缩开关:...1.8T,耗时 4h27m具体导出的语法比较简单,此处不再赘述,本文重点描述导入的优化过程,最后给出导入的最佳实践。...,摸索了多次才找到使用的限制条件,即 directory 必须为数据库备份的根目录/上一级目录,而不是 数据库目录!...activityConfiguration.activityNameEn_1', ns: 'likingtest.oprcesDataObjInit' },以上可见,mongorestore 导入数据库的数据效率目前是基本可控...collection 多并发导入:--numInsertionWorkersPerCollection=82、不恢复索引:--noIndexRestore3、数据恢复后,后台创建索引:本站搜索"MongoDB

59660

mongoDB数据导入导出与备份恢复

mongoexport -h 127.0.0.1:27017 -d xxx -c xxx -o C:\xx\xx\Desktop/test.json 导出成功后是这样的的一个json 图片 2.导入...: 导入数据可以使用命令: mongoimport -h dbhost -d dbname -c collectionname output 参数说明: -h 数据库地址 -d 指明使用的库 -c 指明要导入的集合...举例:(帮刚才导出的数据数据库删除掉,再通过这个命令导入) ongoimport -h 127.0.0.1:27017 -d xx -c xx C:\xx\xx\Desktop/test.json...然后通过robo3T就可以看到刚才导入数据了 图片 补充:如果我们的mongo设置了用户权限,按照上面的命令是无法正常操作的 需要加两个参数:-u "userName" -p "password"...# 语法: mongorestore -h "数据库所在ip" -d "要保存数据数据库名称" --dir "存放数据的目录" 参数或名: -h: MongoDB所在服务器地址 -

1.9K20

【最佳实践】MongoDB导入数据时重建索引

MongoDB一个广为诟病的问题是,大量数据resotore时索引重建非常缓慢,实测5000万的集合如果有3个以上的索引需要恢复,几乎没法成功,而且resotore时如果选择创建索引也会存在索引不生效的问题...,种种情况表明,MongoDB的一些默认设置存在明显不合理之处。...当然,深入理解后总会有办法解决这些问题,MongoDB发展到金,功能也是越来全面。...一、对于小数据量collection,可直接单命令行创建索引类似如下操作:db.getCollection('processDataObj').createIndex({ 'flowNo':1 }, {...}, 'majority')二、对于大数据量collection,需执行后台创建的方式如下是最佳实践脚本:echo "定义变量..."

42320

数据量一次性导入MongoDB

数据量一次性导入MongoDB 0. 写在前面 1. 前置芝士 2. mongoimport命令导入JSON文件数据失败 3. db.COLLECTION.count()返回值不正确 4....数据导入不完全 5. 参考资料 ---- ---- 0. 写在前面 Linux:Ubuntu16.04 Kylin MongoDB:3.2.7 数据文件大小:13518条 1....前置芝士 mongoimport命令可以将数据文件导入MongoDB数据库中。 该命令的使用方式如下: zhangsan@node01:/usr/local/mongodb-3.2.7/bin$ ....2. mongoimport命令导入JSON文件数据失败 将数据导入数据库db_books下的集合tb_books中,导入命令如下: zhangsan@node01:/usr/local/mongodb...数据导入不完全 使用mongoimport命令导入JSON数据不完全,需要使用--batchSize xxxx参数指定有多少个worker进行批量导入

58820

MongoDB的全量数据导入到MySQL里

MongoDB的全量数据导入到MySQL里借助开源DuckDB - 嵌入式DB的OLAP类型(采用列式存储)充当ETL工具http://duckdb.org/功能概述:- 无需安装,就一个启动文件duckdb...- 支持映射MySQL数据库,直接在本地读写MySQL表数据- 支持读取本地json文件- 没有端口号,本地运行To Do List:第一步,导出MongoDB的t1表shell> /usr/local.../mongodb/bin/mongoexport -u admin -p 123456 -h 192.168.176.204:37017 -d test -c t1 --authenticationDatabase...MySQL hh库的t1表里duckdb> create table mysql_hh.t1 as SELECT * EXCLUDE('_id') FROM me.t1;#注:这里排除掉_id列(mongodb...默认的主键自增列)第六步,现在你回到MySQL里,查看hh库的t1表,数据已经全部导入进去了。

21610

如何在Ubuntu 14.04上导入和导出MongoDB数据

介绍 MongoDB是最受欢迎的NoSQL数据库引擎之一。它以可扩展,强大,可靠和易于使用而闻名。在本文中,我们将向您展示如何导入和导出MongoDB数据库。...这就是备份/恢复的原因,最好使用能够更好地恢复MongoDB数据库的二进制bson。 其次,您不必担心显式创建MongoDB数据库。如果您指定用于导入数据库尚不存在,则会自动创建该数据库。...将信息导入MongoDB 要了解如何将信息导入MongoDB,我们可以使用一个关于餐馆的流行示例MongoDB数据库。...让我们通过连接到这样调用的新创建的名为newdb的MongoDB数据库来验证导入: sudo mongo newdb 您现在已连接到新创建的newdb数据库实例。...结论 本文向您介绍了从MongoDB数据导入和导出信息的基本要素。 复制不仅对可伸缩性有用,而且对当前主题也很重要。

2.5K00

MongoDB学习(六)数据库的备份、还原、导入及导出

MongoDB学习(六)数据库的备份、还原、导入及导出 2017年02月22日 19:17:51 代码与酒 阅读数 21333 标签: 数据mongodb备份还原 更多 个人分类: MongoDB...https://blog.csdn.net/qq_16313365/article/details/56494522         MongoDB官方提供了两套数据导入导出工具,一般来说,进行整库导出导入时使用...结合使用 -p --password  指定用于向使用认证的MongoDB数据库认证的密码。...其中的metadata.json即为索引信息 1.2 mongorestore →说明:         mongorestore用来导入数据MongoDB实例中,3.0.0版本以上支持通过标准输入流来导入数据...(替换数据库中的文档), merge(合并) 指定导入过程中,如何应对数据库文档与导入文件中的文档匹配 (默认会使用_id字段对比)的情况  其他参数与mongoexport基本一致 →举个栗子: 从

5.1K20

MongoDB 备份 导出导入数据,来一套,不零碎

周二有同学问,MONGODB怎么备份,怎么数据迁移,正好最近要做一个项目的数据迁移,其中就有MONGODB ,正好以一个项目的观念来看看MongoDb数据迁移和备份的观点,如果有遗漏或三观不正,还是请大家来指正...本身MONGODB 是支持两种数据的迁出和导入的方式,当然后面也会有两个复制集合之间的数据迁移的东西。...mongorestore将从mongodump生成的BSON数据库转储中导入内容,并重播oplog。 mongodump只捕获数据库中的文档。...-q '{ date: { lte: { " 这样我们就导出了你需要的数据 实际上如果用备份的方式,数据是可以压缩的比较小,但灵活性就相对差一些,导入导出数据的特点就是灵活,但占用的时间和空间会大...192.168.198.181:27027 -d test -c testData --type json --file='/mongodata/backup/testData.json' 我们用上面的命令就将对应的数据导入

1.7K50
领券