我正在考虑一种概念证明，用于处理大量数据，例如>10G，它至少需要每秒200+写入和大约每秒空间相关数据的50+读取。这也是一个不断发展的系统。目前，出于性能原因，我正在考虑将这些大容量数据移动到NoSql大表类型的数据库中。
我已经考虑并仔细研究了MongoDB和cassandra。据我所知，
Mongodb：-似乎有一个编写器锁定问题- stackoverflow中的一个帖子建议这个数据库，如果不需要多个服务器-索引保存在内存中。所以索引增长越大，性能就会下降--优点是Mongodb直接支持空间数据和索引，以及查找附近位置等功能--我看到这篇文章建议mongodb是最佳选择。
卡桑德
浏览 0提问于2011-10-26得票数 28
我想知道，对于给定的数据集，/ MongoDB /db中的数据文件比插入到数据库中的数据集要大，这种情况在mongoDB中发生了吗？有人能帮我澄清一下吗。
浏览 1提问于2012-07-12得票数 0
回答已采纳
3回答
我正在考虑将一个相当大的应用程序(Rails 3.0.10)从我们的SQL数据库(SQLite和Postgres)切换到MongoDB。我计划把所有的东西都放进去，主要是utf-8字符串，二进制文件和用户数据。(也许还有一点全文搜索)我有复杂的关系(web结构:类别、标签、翻译……，多态)，我觉得MongoDB的哲学就是避免这种情况，把所有东西都放在大文档里，对吗？
有谁有在Rails中使用MongoDB的经验吗？特别是将应用程序从ActiveRecord切换到Mongoid？你觉得这是个好主意吗？您是否知道学习组织复杂数据的MongoDB方法的指南/文章？
ps :在MongoDB中，我特别
浏览 0提问于2011-08-25得票数 2
回答已采纳
需要在我的Spring Boot应用程序和MongoDB服务器之间传输一个大文档列表。如何配置MongoDB服务器和Spring应用程序在传输前对数据进行压缩？ MongoDB版本为4.2
浏览 24提问于2021-07-28得票数 0
6回答
我想在Windows Azure上使用NoSQL数据库，数据量会非常大。使用Worker角色运行的Azure Table存储或MongoDB数据库是否可以提供更好的性能和可伸缩性？有人在Azure上使用过Worker角色的MongoDB吗？请分享你对在Azure上使用MongoDB而不是Azure表存储的想法。
浏览 6提问于2011-11-03得票数 67
2回答
从MongoDB (version >=3.2)读取大容量数据的有效方法是什么？我只为寻找方法。
我正在创建度量，分析存储在mongoDB中的数据。因为我正在测试水，所以我的技术栈仅限于Mongo聚合管道和Java。
浏览 5提问于2016-10-25得票数 3
回答已采纳
2回答
我正在读关于Mongodb项目的的文章
我很清楚，在重建索引时，如果表非常大，将数据插入到传统关系数据库中会导致很大的速度下降。
如果我选择向Mongodb集合添加索引：在Mongodb中重建索引的开销与在传统关系数据库中重建索引的费用大致相同？还是它使用会缩短重建时间？
浏览 9提问于2012-07-04得票数 2
回答已采纳
2回答
在我的第一台服务器上我得到：
root@prod ~ # du -hs /var/lib/mongodb/
909G /var/lib/mongodb/
在迁移完之后，在我的第二台服务器上使用mongodump/mongorestore迁移这个数据库，我得到：
root@prod ~ # du -hs /var/lib/mongodb/
30G /var/lib/mongodb/
等了几个小时之后，芒戈完成了我得到的索引：
root@prod ~ # du -hs /var/lib/mongodb/
54G /var/lib/mongodb/
我测试了数据库，没有损坏或丢失数据。
为什么
浏览 5提问于2014-07-29得票数 5
回答已采纳
我有一个mongodb复制集。数据文件的大小相当大，因为有许多写操作。一个mongodb节点由于缺少磁盘空间而崩溃，因为一个对角日志文件是38 of。
有没有办法使斜联日志文件不那么大，而是创建了多个小文件(2GB或4GB)，然后我就可以删除未使用的文件了？
浏览 5提问于2014-02-20得票数 1
回答已采纳
1回答
我已经在Bluemix中创建了一个MongoDB服务，我可以在部署在Bluemix上的应用程序中成功地访问它。我可以通过我的应用程序编程地在MongoDB实例中创建数据，但我想做的是从我的笔记本电脑将数据加载到MongoDB中。
我不能用我的笔记本电脑来平平MongoDB的网址，所以我不能用一个独立的java程序连接它。
在Bluemix上将数据大容量加载到MongoDB中的方法是什么？
浏览 2提问于2015-07-24得票数 1
回答已采纳
我在运行带有小文件选项的mongod。最初，它创建了三个文件
.ns -16 MB
.0 -16 MB
.1 --32 MB
这些文件我知道，我也知道为什么MongoDb会创建它们。一段时间后，我开始在数据库中的两个集合中添加记录，MongoDb创建了另一个数据文件.2 --64 MB。当我查看两个集合和索引的大小时，我发现总大小只有大约30 MB，这应该很容易地适合最初的两个文件.0和.1，但是为什么MongoDB要创建第三个文件呢？
这是尺寸细节
Collection1计数:5230大小:9.5MB存储:18.8MB索引:0.2MB填充:1
Collection
浏览 4提问于2013-08-27得票数 1
回答已采纳
我正在尝试对大约20 of数据的非常大的MongoDB执行CRUD操作，并且可能有多个这样的数据版本。谁能指导我如何处理CRUD操作的如此高的数据，以及如何在MongoDB中维护以前版本的数据？ 我使用NodeJS作为后端，如果需要，我也可以使用任何其他数据库。
浏览 32提问于2020-01-22得票数 0
1回答
我的mongodb中有很多数据，我希望将所有数据导出到json，其中每个文件不超过500 kb (较小的文件)，例如：
exported_file.1.json
exported_file.2.json
...
我知道我可以使用mongoexport将数据从mongodb导出到json，但是它会产生一个大的json文件，那么是否有一种方法可以将整个mongodb导出到多个小型json文件，以便每个文件都在500 be以下？
浏览 3提问于2015-02-25得票数 1
回答已采纳
1回答
自动在数据库中插入json对象？
、、、、
我有一个非常大的json对象，我想自动插入到nosql数据库中。我想知道：
如何从那个json对象创建数据库模式？
如何将其插入数据库？
我正在使用Node.js和MongoDB。我使用http请求检索对象，并希望将其存储在MongoDB中，以便以后使用它。
浏览 4提问于2016-07-17得票数 0
我是蒙哥大的新手。我需要将我的安卓应用程序与mongodb.atlas连接起来。我已经在mongodb.atlas中创建了集群和数据库。
如何将集群与android应用程序连接起来，并从应用程序端对数据库进行更改？我应该用java编写哪些代码？我也需要使用mongodb地图集吗？
浏览 0提问于2019-08-12得票数 2
我很好奇为什么不推荐Oracle和MongoDB这样的数据库使用透明的大页面？THP如何影响任何数据库的性能？
浏览 37提问于2018-02-12得票数 3
回答已采纳
我刚刚在我的MongoDB中编译了linuxOS，没有在DB中插入任何数据。
虚拟内存变得非常大，大约40G。
grep单神
mongodb 176574 0.0 0.0 423784 39008 pts/308 Sl 09:00 0:00单神
为什么虚拟内存如此巨大，以至于我没有在其中插入任何数据？
浏览 0提问于2014-02-07得票数 4
我在一个s3桶(tar文件)中备份了一个mongodb，并且我希望将它恢复/导入到mongodb云地图实例中，而不让数据通过我的本地机器，因为它是一个非常大的文件，这可能吗？
浏览 6提问于2022-11-12得票数 0
1回答
有些数据如下所示：
widget:
{
categories: ['hair', 'nails', 'dress']
colors: ['red', 'white']
}
需要像这样查询数据：
SELECT * FROM widget_table WHERE categories == 'hair' AND colors == 'red'
在这种情况下，相等运算符categories == 'hair'实际上表示的是WHERE 'hai
浏览 3提问于2013-05-07得票数 2
5回答
MongoDB是一个NoSQL数据库，我发现它很容易使用。最近，我不得不开发一个简单的应用程序，它需要使用HTTP请求收集一些数据，并在处理数据后存储一些结果，我尝试使用MongoDB。
从这一经验中，我发现使用比传统的关系数据库好得多，而且由于我是一名开发人员，而不是DBA，我的工作大大简化了。
不过，有时我不确定什么时候应该使用MongoDB而不是传统的关系数据库，比如Server或MySQL。
在这种情况下，我们什么时候可以使用MongoDB而不是关系数据库？在某些情况下，对于MongoDB是否有一些站不住脚的大警告，使其不合适？
浏览 0提问于2016-07-23得票数 26
我喜欢文档数据库的想法，尤其是MongoDB。它允许更快的开发，因为我们不必调整数据库的模式。然而，MongoDB不支持多文档事务，也不能保证修改会像普通数据库那样立即写入磁盘(我知道你可以使刷新之间的时间非常短，但这仍然不能保证)。
我们的大多数项目都不是那么大，他们需要多服务器环境。所以请记住这一点。有没有像MongoDB这样的单服务器文档数据库支持多文档事务和可靠的磁盘刷新？
浏览 0提问于2013-02-20得票数 11
回答已采纳
知道mongodb每个文档有16MB的数据大小，我们使用文件系统来存储这样的数据，但是在mongoDB中，有超过16MB的bson数据，作为更正的一部分，我们想要识别这些_id并删除它。我们如何找到大小超过16mb的id。
我可以从下面的查询中找到文档的最大尺寸。但是想要找到集合中的大尺寸文档的数量
var max = 0, id = null;
db.Email_Notification_log.find().forEach(doc => {
const size = Object.bsonsize(doc);
if(size > max) {
浏览 1提问于2020-07-29得票数 1
我有一大批蒙戈的藏品
我想用numpy ndarray加载数据。
是否有一种方法可以从mongodb中加载数据，而无需遍历pymongo。有点像
浏览 5提问于2012-03-30得票数 1
我用以下步骤插入mongodb
下载mongodb-macos-x86_64-4.4.0.tgz
sudo mv mongodb-macos-x86_64-4.4.0.tgz /usr/local/mongodb
mkdir -p /data/db
sudo chown myusername /data/db
单神
现在mongodb服务器已经启动并正在运行，我需要使用我拥有的备份导入我的db。我尝试使用以下命令导入数据
蒙古恢复--主机本地主机--端口27017 --db dbName /Users/用户名/下载/mongo
它抛出
mongore
浏览 2提问于2020-08-04得票数 7
回答已采纳
我正在运行从mongodb获取数据的php脚本。我有一个非常大的数据库，我得到了这个异常..my mongodb版本是1.6.5
PHP Fatal error: Uncaught exception 'MongoCursorTimeoutException'
with message 'cursor timed out
(timeout: 30000, time left: 0:0, status: 0)
我的查询是这样的
private function executeRegex($start_date, $end_date, $source, $collec
浏览 0提问于2011-04-06得票数 12
当使用mysql时，将图像作为BLOB存储在数据库中是一个坏主意，因为这会使数据库变得非常大，这对数据库的正常使用是有害的。然后，最好将图像文件保存在磁盘上，并在数据库中保存指向它们的链接。
然而，我认为这对于MongoDB是不同的，因为增加数据库文件大小对性能的影响可以忽略不计(这就是MongoDB能够成功处理数十亿条记录的原因)。
您认为将图像文件保存在MongoDB (以GridFS格式)以减少存储在服务器上的文件数量是更好，还是保持数据库越小越好？
浏览 1提问于2011-10-09得票数 24
回答已采纳
我真的很喜欢DBForge，因为它能够用图形用户界面创建数据库方案。
有没有适用于MongoDB的类似工具？
基本上，我正在寻找一个工具，可以帮助创建干净的MongoDB集合和文档。
我将在几周内开始一个非常大的项目，需要设计一个具有大量集合的非常巨大的MongoDB数据库。因此，为了保持一切井井有条，我希望有一些图形化的东西来查看，而不仅仅是对实体及其属性进行编码。
浏览 0提问于2013-03-17得票数 2
回答已采纳
我现在使用的是Ubuntu 19和最新的mongodb服务器。安装后，我创建了数据库，并添加了一些数据。 配置文件简单 storage:
dbPath: /home/user/mongodb/db
net:
port: 27017
bindIp: 0.0.0.0
security:
authorization: enabled
systemLog:
destination: file
path: /home/user/mongodb/log/mongod.log
logAppend: true 在我使用"sys-monitor“(控制台u
浏览 24提问于2019-12-16得票数 0
我想从MongoDB收集中找到2014-08-01年的数据。在MongoDB中的日期是国际标准化组织格式。我写在下面的查询，但它给我非常大的数字，我怀疑这不是一天的数据。有人能让我知道query出了什么问题吗？sd是关键
db.history.count({sd:{$gte: new Date("2014-08-01")},sd:{$lt:new Date("2014-08-01")}})
浏览 0提问于2014-08-20得票数 3
回答已采纳
NPM库： "mongodb": "3.1.4"
当试图大容量插入数据列表时，我得到以下错误：
代码：
db.collection('products').insertManyAsync(products, {ordered: false})
错误：
操作无效，未指定任何操作
浏览 1提问于2018-09-05得票数 3
我已经10天没有使用mongodb地图集了。当我尝试将节点应用程序连接到mongodb地图集中，返回node应用程序的find查询中的空白数组时，使用Node应用程序将新数据插入mongodb地图集，然后查找查询只返回新数据。
问题是mongodb atlus不返回旧数据。但是应用程序集有
db.apps.count({}) > 29
代码
let mongoose = require("mongoose");
let uri = mongodb atlus path || "mongodb://localhost:27017/test";
浏览 4提问于2018-11-23得票数 3
回答已采纳
我正在使用Node.js + MongoDB开发一个应用程序。有时，就在向服务器发出一些AJAX请求之前，我会收到这样的错误：
net.js:434
var writeReq = this._handle.write(data);
^
TypeError: Cannot call method 'write' of null
at Socket._write (net.js:434:31)
at Socket.write (net.js:426:15)
at [object Object].
浏览 2提问于2011-12-16得票数 2
回答已采纳
1回答
我有一个只有2文档的mongodb数据库。两者都有相同的结构：
{ "general" { "name": "abc", "sid": "435435"},"resources":[{"id":1,"cnt":20}] "messages" : []}
小文档在消息中有0个对象，大1000。我数了两份文件中的标牌:小: 28000 : 450000。
我使用nodeJS与常规mongodb驱动程序一起访问文档，并将索引设置为"general.s
浏览 3提问于2021-03-24得票数 1
回答已采纳
TokuMX是MongoDB 2.4的替代品，但是我们正在为我们的应用程序开发一些功能，它们确实需要MongoDB 2.6和3.0中引入的一些聚合功能。
我们有一个相当大的(>50 in未压缩的) TokuMX格式的数据库，所以不需要导出数据和重新导入是很好的。我们不使用切分或复制。
以下是我所知道的选择：
升级到MongoDB 3.0并安装TokuMXse存储引擎(还没有GA)
升级到MongoDB 3.0并使用WiredTiger或RocksDB (后果？)
尝试新的()，它看起来可能是TokuMX的替代品，但从市场营销来看很难判断。
浏览 4提问于2015-10-07得票数 0
现在，我正在使用mongodb持久化一个非常大的文件(90G)，它有近40,000,000个条目。
我读取并解析这个文件，并将所有项插入mongodb (我的编程语言是perl，batch_insert而不是insert，并且我将一个项映射到一个mongodb文档)。
在插入之前，我已经预先创建了索引(大约10个索引键)。
我发现插入速度不能满足我的需要(每秒200到400个项目)。
我知道，太多的索引键肯定会减慢我的插入速度，特别是当集合的大小变得相当大的时候。
因此，我想知道，在我将所有数据转储到db.Any后，是否可以对它们进行索引，这样可以告诉我这种方式是否可用，或者，这种方式是否确实
浏览 3提问于2013-12-19得票数 0
我每月都会得到一个数据源，用于解析并放入MongoDB数据库。每个月，将更新一些数据，并将一些新条目添加到现有集合中。源文件有几千兆字节大。除了这些每月更新的数据，数据根本不会改变。
最终，这个数据库将是动态的，如果可能的话，我希望在这些月度更新中避免任何停机。在不停机的情况下更新我的数据库的最好方法是什么？
基本上就是我所要求的，但不是针对MongoDB数据库的。接受的答案是上传一个新版本的数据库，然后重命名新数据库以使用旧数据库的名称。然而，根据的说法，很难轻易地重命名MongoDB数据库。这使得这种方法不可用。
直觉上，我会尝试使用每个文档的唯一'gid‘标识符(这是数据的属性
浏览 0提问于2019-10-26得票数 0
2回答
我正在从事一个使用MySQL作为关系数据库管理系统的项目。最近，我们不得不操纵一个大的json数据。
因此，出于许多原因，想到的第一个解决方案是将mongoDB与Mysql合作，但是它会增加复杂性！(我们使用Symfony)。
但是在MySQL 5.7中，MySQL支持原生JSON数据类型，它提供数据JSON查询。
我的问题是: MySQL json数据类型可能是正确的选择，而不是MongoDB文档，因此我们不需要使用2 DBMS？
浏览 0提问于2017-07-19得票数 -1
我试图在mongodb中使用gt和lt筛选器在范围内获取一些数据，但是它的行为很奇怪，我不明白为什么它包含范围以下的数据。是因为字段是字符串吗？另外，如果我把像50000和gt作为1这样的随机大值，它应该返回所有的字段，但它只是返回一些记录。我是mongodb的新手，但它应该像其他数据库一样。我也找不到我哪里出错了。
浏览 1提问于2021-04-17得票数 0
回答已采纳
我的应用程序需要使用mongodb进行正常的数据存储，还需要保存相当大的文件。因此，我开始使用mongodb插件(用于正常数据存储)和gridfs插件(用于大型文件)。
我正在使用grails2.3.4，并试图找出用于使用mongodb和gridfs的插件的问题所在。
我一直在搜索整个互联网(包括stalkoverflow)，以找出任何与之共存但却徒劳无功的插件。因为无论我使用哪种组合的可用插件，它都会显示错误，说明兼容性问题。
我使用的是驱动程序mongo-java-driver-2.11.3.jar
最后，我尝试了所有当前可用的插件。我的文件如下所示：<<<
//
浏览 5提问于2013-12-27得票数 0
(我对管理不太熟悉。)
我的服务器有两个磁盘/分区，一个安装在/上，另一个更大一些，一个安装在/home上。
默认情况下，我的MongoDB数据文件位于/var/lib/mongodb (我在Debian上)。
我假设我可以在mongodb.conf中移动数据文件并设置conf。
让我的数据文件在/home上被认为是“传统”Linux文件组织的一种良好实践吗？
如果没有，我应该为我的大磁盘创建一个新分区，在这种情况下我应该在哪里安装它呢？
谢谢
浏览 0提问于2012-07-05得票数 3
回答已采纳
由于最大16MB的限制，我无法将一个大的JSON (大小约70MB)导入到MongoDB中。
使用GridFS，我能够将JSON上传到MongoDB中，但是不能检索纯文本格式的数据(JSON数据)，因为GridFS存储在二进制块中。fs.chunks中的记录格式如下：
{
"_id":"<ObjectId>",
"files_id":"<ObjectId>",
"n":"<num>",
"data":"Binary(<Binary D
浏览 15提问于2020-06-05得票数 1
在大容量操作中使用updateOne执行NodeJS/MongoDB updateOne的正确语法是什么？
MongoDB版本: 4.2.5
NodeJS版本: 12.x
npm mongodb版本: 3.6.0
给定以下简化集合。我需要更新lineItems数组中的一个元素。
{
_id: ObjectId("5d50689fd304e3189aae99ba"),
"lineItems" : [
{ "importId" : "abc123" },
{ "importId" : "
浏览 2提问于2020-08-04得票数 4
回答已采纳
我的理解是，mongoDB中给定的索引/集合必须能够适应服务器内存。
是。MongoDB将最近使用的数据保存在内存中。如果您已经为您的查询创建了索引，并且您的工作数据集符合内存，那么MongoDB将为内存中的所有查询提供服务。
MongoDB不缓存查询结果以返回相同查询的缓存结果。
()
我的服务器上有一个大到16 my的集合，但只有16 my的内存。我认为这台服务器足以满足我的项目的适度需求。两个问题：
我没有任何充分的理由将我的数据库分割成多个集合--此外，我认为查询多个集合将非常缓慢(考虑到mongo希望将集合保存在ram中)。还有别的解决办法吗？
是否有任何与m
浏览 3提问于2017-01-09得票数 0
2回答
我正忙着设计一个web应用程序，希望它能变得非常大，有很多用户。我选择MongoDB作为数据存储，其中一个主要原因是它能够随着用户群的增长而水平扩展。
有谁有使用Mongoid与处理大量流量的高度分布式MongoDB进行交互的经验吗？有什么理由担心性能吗？
浏览 3提问于2012-03-30得票数 2
回答已采纳
我一直在使用Node.js创建一个网站，最终将能够搜索谷歌专利授权数据库，提供数据的XML格式。我一直在使用MongoDB作为用户数据库，但是有人告诉我，他们在使用MongoDB创建一个快速搜索引擎时遇到了很多困难，他们还说它变得非常大。我应该与Node.js一起使用什么数据库技术/软件来创建一个高效的搜索引擎？如果一个网站运行两种不同的数据库技术，例如MongoDB和PostgreSQL，会不会是个坏主意？我在github 上发现了一种叫做Norch的技术。这项技术会有帮助吗？
浏览 4提问于2015-07-05得票数 3
回答已采纳
我使用的是MySQL数据库，我有一个非常大的表，一年内可以达到100,000,000行。不幸的是，它变得越来越慢。
在这种情况下，最好的解决方案是什么？NoSQL可能是一个解决方案吗？
在同一个项目中使用MySQL和MongoDB怎么样？这样，我们就不会改变以前的数据库结构，只对这个大表使用MongoDB。
浏览 2提问于2015-04-08得票数 1
我的目标是允许用户将相对较大的数据集导入MongoDB (托管在mongo云上)。Api服务器托管在容器引擎中，它没有任何其他负载如此大的操作(只有简单的CRUD操作)。
用户将上传.csv文件(高达100mb)到GCP Bucket，从那里我需要验证和插入的csv文件到MongoDB的每一行，然后做一些计算的基础上导入的数据。这是否适合GCP云函数？我有点担心540秒的执行时间限制。
浏览 1提问于2017-11-09得票数 1
1回答
我有一个Postgres数据库，在其中我每分钟存储五个或更多的测量值，所以在月底我有一个非常大的表，当我试图在我的web应用程序中显示测量值时，由于数据库请求，显示图表需要一些时间。
一些同事告诉我将数据库从postgres转换为mongodb。所以我想知道我是不是做错了？有没有更好的方法来存储和查找数据，以显示数据量很大的图表？如果mongodb是更好的解决方案呢？
浏览 0提问于2015-12-01得票数 0
2回答
Mongodb使用BSON格式在磁盘上存储数据。BSON定义了不同的数据类型，包括用于存储大整数的带符号int64。
让我们尝试用大ID (887190505588098573)保存文档，它适合带符号的int64范围(其绝对值小于2^63)
> db.query.insert({_id: 887190505588098573, 'q': 'zzz'})
> db.query.find({_id: 887190505588098573})
{ "_id" : 887190505588098600, "q" : "
浏览 0提问于2014-06-13得票数 2
我的MongoDB服务器死了。日志显示了一个不干净的关闭和一个现有的mongodb.lock文件。它建议删除锁文件，然后使用--repair重新启动mongodb服务器。
但是，在我的系统(Ubuntu10.10)上，我已经通过一个MongoDB包安装了apt-get，它被设置为Upstart作业。如果我从命令行运行mongodb，它将找不到数据，没有一个路径被正确设置。当然，我可以阅读手册页，试着模仿Upstart会做什么，给它所有正确的参数加上--repair，但这似乎是一大麻烦。肯定有一种更简单的方法，那就是不和Upstart战斗。那是什么？
浏览 0提问于2012-04-01得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
