将AllowDiskUse(true)添加到聚合
将AllowDiskUse(true)添加到聚合操作中，是用于在MongoDB中处理大量数据时的一个选项。当数据量较大时，聚合操作可能会超出内存限制，导致查询失败。通过添加AllowDiskUse(true)，可以将聚合操作的中间结果存储在磁盘上，从而避免内存限制的问题。
这个选项的作用是告诉MongoDB允许使用磁盘来存储聚合操作的中间结果。默认情况下，MongoDB会尝试将所有中间结果保存在内存中，但当数据量较大时，可能会导致内存不足的问题。通过设置AllowDiskUse(true)，MongoDB会将中间结果写入磁盘，从而解决内存限制的问题。
使用AllowDiskUse(true)选项可以提供以下优势：
- 处理大量数据：当需要处理大量数据时，添加AllowDiskUse(true)可以确保聚合操作不会因为内存限制而失败。
- 提高性能：通过将中间结果存储在磁盘上，可以减少内存的使用，从而提高聚合操作的性能。
- 灵活性：使用AllowDiskUse(true)选项可以处理更大规模的数据，而不受内存限制的限制。
应用场景：
- 大数据分析：当需要对大量数据进行聚合分析时，可以使用AllowDiskUse(true)选项来处理数据。
- 数据清洗和转换：在数据清洗和转换过程中，可能需要处理大量数据，添加AllowDiskUse(true)可以确保操作的顺利进行。
腾讯云相关产品和产品介绍链接地址：
腾讯云提供了多种云计算产品和服务，其中包括数据库、服务器、存储等相关产品。以下是一些相关产品和介绍链接地址：
- 云数据库 MongoDB：https://cloud.tencent.com/product/mongodb
- 云服务器 CVM：https://cloud.tencent.com/product/cvm
- 云存储 CFS：https://cloud.tencent.com/product/cfs
请注意，以上链接仅供参考，具体产品选择应根据实际需求进行评估和选择。
相关·内容
在mongo聚合框架中，可以使用选项{allowDiskUse:true}。当一些繁重的操作，如排序，不能在内存中执行时，这真的很有用。
我也在尝试用createView (在Mongo3.4中可用)做同样的事情，但是我找不到可以引入allowDiskUse的地方。
在普通聚合框架中：
db.mydb.aggregate([....,{$sort:{"a":-1}}],{allowDiskUse:true})
有效，但是：
db.createView("newview","mydb",[....,{$sort:{"a":-1}}]
浏览 0提问于2016-12-15得票数 6
我在Rails应用程序中使用了Mongoid5(以及MongoDB驱动程序)的Ruby3.2。MongoDB实例配置在运行在单个VM上的开发分片集群(1配置服务器、3台碎片服务器)中。
我从我的应用程序中收到了以下错误：
{ $err: "Exceeded memory limit for $group, but didn't allow external sort. Pass allowDiskUse:true to opt in.", code: 16945 }
为了解决这一问题，我修改了代码，提供了allowDiskUse:true选项。但是，当启用该功能时，我将
浏览 2提问于2016-11-09得票数 0
回答已采纳
我有一个对象可以用于较小的集合，但是我的集合很大，大约有700多万个文档。我基本上是想按key，key1和key2分组
def groupByThreeItems(self, db=None, col=None, key=None, key1=None, key2=None):
coll=self.client_()[db][col]
agg_result= coll.aggregate([{
'$group':
{'_id': { key: "$"+key, key1: "$&#
浏览 10提问于2021-03-29得票数 0
回答已采纳
通过查询获得了exceeds maximum document size problem异常，如下所示，
pipe = [
{"$match": { "birthday":{"$gte":datetime.datetime(1987, 1, 1, 0, 0)} }}
]
res =db.patients.aggregate(pipe,allowDiskUse=True)
我通过添加$project运算符来修正它，
但是，如果文档仍然在16MB上，即使我使用$project，又会怎样呢？
我能做些什么？知道吗？谢谢
pipe = [
浏览 1提问于2015-04-15得票数 10
回答已采纳
如何在满足条件的情况下递归获取所有子节点的计数？ 我有一个这样的集合结构： | id | parentID | type |
-----------------------------
| 1 | NULL | A |
-----------------------------
| 2 | 1 | B |
-----------------------------
| 3 | 1 | B |
-----------------------------
| 4 | 2 |
浏览 101提问于2020-09-19得票数 0
回答已采纳
使用"mongodb": "^3.0.6"作为结果使用$out运算符保存聚合查询，只有在调用.toArray()时才有效。
汇总步骤：
let aggregationSteps = [{
$group: {
_id: '$created_at',
}
}, {'$out': 'ProjectsByCreated'}];
执行聚合：
await collection.aggregate(aggregationSteps, {'allowDiskUse': true})
浏览 0提问于2018-04-14得票数 11
回答已采纳
2回答
错误:参数必须是聚合管道操作符
、、、、
使用聚合选项参数无法获得结果。以下是我的总结：-
var emails = getAllEmails();
var listMatchColl = 'list_matches_' + insertedId;
SurveyDL.aggregate([
{ $match: { email: { $in: emails } } },
{ $out: listMatchColl }
], {
allowDiskUse: true
}).exec(function(err, data) {
if (err) return console.log('
浏览 1提问于2016-05-20得票数 3
回答已采纳
我正在尝试测试一些关于缓慢运行的查询的理论，因此我希望我的查询运行得很慢。出于这个原因，我在我的集合中有了完整的索引。当我运行db.mycollection.find({myfield: /.abc./}).sort({myfield2: 1}, {allowDiskUse: true})方法时，我收到以下错误.
Error: error: {
"ok" : 0,
"errmsg" : "Executor error during find command: OperationFailed: Sort operation
浏览 11提问于2018-12-02得票数 4
回答已采纳
我希望从mongodb获得特定范围的数据条目，因为所有的数据都太大了。例如，我需要得到1000到2000之间的范围。
我在mongodb聚合中使用$range来获取特定范围的数据条目。
client = MongoClient('mongodb://xxx.xxx.xxx.xxx')
database = client['abc_data']
print database.users.count() # this is a huge number
cursor_mongo = database.users.aggregate({$range:[0, 100]},
浏览 2提问于2019-10-15得票数 0
回答已采纳
3回答
我使用的是kettle v5.2，它在使用MongoDB输入时支持MongoDB中的聚合管道查询适用于较小的数据集，但我需要使用选项allowDiskUse来进行查询我不知道如何在pentaho中添加这个选项，而我在mongo shell中测试了这个选项，它可以像预期的那样工作
这是可行的
[ {$unwind: "$friends"}, {$group : { '_id' : '$friends.id', name: {'$first': '$friends.name'} ,count: {$sum:1} }
浏览 1提问于2014-12-05得票数 1
我将allowDiskUse选项与MongoTemplate一起使用：
AggregateIterable<Document> results = mongoTemplate.getCollection("match")
.aggregate(...).allowDiskUse(true)
仍然会得到这样的错误：
超过了$group的内存限制，但不允许外部排序。通过允许磁盘使用:真选择加入。
有窃听器吗？
请注意，我使用了mongo客户端3.11和mongo图集M2 (v4.2.9)
我也试过用batchSize和useCursor，但是没
浏览 2提问于2020-09-26得票数 0
我有一个在MongoDB Shell中工作的查询，但是当我增加要返回的文档数量时，它会使用抛出一个“聚合结果超过最大文档大小(16 to )”异常。
以下是返回无错误的shell查询：
db.myCollection.aggregate([{"$skip":0},{"$limit":10000},{"$match":{"_id"="550b2552e4b03562d6329a39"}}], {"allowDiskUse":true})
以下是Spring数据片段：
List<Aggregrat
浏览 1提问于2015-03-23得票数 1
在我们使用mor菲的开发过程中，我们遇到了以下错误：
MongoDB :排序超过了104857600字节的内存限制
根据指南：，操作“允许磁盘使用”是解决方案。
我的问题：
如果吗啡支持allowDiskUse操作，是否可以显示一些示例代码？
如果吗啡不支持这个操作，那么如果可以在命令行中添加'allowDiskUse‘作为配置，那么所有聚合都可以使用'allowDiskUse’条件。
谢谢
浏览 11提问于2016-04-05得票数 0
回答已采纳
2回答
我有一个想要查询的mongoDB。我知道如何在sql中这样做，但不确定如何在MongoDB中这样做。
select distinct value, type, array_agg(distribution) as distributions
from t
group by value, param_type;
我正在尝试，但不断地出错：
db.getCollection('test').aggregate([
{
$group: {
_id: {
"type": "$type",
"
浏览 5提问于2021-03-25得票数 0
回答已采纳
我收集了一百万份文件..。我已经为allowDiskUse传递了选项，现在它正在抛出错误
TypeError: callback.apply is not a function
我已经找过这个但能找到解决办法..。请帮帮忙
const pictures = await Picture.aggregate([
{ $sort: { createdAt: -1 }},
{ $group: {
_id: { $dateToString: { format: "%Y-%m-%d", date: "$createdAt" } },
浏览 0提问于2018-06-08得票数 2
回答已采纳
1回答
在Mongodb集合中，有3000万条记录。当使用现有值查询时，它在1秒内给出结果。但是不存在值的查询花了40或45秒才给出null或0的结果。为什么会发生这样的事情？ String cDate = dateFormat.format(date);
String pastTime = timeFormatMin.format(new Date(System.currentTimeMillis() - 3600 * 1000));
Criteria dateQuery = Criteria.where("Date").is(cDate);
Criteria timeQuery
浏览 34提问于2019-05-03得票数 0
目前，我在春季以mongoTemplate的身份使用mongoDB。
public List<BasicDBObject> getMoviesByName() {
Aggregation aggregation = newAggregation(unwind("movies"),
match(where("movies.language").is("english")),
sort(Sort.Direction.DESC, "createDate"),
浏览 0提问于2016-11-18得票数 5
聚合管道阶段的限制为100 MB。为了处理大型数据集，allowDiskUse允许写入临时文件。但这有什么缺陷吗？如果没有，为什么默认值是假的？
浏览 3提问于2020-03-13得票数 4
回答已采纳
我在MyRepository.kt文件中编写了一个聚合，该文件是从后端的MongoDataRetriever.kt文件中调用的。
MyRepository.kt文件：
import org.springframework.data.mongodb.repository.Aggregation
import org.springframework.data.mongodb.repository.MongoRepository
@Aggregation(pipeline = [
"{ \$match: { 'objName' : { \$exists: tru
浏览 10提问于2022-03-28得票数 0
回答已采纳
我试着用id字段在我的分片集合中找到副本，这个字段就是这样的模式-
"id" : {
"idInner" : {
"k1" : "v1",
"k2" : "v2",
"k3" : "v3",
"k4" : "v4"
}
}
我使用了下面的查询，但收到了“$group的异常:超出内存限制，但不允许外部排序。错误，
浏览 2提问于2016-02-20得票数 3
回答已采纳
2回答
我有两个星期的学习和工作与MongoDB，我正在建立一个简单的WinForm应用程序与一个DataGridview。
一切正常，但是我添加了超过1.000.000个文档，现在它显示了这个错误：
MongoDB.Driver.MongoCommandException：“命令聚合失败:排序超过内存限制104857600字节，但没有选择到外部排序。中止操作。传递允许did :true to opt in .”
我已经检查了我所有的周末谷歌如何使用Aggreate让doesnt :是的，但它也不起作用。
谢谢。
public void ReadAllDocuments()
{
Lis
浏览 0提问于2018-10-22得票数 3
回答已采纳
2回答
我有一个拥有200万records.When的集合，我使用：
Aggregation aggregation = newAggregation(
project("y", "x"),sort(Direction.ASC, "x"), unwind("y"),
match(criteria),limit(maxElements),skip(elementsToSkip));
正如您所预期的那样，它产生了一个错误：
org.springframework.dao.Inva
浏览 6提问于2014-08-12得票数 1
回答已采纳
1回答
收集中的数据如下所示：
[{
_id: 0001,
imei:'123456',
apps:[{packageName:'google'},{packageName:'twitter'}]
},{
_id: 0002,
imei:'654321',
apps:[{packageName:'facebook'},{packageName:'twitter'}
}]
我想计算packageName和用户的imei，如下所示：
[{
packageName:'f
浏览 1提问于2015-11-21得票数 0
回答已采纳
--我试图运行这个聚合--但是我无法获得聚合选项参数的结果，有什么问题吗？以下是我的聚合：
var coupons = couponModel.aggregate(
[
{
"$lookup": {
from: "campaigns",
localField: "campaignId",
foreignField: "_id",
浏览 4提问于2017-03-30得票数 0
我使用Azure DocumentDB来操作MongoDB集合。
根据我的Azure标准计划，我有1000 RU/s的限制。
当我尝试从我的MongoDB集合中筛选和排序一些数据时，我就会遇到这样的问题。
下面是我使用.NET MongoDB驱动程序2.4.2.0编写的MongoDB代码：
// GET api/movies
[HttpGet]
public async Task<IActionResult> Get([RequiredFromQuery] int page, [FromQuery] int limit,
[FromQuery
浏览 3提问于2017-03-01得票数 2
回答已采纳
我有一个数据集合注册了
{ _id: 0000120210903，iid：00001，date: 20210903 }，{ _id: 0000220210903，iid: 00002，date: 20210903 }，{ _id: 0000120210101，iid：00001，date: 20210101 }
我想删除所有的所有，但文档与最近的日期为每个iid。
我的想法是按日期分组，使用max( date )选择寄存器的_id，然后删除除此_ids数组之外的所有内容。但我不知道该怎么做。
db.getCollection('testing_data').aggregat
浏览 6提问于2021-09-03得票数 0
我有收藏，文件的结构如下：
[
{
"brand" : "Toshiba",
"title" : "Toshiba Pors 7220CT / NW2",
"category" : "notebooks",
"code" : "ABCDTESTASD12",
"pid" : "45790"
},
{
"brand" : "Toshiba",
浏览 2提问于2015-11-27得票数 1
回答已采纳
我正在对大约300k+记录的集合运行聚合，这需要几次解压和重组。我遇到了下面的错误；
'exception: Exceeded memory limit for $group, but didn\'t allow external sort. Pass allowDiskUse:true to opt in.'
我似乎不知道如何通过使用mongoose.js API传递这个选项？
浏览 1提问于2014-05-28得票数 18
回答已采纳
{
_id: device1,
issues:[
{
_id:issue125,
desc: device1 port1 not reponding
},
{
_id:issue766,
desc: device1 software-X update needed
},
]
},
{
_id: device2,
issues:[
{
_id:issue125,
desc: device1 port2 not reponding
},
{
_id:issue766,
desc: d
浏览 0提问于2020-04-19得票数 0
我在MongoDB中使用以下聚合函数。
db.st.aggregate([
{
$project:{
email:{
$toLower:"$email"
},
src:1
}
},
{
$unwind:"$src"
},
{
$group:{
_id:"$email",
src:{
$addToSet:
浏览 0提问于2017-05-22得票数 0
2回答
我正在尝试使用节点驱动程序在mongo数据库中聚合一些记录。我首先匹配org、fed和sl字段(这些字段都有索引)。如果我只在数组中包含一些与组织字段相匹配的公司，那么查询就可以正常运行并按预期工作。但是，当包含数组中的所有客户端时，我总是得到：
MongoError: getMore: cursor didn't exist on server, possible restart or timeout?
我尝试过使用allowDiskUse和batchSize设置，但似乎都不起作用。使用数组中的所有客户端字符串，聚合将运行约5小时，然后抛出游标错误。有什么想法吗？下面是管道和实际的聚
浏览 1提问于2014-06-23得票数 1
1回答
如何迭代下列数据游标？以下代码出现错误“
TypeError:对象没有方法“forEach”
var data = db.profiles.runCommand("aggregate", {
pipeline: [
{$limit: 100000},
{$unwind: "$Items"},
{ $group: {
_id: "$Items", count: {$sum: 1}
},
},
],
浏览 1提问于2015-05-12得票数 2
回答已采纳
我试图在Node-RED中传递聚合查询，但我得到了以下错误：
MongoError:排序超过了104857600字节的内存限制，但没有选择外部排序。中止操作。通过允许磁盘使用:真选择加入。
我试着用不同的可能方式来修改allowDiskUse: true，例如：
msg.payload.options = { allowDiskUse: true };
msg.payload.allowDiskUse = true;
msg.options = {allowDiskUse: true};
但他们都不起作用！
浏览 2提问于2017-04-12得票数 0
我正在使用脚本来删除mongo上的副本，它在一个包含10个项目的集合中工作，我用它作为测试，但是当我使用600万个文档的实际集合时，我会得到一个错误。
这是我在Robomongo (现在称为)中运行的脚本：
var bulk = db.getCollection('RAW_COLLECTION').initializeOrderedBulkOp();
var count = 0;
db.getCollection('RAW_COLLECTION').aggregate([
// Group on unique value storing _id value
浏览 30提问于2017-05-24得票数 34
回答已采纳
因此，我在执行查询时遇到问题，只返回两个值，MIN和MAX用于数组字段中的字段.
client.files.uploads是我想要得到的最小/最大的字段。
结果仅仅是"0,10“--例如，我不想获得更多的字段，只需要查看每个client.files.uploads字段，并获得整个client集合的MIN/MAX上传，但是只返回值最低和最高的值，而不是每个客户端的一行。
这是我的问题，但我没有得到我想要的.
db.client.aggregate([
{$unwind: "$files"},
{
$group: {
浏览 0提问于2015-04-13得票数 2
回答已采纳
为什么MongoDB有一个
您可以将allowDiskUse设置为扩展此限制。
我的问题是，为什么是100 My？
浏览 4提问于2014-05-17得票数 5
回答已采纳
如何在PHP聚合方法中设置allowDiskUse选项？
我尝试了以下几点，但没有取得任何成功：
$out = $dbnew->$a->aggregate(
array('$match' => $filter_array),
array('$sort' => $sorting),
array('$skip' => $start),
array('$allowDiskUse' => true));
浏览 4提问于2014-10-04得票数 1
回答已采纳
1回答
我有一个导入到MongoDB中的csv文件，它的结构如下：
我想将它与开始作为id，以及所有其他字段分组为它的childs，如下所示：
"_id" : "A" {
"destination" : B {
"duration" : 5
"duration" : 3
"duration" : 6
}
"destina
浏览 2提问于2017-05-01得票数 1
回答已采纳
1回答
当我将allowDiskUse设置为True时，我遇到了这个问题，关于'allowDiskUse‘有很多类似的问题，在我的例子中没有一个问题有效。我使用python3.6.4 MongoDB 3.6.3和pymongo3.6.1
results = list(db.latest.aggregate([{"$match":{"markets":{"$eq":"play.google.com"}}},{"$group":{"_id":"$pkg_name","avg_vt
浏览 0提问于2018-03-12得票数 1
回答已采纳
我们有一台带有5个副本的MongoDB 3.6服务器。有时，extsort-doc-group.xxx文件增长很快，会使服务器挂起。有人知道这一问题的根本原因和解决方案吗？
浏览 16提问于2021-09-10得票数 0
回答已采纳
我试图从Mongo集合中聚合数据，为FreeCodeCamp生成一些统计信息，方法是为以后使用的数据制作一个大的json文件。
我在标题中遇到了错误。这方面似乎没有太多的信息，而这里的其他帖子也没有答案。我正在使用最新版本的MongoDB和驱动程序。
我怀疑可能有更好的方法来运行这个聚合，但是它在我的集合的一个子集上运行得很好。我的全部藏品是~7GB。
我正在通过node aggScript.js > ~/Desktop/output.json运行脚本--以下是相关代码：
MongoClient.connect(secrets.db, function(err, database) {
浏览 0提问于2015-12-25得票数 17
回答已采纳
1回答
我正在编写一个使用MongoRepository实现查询的方法，在一个Java/Spring项目中使用聚合，但是在测试时它给出了超出内存限制的结果。
我试过用
newAggregationOptions().cursorBatchSize(pageable.getPageSize()).allowDiskUse(true).build()
但没起作用
我的方法：
...
var matchCriteria = match(criteria);
var unwindVariations = unwind("variations", false);
浏览 1提问于2019-06-06得票数 5
回答已采纳
也许有人能帮我解决这个问题。
我有一个包含如下数据的集合：
{
"id" : 123,
"country" : "US",
"timestamp" : 1417904130
}
{
"id" : 123,
"country" : "DE",
"timestamp" : 1417904136
}
{
"id" : 111,
"country" : "US",
浏览 2提问于2015-01-22得票数 2
回答已采纳
1回答
我需要对整个集合执行$group操作。此组阶段已达到100 of内存使用量的极限。
$group级的内存限制为100兆字节。默认情况下，如果阶段超过此限制，$group将产生错误。但是，要允许处理大型数据集，请将allowDiskUse选项设置为true，以使$group操作能够写入临时文件。
我不受RAM的限制，但我无法找到如何增加内存使用限制。，有人知道如何配置这个限制吗？
将allowDiskUse设置为true将解决解决方案，但我假设整个操作会慢得多，我希望找到一个更好的解决方案。
{
$group: {
_id: {
prod
浏览 1提问于2019-01-09得票数 4
问题：
在MongoDB查询中使用排序时，内存将被超出，并告诉我在查询中使用allowDiskUse:true选项。但是在rails mongoid中，聚合函数没有传递任何选项。
我正在收到的错误：
Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting. Aborting operation. Pass allowDiskUse:true to opt in. (16819)
我的代码/查询：
result = ModelName.collection.aggregate([
浏览 1提问于2016-10-05得票数 1
回答已采纳
我使用的是mongo-java-driver3.0.2。
我有一个使用MongoCollection.aggregate(List<Bson> pipeline)进行排序和限制的方法：
private static MongoIterable<Document> selectTop(int n) {
BasicDBObject sortFields = new BasicDBObject("score", -1);
BasicDBObject sort = new BasicDBObject("$sort", sortFi
浏览 4提问于2015-07-08得票数 11
回答已采纳
1回答
我成功地：
result = my_col.aggregate(my_pipeline, allowDiskUse=True)
现在，当我尝试：
result = my_col.aggregate(my_pipeline, allowDiskUse=True, explain=True)
它没有说：
pymongo.errors.ConfigurationError: The explain option is not supported. Use Database.command instead.
因此，我试图添加所需的选项：
result = mydb.command('aggre
浏览 4提问于2017-04-28得票数 5
回答已采纳
在$facet中运行多个子管道时，我遇到内存大小限制错误。有人能在这个问题上帮我吗？场景:我有一个每天运行一次的皇冠作业。每当job被触发时，我希望使用$facet对具有数百万个文档的集合执行多个管道。 [
{
$facet: {
query1: [pipeline_1],
query2: [pipeline_2],
query3: [pipeline_3]
...
query_n:
浏览 22提问于2021-01-25得票数 1
我对蒙戈相对来说是个新手，我有这样的收藏：
[
{
"stored": {
"box": [
{
"parcelId": "uwb1",
"status": "ACTIVE"
}
]
},
"checked": {
浏览 1提问于2019-12-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
