从MongoDB获取_ids列表-避免“distinct太大”
MongoDB是一种开源的NoSQL数据库，它以其高性能、可扩展性和灵活性而闻名。在处理大量数据时，有时我们需要从MongoDB中获取一个集合中所有文档的_ids列表，但如果集合中的文档数量非常大，使用distinct操作可能会导致性能问题。为了避免这个问题，可以采用以下方法：
- 使用聚合框架：聚合框架是MongoDB提供的一种强大的数据处理工具，它可以用于执行复杂的数据聚合操作。通过使用聚合框架，我们可以使用$group操作符将文档按照_id字段进行分组，并将_id字段的值添加到一个数组中。
- 示例代码：
- 示例代码：
- 优势：聚合框架可以高效地处理大量数据，并且可以进行更复杂的数据处理操作。
- 应用场景：当需要对大量数据进行聚合操作时，使用聚合框架可以提高性能和灵活性。
- 推荐的腾讯云相关产品：腾讯云数据库MongoDB（https://cloud.tencent.com/product/mongodb）
- 使用游标迭代：如果集合中的文档数量非常大，一次性获取所有_ids可能会导致内存溢出。为了避免这个问题，可以使用游标迭代的方式逐个获取文档的_id，并将其添加到一个列表中。
- 示例代码：
- 示例代码：
- 优势：使用游标迭代可以避免一次性获取所有_ids导致的内存溢出问题。
- 应用场景：当需要逐个处理大量数据时，使用游标迭代可以提高内存利用率。
- 推荐的腾讯云相关产品：腾讯云数据库MongoDB（https://cloud.tencent.com/product/mongodb）
综上所述，通过使用聚合框架或游标迭代的方式，我们可以从MongoDB获取_ids列表并避免"distinct太大"的性能问题。
相关·内容
我是mongoDB的新手，我看到了足够多的例子，但大多数都展示了如何使用集合。
我跟踪了mongoDB中以DB名称myDB存储的数据。
"_id" : "some_table_name",
"content" : [{
"id" : "1",
"loctype" : "Clinic/Hospital",
"locname" : "KKH"
}, {
"id" : "2",
"loctype&#
浏览 1提问于2013-05-28得票数 1
回答已采纳
我有一个从网站地图.xml文件中抓取数据的文件，并从每个页面下载一些数据。每次启动抓取函数时，我都会转到这个xml来获取要抓取的url，将它们放在一个列表中，将它们与我已经下载的url列表进行比较，因此只需要抓取剩下的url。我使用这些URL作为mongodb的_id：
list_of_ids = collection.find().distinct('_id')
start_urls = list(set(new_url_list)-(set(list_of_ids)))
我现在收到了以下错误：
pymongo.errors.OperationFailure: distinc
浏览 142提问于2021-03-14得票数 0
回答已采纳
1回答
我的mongoDB中有超过50000条带有ID的条目(在一个集合中)。
我只想得到ID (而不是其他信息)。
在server.js中，我通过猫鼬连接到mongoDB：
mongoose.connect('mongodb://10.3.5.12/mydb');
我需要迭代所有5万个条目来检查ID，检查副本并存储在一个列表中。
我需要创建一个控制器吗？会很重，有5万条吗？知道我该怎么做吗？
var listId= [];
...
listId.push(id);
我能用猫鼬试试这样的东西吗？
MyModel.find().distinct('id', fun
浏览 3提问于2014-10-09得票数 0
回答已采纳
我有两个集合，categories和jobs，jobs集合在categories中引用。
现在我在CategoryRepository中有了一个名为getWithActiveJobs()的方法，这个方法返回所有类别，其中引用的作业只有没有过期的和激活的。
问题是，当我运行此方法时，不会返回任何内容。我是MongoDB新手，所以请告诉我如何在CategoryRepository中查询jobs？
下面是我的集合(不包括setter和getter以及其他方法)：
Category.php
namespace Ibw\JobeetBundle\Document;
use Ibw\JobeetBund
浏览 1提问于2013-11-07得票数 0
我想使用Java将MongoDB中的所有ID添加到一个数组中。如何从JAVA获取ID或任何数据表单并放入数组中？
PS:我是nosql数据库结构的新手，我使用的是MongoDb 3.2
到目前为止，代码是这样的。
public void ArrayEx(){
MongoClient mongoClient = new MongoClient("localhost",27017);
MongoDatabase database = mongoClient.getDatabase("dbTest");
MongoCollection<
浏览 5提问于2017-03-09得票数 1
1回答
我之前问了一个问题，这对我很有帮助。然后我意识到我还需要一个列表的I列表，该列表是该对象中的一个属性。基本上，我希望得到一个从这些对象中的每个列表生成的整数列表。有什么想法吗？谢谢!
浏览 1提问于2012-08-03得票数 0
回答已采纳
我对MongoDb很陌生。我收集了一些产品，其中一些产品在同一个集合中包含其他产品的in数组：
[
{
"id": 1,
"relatedProducts": [
"1", "2"
]
},
{
"id": 2,
"relatedProducts": [
"4", "5"
]
}
]
问题是，并不是relatedProducts数组中的所有产品都可以在该集合中使用。我必须创建一个聚
浏览 1提问于2022-02-14得票数 1
如何使用MongoDB集合中不存在的I获取结果集。
考虑以下情况：
我正在传递5个in，例如:1、2、3、4、5，以检查它是否存在于集合中。在5个中，只有3个ID存在2,3,5
因此，我应该得到1,4
在MongoDb中是否有任何方法可以通过聚合或任何其他方法来实现这一目的。
浏览 6提问于2022-06-01得票数 0
我有一个Client和一个Group模型。一个客户有很多组。
class Client
include Mongoid::Document
include Mongoid::Paranoia
include Mongoid::Timestamps
field ...
has_many :groups, dependent: :delete
...
end
class Group
...
belongs_to :client
end
一个客户端有40k组，当我尝试client.groups时，花费的时间太长了。我已经等了几分钟了，它永远不会结束。
MON
浏览 2提问于2013-09-19得票数 2
我有一个潜在的相当大的mongoDB集合。 为了使用spark从这个集合中读取数据，我使用了以下连接器： <dependency>
<groupId>org.mongodb.spark</groupId>
<artifactId>mongo-spark-connector_2.11</artifactId>
<version>2.4.2</version>
</dependency> 我想通过从
浏览 37提问于2020-12-28得票数 0
1回答
我试图从文件中删除未将完全上传到MongoDB数据库的块。
当将文件直接上传到MongoDB时，Mongoose、Multer & GridFSBucket data 将媒体文件数据分离到媒体集合的两个子集合中：media.chunks & media.files。
为了手动删除存储在media.chunks集合中的文件块，您需要文件的ID，该ID存储在media.files和media.chunks集合中(文件元数据仅在文件已完全上载时才出现在.files集合中)。但是，虽然未完全上传的文件出现在.chunks集合中，但却没有出现在.files集合中！这意味着，虽然我可以从m
浏览 4提问于2020-11-14得票数 1
回答已采纳
我有一个模型，名为MyModel，其中包含一个CharField type。模型有一个默认的元排序，它应该被保留。我使用以下查询来获取类型列表-
MyModel.objects.all().values_list('type', flat=True).distinct()
然而，类型正在变得重复。我可以做.order_by('type').distinct()，但这会改变我不想要的顺序。有没有办法在不手动创建python列表的情况下获得有序的类型列表？替代的更快的解决方案也是受欢迎的。
Django版本- 1.11
浏览 0提问于2019-11-11得票数 0
我有一个典型的Order ->订单行方案，如下所示：
public class Order
{
public int Id { get; set; }
public string Name { get; set; }
public List<OrderRow> OrderRows { get; set; }
}
public class OrderRow
{
public int Id { get; set; }
public int ProductId { get; set; }
public int Amount { g
浏览 0提问于2009-12-06得票数 3
回答已采纳
我有一个包含唯一id字段的文档集合。现在我有了一个I列表，它可能包含集合中不存在的一些I。从列表中找出这些ids的最好方法是什么？
我知道我可以使用$in操作符来获取列表中包含id的文档，然后与给定的id列表进行比较，但是有更好的方法吗？
浏览 5提问于2015-07-27得票数 9
回答已采纳
1回答
我是mongodb的一个完全的初学者。我想做sql select distinct column的mongodb等价。例如，对于具有以下模式的mongodb集合：
{
"_id" : ObjectId("xxxxxxcbf"),
"date" : "1462514997209",
"user_ids" : [
"userXXXX"
],
"created" : 1462543716,
"processed&
浏览 1提问于2016-09-05得票数 0
回答已采纳
我有一个返回字符串MongoDB ids列表的进程，
[512d5793abb900bf3e20d012, 512d5793abb900bf3e20d011]
我想对Mongo执行一次查询，并以与列表相同的顺序返回匹配的文档。
做这件事的shell符号是什么？
浏览 0提问于2013-02-27得票数 78
回答已采纳
如果我有3个模型之间的多态关联，如下所示：
评论
belongs_to :book, :class_name => 'Book', :foreign_key => 'ref_id', conditions: "comments.ref_type = 'Book'"
belongs_to :article, :class_name => 'Article', :foreign_key => 'ref_id', conditions: "comments.ref_type
浏览 2提问于2017-06-27得票数 10
我使用nodejs、mongodb (所以mongodb作为数据库)和javascript。
我有一个名为A的集合，下面是一些例子：
{
"item": "Kitchen",
"location": "New York",
"ids" : [ ObjectId("5f6dce24021e15a1121a649a"), ObjectId("5f6dce24021e15a1121a649b"), ObjectId("5f6dce24021e15a112a649c
浏览 4提问于2020-09-27得票数 1
回答已采纳
对于从GORM查询的list函数返回的列表的totalCount属性，我得到了错误的结果。
我认为这是因为它还包括重复的结果。列表中返回的结果是正确的，但计数似乎是错误的。
我怎么才能修好它？
我试过以下几点，但效果不佳：
trace.setResultTransformer(CriteriaSpecification.PROJECTION)
以下是我的GORM查询：
def trace = Trace.createCriteria()
def results = trace.list(max:max, offset:offset) {
createAlias
浏览 3提问于2015-03-28得票数 0
1回答
我有一个Mongodb集合，并且为集合中的文档创建了一个Python类。该类具有一些属性和方法，这些属性和方法没有与文档一起存储。我应该尝试存储它们以使属性可搜索，还是不应该存储它们并在Python中搜索对象？
下面是一个示例：
# Child
class Child:
def __init__(self, **kwargs):
self.__dict__.update(kwargs)
@property
def parent(self):
try:
return Parent(**db.Parents.find
浏览 2提问于2012-08-14得票数 1
回答已采纳
我有customer的列表，并希望它的id在单独的列表List<int>。
我尝试使用：
customerList.Cast<int>.Distinct().ToList()
但这不管用。我也想要不同的客户int列表。
如何使用LINQ语法做到这一点？我应该对我的查询做哪些更改？
浏览 0提问于2012-11-27得票数 7
回答已采纳
1回答
这是按照列表中指定的顺序使用mongoid检索mongodb文档列表的最佳方式。
我目前的解决方案是：
docs = Doc.where(:_id.in => ids).sort { |x, y| ids.index(x.id) <=> ids.index(y.id) }
似乎应该有一个更好的解决方案，使用mongoid查询接口。有什么想法吗？
浏览 0提问于2011-04-10得票数 2
1回答
我有一个表有如下所示的数据，
+-------+----------------+----------------+
| Id | HierUnitId | ObjectNumber |
+-------+----------------+----------------+
| 10 | 3599 | 1 |
| 10 | 3599 | 2 |
| 20 | 3599 | 3 |
| 20 | 3599
浏览 1提问于2022-01-04得票数 -1
我在寻找正确的语法来完成以下操作时遇到了一些问题：
是否可以使用LINQ (Lambda表达式)来.GroupBy数据，而不是使用通常的.Sum()或.Count()，我希望得到的数据是一个整数列表。
我定义了自己的类名为: Filter_IDs。它的构造函数需要两个参数：
public int? type; // Represents the object_type column from my database
public List<int?> objects; // Represents the object_id column from my database
我想将数据
浏览 0提问于2012-12-06得票数 9
回答已采纳
1回答
我正在尝试从列表中创建一个Map，而Map的值将是某种转换的结果，这就是我的代码的样子。
empIdList.stream()
.map(id-> getDepartment(id))
.collect(Collectors.toMap(id, department:String -> department)
在上面的示例中，我希望使用id作为键，使用department作为值。你能帮我实现我的预期结果吗？
浏览 1提问于2021-05-18得票数 1
4回答
我有一个问题，我希望能够获得集合中所有唯一的城市，我的代码看起来像这样：
var mongoose = require("mongoose"),
Schema = mongoose.Schema;
var PersonSchema = new Schema({
name: String,
born_in_city: String
});
var Person = mongoose.model('Person', PersonSchema);
在原生MongoDb中，我可以只做db.person.distinct("born_in_cit
浏览 2提问于2011-05-18得票数 76
回答已采纳
3回答
在我的rails应用程序中，我有用户和列表。列表属于一个用户。listing包含user_id，并由创建该列表的用户id填充。
用户可以是高级用户、金牌用户或白银用户。
我想要的是为每个高级用户，选择一个随机列表，以显示在高级列表。
我可以在O(n**2)时间或n+1查询中完成，如下所示：
users_id = User.where(:role => "premium").pluck[:id]
final_array = Array.new
users_id.each do |id|
final_array << Listing.where(:user_i
浏览 0提问于2018-01-26得票数 0
4回答
我有一个类似下面的情况：
PlanID StateID
1 22
2 22
2 30
3 7
3 22
3 33
3 46
4 22
5 22
12 22
13 7
13 22
13 30
13 33
13 40
13 46
14 22
15 7
15 20
15 22
15 30
15 33
15 40
15 46
16
浏览 0提问于2013-07-09得票数 0
回答已采纳
1回答
我正在使用实体框架作为ADO.NET的对象-关系映射(ORM)框架，我需要编写一个linq查询，它应该返回一个人最近走过的5个区域。
我的表中有各自的列，在所附的图像中显示。我使用azure数据库作为我的后端存储，从上面的数据中，我需要通过使用LinqQuery获得前5位zone_id列表为4,2,3,2,1。客户端可以请求在特定的、stime、范围内获取区域列表。
浏览 5提问于2017-04-03得票数 0
回答已采纳
在我的Django应用程序中，我有以下两个事件模型，可以为它们指定任意数量的标签。 class Tag(models.Model):
# ...
class Event(models.Model):
# ...
tags = models.ManyToManyField("Tag") 我也有一个页面，在那里用户应该能够选择一些标签，然后查看与该标签相关的所有事件。给定一个标签ID列表，我是否可以使用Django ORM来获取与至少一个给定标签相关联的(不同的)事件列表？ 如果不是，我还尝试使用以下原始SQL来实现这一点 event.objects.raw(&#
浏览 26提问于2019-02-20得票数 0
回答已采纳
我在MongoDB中有这样一个模式，球队和球员之间的多对多关系：
团队：
{
name: "Team1"
players: ["1", "2"]
}
{
name: "Team2"
players: ["1"]
}
播放器：
{ id: "1", name: "Player1"}
{ id: "2", name:"Player2"}
{ id: "3", name:"Player3"}
我
浏览 1提问于2013-03-07得票数 1
回答已采纳
我有两个模特：
class Country(models.Model):
country_id = models.CharField(max_length=30,primary_key=True)
country_name = models.CharField(max_length=255)
class City(models.Model):
city_id = models.CharField(max_length=30,primary_key=True)
city_name = models.CharField(max_length=255)
ci
浏览 11提问于2013-09-16得票数 1
回答已采纳
我们将把数据库从MySQL迁移到MongoDB。一些指向我们的web应用程序的URL使用数据库I(例如)，目前我看到了两种可能性：
1)保留现有的MySQL ID，并将其用作MongoDB ID。新文档的ID将获得新的MongoDB对象ID。
2)为所有文档生成新的MongoDB对象ID，并为其中包含旧ID的所有外部链接创建一个使用MySQLId -> MongoDBId的映射。
2会使我的PHP应用程序有点混乱，但我可以想象#1会导致索引或切分的问题吗？在这里避免问题的最佳做法是什么？
浏览 2提问于2014-06-28得票数 3
回答已采纳
2回答
猫鼬深度查找查询
、、、
因此，我在我的MongoDB中有一个名为Post的集合，它是这样的：
var PostSchema = new mongoose.Schema({
creator: {
type: ObjectId,
ref: 'User',
required: true
},
content: {
type: String,
required: true
},
title: {
type: String,
required: true
},
浏览 3提问于2015-08-02得票数 1
回答已采纳
我有一个文章模型和评论模型。如何使用active record获取没有任何评论的文章列表？
模型列：
文章：body:string (有很多评论)
评论：body:string，article_id:integer (属于文章)
浏览 16提问于2017-07-26得票数 0
我使用下面的聚合查询来获取传递的ids列表中的餐厅匹配关键字搜索"chinese“的列表，
db.business.aggregate([
{
$match:{
$text:{
$search:"chinese"
}
}
},
{
$match:{
"_id":{
$in:[
ObjectId("571453a82ece139224
浏览 0提问于2016-05-04得票数 0
3回答
我是一个相对的sql注意事项，渴望学习，但我需要一些帮助来组织一个查询。如果有人能给我指引正确的方向，我将不胜感激。
该表是TeamRankings。这些列如下所示：
score | qualities_id | team_id | year | source
团队根据不同的质量在特定的年份进行评分。请注意，一个给定的团队可以分配多个分数(每个分数来自不同的来源)。同样，给定的团队在给定的年份可能根本没有任何分数。
以下是问题所在：
给定单个质量和团队列表，我希望找到每个团队至少有一个得分的年份列表。
我是从Rails (3.1)开始做这件事的，我可以用一种愚蠢的方式使用活动记录和多个db调用
浏览 3提问于2011-11-12得票数 2
回答已采纳
在下面的设置中，客户通过taggings拥有许多标记。
class Customer
has_many :taggings
has_many :tags, through: :taggings
end
class Tagging
belongs_to :tag
belongs_to :customer
end
我试图用postgres在Rails中执行的查询是查找所有至少有一个标记但没有标记A或B的所有客户。
性能将需要考虑到，因为有成千上万的客户。
浏览 0提问于2018-11-20得票数 2
回答已采纳
我可能是在没有大脑的时刻。
我想使用GROUP_CONCAT从我的数据库中的两个字段返回一系列数字。到目前为止，我已经使用以下内容完成了这项工作：
SELECT t_id,
CONCAT(GROUP_CONCAT(DISTINCT s_id),',',IFNULL(GROUP_CONCAT(DISTINCT i_id),'')) AS all_ids
FROM mytable GROUP BY t_id
这很好用，但是如果i_id是NULL，那么我当然会得到一个不必要的逗号。有没有更好的方法来做到这一点，这样如果i_id为空，我就不会以逗号结尾？
浏览 0提问于2012-10-08得票数 5
回答已采纳
5回答
public List<MAS_EMPLOYEE_TRANSFER> GetEmployeeTransferListForHR(TimecardDataContext TimecardDC)
{
List<MAS_EMPLOYEE_TRANSFER> objEmployeeTransferList = null;
try
{
objEmployeeTransferList = new List<MAS_EMPLOYEE_TRANSFER>();
o
浏览 0提问于2013-02-26得票数 3
回答已采纳
3回答
我如何返回唯一的列表'listColl‘我尝试在底部使用'Distinct9’和'return listColl;‘，但收到了一个error.but它不起作用。目前，这将返回一个重复的项目列表，该列表填充了在查询中编码的树视图。
public List<SPList> GetAllLibraries(string webURL)
{
var listColl = new List<SPList>();
ClientContext _ctx = new ClientContext(webURL
浏览 1提问于2014-05-10得票数 0
我是一个终极的neo4j初学者。我有一个类似于
WITH ["123", "456", "789"] as ids
MATCH (p:user)-[:follower]->(m:user)
WHERE m.id in ids
WITH p, 2 as inputCnt, count(DISTINCT p) as cnt
WHERE cnt = inputCnt
RETURN p
123、456和789是用户ids。列表长度是动态的，可以大于3。
我想要找到的是123,456,789，以及在给定列表中跟踪至少两个用户的其他节点。如果节点只跟踪
浏览 0提问于2021-07-08得票数 1
回答已采纳
2回答
我试图从数据库中获取所有ids的列表，但我得到的结果是我不想要的。我希望结果是一个数组。我之所以希望它成为一个列表，是因为我想在另一个查询中使用它，其中条件将处理那些ids的数据，也许有一种方法可以根据我所得到的结果这样做，但我也不知道如何去做。但是如果我能把它作为一个数组，我就能解决它。
我就是这样做的
const ids = await Db.find({accountStatus: "active"}).distinct('_id')
结果
[
new ObjectId("6259e7cb9604555d50939cff"),
ne
浏览 7提问于2022-04-19得票数 2
回答已采纳
在PHP驱动程序中使用MongoDB；
为了解决这个问题，我有一个简单的Mongo集合，每个文档有4行。在执行查询时，我希望获得不同的用户名和id，同时使用基于公共值的where子句。
我的测试代码：
$m = new Mongo;
$db = $m->selectDB("test");
$db->dropCollection("activities");
$collection = $db->activities;
$collection->insert(array("username" => "bra
浏览 3提问于2013-11-23得票数 0
回答已采纳
我正在使用 paginate 对一个非常大的实体集合进行分页，在对性能不满意之后，我意识到它们将获取所有实体，不管传递的是什么页码，我检查了查询分析器，并且在查询中从未见过任何偏移。无论如何，这就是我发现的工作方法，但我想将获取计数和实体的部分移回存储库类，在存储库类中，我希望使用createQueryBuilder。
public function indexAction(Request $request)
{
$page = $request->get('p', 1);
$this->breadcrumbs(
array(
浏览 4提问于2015-04-18得票数 3
1回答
我想从我的MongoDB数据库中提取一个ean的列表。用"find ()“，我得到了不同的文档。我希望在文档的唯一视图中，或者最多在数组中获得一个ean列表。我知道我可以用php读取数据并对它们进行处理。但是，由于我正在学习对PHP使用MongoDB和"MongoDB驱动程序“，所以我想了解如何使用命令直接从数据库中提取数据。
我的数据库：
{
"_id" : "ID0001",
"ean" : [
"4960999612638",
"4960999150437&
浏览 0提问于2016-06-09得票数 1
回答已采纳
1回答
我有一个包含文档的MongoDB集合，如下所示：
{
"_id" : ObjectId("583f6e6d14c8042dd7c153f1"),
"transid" : 1,
"acct" : "acct1",
"transdate" : ISODate("2012-01-31T05:00:00.000Z"),
"category" : "Fees",
"amount" : 103
}
在
浏览 0提问于2016-12-12得票数 0
1回答
我是MongoDB和NoSQL数据库的新手，我正在尝试学习不同的思维方式，这是每个人在谈到NoSQL时都会提到的。
我有一种多对一关系的典型情况。请不要告诉我MongoDB不是关系数据库，因为我已经知道了。关键是-现实的工作方式是一定的，我需要我的应用程序来反映它。现实世界充满了关系，如果您的回答是“为您的情况选择不同的DB”，那么我认为MongoDB团队可以关闭他们的业务，因为在这种情况下，他们的产品将是完全无用的。
因此，让我们假设典型的雇员/部门关系。Employee链接到单个Department。部门可以有零或多个员工。
让我们假设超级简单的模型：
public class Depar
浏览 0提问于2019-04-02得票数 1
我有用户表，其中包含许多字段，包括部门I。departmentid只是一个字符串。每个部门it可以有不同的users.Is。可以从用户表中找到所有部门it，而不需要重复。
我试图从users表中查找所有部门I，但是结果包含重复的departmentid.How来解决这个问题。
先谢谢你...
浏览 1提问于2012-12-17得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
