Pymongo bulk_write upsert=True无法插入新文档
Pymongo是Python中操作MongoDB数据库的一个驱动程序。bulk_write是pymongo中的一个方法，用于执行批量写入操作。upsert=True是bulk_write方法的一个参数，表示如果找不到匹配的文档，则插入新文档。
然而，当使用bulk_write方法执行upsert操作时，可能会遇到无法插入新文档的情况。这可能是由于以下原因导致的：
- 权限问题：确保你的数据库用户具有足够的权限来执行插入操作。可以通过检查用户的角色和权限设置来解决此问题。
- 查询条件不匹配：在执行upsert操作时，需要提供一个查询条件来判断是否已存在匹配的文档。如果查询条件不正确或不完整，可能导致无法插入新文档。请确保查询条件准确无误。
- 数据类型不匹配：MongoDB是一种文档数据库，每个文档可以具有不同的结构。如果要插入的新文档与已存在的文档结构不匹配，可能会导致插入失败。请确保新文档的结构与集合中的其他文档一致。
- 数据库连接问题：检查数据库连接是否正常。确保你的代码能够成功连接到MongoDB数据库。
如果你遇到了无法插入新文档的问题，可以按照上述步骤逐一排查可能的原因，并进行相应的修复。另外，如果你需要更多关于pymongo的使用和文档插入的信息，可以参考腾讯云提供的MongoDB云数据库产品，该产品提供了完全托管的MongoDB数据库服务，具有高可用性、高性能和高安全性。
腾讯云MongoDB云数据库产品介绍链接：https://cloud.tencent.com/product/cdb_mongodb
相关·内容
我有这个字典列表json_data
json_data = [
{
"CODE": "018906",
"X": "29813.66349",
"Y": "28697.520760000003"
},
{
"CODE": "018907",
"X": "30041.8389",
"Y": "28602.98724"
},
{
&#
浏览 18提问于2020-06-06得票数 0
回答已采纳
1回答
我正在使用Pymongo在for循环上执行一些upsert查询，但由于执行这些查询花费了太多时间，所以我尝试使用批量写操作来完成相同的任务。但是，我不熟悉它的语法，并且我遇到了一些问题： 根据文档，我需要定义一个操作数组，所以我执行了以下操作： Queries = [[{'Unix': 1596873600.0}, {'$set': {'Unix': 1596873600.0, 'O': '11586.08000000', 'H': '11801.72000000', 'L
浏览 25提问于2020-09-10得票数 1
回答已采纳
1回答
我直接将数据从postgresql转换为json，并将其传输到mongo。 sql= """select array_to_json(array_agg(row_to_json(a))) from(select * from {}) a ; """.format(row[0])
cursor.execute(sql_etl)
data = cursor.fetchall()
data=data[0][0]
if isinstance(data, list):
co
浏览 112提问于2020-10-12得票数 0
2回答
如何在mongoDb中批量更新/插入pymongo/大熊猫。我得到的错误是batch op errors occurred，我得到的原因是我设置了"_id"，这是我想要做的。我的代码在第一次运行时运行良好，但在第二次运行时失败。我想在工作流程中使用熊猫。数据确实有一个datetime对象。
upsert = True的语法与Update完全不同。使用update的有效解决方案将有帮助，可以在其中设置"_id"或"qid"。但是，还有python对象！
InSQL = 'SELECT * from database2.table2 &
浏览 5提问于2017-02-22得票数 9
更新:如果您阅读此命令以提高插入/更新速度，请检查您的系统上是否启用了pymongo扩展，首先从python运行pymongo.has_c()。如果它解析为False，则需要使用C扩展编译pymongo或执行pip install --upgrade pymongo
它改进了我的工作流程，从10K行的17秒提高到0.57秒。
我有数千个txt文件，包含数以百万行的数据，我正试图将这些数据导入到mongodb集合中。
我目前正在使用以下def
import re, pymongo
coll = pymongo.MongoClient().database.collection
rx =
浏览 0提问于2019-02-04得票数 2
回答已采纳
Python 3.6.7
pymongo==3.10.1 每次启动应用程序时，我都需要维护一个给定的集合。我们可以更改以前加载的数据，也可以插入新的数据。 我有以下代码： from pymongo import UpdateOne
COLLECTION_NAME = 'profile'
data = [
UpdateOne(
{ "type": "user"},
{ "$set": { "order": 1 , "active": True, "
浏览 78提问于2020-03-24得票数 0
回答已采纳
我需要知道是否插入一个插入，使用MongoEngine (如果必要的话，pymongo)。
代码如下所示：
ret = MyMongoCollection.objects(name=desiredname)
.update_one( { upsert: True, field1: 2 } )
Mongoengine似乎只返回"num_affected“，根据定义，这里总是1。
我知道它们是存在的，但我正在寻找Python的味道。
浏览 2提问于2014-03-04得票数 1
回答已采纳
上下文
我试图使用pymongo将600万条记录插入到mongoDB中。我使用的是bulk_write方法，并且我了解到使用unordered版本比使用ordered版本要快，因为unordered版本将具有并行操作。
问题
unordered版本不提供任何速度增长。
有人知道为什么吗？
这是我的伪码：
# document_to_add_list
import pymongo
from pymongo import UpdateOne, MongoClient
mongo_uri = 'mongodb+srv://name:password@some-shard.mongodb.ne
浏览 2提问于2020-01-26得票数 3
1回答
通过在下面的代码中使用，我已经能够将来自csv的数据插入到MongoDB中。
from pymongo import MongoClient
import urllib
import pandas as pd
import time
import json
client = MongoClient()
db = client.MainDB
col = db.Test
def csv_to_json(filename, header=0):
data = pd.read_csv(filename, header=header, error_bad_lines=False, warn
浏览 1提问于2021-03-26得票数 0
我试图在MongoDB中使用鞋帮。由于某些原因，pymongo.Collection.update方法在更新预先存在的文档时(每次都会插入新文档)。
这是我的代码：
print self.visitorCollection.find({"ip": user_ip, "userAgent": user_agent}).count()
self.visitorCollection.update(
{"ip": user_ip, "userAgent": user_agent},
{"$set&#
浏览 4提问于2015-08-06得票数 0
全
我刚从我们的掌声中得到一个奇怪的错误：
当我用两个进程更新时，它抱怨在一个集合上出现了一个重复的键错误，其中有一个唯一的索引，但是所讨论的操作是一个新插入。
案例代码：
import time
from bson import Binary
from pymongo import MongoClient, DESCENDING
bucket = MongoClient('127.0.0.1', 27017)['test']['foo']
bucket.drop()
bucket.update({'timestamp': 0}
浏览 6提问于2015-08-12得票数 14
回答已采纳
我正在尝试在不覆盖现有数据的情况下向MondoDB大容量插入数据。如果唯一id (sourceID)不匹配，我想插入新数据到数据库中。查看Pymongo的文档时，我已经编写了一些代码，但无法使其正常工作。对我做错了什么有什么想法吗？
db.bulk_write(UpdateMany({"sourceID"}, test, upsert=True))
db是我的数据库的名称，SourceID是我不想在现有数据中覆盖的文档的唯一ID，test是我要插入的数组。
浏览 4提问于2017-08-13得票数 0
我想将以下数据插入到mongodb集合中。如果有一个具有现有"id_number"的文档，如果有任何更改，我希望重新插入数据。如果"id_number"不存在，我希望创建一个新文档。使用Python Pymongo最有效的方法是什么？我在mongodb中已经有大约9万份文档。
data = [
{"name": "John", "id_number":1, "age": "20"},
{"name": "Bob", "id_number
浏览 1提问于2022-08-11得票数 0
1回答
假设MongoDB集合包含必须定期使用新字段或子对象更新的文档；或者，如果文档尚不存在，常规文档更新过程将插入一个新文档(典型的插入)。
实现这一点的最快的方法是什么？目前我有一个很慢的三个阶段的过程：
阶段1:查找必须根据包含自定义on的列表更新的文档( customID字段中存在索引)。
db[myCollection].find({'customID': {'$in': myUpdateList}})
第2阶段:迭代在第1阶段检索的游标中的文档，用新的字段和/或次对象丰富它们。将尚未在数据库中更新的新文档添加到同一文档列表中。
第三阶段:使
浏览 2提问于2019-07-24得票数 1
回答已采纳
使用collection.insert_one(json_dict)插入新集合 我是否可以对一个已经存在的对象执行collection.insert_one()，这样它就会更新。 我的对象看起来像这样： "_id": 1,
"name": "Bob"
"Age": "57" 然后在“年龄”下面，我想添加"Location": "New York'，我是如何使用PyMongo实现的？
浏览 42提问于2020-11-22得票数 0
回答已采纳
1回答
我有一个pymongo脚本，它检查一个元素，如果它在集合中，那么返回它的id，否则它插入，然后返回新插入的集合的id。我希望这是线程安全的。因为几个脚本可能会使用此脚本来检查元素。我应该如何保证这个线程的安全。
我看到了start_request方法，我以为它可以工作，但它没有，它插入了两个引用相同元素的文档。
浏览 0提问于2014-01-29得票数 0
1回答
如果文档存在，我将尝试更新它，如果文档不存在，则插入它。我正在插入熊猫数据帧记录，作为基于_id的文档收集。插入新文档的工作正常，但旧文档中的字段更新不起作用。
bulk = pymongo.bulk.BulkOperationBuilder(pros_rides,ordered=False)
for doc in bookings_df:
bulk.find({ "_id": doc["_id"] }).upsert().update({
"$setOnInsert": doc
})
response = bul
浏览 4提问于2016-11-07得票数 4
回答已采纳
我正在更新一个数据库，它有几百万个文档，冲突小于10 _id。
我目前正在通过以下方式使用PyMongo模块使用insert_many进行批处理插入：
查询数据库以查看_id是否存在
如果不存在_id，则将文档添加到数组中
每次使用insert_many向数据库插入1000个文档。
几百万个文档中只有大约10个冲突，我目前正在查询每个_id的数据库。我认为，如果能够删除查询过程，我可以将插入时间缩短一两天。
是否有类似的东西需要重新插入，也许只有在文档不存在的情况下才插入？
浏览 4提问于2015-07-13得票数 4
回答已采纳
我已经读过，当我使用pymongo的向上插入和当我不提供"_id"，上插入将尝试生成一个新的Id，这将导致操作失败。这是真的吗？以及如何在不使用"_id“的情况下重新插入？
下面是我使用pymongo的replace_one：
db['dataitemdetails'].replace_one({'asset_Id':tdata['asset_id'],'period_type':tdata['period_type'],'detail_id':tdata['deta
浏览 1提问于2019-02-28得票数 5
回答已采纳
我正在使用pymongo插入我定期从某个地方获取的文档。
这可能是添加一个新元素或替换我的数据库中已经存在的文档。
现在，我知道
db.test.insert({
'username': 'test',
'data': [{...}, {...}, {...}, {...}]
})
成功插入文档的。
我知道有一个名为replace_one的函数，但没有达到我的目的，因为我经常运行这个脚本，并且可能会有需要更新的内容和新的内容，所以当具有相同username的文档已经存在时，我只会使用insert和update。
我如何才能使用in
浏览 1提问于2019-12-13得票数 1
我用的是芒果的和upsert = true和returnNewDocument = true
基本上是一种不插入复制的方法。但是，我希望将新插入文档(或旧的现有文档)的_id传递给后台处理任务。
但我也想记录一下，如果文档是新增的，或者是否发生了替换。
我看不到用这些参数使用findOneAndReplace()并回答这个问题的任何方法。
我唯一能想到的就是找到，并插入两个不同的请求，这似乎有点适得其反。
ps。实际上，我使用的是pymongo的find_one_and_replace()，但它似乎与JS mongo函数相同。
编辑:编辑以澄清。
浏览 7提问于2017-09-26得票数 0
回答已采纳
我有下列文件：
{"hostname": "myhost1.com", "services": { ... } }
我想做的是：
dataset = requests.get('http://endpoint.com/hardware.json').json()
for hostname, services in dataset[0].items():
db.titleHardware.update_one({'hostname':hostname},
浏览 4提问于2016-12-12得票数 10
回答已采纳
我试图在MongoDB中使用PyMongo进行批量插入。我有数以百万计的产品/评审文档要插入到MongoDB中。以下是该文件的结构：
{
"_id" : ObjectId("553858a14483e94d1e563ce9"),
"product_id" : "B000GIKZ4W",
"product_category" : "Arts",
"product_brand" : "unknown",
"reviews&#
浏览 2提问于2015-04-23得票数 2
回答已采纳
2回答
我想知道为什么我的python说mongoengine ()方法被废弃了？我在官方文档中没有看到任何有关这方面的信息
class MyModel(Document):
user_id = StringField(required=True)
date = DateTimeField(required=True, default=datetime.datetime.now)
my = MyModel()
my.user_id = 'user'
my.save()
现在我明白了：
/Library/Python/2.7/site-packages/mongoen
浏览 2提问于2017-03-19得票数 1
回答已采纳
我正在尝试使用bulk_write指令插入大量文档(+1M)。为了做到这一点，我创建了一个InsertOne函数列表。 python version = 3.7.4 pymongo version = 3.8.0 文档创建： document = {
'dictionary': ObjectId(dictionary_id),
'price': price,
'source': source,
'promo': promo,
'date': now_utc,
浏览 101提问于2020-09-15得票数 0
回答已采纳
我正在使用beanie==1.10.1
我想通过使用upsert=True更新多个文档来执行批量操作。如果find查询没有给出结果，我希望下面的代码插入完整的文档。我用这个作为参考：
这是完整的代码：
import beanie
import asyncio
import random
from beanie import BulkWriter
from beanie.odm.operators.update.general import Set
from motor.motor_asyncio import AsyncIOMotorClient
class TestDoc(beanie.
浏览 13提问于2022-03-21得票数 0
我正在尝试在没有多线程的macbook air 1.7 the i7上使用PyMongo将大约8亿条记录插入到MongoDB中，文档结构如下：
我正在读取的记录是以下元组：
(user_id、imp_date、imp_creative、imp_pid、geo_id)
我正在基于我正在读取的文件中的user_id创建我自己的_id字段。
{_id:user_id,
'imp_date':[array of dates],
'imp_creative':[array of numeric ids],
'imp_pid':[array of numer
浏览 2提问于2014-07-04得票数 1
现在，我尝试在mongoldb中使用pymongo插入数据。
get_db().users.update({'_id':ObjectId(session['user_id'])},{'$push':{'hme':ObjectId(id)}},upsert=True)
但是，该方法会产生重复的ObjectID.before尝试find_one()。
if not ObjectId(id) in get_db().users.find_one({'_id':ObjectId(session['user_id&#
浏览 0提问于2015-06-25得票数 0
我正在尝试运行一段python代码来更新具有数组的集合。下面的语句给出了pymongo的错误。请指点 db.students.update({}, {'$set': {"grades.$[element]": 100}}, {'multi': true, 'arrayFilters': [{"element": { '$gte': 100}}]} )
tried : multi=True tried : multi:True 我收到以下错误: common.validate_boolean(&#
浏览 16提问于2020-04-08得票数 1
感谢任何帮助(我已经阅读了PyMongo文档并查看了示例，但仍然看不出哪里出了问题)。 我正在尝试插入API请求的结果(接收一个或多个JSON记录)，并将其插入到我的数据库中。 目前，insert()作为批处理操作工作得非常好，但会创建重复的操作： mongo.db.arrivalPredictions.insert(predictions) 我正在尝试在我的视图中，在Flask中工作，并通过循环的主体注入： for item in predictions:
item['rqTimestamp'] = datetime.now().strftime('%H:%
浏览 14提问于2020-01-05得票数 0
回答已采纳
我想知道是否使用updateone或updatemany和大容量write.My代码将数据导入到pymongo集合中的速度更快：
for file in sorted_files:
df = process_file(file)
for row, item in df.iterrows():
data_dict = item.to_dict()
bulk_request.append(UpdateOne(
{"nsamples": {"$lt": 12}},
{
浏览 2提问于2021-05-11得票数 2
回答已采纳
看起来您(/I)不能同时拥有和。
如果您这样做(python)：
findDct = {
"_id": ObjectId("535e3ab9c36b4417d031402f"),
'events.ids': '176976332'
}
print col.update(findDct, {"$set" : {"events.$.foo": "bar"} }, upsert=True)
它会抛出：
pymongo.errors.DuplicateKeyError: insert
浏览 1提问于2014-04-28得票数 0
回答已采纳
我有一个pymongo集合，它的写关注点选项如下：
>>> col1.__class__.__bases__
(<class 'pymongo.collection.Collection'>,)
>>> col1.write_concern
{'wtimeout': 6000}
我正在尝试在副本集中插入一个只有可用的主程序(奴隶被阻塞)的文档。
>>> pymongo.collection.Collection.update(col1, {'_id': '11'},
浏览 2提问于2017-01-27得票数 2
回答已采纳
我是mongoDb的新手，我遇到了字符串字段“递增”的问题;)。我有以下收集“当前活动”的文件：
document={
"name": "App Name",
"total Active": "10",
"total Inactive": "60"
"data": "Some data generated by app: 2ndkjasndu2iqeqjsma"
}
我想添加" data“字段，每天使用新的附加字符串值多次，
浏览 6提问于2015-12-12得票数 3
回答已采纳
我试图使用以下代码将超过150万行的熊猫DataFrame插入到MongoDB中：(pymongo和大熊猫)
import pandas as pd
from pymongo import MongoClient, ReplaceOne
#dataframe is a very large dataframe
#connexion is a mongodb db connexion and collection_name is the collection where I am inserting the df
dataset = dataframe.to_dict('recor
浏览 4提问于2020-01-07得票数 0
2回答
我有一个相当简单的数据库结构，我想用MongoDB来创建。我的结构看起来像这样：
{url: value,
users: {user_id: value}}
示例文档可能如下所示：
{'url': 'http://stackoverflow.com/', users: {'billy': 12, 'tommy': 2}}
我正在使用PyMongo更新我的数据库并添加文档，如下所示。我可以成功地将数据添加到我的数据库中，但我似乎无法复制上述数据结构。
for d in data:
foo.u
浏览 1提问于2012-05-24得票数 2
回答已采纳
我正在尝试为批量更新创建许多更新操作。
我试图通过array filter在数组中选择一个元素(字典)，但是更新(或者更准确地说是重新插入)元素上的另一个字段(在下面的示例new_field中)，而不是应用数组过滤器的字段。
所以简单地说：：
在数组中，dictionariesSelect元素数组由在以前选择的元素上由key_1向上插入key_2:value_2
我目前正在尝试用一个(测试)记录来实现这个目标。
(测试)记录如下所示：
{
'_id': '001d1a70fdc77812053d',
'images': {
&#
浏览 3提问于2019-10-10得票数 1
回答已采纳
好的，所以目前我正在尝试使用pymongo在本地mongodb中插入一些东西(我检查文档是否在数据库中，如果是，则更新它，否则就插入它)
我正在使用bulk_write来做这件事，一切都运行得很好。数据将被插入/更新。
但是，我需要新插入/更新的文档的is，但是bulkWriteResult对象中的"upserted_ids“是空的，即使它声明插入了14个文档。
我添加了这个带有变量的屏幕截图。这是个bug吗？还是有什么我不知道的？
最后，有没有一种方法可以获得文档的in，而不需要在数据库中实际搜索它们？(如果可能，我更喜欢使用bulk_write)
谢谢您抽时间见我。
编辑
浏览 1提问于2020-11-20得票数 1
1回答
我想检查插入到我的集合中的文件的数量。
下面是我用Python编写的代码：
from pymongo import MongoClient
connection = MongoClient()
db = connection['mydatabase']
collection1 = db.mycollection
collection2=db.mycollection1
pipe = [{......}]
result = collection1.aggregate(pipe, allowDiskUse=True)
array = list(result)
length = l
浏览 2提问于2016-06-23得票数 0
回答已采纳
[
{
"reports": [
{
"imageid": 1888,
"name": "hello"
},{
"imageid": 2344,
"name": "hello"
}
],
"report_name": "a"
},{
"reports": [
{
"ima
浏览 35提问于2020-03-27得票数 1
我使用mongo已经有一段时间了(使用python，mongo2.4.64位，OSX10.8.2，pymongo2.5.2，python2.7.2)，我观察到了一种奇怪的行为。有时，当试图将文档插入集合时，它会引发以下异常：
无法编码对象: ObjectId('51861bc79bb6550f2b98be23')
. "/Users/nutrina/www/env_pdf_admin_apache/lib/python2.7/site-packages/pymongo/collection.py"，第266行，在保存返回self.insert(to_save，
浏览 5提问于2013-08-25得票数 9
我看到过一个类似的查询，但没有找到适当的解决方案。
有时，我看到为相同的匹配条件而创建的重复记录。感谢您在寻找解决方案方面的帮助。MongoDB服务器版本: 4.2.7“猫鼬”："^5.9.6“
function addModify() {
Sales.findOneAndUpdate(
{
shopId: shopId,
SalesId: SalesId
},
{
$set:
{
amount: amount
lastUpdated: new
浏览 1提问于2020-07-28得票数 0
1回答
我试图找到一种有效的方法，将Pandas DataFrame上传到具有以下约束的MongoDB集合中：
如果文档已经存在，则根据两个独特的文档特性(即“”和“document_key”)覆盖
如果文档不存在，则根据相同的两个唯一文档特性(即“”和“document_key”)创建一个
我试过：
from pymongo import UpdateOne
upserts=[
UpdateOne(
{"$and": [
{'business_id': x['business_id']},
浏览 14提问于2022-02-14得票数 0
回答已采纳
1回答
如果数据库不在mongo中，我将尝试创建一个数据库，然后在数据库中创建一个集合；然后在集合中插入/更新一个文档(其中包含两个键，名为erp和dataset，其值为字符串列表)。我知道如何插入这样的文档，
self.connection = pymongo.MongoClient(host=db_host, port=db_port)
self.connection.datasets.datasets.update_one({'erp': 'erp1'},
{'$se
浏览 5提问于2017-09-22得票数 0
我编写了这个脚本，用于在没有复制的情况下将文档插入Mongodb
import tldextract
from pymongo import MongoClient
client = MongoClient()
db = client.my_domains
collection = db.domain
with open('inputcut.csv', 'r') as f:
for line in f:
ext = tldextract.extract(line)
domain = {"domain":ext.registered
浏览 0提问于2016-12-16得票数 0
我在集合中有一个文档，我想查找文档并更新列表的元素。
以下是示例数据：
{
{
"_id" : ObjectId("5edd3faaf6c9d938e0bfd966"),
"id" : 1,
"status" : "XXX",
"number" : [
{
"code" : "AAA"
浏览 1提问于2020-06-09得票数 0
我需要测试服务器mongodb的准确性。我试图插入一个序列的数据，采取这一时刻，它被发送到数据库，以了解它何时被插入。我在尝试这个：
#!/usr/bin/python
from pymongo import Connection
from datetime import date, timedelta, datetime
class FilterData:
@classmethod
def setData(self, serialData):
try:
con = Connection('IP_REMOTE', 27017, safe=True)
浏览 6提问于2014-11-08得票数 2
回答已采纳
5回答
当试图对空mongodb集合执行大容量插入时，我将得到以下错误。
pymongo.errors.DuplicateKeyError: E11000重复键错误索引:cmddisros.locRegio.$index键：{：ObjectId('51dac9d0c74cd81acd85c0fd') }
在创建任何文档时，我没有指定_id，所以mongodb应该创建唯一的索引，对吗？下面是我使用的代码：
#Populate database with uniform distribution
entries = []
for co
浏览 0提问于2013-07-08得票数 17
回答已采纳
使用Pymongo更新具有匹配id和数组元素之一的单个数组项
尝试了几个Pymongo命令，其中一个使用了array_filters(不确定这是否只适用于一个数组级别的深度)，但是看起来什么都没有更新，尽管没有报告错误，但是更新没有发生。
什么是正确的Pymongo命令来更新下面的内容？
{
"_id" : ObjectId("9f1a5aa4217d695e4fe56be1"),
"array1" : [
{
"us
浏览 0提问于2020-07-28得票数 1
回答已采纳
2回答
我试着做这样的事情：
db = new LiteDatabase(@"albumdata.db");
db_string = db.GetCollection<StringPair>("strings");
db.Engine.EnsureIndex("strings", "a", true);
db_string.Upsert(new StringPair("a", "1"));
// this line throws this exception : LiteDB.LiteExce
浏览 2提问于2018-01-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
