如何使用python脚本中的upsertField或upsert参数导入mongo集合中的json数据
在Python脚本中使用upsertField或upsert参数导入JSON数据到Mongo集合的方法如下：
- 首先，确保已经安装了Python的MongoDB驱动程序，可以使用
pip命令安装，例如：pip install pymongo。 - 导入必要的模块和库：
from pymongo import MongoClient
import json- 创建MongoDB连接：
client = MongoClient('mongodb://localhost:27017/')这里假设MongoDB运行在本地主机上，默认端口为27017。如果MongoDB运行在其他主机或使用了不同的端口，需要相应地修改连接字符串。
- 选择要导入数据的数据库和集合：
db = client['your_database_name']
collection = db['your_collection_name']将your_database_name替换为实际的数据库名称，将your_collection_name替换为实际的集合名称。
- 读取JSON数据文件：
with open('data.json') as file:
data = json.load(file)这里假设JSON数据文件名为data.json，请根据实际情况修改文件名和路径。
- 使用
upsertField或upsert参数导入数据：
collection.update_many({}, {'$set': data}, upsert=True)这里使用update_many方法将数据导入集合中。{}表示匹配所有文档，{'$set': data}表示要更新的字段和对应的值，upsert=True表示如果文档不存在则插入新文档。
完整的Python脚本示例：
from pymongo import MongoClient
import json
client = MongoClient('mongodb://localhost:27017/')
db = client['your_database_name']
collection = db['your_collection_name']
with open('data.json') as file:
data = json.load(file)
collection.update_many({}, {'$set': data}, upsert=True)请根据实际情况修改数据库名称、集合名称和JSON数据文件路径。
相关·内容
我需要将数据从MongoDB同步到Solr。
当我发出命令时
mongo-connector -m dbserver:27018 -n shop -t http://localhost:8983/solr/Search --auto-commit-interval=0 -d solr_doc_manager
错误日志为：
2016-12-13 15:21:40,461 [CRITICAL] mongo_connector.oplog_manager:630 - Exception during collection dump
Traceback (most recent call last):
浏览 7提问于2016-12-13得票数 0
我使用的是mongo 3.4，我想使用bash脚本将json文件从json数组导入到mongod中，并且我只想在json文件不存在的情况下导入它们。我尝试使用--upsert，但它不起作用。有什么简单的方法可以做到吗？谢谢
mongoimport --db dbName --collection collectionName --file fileName.json --jsonArray --upsert
浏览 0提问于2017-07-21得票数 0
作为Docker的新手，我试图通过工作目录中的docker-compose.yml构建一个包含一些示例数据的mongoDB Docker容器。
我的mongo/Dockerfile包含以下代码：
FROM mongo:latest
ADD shops.json /home/
RUN mongoimport --db masterdata --collection shops --file /home/shops.json
在最后一行中，示例数据将被导入到mongoDB。
我的docker-compose.yml包含以下代码：
version: '3'
services:
浏览 1提问于2018-12-07得票数 4
我使用mongo-connector在MongoDB和Neo4J之间执行初始bulk_upsert操作。在使用py2neo查询时的某个时刻，发生了InvalidSyntax异常，这是由于图形数据库中没有插入任何内容。我认为问题出在语法转换过程中的某个DocManager中。我正在运行py2neo v2.0.8和Neo4J v2.3.1。下面是详细的堆栈跟踪：
Exception in thread Thread-2:
Traceback (most recent call last):
File "//anaconda/lib/python2.7/threading.py"
浏览 0提问于2016-01-29得票数 0
1回答
我是MongoDB的新手。我试图通过Python脚本将一些数据写入Mongo数据库，数据结构很简单：
{"name":name, "first":"2016-03-01", "last":"2016-03-01"}
我有一个脚本来查询“名称”是否存在，如果是，更新“最后”日期，否则，创建文档。
if db.collections.find_one({"name": the_name}):
而数据的大小实际上是非常小的，<500万字节，以及<150 k记录。
一开始速度很快(例如，前20,
浏览 3提问于2016-03-12得票数 0
回答已采纳
2回答
如何将db.collection.count()转换为Python脚本？
我只想让它返回一个数字。
#import json file to MongoDB
logger.info(' Import du fichier .json vers la base MongoDB')
#subprocess.call('mongoimport --db AutoPrivilege -c cars stockvo.json --jsonArray --upsert --drop',shell=True)
p = subprocess.Popen(['mongoi
浏览 2提问于2015-05-11得票数 1
2回答
如何在mongoDb中批量更新/插入pymongo/大熊猫。我得到的错误是batch op errors occurred，我得到的原因是我设置了"_id"，这是我想要做的。我的代码在第一次运行时运行良好，但在第二次运行时失败。我想在工作流程中使用熊猫。数据确实有一个datetime对象。
upsert = True的语法与Update完全不同。使用update的有效解决方案将有帮助，可以在其中设置"_id"或"qid"。但是，还有python对象！
InSQL = 'SELECT * from database2.table2 &
浏览 5提问于2017-02-22得票数 9
2回答
我正在使用下面的命令来导入一个大的，大约。50 in，文件格式为mongo。我使用以下命令：
./mongoimport --host localhost --db <dbname> --collection part1 --type tsv --file part1_Final.tsv --headerline --upsert
几个小时后，它显示成功导入了行，但当我去检入我的数据库时，它没有显示出来。但是，当我对一个小得多的文件使用相同的命令时，它工作得很好。
如果有人遇到类似的问题并让它工作，请让我知道。
浏览 0提问于2012-04-16得票数 1
感谢任何帮助(我已经阅读了PyMongo文档并查看了示例，但仍然看不出哪里出了问题)。 我正在尝试插入API请求的结果(接收一个或多个JSON记录)，并将其插入到我的数据库中。 目前，insert()作为批处理操作工作得非常好，但会创建重复的操作： mongo.db.arrivalPredictions.insert(predictions) 我正在尝试在我的视图中，在Flask中工作，并通过循环的主体注入： for item in predictions:
item['rqTimestamp'] = datetime.now().strftime('%H:%
浏览 14提问于2020-01-05得票数 0
回答已采纳
我有一个名为"Project“的DB和一个名为"sample”的集合，然后我使用mongoimport命令插入了一个JSON文件。
现在，我编辑了同一个JSON文件。因此，如果想要将相同的JSON文件导入Collection，那么我将面临这样的问题:创建了多个实例，并且没有进行任何更新。
是否有任何方法使用mongoimport命令更新或覆盖mongodb中已经存在的数据？
请注意，我还尝试使用--mode=upsert标志：
./mongoimport --db Project --collection sample --mode=upsert --file /home/
浏览 5提问于2015-04-21得票数 19
回答已采纳
1回答
我正在使用mongo import来导入一堆json，我正在寻找一种只导入不存在的记录的方法(可以通过oid检查)。我尝试使用--upsert，但它会更新记录，如果它已经存在，我想完全忽略它。
有什么想法...？
浏览 0提问于2012-04-05得票数 4
回答已采纳
我正在尝试将多个CSV导入并合并到mongo中，但是文档被替换而不是合并。
例如，如果我有one.csv：
key1, first column, second column
和two.csv：
key1, third column
我想以以下方式结束：
key1, first column, second column, third column
但我得到的却是：
key1,third column
目前我使用的是：
mongoimport.exe --ftype csv --file first.csv --fields key,firstColumn,secondColumn
mongo
浏览 0提问于2013-07-01得票数 3
回答已采纳
我把MongoDB和solr连接起来，
以下为集成文档：
DB.Collection: solr.wlslog
D: solr\bin>的路径
mongo-connector --unique-key=id -n solr.wlslog -m localhost:27017 -t http://localhost:8983/solr/wlslog -d solr_doc_manager
我得到了下面的响应和错误：
2020-06-15 12:15:45,744 [ALWAYS] mongo_connector.connector:50 - Starting mongo-connector
浏览 0提问于2020-06-15得票数 1
回答已采纳
需要Pymongo (Python )等效命令来执行手动工作命令：
db.UserInfoCollection.update({ "id" : "6efb83dc365fb6bdb3b78a9a"},
{$set: {'testArrayLevel1.$[i].testArrayLevel2.$[j].status':"registered"}},
{arrayFilters:[{"i.user_name&#
浏览 8提问于2020-07-10得票数 0
回答已采纳
我使用的是Mongo的本地节点驱动程序。对于像这样的upsert：
collection.update(query, setData, { upsert: true }, callback);
有没有办法确定upsert执行的是插入还是更新？使用Mongo shell，您可以获取WriteResult.nUpserted来确定这一点，但我不确定如何从节点本机驱动程序中获取该信息。
谢谢。
浏览 3提问于2014-07-03得票数 1
3回答
我想使用JSON批量更新到一个mongo集合。
$ mongoexport -d myDB -c myCollection
connected to: 127.0.0.1
{ "_id" : "john", "age" : 27 }
但使用我在mongo shell中使用的语法会产生以下结果：
0$ echo '{_id:"john", {$set:{gender:"male"}}' | mongoimport --upsert --upsertFields _id
浏览 2提问于2012-07-27得票数 1
我正在使用Python web应用程序的MongoDB。我使用的代码是：
from pymongo import Connection
import time
MONGO_CONNECTION = MongoClient(settings.MONGO_CONNECTION_URL+"/"+settings.MONGO_DATABASE['NAME'], safe=True, j=True)
MONGO_DB = MONGO_CONNECTION[settings.MONGO_DATABASE['NAME']]
collection = MONGO
浏览 2提问于2016-07-07得票数 4
关于设置Mongo索引的最佳实践问题。Python ORM包装器Mongoengine允许您在文档元类中设置索引。
什么时候对这个元类进行自省并添加索引？我可以通过mongoengine文档类构建一个集合，然后在之后添加索引吗？
如果我从元类中删除索引，索引是否会自动从相应的集合中删除？
谢谢,
浏览 0提问于2011-10-14得票数 7
回答已采纳
我们最近将mongo java驱动程序核心/同步4.4.0从3.12.1转移到spring数据mongo db，从2.2.5.RELEASE转到3.3.0，也转到了spring 2.6.2和mongo服务器4.2.5版本。
我们在使用上述错误访问切分集合上的插入查询时，会得到异常。
有一种方法可以在查询筛选器中插入shard键，但这对我们来说不可行，因此我们尝试在DTO中添加@Sharded注释，因为对于不同的集合，我们有不同的碎片键。
然而，我们仍然得到上述错误，我们也无法得到实体的完整副本在下面的声明中的确切含义。
只要给定的UpdateDefinition保存实体的完整副本，则更新/重新
浏览 4提问于2022-02-04得票数 0
我仍然在努力适应mongo，我正在尝试使用mongoimport上传500个json文件，每个文件都包含。大约15000行，每行代表一个tweet。有没有办法一次把它们都上传到网上？另外，我希望使用的语言是python，因为我只有jupyter笔记本可以使用。
浏览 11提问于2020-05-11得票数 0
我正在使用mongo-connector和neo4j_doc_manager来同步mongodb的数据到neo4j，它过去工作得很好，但是今天它开始给出以下错误。
2016-07-29 17:18:59,558 [CRITICAL] mongo_connector.oplog_manager:549 - Exception during collection dump
Traceback (most recent call last):
File "/usr/local/lib/python2.7/site-packages/mongo_connector/oplog_manage
浏览 0提问于2016-07-29得票数 1
如何使用mongodb操作，如"$inc，$set，upsert...“在sails.js中使用sails-mongo适配器？
我已经尝试过此代码，但适配器无法识别选项。
Word.update(
{coincidence: 'aaaaa'},
{amount: 222},
{upsert:true,safe:true},
function(err,data){
if (err){
console.log(err);
} else {
console.log("score succeded");
浏览 2提问于2014-01-20得票数 2
这只是我在python中使用pymongo的更新查询的一小部分。我只想在长度小于10的数组中使用$push。我知道我可以解决这个问题，首先找到这个用户(find_one)并检查数组的长度，但这不是一个有效的解决方案。如何使用mongo处理这个问题？
我读到$cond只在聚合中工作，所以我不能理解其他任何东西。
我的脚本的一部分：
self.db[coll_name].update_one(
{
'summary.userId': user_id
},
{'$p
浏览 16提问于2017-12-07得票数 1
回答已采纳
这个Meteor服务器端(Mongo 1.1.18)试图根据选择器插入一个文档，如图所示，但是给出了以下错误：
myCol.upsert({name: 'sam', job: {$exists: false}}, {$set: {parents: ['jack', 'jacky']}});
MongoError：“作业”中的美元($)前缀字段“$exists”对存储无效。
如何重新插入选定的文档？或者在不存在的情况下创建它？thx
浏览 6提问于2017-07-09得票数 0
回答已采纳
我想知道为什么对于运行在不同服务器上的相同查询，我有不同的选择时间。我正在通过Atlas使用Mongo，并在相同的数据库和集合上运行查询。
为了测试这一点，我创建了一个python脚本，它生成一些随机的大数据，然后用upsert=True调用pymongo中的update_one()函数。我使用line_profiler库()检查每个语句的执行时间。
当我在本地机器上运行这个命令时，update_one()调用需要0.3秒。当我在我的一台服务器上尝试同样的方法时，大约花了4秒。在另一台服务器上，它花了1.8秒。同样的时间(±0.2秒)，对所有的重复尝试也是一样的。不管从哪里调用，它们不应该花费
浏览 0提问于2021-01-15得票数 0
我正在编写一些Python代码来更新竞赛的最后一个回填日期。我可以在mongo中手动完成此操作，但是当我试图将查询转换为pymongo语法时，会出现问题。
代码：
ShoutletContestConfig.objects().update(
{ '_id': contest },
{ '$set': { 'config.submission.twitter_retweet_last_backfilled': backfill_date } },
**{ 'upsert':
浏览 1提问于2015-09-15得票数 0
我正在写一个更新mongo文档的bash脚本。如果它是一个新文档，那么它会在mongo中创建一个新文档，否则会更新它。我希望将bash数组变量传递给mongo查询，因为很少有字段是数组类型的。我不确定如何传递数组字段。任何帮助都将不胜感激。这是我的查询：db.my_col.update({emp_id: '"'$emp_id'"'}, {$set: {contacts: '"'${contacts}'"', emp_name: '"'$emp_name'"&#
浏览 1提问于2020-06-24得票数 1
我希望有一个JSON文件，通过它我可以向数据库提供新的条目。如果条目已经存在，则应检查该条目是否已被修改。如果是这样，则应该更新条目。如果是新的，应该插入。我成功地插入了新的条目，但是为了进行更新，我被卡住了，代码无法运行：
Fruits = new Mongo.Collection('fruits');
var fruitSeeds = [
{
"nameId": "passionFruit",
"name": "Passion Fruit",
},
{
"nameId"
浏览 2提问于2015-09-02得票数 0
回答已采纳
如何在Mongo中更新嵌套JSON文档中的字段？
{
_id : '123'
friends: [
{name: 'allen', emails: [
{
video: {
name:'abc',
subType:'video',
status:'active'
}
},
{
video: {
n
浏览 0提问于2019-04-02得票数 1
5回答
我已经在mongodb服务器上安装了mongo连接器。
我通过发出命令来执行
mongo-connector -m [remote mongo server IP]:[remote mongo server port] -t [elastic search server IP]:[elastic search server Port] -d elastic_doc_manager.py
我也尝试过这样做，因为mongo运行在与默认端口相同的服务器上。
mongo-connector -t [elastic search server IP]:[elastic search server Po
浏览 7提问于2016-02-26得票数 1
回答已采纳
我需要在shell中使用python脚本运行一个mongo聚合命令。我如何才能做到这一点？这是我的尝试
import subprocess
printj = 'aggregation_query'
cmd ='mongo --quiet mydb --eval',"'",printj,"'",' > output_traffic.json'
subprocess.call(cmd)
它会给出一个错误
File "shellcmd.py", line 15, in &l
浏览 3提问于2013-11-28得票数 0
全
我刚从我们的掌声中得到一个奇怪的错误：
当我用两个进程更新时，它抱怨在一个集合上出现了一个重复的键错误，其中有一个唯一的索引，但是所讨论的操作是一个新插入。
案例代码：
import time
from bson import Binary
from pymongo import MongoClient, DESCENDING
bucket = MongoClient('127.0.0.1', 27017)['test']['foo']
bucket.drop()
bucket.update({'timestamp': 0}
浏览 6提问于2015-08-12得票数 14
回答已采纳
1回答
我试图用csv文件中的数据更新mongodb，我的csv文件包含了诸如票证-ID、类型、描述等列。如果具有相同“票证-ID”的文档已经存在于集合中，那么我想要更新该文档中“票据-ID”的其他列，或者我想插入一个新文档，我尝试了下面的代码
def fix_dict(self,data, ignore_duplicate_key=True):
if isinstance(data, (list, tuple)):
list2 = list()
for e in data:
list2.append(self.fix_dict(
浏览 0提问于2016-11-24得票数 0
回答已采纳
我有一个python脚本将csv文件插入到mongodb集合中。
import pymongo
import pandas as pd
import json
client = pymongo.MongoClient("mongodb://localhost:27017")
df = pd.read_csv("iris.csv")
data = df.to_dict(oreint = "records")
db = client["Database name"]
db.CollectionName.insert_many
浏览 4提问于2022-05-09得票数 0
2回答
由于在工作中创建学习材料的特定情况，我正在寻找一种方法来创建一个数据库和一个集合，但只使用终端，也就是说没有Mongo shell或Mongo Compass GUI。
其思想是在使用mongoimport之前从终端创建db和集合，如下所示：
# Create database `company-example` and collection `employees` from the terminal
# ...
# ...
# Import the data to the collection
mongoimport --db=company-example --collectio
浏览 2提问于2021-02-03得票数 0
我是MongoDB新手，我尝试使用命令将JSON文件从本地导入到MongoDB
mongoimport --db testingdb --collection dbcollection1 --file books.json --jsonArray
它完美地将数据附加到集合中。但是，当我在同一个JSON文件中编辑一些文档并重新执行命令而不是更新文档时，它会再次追加相同的数据。那么，如何通过更新数据库中已经存在的文档来将文档添加到集合中呢？
浏览 4提问于2015-08-26得票数 1
回答已采纳
1回答
我想用pymongo(3.0.3版)根据文档的ID更新现有的mongodb文档。但是，我的python代码没有任何更新。有人知道为什么吗..？
下面是我想要运行的mongodb脚本，它在mongo客户端Robomongo上运行得很好。
db.mycollection.update(
{ '_id': ObjectId("55d49338b9796c337c894df3") },
{ $set: { "details.model": "14Q22" } },
upsert=false
)
但是，这段python代码不
浏览 2提问于2015-08-24得票数 4
回答已采纳
7回答
我像这样尝试了mongo import
mongoimport -d test -c foo importfile.jsonmongoimport --host localhost --db local --collection lecturer --type json --file temp.json --headerline --upsert
并且我得到了相同的错误信息"Syntax Error: missing；wrong (shell):1“我的代码有什么问题&如果我的数据存储在C:\Documents and Settings\User\Desktop？请帮帮忙，提前
浏览 51提问于2012-06-15得票数 18
我有一个mongoDB作为码头集装箱。我想跑：
mongoimport C:\Users\Me\Desktop\tv-shows.json -d movieData -c movies --jsonArray --drop
但这条路是错的。我应该先把我的json文件放到mongo容器里吗？
如何在json文件中导入文档？
到目前为止，我发现了一个错误：
E查询js未指明的异常: SyntaxError:意外令牌:标识符：@(shell):1:12
浏览 1提问于2019-10-29得票数 0
我是python、mongodb和sql的新手。我在Mac10.7上使用Eclipse3.7.1。我正在使用pyodbc驱动程序(和freeTDS)连接到mssql数据库。我正在用python 2.7编写脚本。我想查询mssql数据库并将其写出到mongo数据库。
我的缺点是查询输出是在一个没有字段名的元组的python列表中，我正在寻找一种方法将这个元组列表转换为mongodb将导入的形式。
当前脚本：
############
# Query mssql
import pyodbc
import json
url = 'DSN=myServe
浏览 4提问于2011-10-13得票数 1
回答已采纳
我使用mongo-connector从mongoDB replicaSet同步数据，并使用elast2- Doc -manager作为文档管理器。
我以如下方式运行mongo-connector：
$mongo-connector --auto-commit-interval=5 --verbose -m 127.0.0.1:27017 -t localhost:9200 -d elastic2_doc_manager --namespace-set=db.collection1,db.collection2 --fields=f1,f2,f3
在某种程度上，我得到了这样的异常：
Traceb
浏览 4提问于2016-04-09得票数 1
我写了一个简单的脚本，在mongo数据库中保存一个JSON，我的问题是当我运行这个脚本时，我得到了一条消息ImportError: No module named mongo，为什么我得到这个错误：
import mongo
json = {
"id": 1,
"name": "A green door",
"price": 12.50,
"tags": ["home", "green"]
}
m
浏览 0提问于2015-11-23得票数 0
我正在使用的mongodb驱动程序来查询elixir/phoenix项目中的mongodb数据库。在另一个问题中，我询问了如何查询嵌套的json。另一个问题是如何查询插入的文档。例如，我可以在python中执行以下操作
date_=db['posts']['name'][name]['date'][date]
这里，“post”是集合的名称，其他是插入的文档。例如，一个'date‘文档通过以下方式插入：
db['posts']['name'][name].insert_one({"date
浏览 10提问于2020-02-07得票数 0
1回答
我在rails项目中使用mongoid。我有一个获取JSON格式(散列数组)的客户端记录的API调用。
users = api.get_users # Returns JSON
为了利用Mongo的搜索、排序和分页，我希望将通过API获得的记录存储在数据库中。
当然，我可以遍历JSON中的每条记录并执行类似User.create(user)的操作，但我希望一次导入所有记录并在数据库中创建每条记录。也许使用？
有什么建议吗？
浏览 2提问于2019-10-30得票数 0
我对集合中的唯一值有一些问题。有人知道我应该使用哪个运算符或条件来使用updateMany方法为mongo中的每个文档设置uniq编号吗？
例如：
{title: 'Hello'},
{title: 'World'},
{title: 'Mongo'},
{title: 'JSON'}
我需要在循环中附加place字段的值+1：
{title: 'Hello', place: 1},
{title: 'World', place: 2},
{title: 'Mongo', pla
浏览 0提问于2020-04-08得票数 1
我刚搬到一台新的笔记本电脑上，里面有一台mongo 3.0.0，我想。在新的笔记本电脑上，我有mongo 3.0.4。尝试使用旧笔记本电脑的脚本会给我带来错误。这一行给了我错误。
mongoimport --host localhost \
-db roudy123_q \
-collection LebaneseAmericanUniversity\(Lebanon\).json \
--file LebaneseAmericanUniversity\(Lebanon\).json \
--jso
浏览 6提问于2015-06-20得票数 14
回答已采纳
我是新来mongo的，我希望你能帮我回答一个新手问题。
我试图在一个查询中实现此功能，方法是获取任意对象，如id：
If no found results, then insert, else just return found results
这对于insert-batch也是可能的吗？如果没有找到一个插入数组元素的结果，则insert，else将该元素与数组中的其他元素一起返回。
到目前为止，我在所有地方都推荐使用upsert (它实现了一些不同的功能)或findAndModify (我不确定它是否是过度杀伤力)
我非常感谢你能提供帮助。
万事如意，
本
浏览 0提问于2015-11-18得票数 1
我现在有这样的代码，它循环遍历mongoDB集合表中的每一行，或者插入一行或用新数据更新一行(取决于今天的日期和studentID是否在那里)：
for rowindex, row in InsertionData.iterrows():
record = row.to_dict()
record['date'] = datetime.datetime.combine(datetime.date.today(), datetime.time(0, 0))
collection.replace_one({'student': row.get
浏览 4提问于2020-03-30得票数 0
回答已采纳
如何使用java-driver将数据上传到mongodb集合中？
我尝试(使用空集合)：
db.getCollection(collection).update(new BasicDBObject("_id", "12"), dbobject, true, false);
但是文档是用_id == ObjectID(...)创建的。值不是"12“。
此代码(js)按预期添加_id = "12“的文档
db.metaclass.update(
{ _id:12},
{
$set: {b:1}
},
{ upsert
浏览 5提问于2013-06-26得票数 22
回答已采纳
1回答
我直接将数据从postgresql转换为json，并将其传输到mongo。 sql= """select array_to_json(array_agg(row_to_json(a))) from(select * from {}) a ; """.format(row[0])
cursor.execute(sql_etl)
data = cursor.fetchall()
data=data[0][0]
if isinstance(data, list):
co
浏览 112提问于2020-10-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
