mongoimport显示错误: E11000重复键错误

基础概念

mongoimport 是 MongoDB 提供的一个命令行工具，用于将数据从文件导入到 MongoDB 数据库中。错误代码 E11000 表示在插入数据时发生了重复键错误（Duplicate Key Error）。这通常是因为尝试插入的数据违反了集合中的唯一索引约束。

类型

JSON：支持 JSON 格式的数据文件。
CSV：支持逗号分隔值格式的数据文件。
TSV：支持制表符分隔值格式的数据文件。

应用场景

数据迁移：将数据从其他数据库或文件系统迁移到 MongoDB。
批量导入：在初始化数据库时，快速导入大量初始数据。
数据备份和恢复：将数据导出为文件，再导入到另一个 MongoDB 实例中。

问题原因

E11000 错误通常是由于以下原因之一引起的：

唯一索引冲突：尝试插入的数据违反了集合中的唯一索引约束。
数据重复：导入的数据中包含重复的键值。

解决方法

检查唯一索引：
- 确保集合中没有重复的唯一索引。
- 可以使用 db.collection.getIndexes() 命令查看集合中的所有索引。

处理重复数据：
- 在导入前，检查并删除或修改重复的数据。
- 可以使用以下示例代码来处理 CSV 文件中的重复数据：

import csv

def remove_duplicates(input_file, output_file):
    seen = set()
    with open(input_file, 'r') as infile, open(output_file, 'w', newline='') as outfile:
        reader = csv.DictReader(infile)
        writer = csv.DictWriter(outfile, fieldnames=reader.fieldnames)
        writer.writeheader()
        for row in reader:
            row_tuple = tuple(row.items())
            if row_tuple not in seen:
                seen.add(row_tuple)
                writer.writerow(row)

# 示例用法
remove_duplicates('input.csv', 'output.csv')

使用 mongoimport 的 --upsert 选项：
- 如果希望在插入时更新已存在的文档，可以使用 --upsert 选项。
- 示例命令：

mongoimport --db mydatabase --collection mycollection --file data.json --upsert

检查数据文件：
- 确保数据文件中没有重复的键值。
- 可以使用以下示例代码来检查 JSON 文件中的重复数据：

import json

def check_duplicates(input_file):
    seen = set()
    with open(input_file, 'r') as infile:
        data = json.load(infile)
        for item in data:
            item_tuple = tuple(item.items())
            if item_tuple in seen:
                print(f"Duplicate found: {item}")
            else:
                seen.add(item_tuple)

# 示例用法
check_duplicates('data.json')