如何使用Mongo ObjectId类型的自定义_id字段向spark dataframe添加列
在使用MongoDB的ObjectId类型的自定义_id字段向Spark DataFrame添加列时，可以按照以下步骤进行操作：
- 导入所需的库和模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col- 创建SparkSession对象：
spark = SparkSession.builder.appName("MongoDB to DataFrame").getOrCreate()- 从MongoDB中读取数据并创建DataFrame：
df = spark.read.format("mongo").option("uri", "mongodb://localhost/db.collection").load()其中，"mongodb://localhost/db.collection"是MongoDB的连接字符串，指定了要读取的数据库和集合。
- 使用withColumn方法添加新列：
df = df.withColumn("custom_id", col("_id").cast("string"))这里将"_id"字段转换为字符串类型，并将其添加为名为"custom_id"的新列。
- 显示DataFrame的内容：
df.show()完整的代码示例：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
spark = SparkSession.builder.appName("MongoDB to DataFrame").getOrCreate()
df = spark.read.format("mongo").option("uri", "mongodb://localhost/db.collection").load()
df = df.withColumn("custom_id", col("_id").cast("string"))
df.show()对于MongoDB ObjectId类型的自定义_id字段向Spark DataFrame添加列的应用场景，可以是需要在分析过程中使用_id字段的字符串表示形式，或者需要与其他数据源进行关联时使用。
推荐的腾讯云相关产品是TencentDB for MongoDB，它是一种高性能、可扩展的云数据库服务，提供了全面的MongoDB兼容性和功能。您可以通过以下链接了解更多信息： TencentDB for MongoDB
请注意，本答案中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商，以遵守问题要求。
相关·内容
我正在尝试将数据从Elasticsearch加载到Mongo DB。我希望在写入_id时保留elasticsearch中存在的相同Mongo值。我可以这样做，但是Elastic search中的_id字段是字符串类型，我想在将其转换为Mongo ObjectId数据类型后将其推送到Mongo DB中。来自elasticsearch的数据被加载到一个数据帧中。我<e
浏览 19提问于2019-08-06得票数 2
我正在尝试添加一个简单的字符串列表：List<string> myList = new List<string>(misc);并且它将返回错误：“子类必须实现GetDocumentID”mongo_collection.InsertBatch(myList);
浏览 0提问于2012-04-14得票数 0
回答已采纳
我试图向MongoDB写入一个Spark，它包含一个ObjectId的字符串表示形式，它是另一个集合的_id。关键是，PySpark不支持ObjectId (Scala和Java ObjectId支持在这里解释：)，所以，如何使用Spark从PySpark将ObjectId插入MongoDB？
浏览 3提问于2017-11-23得票数 3
回答已采纳
3回答
的Id属性时发生错误:无法从BsonType ObjectId反序列化字符串。文档是这样的吗？
MongoConnectionHelper连接到DB，DocumentController有检索所有文档的方法，文档包含您在回答中建议的内容。编辑这里是文档类：public class Document public ObjectId _id { get; set; }
[DataMembe
浏览 2提问于2013-01-11得票数 5
回答已采纳
1回答
此集合保存来自用户的消息，来自集合的文档具有以下属性 _id : ObjectId, created: DateTime由于我需要通过conversationId查询(加上_id的ObjectId类型，不能很好地扩展到许多插入)，所以_id显然不能正常工作。在查询隔离方面，通过conversationId进行切分是一种合乎逻辑<em
浏览 1提问于2013-09-04得票数 2
回答已采纳
1回答
使用Spark标记文本内容？
、、、、
我致力于实现一项要求，即使用apache和mongodb为文档创建一个单词字典。
在我的场景中，我有一个mongo集合，其中每个文档都有一些文本类型字段以及一个文档所有者的字段。我希望解析集合文档中的文本内容，并创建一个字典，将单词映射到文档和所有者字段。基本上，键将是一个word，值将是_id和owner字段。这样做的目的是根据用户的文档在用户界面中输入文本框时
浏览 0提问于2017-05-07得票数 0
我们使用mongodb-driver-reactivestreams (1.9.0)
org.bson.codecs.configuration.CodecConfigurationException:Decoding '_id' errored with: readString can only be called when CurrentBSONType is STRING, not when CurrentBSONTypeis OBJECT_ID.Decoding '_id'
浏览 1提问于2018-08-17得票数 2
我有一个场景，我所有的Mongodb集合都有一个objectId列。我正在阅读使用pymongo的藏书，并将它们转换成熊猫dataframe。当我尝试使用AWS、lambda、wrangler库或Pyarrow在with type ObjectId: did not recognize Python value type when inferringan Arrow data type"中失败时，我试图将其写成拼板
如果列类型为Obj
浏览 9提问于2022-02-17得票数 0
回答已采纳
来自Mongo提供的以下教程：我是否正确地认识到，本质上所发生的事情是，Mongo首先放弃了收集，然后它用新的数据重写了该集合？我的问题是，是否可以使用MongoSpark连接器来实际更新Mongo中的</
浏览 4提问于2017-01-12得票数 4
回答已采纳
1回答
我无法访问任何_id对象的mongoose.model。我知道有很多类似的答案，但都解决不了我的问题。我正在使用mongoose和TypeScript。我已经收集了包含现有Mixed _id的数据 _id: 10, email: "someString",..._id: 10, name: "someString", emai
浏览 2提问于2020-11-02得票数 2
回答已采纳
我有一个对象数组，这些对象具有不同属性的值。我无法处理Golang中的对象数组中相同属性具有不同值的情况。在这种使用Golang的场景中，我如何使用或运算符动态准备mongodb查询？
浏览 2提问于2021-05-13得票数 0
我有一个spring @Document object Profile@DbRef该文件被写入另一个集合类型GridFS:79)我不明白，如果有人想引用我感兴趣的文件
浏览 4提问于2012-02-07得票数 3
2回答
使用mgo强制类型映射
、、、
当_id成员的类型仅从bson.ObjectId派生时，它不再映射为ObjectId类型： "gopkg.in/mgo.v2"蒙戈壳牌：{ "_id&quo
浏览 0提问于2017-01-11得票数 2
回答已采纳
我是MongoDB和Mongojack的新手，我正在尝试更新一个文档，如果它已经退出，或者插入一个新文档。为了测试的目的，我使用下面的代码，这是按钮点击事件。我的问题是，当我第一次单击按钮时，它会添加一个具有生成的对象id的文档，但当我再次单击时，它会添加另一个具有相同对象id的文档。我希望在这个集合中只保留一个文档，通过每次更新。在googling搜索之后，我在_id字段
浏览 25提问于2016-09-27得票数 0
使用MongoDB的灵活模式，我想学习给定字段的可变"$type“。如何获得$type的sample._id列表？或者如何重写此查询以显示与给定类型编号不匹配
浏览 0提问于2019-02-10得票数 1
回答已采纳
MongoDB将创建的时间戳存储在主键字段_id ObjectId中。此字段已编制索引。
我需要按日期(而不是创建日期)存储和过滤文档，我想利用此字段。如何使用自定义日期生成唯一的ObjectIds？我应该这么做吗？或者我应该为我的日期创建另一个字段并对其进行索引。
浏览 1提问于2015-11-21得票数 2
Scala2.10在这里使用Spark1.6.2。我有一个与类似的(但不是相同的)问题，然而，被接受的答案不是，它假定了关于火花的某种“预先知识”；因此我无法复制它或理解它。(更重要的是，)，这个问题也仅限于向现有的dataframe中添加一个新列，而我需要添加一个列以及数据中所有现有行的值。因此，我希望向现有的DataFrame添加</
浏览 4提问于2016-10-10得票数 7
回答已采纳
3回答
CastError猫鼬
、、、
我在一个express/nodejs项目中使用mongodb。我有一个嵌套的模式，这样主题就有类别。"kind": "ObjectID", "_id": 0,
浏览 4提问于2017-03-31得票数 0
回答已采纳
3回答
我有以下MongoDB查询，并使用mongodb node.js驱动程序连接：}).catch(function (err) {});Object { n: 1, ok: 1
浏览 1提问于2018-09-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
