0回答
有没有办法在SparkConf中指定多个MongoDB主机？文档()中的示例似乎表明没有。spark.mongodb.output.uri=mongodb://127.0.0.1/spark.mongodb.output.collection
浏览 7提问于2017-01-05得票数 2
回答已采纳
mongo-hadoop和mongo-spark连接器有什么不同，pymongo只能和mango-hadoop一起使用吗？
pymongo只与mongo-hadoop一起使用吗？
浏览 2提问于2018-07-10得票数 0
2回答
我正在尝试使用Mesos将Apache Spark连接到MongoDB。这是我的架构：现在我只在1个节点上安装了Spark。关于这方面的信息并不多。我只想提几个问题：
据我所知，我可以通过mesos将星火连接到MongoDB。换句话说，我最终使用MongoDB作为存储层。我真的
浏览 29提问于2016-08-17得票数 0
2回答
我需要在MongoDB集合中工作，读和写。一切都很好。我使用下面的包开始使用MongoDB连接然而，问题在于它在命令行中，在命令行中编写大量代码变得非常困难有人知道如何使用相同的功能在py魅力中工作，或者如何使用-packages选项启动吡咯烷酮实例？
浏览 3提问于2017-10-14得票数 0
回答已采纳
java.util.concurrent.ExecutionException: java.lang.IllegalArgumentException: Invalid JSON String: '' 选项1： data = spark.read.format("com.microsoft.azure.cosmosdb.spark").option("Endpoint", "https://cosmosdb-myendpoint.com:443/&
浏览 5提问于2020-04-21得票数 0
回答已采纳
我用的是官方的芒果火花连接器。
val readConfig = ReadConfig(Map("spark.mongodb.auth.uri" -> "
浏览 5提问于2016-09-19得票数 6
回答已采纳
我正在尝试将数据从Spark (使用Databricks)写入Azure Cosmos DB(Mongo DB)。执行notebook时没有错误，但查询集合时出现以下错误。我已经使用了来自数据库网站azure-cosmosdb-spark_2.4.0_2.11-2.1.2-uber.jar.的jar我的版本是6.5 (包括Apache Spark 2.4.5，Scala2.11) import org.joda.time.format._
import com.microsoft.azure.cosmos
浏览 4提问于2020-06-12得票数 0
我已经按照这里的链接安装，构建是成功的，但我找不到连接器。.config("spark.mongodb.read.connection.uri", "mongodb://127.0.0.1/intca2.tweetsIntca2") \
.config("spark.mongodb.write.connection.uri", "mong
浏览 11提问于2022-05-16得票数 0
我使用的是mongo-spark-connector_2.11版本的2.2.1，它说ConflictTypes有一个基本类型为StringType。因此，解决办法是传递模式、列名和类型，这样连接器就不会推断类型本身。但是如何传递模式呢？这是我从mongo读的Java代码
DataFrameReader x = ss.read().format("com.mongodb.spark.sql.DefaultSource").options("<
浏览 2提问于2018-03-17得票数 2
: clusterListener can not be nullval sparkVersion = "org.twitter4j" % "twitter4j-stream" % "4.0.6",
"com.twitter" %% "bijection-avro" % "0.9.
浏览 2提问于2018-05-27得票数 0
我正试图按如下方式将spark (pyspark)连接到mongodb：conf.set('spark.mongodb.input.uri', default_mongo_uri我也做了同样的事情，我从火花公子壳，我能够检索数据。这是我运行的命令：
pyspark --conf "spark.mongodb.input.uri=mongodb_uri" -
浏览 1提问于2018-06-21得票数 11
我试图通过java火花连接器与MongoDB连接，当我提交jar并在火花外壳中运行jar时，我得到了一个错误"com.mongodb.spark.config.writeconfig“。/bin/sparkR -conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?/bin/sparkR -conf
浏览 5提问于2017-12-27得票数 1
回答已采纳
2回答
我试图从spark中写信给MongoDB，为了试验目的，我正在启动spark 2外壳(火花版本=2.1.1.2.6.1.0-129)，如下所述:-并在其中运行以下代码：import org.apache.spark.sql{SaveMode, SparkS
浏览 3提问于2018-05-28得票数 0
回答已采纳
2回答
我一直在试图了解蒙戈火花连接器是如何工作的罩下，但我仍然没有得到整个工作逻辑的背后。entity_df = sqlContext.read.format("com.mongodb.spark.sql.DefaultSour
浏览 3提问于2017-12-15得票数 0
回答已采纳
在Spark.mongo连接器中，可以在mongo中查询服务器长度，java和scala提供了有关查询不同集合的更多信息，如下所示：然后，在代码中可以指定另一个集合，设置配置：
sc.loadFromMongoDB(ReadConf
浏览 3提问于2016-08-23得票数 0
回答已采纳
我正在尝试MongoDB的Spark连接器从MongoDB读取数据。在启动应用程序时，我向Spark conf对象提供了DB和集合详细信息。然后使用下面这段代码来阅读。") .confi
浏览 2提问于2017-04-20得票数 1
我计划用Google平台准备一个无服务器的数据管道。我的计划是使用Dataflow/ Dataproc处理来自三个不同来源的批处理数据。我的输入来源是：
但是在阅读了他们的文档之后，我得到了他们没有任何关于cloud或MongoDB的输入。此外，我已经检查了他们的自定义驱动程序部分，但这只是针对Java的，但我
浏览 0提问于2018-06-11得票数 0
我正在使用一个带有Spark的Databricks Scala笔记本连接到MongoDB，并且我试图理解为什么当我尝试连接到我的MongoDB集群时会出现这个错误。读取的代码如下所示。").load()我还在我的笔记本库中安装了以下库mongodb_driver
浏览 1提问于2020-05-04得票数 0
2回答
如何在将Mongodb集合映射到Spark dataframe时避免冲突的数据类型。我们不能将冲突的数据类型转换为字符串。并在执行select操作时出错。我使用的是Mongodb-Spark-connector v2.10:1.0.0
浏览 4提问于2016-07-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
