尝试将数据加载到spark时获得零记录。printSchema显示根目录。我验证了该集合显示了24条具有多个属性的记录。脚本： import org.apache.spark.sql.SparkSession
builder().getOrCreate();
/
浏览 20提问于2021-08-02得票数 0
我正在尝试从MongoDB读取一个庞大的复杂文档到spark数据框架中。当我将这个数据库转换成json时，它就能工作了。但是，如果我直接从com.mongodb.spark.exceptions.MongoTypeConversionException:中读取，则会得到以下错误:由: MongoDB引起
浏览 1提问于2018-04-03得票数 1
我是Apache的新手，我正在使用Scala和Mongodb来学习它。我试图从我的MongoDB数据库中读取RDD，我的笔记本脚本如下所示：import com.mongodb.spark._
com.mo
浏览 4提问于2021-08-22得票数 1
回答已采纳
我使用官方的MongoDB Spark Connector从MongoDB集合中读取Spark中的数据，代码如下：
val spark = SparkSession.我遇到的问题是，我从MongoDB获取的一些日期/时间作为字符串，它无法将其转换为Spark类型<e
浏览 12提问于2018-11-28得票数 1
我想将数据保存到MongoDB中，同时从推特上流式传输数据。: clusterListener can not be nullval sparkVersion = "" %% "mongo-spark-connector" % &
浏览 2提问于2018-05-27得票数 0
我正在使用一个带有Spark的Databricks Scala笔记本连接到MongoDB，并且我试图理解为什么当我尝试连接到我的MongoDB集群时会出现这个错误。我只是想能够从数据库中读取我的，但我不确定为什么这个错误总是出现。java.lang.NoClassDefFoundError: Could not initialize class
浏览 1提问于2020-05-04得票数 0
我正在获取mongoDB文档，然后在处理之后，我想使用Bson.Document库将其存储到Hbase中在结构化流媒体中，我得到了DatasetDocument
scala> val stream = spark.readStr
浏览 15提问于2019-11-09得票数 2
最后我想使用spark streaming从mongodb change streamsLink中读取数据。 这里想收集30秒转储，然后推入一些文件。我知道我可能需要编写一些自定义接收器(使用pyspark)来从相关的数据源接收数据，但我找不到任何讨论使用PYTHON的Spark Streaming的自定义接收
浏览 44提问于2021-04-16得票数 0
当我试图从Mongo DB中读取数据时，我面临着问题。我有Spark 1.6.3，它有Scala 2.10.5以下是我在Mavan中使用的依赖项<
浏览 0提问于2020-06-18得票数 0
1回答
假设在MongoDB中有多个DB2(DB1，DB2，.DBa，DBb，.)他们每个人都有一些收藏(Col1A，Col1B，.Col2A，Col2B，)$find ../src./src/main/scala
./src/main/scala/application.co
浏览 5提问于2020-06-11得票数 2
1回答
假设我有一个wordcount示例，其中我在一列中以word的形式获得数据，而在另一列中获得wordcount，则希望收集相同的数据，并将其存储为mongo集合中的json数组。word:"abc",count:1},{word:"xyz",count:23}]}
当我在dataframe上尝试.toJSON并将值收集为list并将其添加到dataframe时，存储在mongo中的</e
浏览 2提问于2018-04-13得票数 3
3回答
我想要创建一个独立的scala代码，它使用自定义设置从MongoDB读取，使用MongoDB网站中的。scalaVersion := "2.11.12"
"org.
浏览 25提问于2020-06-10得票数 5
现在，我正在使用mongo火花连接器_2.11-2.0.0.jar从mongodb读取数据，mongodb是一个具有5个配置服务器、5个碎片服务器和1个mongos的分片集群。在运行了一段时间之后，我在我的驱动程序上得到了一个错误代码-5：
导致:错误代码-5的查询失败，服务器192.168.12.161:27017上的错误消息‘游标2639909050433532364’java.util.co
浏览 7提问于2017-07-19得票数 1
目标，我是RN问题当前的mongodb数据是复杂的嵌套dict (struct类型)，有没有一种更容易转换以保存在单元中的方法？config(&
浏览 6提问于2020-03-10得票数 0
回答已采纳
1回答
蒙古出口严格的火种装载
、、、
我有一个使用mongoexport从mongodb导出数据的进程。正如提到的，所有json输出都处于严格的模式中。这意味着数据将如下所示：其中，我的Scala
浏览 3提问于2017-07-05得票数 1
回答已采纳
我想准备一个将索引从MongoDB读取到SQLContext中的Java类，以便在Spark.My代码中处理数据集，如下所示我在maven中使用了以下依赖项：
浏览 1提问于2016-10-09得票数 0
我正在探索新的EMR 6.0.0与码头的支持，以便作出决定，如果我们想使用它。我们的一个项目是用Scala2.11编写的。但是EMR6.0.0是从Scala2.12构建的Spark。所以我转而尝试6.00-beta，它是由Scala2.11构建的Spark2.4.3。如果它在6.0.0-beta上工作，那么我们将把我们的代码升级到</em
浏览 3提问于2020-04-27得票数 1
所以我知道，在Mongo中，您可以使用点表示法来获取您想要的任何文档中的字段。val record = collection.find().projection(fields(include("offset"), excludeId())).limit为此，
浏览 1提问于2018-02-28得票数 2
回答已采纳
我有一个Spark，我希望根据一个特定列的匹配值从它们中选择几个行/记录。我想我可以使用过滤器操作或在映射转换中选择操作来实现这一点。但是，我想针对那些在应用过滤器时没有选择的行/记录更新一个status列。那么，如何知道和更新未被选中的行的列值？
浏览 0提问于2018-07-25得票数 1
使用spark-shell，我可以从本地文件系统上的文件中读取数据，然后进行一些转换，并将最终的RDD保存到/home/output(比方说) RDD成功保存，但只在一个工作节点上，在主节点上只有_SUCCESS现在，如果我想从/home/output读取输出数据，我没有得到任何数据，因为它在主节点上获得0数据，然后我假设它
浏览 19提问于2017-08-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
