我已经用PHP编写了一个报告应用程序，它使用MongoDB作为数据库引擎。最初，这个应用程序在数据库集合(或表)中最多处理1000个文档(或记录)。现在，我需要使此应用程序为大数据做好准备。为此，我正在考虑使用Apache Spark作为大数据框架，这样我就可以实时处理数据并生成分析。
但我听说Apache Spark只提供Python和Scala选项。所以我的问
浏览 15提问于2018-01-28得票数 0
回答已采纳
1回答
我正在尝试将数据从hdfs移动到mongodb。我可以通过下面的命令行来实现这一点。"/user/name.txt" | mongoimport --host 127.0.0.1:27018 -d cds -c hello --type tsv --headerline
为此，我需要编写一个从hdfs读取文件并转储到scala中的mongodb。
浏览 0提问于2017-10-16得票数 0
我正在开发一个使用MongoDB作为数据库平台的PHP应用程序。MongoDB中的集合有大量的数据.Hence，我选择Apache Spark来生成分析。我需要从PHP application.But执行spark-submit命令，它的执行不会向PHP应用程序返回任何输出。$result=shell_exec('./bin/spark</em
浏览 0提问于2016-08-16得票数 0
3回答
我想要创建一个独立的scala代码，它使用自定义设置从MongoDB读取，使用MongoDB网站中的。 "org.apache.spark" %% "spark-core" % "2.4.1",
"org.apache.sp
浏览 25提问于2020-06-10得票数 5
我正在尝试这里建议的代码：scala> import org.apache.spark.mllib.tree.RandomForest<console>:8: error: object apache is not a member of package org
import org.apache.spark.mllib.tree.RandomFor
浏览 67提问于2015-04-08得票数 3
我想要达到的最终目标是使用Scala代码作为独立应用程序，通过MongoDB集合查询Spark 。我已经成功地在运行"Windows 10"操作系统的本地安装了Spark。我可以运行火花壳，火花主节点和工人节点。所以从外观上看，apache的火花在我的p.c上运行得很好当我尝试使用我的scala项目中的相同代码时，使用</e
浏览 2提问于2019-07-22得票数 0
回答已采纳
我正尝试在一个远程mongodb集合中插入一个spark sql数据帧。以前，我用MongoClient编写了一个java程序来检查远程收集是否可访问，并且我成功地做到了这一点。: com.mongodb.spark.sql.DefaultSource.createRelation(Lorg/apache/spark/sql/SQLContext;Lorg/apache/spark</
浏览 1提问于2016-08-10得票数 3
我正在尝试MongoDB的Spark连接器从MongoDB读取数据。在启动应用程序时，我向Spark conf对象提供了DB和集合详细信息。然后使用下面这段代码来阅读。")
.config("spark.mongodb.input.uri", "mongodb://localhost:27017/Employee.zipcodes")
浏览 2提问于2017-04-20得票数 1
我正试图连接到MongoDB来编写一个集合。:209) at com.mongodb.spark.config.MongoCompanionConfigat com.mongodb.spark.config.WriteConfig$.apply(WriteConfig.scala:37)
at
浏览 1提问于2021-10-06得票数 1
回答已采纳
当我的雇主大举转向MongoDB、红移和星火时。我正在尝试积极主动地使用每一项技术。您能给我推荐一些对执行这项任务有帮助的资源吗？“使用Apache Spark创建数据管道，将数据从MongoDB移动到RedShift”。我知道要使用Apache Spark
浏览 0提问于2017-09-08得票数 1
1回答
我正在使用Spark1.3.1，并试图使用版本1.3.2和mongo驱动程序3.0.1将RDD保存到mongodb。当我在独立集群上运行下面的应用程序时，驱动程序会被标记为失败。这是我用来复制问题的代码，import org.apache.spark.SparkContext
import org.apache.spark
浏览 3提问于2015-05-15得票数 1
回答已采纳
我使用的是play framework 2.2.0，并使用salat为play+ scala配置了mongo。通过在build.sbt中添加以下内容，我将spark与上面的内容集成在一起"com.typesafe.akka" % "1.3.0",
"org.apache</em
浏览 1提问于2014-12-10得票数 2
Finished: SUCCESS.config("spark.mongodb.input.uri", "mongodb://localhost:2
浏览 10提问于2018-01-28得票数 2
回答已采纳
2回答
我试图从spark中写信给MongoDB，为了试验目的，我正在启动spark 2外壳(火花版本=2.1.1.2.6.1.0-129)，如下所述:-并在其中运行以下代码：import org.apache.spark.sql{SaveMod
浏览 3提问于2018-05-28得票数 0
回答已采纳
我试图激发-提交一个PySpark应用程序，但是每次我尝试它试图从Spark下载一个经过预先训练的模型时，它都会抛出这个错误：
TypeError: 'JavaPackage' object is not如果与此相关，我使用的是Java 8、Spark 3.2.1、PySpark 3.2.1、Spark NLP 3.4.0和Python 3.10 (我也尝试了3.9)。我还使用了一个pipenv环境。", "2000M"
浏览 14提问于2022-04-15得票数 2
0回答
我正在使用 (Spark的C#语言绑定)和MongoDB的C#驱动程序。我的目标是在我的C#应用程序中使用MongoDB作为Spark查询的输入/输出。我知道有一个连接器，但我想继续使用MongoDB来编写我的Spark。
浏览 6提问于2016-07-09得票数 0
现在，我正在使用mongo火花连接器_2.11-2.0.0.jar从mongodb读取数据，mongodb是一个具有5个配置服务器、5个碎片服务器和1个mongos的分片集群。", 60) .config("spark.executor.memory", "32g")
.config("spark.m
浏览 7提问于2017-07-19得票数 1
1回答
任务失败
、
当我在SBT构建系统中使用星星之火与Scala一起读取Json文件时，出现了以下错误：
我的SBT文件是：
// https://mvnrepository.com/artifact
浏览 14提问于2022-11-11得票数 0
我已经使用MongoDB应用编程接口创建了一个azure CosmosDB帐户。我需要将CosmosDB( Azure API)连接到MongoDB Databricks集群，以便从cosmos读取和写入数据。如何将Azure Databricks群集连接到CosmosDB帐户？
浏览 2提问于2018-11-28得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
