在学习Spark SQL时，我一直使用以下方法将集合注册到Spark SQL目录中并对其进行查询。MongoPerson] = Seq(MongoPerson("John", "Doe"))
.write
.format("com.mongodb.spark.sql.DefaultSourc
浏览 25提问于2021-07-02得票数 2
回答已采纳
1回答
假设我有一个wordcount示例，其中我在一列中以word的形式获得数据，而在另一列中获得wordcount，则希望收集相同的数据，并将其存储为mongo集合中的json数组。word:"abc",count:1},{word:"xyz",count:23}]}
当我在dataframe上尝试.toJSON并将值收集为list并将其添加到dataframe时，存储在mongo中的结果是字符串的
浏览 2提问于2018-04-13得票数 3
我正在通过胖客户端连接到apache phoenix，并且已经提供了phoenix-client.jar to --files，但是executor仍然无法找到驱动程序。
浏览 19提问于2019-08-04得票数 0
mongo-hadoop和mongo-spark连接器有什么不同，pymongo只能和mango-hadoop一起使用吗？
pymongo只与mongo-hadoop一起使用吗？
浏览 2提问于2018-07-10得票数 0
我的应用程序是使用MongoDB作为平台构建的。DB中的一个集合具有大量的数据量，并且选择了apache通过计算来检索和生成分析数据。我已经将配置为与MongoDB通信。我需要使用MongoDB吡火花查询来查询集合，并构建一个由mongodb查询结果集组成的数据集。请给我一个适当的解决办法。
浏览 5提问于2016-08-09得票数 3
回答已采纳
我在这里能找到的最接近的问题是。connection_string = 'mongodb://%s:%s/randdb.我还尝试了代码中注释掉的变体。但一切都同样缓慢。对于一个大小为2GB的集合(100000行和1000列)
浏览 9提问于2016-04-20得票数 3
回答已采纳
我已经用partition by date类型列将数据以拼图文件格式保存在仓库中。文件数据保存方式与仓库路径类似。Tespath/filename/dt=2020-02-28
如果我读取所有的数据，它的数据量是非常大的。
浏览 14提问于2020-02-24得票数 1
回答已采纳
1回答
我有一个Spark.Release，其中配置了指向本地C:\驱动器上一个目录的站点。池自动启动，但当访问时，应用程序池将更改为“停止”状态。返回的错误消息是：“”。工作进程将被标记为不健康并被关闭。数据字段包含错误代码。在Windows Logs > System中有5种情况发生：
为应用程序池“Spark.Release”服务的进程报告了应用程序预加载或服务加载期间的故障。过程id为&#x
浏览 1提问于2018-04-27得票数 0
回答已采纳
2回答
我希望预加载一个名为img的目录中的所有图像，该目录还包含一个名为ui_images的子目录。我知道如何通过将特定图像的名称放入数组并执行预加载工作来预加载特定图像，但我想知道如何告诉脚本动态搜索img和img/ui_images目录中</
浏览 1提问于2012-09-10得票数 2
回答已采纳
我还安装了它的R软件包SparkR，我可以使用它通过火花-壳牌和通过RStudio，然而，有一个区别，我无法解决。./bin/sparkR --master local[7] --packages com.databricks:spark-csv_2.10:1.0.3flights<- read.df(sqlContext, "data/nycflights13.csv", "com.databricks.spark
浏览 0提问于2015-06-16得票数 4
回答已采纳
我正在从mongodb集合中提取数据，并使用Spark python代码将其写入bigquery表。下面是我的代码片段： .format("com.mongodb.spark.sql.DefaultSource")\
.option("uri","mongodb_url但我只想提取满足条件的文档(如sql</e
浏览 1提问于2021-02-18得票数 0
我使用Spark将数据从一个集合移动到其他集群中的另一个集合。数据的模式是不一致的(我的意思是在一个集合中有很少的模式，具有不同的数据类型，变化很小)。当我尝试从spark读取数据时，采样无法获得数据的所有模式，并抛出下面的错误。(我有一个复杂的模式，我不能明确地提到它，而不是通过采样来获取spark。)com.mongodb.
浏览 0提问于2018-06-21得票数 5
2回答
我们有一个使用自定义python代码消费CDC流的MongoDB。CDC流被转储为文件，由spark进一步使用，它对文件运行SQL并将结果集转储到Kafka中。问题：这些是如何处理的？什么是行业标准？
浏览 10提问于2022-06-28得票数 0
我使用Spark已经有一段时间了，在Python中取得了成功，但是我们有一个用C#编写的产品，它将从分布式和并行执行中受益良多。我做了一些研究，并尝试了新的C#应用程序接口，但目前这有点限制。然而，我想知道在我们的用例中，它是否真的可以用来取代Spark --我们需要的是一种执行数据帧类型操作的分布式方式。特别是，我们在Python中的许多代码都是使用Pandas
浏览 14提问于2019-11-08得票数 0
回答已采纳
3回答
我有一些使用Apache Spark和Spark-SQL的经验。最近我发现了Apache Drill项目。你能描述一下它们之间最重要的优势/区别是什么吗？我已经读过了，但这个话题对我来说还不清楚。
浏览 0提问于2015-04-22得票数 15
回答已采纳
1回答
我想在我的web应用程序中预先加载我的目录。我正在使用EF4，并希望预取我所有的目录数据。有没有简单的方法可以用EF4做到这一点呢？数据库结构: Catalog ->类别->类别->产品->选项谢谢
浏览 0提问于2011-06-01得票数 1
回答已采纳
我在我的DataFrame上使用了.saveAsTable，现在它存储在我的HDFS hive仓库元存储中。如何将其重新加载到Spark SQL中？我已经删除了我的集群(Azure HDInsight)，并创建了一个新的集群，确认了我的Hive元存储位置是相同的，并且目录仍然在那里。我需要再次将其作为持久表加载，而不是像使用Po
浏览 0提问于2018-03-19得票数 1
要创建使用EXAMPLE...to的新控制台应用程序，您必须引用该程序集，并将控制台应用程序的输出目录设置为已安装应用程序的BIN目录。(由于使用反射等，所有东西都必须留在应用程序的BIN目录中并输出到该目录，您不能只复制一个程序集的本地，否则什么都不能工作)
我的问题是，在创建ASP.NET web forms应用程序时(与控
浏览 0提问于2013-06-25得票数 1
回答已采纳
我正在尝试将MySQL数据库迁移到MongoDB数据库，方法是遍历各行，获取数据，然后从相应的MongoDB行插入正确的MySQL信息。我想知道访问原始.SQL文件(在Ruby语言中)的最佳方式，这样我就可以将其放入哈希表中。
浏览 0提问于2011-06-29得票数 0
回答已采纳
背景
控制台应用程序执行得非常好。我应该注意到，我知道这是Oracle.ManagedDataAccess DLL 32&64位版本之间的一个比特问题。但是，为什么针对同一
浏览 4提问于2013-02-21得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
