我从一个使用,作为分隔符的文本文件中读取了帐户： val csv = spark.read.text("src/main/resources/in/insight/account_issues.txt")
import spark.sqlContext.implicits._
val string_account = csv.map(_.getString(0)).collect.toLi
浏览 3提问于2019-02-11得票数 2
回答已采纳
1回答
我正试图将一个变量传递给一个火花壳会话。本质上，我的目标是创建一个代码，它将逐行读取文本文件并逐一执行文本文件中的SQL查询。要做到这一点，我需要能够将"p“的值传递到火花会话中。<< 'EOF':quit上面的代码给出了以下错误：
scala> s
浏览 1提问于2018-10-02得票数 1
回答已采纳
5回答
.Net数据处理建议
、、、、
它需要做的一部分是在营养信息数据库上运行查询。我所拥有的是美国农业部的，它是以平面分隔的ASCII码文件的形式。
我需要的是建议。我正在寻找最好的方法来将这些数据导入到应用程序中，并在运行时轻松快速地进行查询。我将使用它来做所有标准的事情。动态填充控件，Datagrids，计算等。我还需要做用户特定的持久化数据存储。我对.Net Framework3.5很满意，所以在访问数据时可以
浏览 7提问于2008-11-06得票数 1
回答已采纳
1回答
使用Apache Spark (或pyspark)，我可以将文本文件读取/加载到spark dataframe中，并将该数据加载到sql中，如下所示：df.write(.....)
问题：如果数据文件在zip文件中，我们如何实现相同的</
浏览 10提问于2022-07-07得票数 0
2回答
我想使用PySpark.But执行Cassandra CQL查询，我没有找到执行它的方法。我可以将整个表加载到dataframe并创建临时视图并查询它。df = spark.read.format("org.apache.spark.sql.cassandra").options(table="country_production2",keyspace="country").load()
df.createOr
浏览 17提问于2020-07-22得票数 0
我有下面的SparkSQL (Spark pool -Spark3.0)代码，我想传递一个变量给它。我该怎么做呢？
浏览 23提问于2021-06-02得票数 0
我想在我的restful web服务中运行Spark SQL查询，那么我如何通过Jersey上下文运行Spark context？我需要将我的Spark SQL请求传递给集群，然后通过REST API将结果返回给用户。但在Spark文档中，如果不将jar文件提交到集群(主/从)，就无法在java代码中运行Spark <
浏览 0提问于2015-01-11得票数 5
1回答
我可以使用以下Apache代码成功地将文本文件加载到DataFrame中： .withColumn("fileName",input_file_name())是否有任何方法在单次运行中提供多个文件？$$anonfun$org$apache$sp
浏览 2提问于2019-01-30得票数 0
回答已采纳
1回答
我的SPARK项目(用Java编写)需要跨执行器访问(选择查询结果)不同的表。这个问题的一个解决方案是:
表非常大，因此创建大容量的Map并将其作为广播变量传递给执行
浏览 0提问于2018-12-18得票数 0
回答已采纳
如何在Spark模式下使用具有存储级别的PERSIST？在Spark中可以使用CACHE。
浏览 6提问于2017-09-27得票数 2
回答已采纳
我将感谢您对以下问题的答复。
我在vora中创建了几个表(例如test、addresses)。我能够在SHOW DATASOUCE中看到这些表的列表并对其进行查询。后来，我重新启动了vora实例，并以vora用户的身份重新登录，然后启动了vora spark shell。我知道我不会在新的shell中看到这个表，因为它不会出现在新的spark上下文中。然而，我遇到了一些链接，它说&
浏览 0提问于2016-03-04得票数 0
似乎所有用SQL表达的查询都可以转换为MapReduce作业。这本质上就是Spark SQL所做的。SparkSQL接收SQL，将其转换为MapReduce作业，然后在Spark的运行时执行MapReduce作业。 所有可以用SQL回答的问题都可以用MapReduce作业来回答。是否所有的MapReduce作业也可以写成SQL (可能有自定义的用
浏览 28提问于2021-03-21得票数 2
但是我想使用Spark SQL在Cassandra表上运行复杂的SQL查询(聚合/分析函数/窗口函数)，您能帮助我应该如何继续吗?以下是使用的查询: sqlContext.sql(“CREATE TEMPORARY table words |USING org.apache.spark.sql.cassandra |OPTIONS
浏览 4提问于2017-03-23得票数 1
我需要遍历列表中的每个元素，对数据库运行此查询，并将结果附加到相同的dataframe (df)中。你能告诉我如何做到这一点吗？ PS :我正在使用spark scala来解决这个问题。
浏览 16提问于2021-02-09得票数 0
回答已采纳
此查询的目标是优化工作人员的内存分配，因为我不能使用： .format("jdbc")[info] at org.apache.spark.sql.catalyst.analysis.package(Analyzer.scala:459)
浏览 2提问于2018-04-20得票数 0
回答已采纳
我创建了Informatica映射，其源是文本文件，目标也是文本文件。我使用连接的存储过程转换来调用Oracle存储过程，在接下来的步骤中，我将从存储过程中加载的表中读取数据。问题是表正在加载，但是表中的数据没有被读取，并且它在目标文件中写入零记录。我认为存储过程在会话结束时运行。
如何使存储过程在流中
浏览 0提问于2019-04-10得票数 1
可以使用Spark SQL直接查询TSV文件吗？需要说明的是，我说的是Spark SQL而不是Spark DataFrame。例如，我们可以使用Spark SQL直接查询CSV文件。有没有办法在(Spark) SQL语句中指定分隔符？
spark.sql("select * from csv.`&#x
浏览 1提问于2019-07-03得票数 0
1回答
我需要在Spark SQL中传递参数。例如，我有以下查询作为Val时间戳=spark.sql("select timestamp from tablea ")，现在，我有另一个查询要在where类Spark.sql中传递这个时间戳(s“select但是上面的查询返回不匹配的表达式错误。有没有人能提个解决方案
浏览 1提问于2020-02-04得票数 0
SparkSession .master("local[*]")
.config("spark.sql.warehouse.dir", "C:/tmp/spark").config("spark.sql.streaming.checkpointLocation", "C:/tmp/spark/spark
浏览 1提问于2017-02-06得票数 13
回答已采纳
为了理解如何在我自己的python函数中使用map，我创建了这个人为的需求。获取所有数据库，并使用map为每个数据库运行show tables，并收集到所有数据库和表的数据帧中。return dataframe of tableName:string '''
return spark.sql("show tables in {0}".f
浏览 2提问于2018-02-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
