标题说明了一切：
在SPARK API中有没有等同于Spark SQL命令的东西，这样我就可以从包含多列数据结构的LATERAL VIEW中生成一列，然后将该结构中的列作为单独的列横向分布到父dataFrame等同于df.select(expr("LATERAL VIEW udf(col1,col2...coln)"))<em
浏览 16提问于2021-02-25得票数 0
回答已采纳
我使用在scala中返回true/false的一些业务逻辑，在中添加了一列。实现是使用UDF完成的，UDF有10个以上的参数，因此在使用UDF之前我们需要先注册UDF。)org.apache.spark.sql.expressions.UserDefinedFunction <and>
(f: org.apache.spark.sql.api.java.UDF10)org.apache.<e
浏览 0提问于2019-04-20得票数 0
1回答
":"Michael", "address":[{"city":null, "state":"California"},{"city":null, "state":"California"}]}[Yin , [(Columbus , Ohio) , (Columbus , Ohi
浏览 5提问于2015-04-27得票数 4
我正在尝试比较spark sql和hive上下文，我可以知道有什么不同吗? hivecontext sql使用hive查询，而spark sql使用spark查询吗？下面是我的代码：sqlContext = HiveContext(sc)而sparksq
浏览 11提问于2018-08-21得票数 0
4回答
我使用下面的Zeppelin在Apache Spark中使用了registertemptable： s(3).toInt,在我完成对这个临时表的查询之后
浏览 2提问于2015-09-03得票数 22
1回答
我有以下Java代码，可以从HDFS读取JSON文件，并使用Spark将其输出为配置单元视图。java.util.ArrayList;import org.apache.spark.api.java.function.MapFunction;import org.apache.spark.sql.Encoders;
import o
浏览 14提问于2018-01-23得票数 0
回答已采纳
在Spark1.6中，在创建一个新的SparkContext对象后会自动创建一个SparkEnv。
在Spark 2.0中，SparkSession是作为Spark SQL的入口点引入的。在Spark 2中创建SparkSession之后，SparkEnv会自动创建吗？
浏览 1提问于2017-04-07得票数 2
1回答
我正面临以下错误在我的火花scala代码..。下面是我试图导入的API。import spark.implicits._
浏览 8提问于2022-06-15得票数 0
我正在尝试将一些spark SQL转换为Snowflake：'01_dc_res'，status_01_dc_res_sec，'02_sent_to_dc'，status_02sent_to_dc_sec，'03_ready_for_backroom_pick_store'，status_03_ready_for_backroom_pick_store_sec) as map1从横向视图分解(Map1) abc as m
浏览 0提问于2020-12-04得票数 0
有没有人能帮我在spark sql中做一个透视图？我一直在努力让这个查询运行起来。以下是我的要求：US 23-Apr-ATTRIBUTE_NAME in ('price_start_time' PPST,'price_end_time' PPET,'pric
浏览 0提问于2018-07-08得票数 3
大部分工作由Python在调用数据以进行最终处理之前向Postgres发出命令组成。为了明确起见，我希望将纯英语的SQL查询传递给Postgres，而不是使用可用的SparkSQL API(因为它们不支持我需要的所有操作)。()将查询传递给.sql()
postgres.sql("""create table (name varchar(50), age int
浏览 5提问于2020-02-06得票数 1
回答已采纳
我不能从文档中确定当使用Spark中的HiveContext创建Hive表时，它是使用Spark引擎还是标准Hive mapreduce作业来执行任务？val sc = new SparkContext() CREATE TABLE db.new_table
浏览 0提问于2018-07-13得票数 0
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。我这样假设是对的吗？
浏览 3提问于2021-08-16得票数 3
回答已采纳
我在EMR上有Spark作业，并且EMR被配置为对Hive和Spark元数据使用Glue目录。我创建了Hive外部表，它们出现在Glue目录中，我的Spark作业可以在Spark SQL中引用它们，比如spark.sql("select * from hive_table ...")现在，当我尝试在Glue作业中运行相同的代码时，它失败了，并出现"ta
浏览 29提问于2019-02-09得票数 1
有谁能在以下方面提供帮助：from pyspark.sql但我被要求这样做：
1#创建一个SQL查询，该查询从示例泰坦尼克表中选择10的限制。2#分配一个变量，该变量包含使用spark_ex.
浏览 4提问于2021-09-23得票数 0
回答已采纳
1回答
我想像下面的代码一样使用Spark的org.apache.spark.mllib.tree.DecisionTree，但是编译失败。import org.apache.spark.mllib.util.MLUtilsval data = sqlContext
浏览 4提问于2017-05-22得票数 0
1回答
我有以下python代码：from pyspark.sql import SparkSessionspark = SparkSession.builder.appName("App Name").enableHiveSupport().getOrCreate()
df = spark.sql('SELECT * FROM hive_table在map函数
浏览 7提问于2020-03-26得票数 1
回答已采纳
我们已经使用Spark 1.2.1和Java处理了我们的数据，并存储在Hive表中。我们希望通过web浏览器以RDDs的形式访问这些数据。
我阅读了文档，并理解了完成任务的步骤。我无法找到通过thrift服务器与Spark SQL RDDs进行交互的方法。我找到的示例在代码中有以下行，但我在Spark 1.2.1Java API文档中找不到对应<
浏览 1提问于2015-04-24得票数 3
我使用HDP3.1，我添加了Spark2，蜂窝和其他需要的服务。我关闭了蜂巢中的ACID功能。spark作业在hive中找不到表。但是表存在于Hive中。异常如下: org.apache.spark.sql.AnalysisException:表或视图未找到在Spark的conf文件夹中有hive-site.xml。它由HDP自动创建。但它与配置单元的conf文件
浏览 0提问于2019-04-20得票数 0
我是Spark和Spark SQL的新手。如果我们将对象的RDD注册为表，spark会将所有数据保存在内存中吗？
浏览 87提问于2017-05-17得票数 74
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
