谁能解释一下什么时候使用Spark sql (普通sql查询)和Spark Data Frame方法.I看，我们可以用spark sql做每一个操作。哪个在性能上更好
浏览 28提问于2021-08-29得票数 0
我想知道使用原生的、内置的Spark API转换(map、filter等)来运行操作是否更快。而不是通过执行原始SparkSQL查询来运行相同的操作。data = spark.read.csv(filepath)spark.registerDataFrameAs
浏览 26提问于2021-02-03得票数 0
回答已采纳
(pandas_df)直到这一点，一切都好。：：org.apache.spark.SparkException:由于阶段失败而中止作业:阶段5.0中的任务0失败1次，最近的失败:阶段5.0中丢失的任务0.0 (TID 5，本地主机，执行器驱动程序是：
/home/roldanx/soft/spark-2.4.0-bin-hadoop2.7/python/lib/pyspark.zip:/home/rold
浏览 0提问于2019-02-14得票数 12
回答已采纳
1回答
') \ .getOrCreate()spark.conf.set('spark.sql.execution.arrow.maxReco
浏览 0提问于2020-07-30得票数 0
回答已采纳
拜登政府将支持解除新冠肺炎疫苗的专利保护，这是glob…的一个突破‘，user_id=17799542，user_mentions=[行(id=807095，indices=3，11)])spark= SparkSession \ .appName("Python Spark SQL basic example") \
.config("spark.some.config.option", "some-va
浏览 18提问于2021-05-19得票数 0
回答已采纳
return pyspark.sql.types.Row(...)if __name__ == "__main__" spark_sql_context).filter(bool)
data_frame = spark_sql_context.cr
浏览 0提问于2016-09-04得票数 2
return pyspark.sql.Row(...)raw_rdd = spark_context.textFile(full_source_path)# Convert RDD of pyspark.sql.Row to Spark DataFrame.
data_f
浏览 6提问于2016-09-02得票数 0
回答已采纳
2回答
我有一个很大的火花放电数据和一个较小的熊猫数据，我读到如下：df2 = pd.read_csv("data2.csv")
浏览 11提问于2017-09-19得票数 13
我正在尝试从spark-1.6迁移到spark-2.0，并尝试使用spark Cassandra connector 2.0进行一些基本的数据操作 at org.apache.spark.SparkContext.runJoborg.apache.spark.rdd.RDD$$anonfun$foreac
浏览 15提问于2016-09-27得票数 0
回答已采纳
)org.apache.spark.sql.expressions.UserDefinedFunction <and> (f: org.apache.spark.sql.api.java.U
浏览 0提问于2019-04-20得票数 0
1回答
我是AWS Glue的新手，正在尝试连接两个Redshift SQL查询，但不确定我们如何才能只选择字段，因为我的主表有超过1000个字段。下面是我试图在Glue中执行的查询。
浏览 1提问于2019-05-07得票数 0
如何使用data frame API编写以下查询？PARTITION BY c1 ORDER BY value ASC) as rankWHERE x.rank <= 3 相关文档可在以下位置找到 https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql<
浏览 11提问于2021-07-25得票数 0
6回答
我感兴趣的是能够检索给定Spark ()的Hive表的值。获得此值的一种方法是通过以下SQL查询解析位置的输出：我想知道是否有另一种方法可以获得位置值，而不必解析输出。如果上述命令的输出在Hive版本之间发生变化，API将是很好的。如果需要外部依赖，会是哪一个？是否有一些可以获得位置值的示例火花代码？
浏览 4提问于2019-01-06得票数 11
回答已采纳
a)与传统的java JDBC调用相比，Spark有没有一种方法可以优化从关系数据库获取数据。b)如何在运行Spark查询时减少数据库的负载，因为我们将为所有查询直接命中生产数据库。假设Spark报告案例的生产中有3000万条订单记录和1.5亿条订单行记录。
浏览 2提问于2015-08-18得票数 2
1回答
def createDataFrame[A <: Product](data: Seq[A])(implicit evidence$3: reflect.runtime.universe.TypeTag[A]): org.apache.spark.sql.DataFrame
def createDataFrame(rdd: org.apache.spark.api.java.JavaRDD[_],beanClass: Class[_]): org.apache.spark.
浏览 0提问于2020-07-19得票数 0
回答已采纳
3回答
conn.cursor()
import pandas as pd
all_tables = pd.read_sql
浏览 2提问于2018-05-15得票数 1
回答已采纳
1回答
可能有点类似于，似乎SparkR数据格式与插入符号包不兼容。当我试图训练我的模型时，我会得到以下错误： cannot coerce class "structure("SparkDataFrame", package = "SparkR")" to a data.frame
有办法绕过这件事吗？Sys.setenv(SPARK</
浏览 1提问于2017-04-24得票数 0
回答已采纳
我正在使用Apache Spark 2.0 Dataframe/Dataset API，我想从值列表中向我的dataframe添加一个新列。我的列表具有相同数量的值，比如给定的dataframe。
浏览 0提问于2017-06-07得票数 6
回答已采纳
云服务器
ICP备案
云点播
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号