我在python中有一个pySpark数据帧- from pyspark.sql.functions import col
dataset = sqlContext.range(0, 100).select((col("id") % 3).alias("key")) 列名是key，我想使用变量选择此列。myvar = "key" 现在，我希望在select语句中使用myvar变量来选择此列 我
浏览 12提问于2019-09-13得票数 5
回答已采纳
1回答
我试图在Spark SQL语句中插入多个变量，并在这里发现了一个类似的问题：我的问题是如何使用字符串变量(下面是部门变量)的多变量列表来执行此操作？它适用于浮点数/整型数。" 'A', 'B', 'C'", ## this is what's not working
"salary": "100.00, 200.00&q
浏览 18提问于2021-03-03得票数 0
我已将csv文件读入pyspark dataframe。现在，如果我在when()子句中应用条件，那么当条件在runtime之前给出时，它会很好地工作。import pandas as pdfrom pyspark.sql import SQLContextfrom pyspark.
浏览 0提问于2019-11-08得票数 0
回答已采纳
我有下面的SparkSQL (Spark pool -Spark3.0)代码，我想传递一个变量给它。我该怎么做呢？我尝试了以下几种方法：%%pysparkselect * from silver.employee_dim
浏览 23提问于2021-06-02得票数 0
如何根据薪资大于平均薪资的情况，过滤数据框中的数据。df.select('name').filter((df'salary')>(avg'salary))
浏览 2提问于2020-07-10得票数 0
我有一个列表，希望在pyspark.sql语句中使用。VLIST=['afhjh', 'aikn5','hsa76']
INC=pyspark.sql("select * from table1 where VIG=$VLIST") 我尝试使用like sas
浏览 19提问于2020-09-28得票数 0
回答已采纳
这是我的代码： for i, file in enumerate (glob.glob(path_csv1+"/"+sub_direct+"/*.csv")): df_spa = df_spa.withColumn("Batt_id", sub_direct)
#d
浏览 3提问于2020-11-06得票数 0
回答已采纳
1回答
我正在使用spark submit选项对Pyspark/SparkSQL脚本进行赋值，并且我需要将运行时变量(数据库名)传递给脚本。spark提交命令：电火花脚本
DF = sqlConte
浏览 2提问于2017-07-25得票数 0
回答已采纳
1回答
在将一些SAS代码转换为PySpark的过程中，我们在此代码中为where语句使用了一个宏变量。在适应PySpark的过程中，我试图向where语句传递一个日期列表，但是我总是会出错。我希望SQL代码能够从这3个月中提取所有数据。有什么指示吗？month_list = ['202107', '202108', '202109']
sql_query = """
浏览 7提问于2022-01-20得票数 0
回答已采纳
我试图在我的Cloudera集群上使用Juputer笔记本电脑 (PySpark内核)运行一个示例的Spark结构化流应用程序，但是我似乎不能让它使用所需的包。": " --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.0 --master yarn --deploy-mode client pyspark-shell"import os
os.e
浏览 1提问于2019-07-15得票数 1
我找到了一些关于如何在pySpark数据库笔记本中传递变量的。我很好奇我们是否可以传递SQL Server连接，比如在Notebook A中设置host/database/port/user/pw，并在Notebook B上调用该连接。
浏览 10提问于2020-05-20得票数 0
回答已采纳
我正在用pySpark(Python3)测试MLlib标记器： # -*- coding: utf-8 -*-
frompyspark.sql.functions import row_number
# Creating-----------------------------+---------
浏览 9提问于2020-01-07得票数 0
我有一个字符串变量，即：“黑色、白色、黄色”。问题是，我在sql中使用Where子句，需要将字符串变量放入sql语句中。就像。从Products.color IN (?)产品中选择*但是，正确的语法应该从Products.color
浏览 1提问于2018-03-14得票数 0
回答已采纳
在PYCHARM上运行pyspark程序时，我得到以下错误，Error：在windows命令提示符中运行相同的程序时，我遇到了类似的问题，并使用解决了这个问题。
浏览 9提问于2021-08-08得票数 9
但是，pyspark模块需要将session变量作为参数。我已经使用application_args将参数传递给pyspark模块。但是，当我运行dag时，submit操作符失败了，我传入的参数被认为是None类型变量。需要知道如何将参数传递给通过spark_submit_operator触发的pyspark模块。DAG代码如下：spark = SparkSe
浏览 1提问于2021-11-24得票数 0
2回答
这可能是一个愚蠢的问题，但我有一个表，其中的每一列都包含要传递给变量的值： select sfObject from db.tblwhere Id = {} 我看到的是一个名为sfObject的列，它的预期值为'ValueA‘，我得到一个pyspark.sql.dataframe.DataFra
浏览 1提问于2020-06-10得票数 1
回答已采纳
但是，我想在variable传递sql语句中更改变量的长度，因为否则它将检索长度为32767的变量，这不是经过优化的。这就是我在SAS中所做的： connect to impala (dsn="somedsn"); select *var1 length=50 disconnect
浏览 0提问于2021-01-25得票数 1
回答已采纳
如何在pyspark中将变量传递给spark.sql查询？当我查询一个表时，它会失败，并返回一个AnalysisException。为什么？call last): File "/usr/local/spark-2.3.0-bin-hadoop2.6/python/pyspark/sql/
浏览 0提问于2018-12-30得票数 2
回答已采纳
它使用SQL Server数据库。它以本地计算机中Administrators组的用户成员身份运行。在我将机器添加到域之前，它工作得很好。因此，我将该计算机添加到一个域(Win 2003)中，并将用户更改为Power Users组的成员，现在，
问题:它试图执行的一些SQL语句在西班牙语本地化中是“神奇的”(其中，分隔浮点数而不是.)INSERT语句中的列数少于values子句中指定的值。values子句中的值数必须与INSERT语句中</em
浏览 53提问于2008-09-12得票数 0
回答已采纳
有一个环境变量用于在调用pyspark时将额外的选项传递给python解释器。这个变量是什么？ $> PYSPARK_DRIVER_PYTHON=ipython <WHAT_NAME_HERE?>="--pylab" pyspark 在official docs中没有提到，但我知道它确实存在。
浏览 20提问于2021-08-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
