2回答
我正在寻找一种干净的方法来解决以下问题:我希望过滤数据帧，使其只包含为预定义的列名列表填充了至少一个值的行。这种方法是不可行的，因为列名的列表可能会变得非常大，并且可能经常更改。col_names: return condition 然后使用此函数的结果作为过滤条件
浏览 24提问于2021-03-25得票数 1
回答已采纳
1回答
我有一个列名列表，每次列名都不同。列名存储在列表中。因此，我需要传递列表中的列名(在下面的示例中，列名是其id和programid id)，以便在源数据帧和目标数据帧之间进行比较。from pyspark import SparkContext, SparkConf, SQLContext
from pyspark.sql.functions i
浏览 14提问于2019-04-13得票数 0
1回答
我尝试在使用spark时使用交叉验证，但它抛出了一个错误： gbtClassifier = GBTClassifier(featuresCol= "features", labelCol="is_goal")pipelineStages = stringIndexers + encoders + [featureAssembler]
pipeline = Pipeline(stages=pi
浏览 24提问于2021-01-19得票数 0
假设我们有一个pyspark数据帧，其中一列(column_a)包含一些字符串值，还有一个字符串列表(list_a)。数据帧：some_string | 10third_string | 30['string我想过滤这个数据帧，只有当column_a的值包含list_a的项目之一时，才保留这些行。这是根
浏览 0提问于2019-10-01得票数 5
回答已采纳
我有一个数据帧，里面有很多列。现在，我只想选择某些列。我已经将我想要选择的所有列的名称保存到一个Python列表中，现在我想根据这个列表过滤我的数据帧。我一直在尝试做的事情：where list包括我要选择的所有列名。
浏览 0提问于2016-08-16得票数 24
回答已采纳
我正在提取Snowflake表并将其加载到PySpark DataFrame中，并且我想重命名它的列。现在，正在将加载的数据帧存储到一个变量中，然后访问列列表： spark.read.format("snowflake")我想到的第二种方法是预先定义原始和所需的列名，然后使用它们，但我尝试根本不创建变量。
这在Pandas和/或Python中
浏览 1提问于2021-04-21得票数 0
1回答
我是PySpark新手，正在尝试读取HDFS文件(上面创建了hive表)并创建PySpark数据帧。通过PySpark读取配置单元表非常耗时。有没有什么方法可以动态获取hive列名(用作dataframe中的模式)？我希望将文件位置、表名和数据库名作为输入传递给aa程序/函数，以便从配置单元元数据(可能是元数据xml)中获取模式/列名称，并作为dataframe返回。 请指教
浏览 15提问于2019-03-06得票数 0
回答已采纳
我有一个数据帧，模式如下： root |-- Id_FK: integer (nullable = true) |-- Bar: string (nullable = true) "Id"
浏览 12提问于2019-09-03得票数 0
回答已采纳
我有一个10000*1的Python列表，我想把它添加到一个Spark DataFrame中，这样DataFrame就有10000行了。我该怎么做？
浏览 6提问于2017-03-01得票数 2
我无法计算列名称中包含点的pyspark数据帧的approxQuantile。例如，数据帧模式是 root
|-- col.dot: double (nullable = true) 那我就不能 df.approxQuantile(('`col.dot`'), [0.5], 0.25) 导致错误: pyspark.sql.utils.IllegalArgumentException：‘字段"col.dot“不存在。\n可用字段: col.
浏览 7提问于2019-06-12得票数 1
1回答
一步一步地解释下面的代码。还要解释两个join语句要实现的目标。(2,"Rose",1,"2010","20","M",4000), \
(4,"Jones",2,"2005","10
浏览 2提问于2021-10-28得票数 0
我是Pyspark的新手，对如何思考这个问题感到有点困惑。 process_function(filtered_DF_1, filtered_DF_2)
基本过滤功能(F.col('Number') == number)
浏览 0提问于2020-05-28得票数 0
我在Cassandra中将时间戳存储为YYYY-mm-dd HH:MM:SSZ，并且我能够在cql shell中过滤数据以获得特定的时间范围，但是当我在pyspark数据帧上尝试同样的操作时，我在过滤后的数据帧中没有得到任何值有谁能帮我在pyspark中找到合适的datetime格式吗？
谢谢。
浏览 6提问于2020-03-05得票数 1
我一直使用的方法如下 p = df[(df.x==1)]
p(['x','y']) 这将从列x中返回值为1的单元格，然后将数据框设置为仅查看列x和y。
浏览 17提问于2020-09-24得票数 1
1回答
我已经用python写了一些带有sql上下文的代码，即pyspark，通过将csv转换为pyspark dataframe来对csv执行一些操作(df操作，如预处理、重命名列名、创建新列并将其附加到相同的我没有在数据帧上编写单元测试用例的想法。有谁能帮我在pyspark的dataframe上写单元测试用例吗？或者给我一些数据帧上的测试用例的来源？
浏览 1提问于2016-04-14得票数 3
1回答
动态创建spark中的多列
、、、、
对于每个子段，过滤条件可在底层字典中用于子段，即a，b，c，d，f。此外，子段字典键的筛选条件也是pyspark dataframe的列名。我想要为每个段一次创建吡火花数据帧中的子段列，当满足筛选条件时，每个子段列的值为1，否则0，类似于， pyspark_dataframe.withColumnwhen(meeting filter criteria with respect to each key), 1).otherwise(0
浏览 4提问于2017-09-11得票数 1
回答已采纳
我有一个数据帧"x"，其中有两列"x1“和"x2”kv,true 45mp,true 75bm,null 550我想将此数据帧转换为根据其状态和值过滤数据的格式kv 45 450bm 65 550
mp
浏览 0提问于2016-11-18得票数 1
我正在尝试创建一个for循环，首先:过滤一个pyspark sql数据帧，然后将过滤后的数据帧转换为pandas，对其应用一个函数，并将结果添加到一个名为results的列表中。我的列表包含一个字符串序列(这将是dataframe中的某种id )；我希望for循环在每次迭代中从列表中获取一个字符串，并过滤dataframe中id为该字符串的所有行。aux = df.filter("id=&
浏览 21提问于2020-12-16得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
