但在数据帧中，只使用了column1和column2，其他的都没有用。<code>A0</code>谢谢。
浏览 64提问于2020-06-08得票数 0
我正在使用Databricks在Pyspark中工作from pyspark.ml.feature import PCA
model = pca.fit(df.select('scaled_fe
浏览 7提问于2021-10-27得票数 0
我的限制是避免混洗和多次扫描，以便将其扩展到to级。 我尝试使用普通的字符串比较来验证列，它起作用了，但是我无法尝试使用正则表达式。import col, litfrom pyspark.sql.functions import whenfrom pyspark.sql import Row
return False
return Fals
浏览 24提问于2019-10-01得票数 2
回答已采纳
我在甲骨文12.2中的插入语句中遇到了一些麻烦。我有这样的查询：FROM (BLOCK CODE WITH SELECT AND INNER JOIN)INNER JOIN (SELECT columnx, columny)A WHERE b = 1;Select columnA, columnB, columnC FRO
浏览 1提问于2018-10-11得票数 1
2回答
我现在正在为我的数据库系统考试做准备，显然Attribute-Based Checks和Tuple-Based Checks是有区别的。可悲的是，没有很好的解释，在谷歌搜索后，我仍然很困惑。
浏览 5提问于2014-04-23得票数 0
回答已采纳
1回答
我有一个Pyspark数据文件，看起来像这样：我希望提取"dic“列中的嵌套字典，并将它们转换为PySpark数据格式。如下所示：请告诉我如何做到这一点。
谢谢!
浏览 2提问于2020-07-20得票数 2
在我看来，LabeledPoint是最直观的。使用PySpark将Hive表转换为标记点的最有效方法是什么？
浏览 1提问于2016-02-23得票数 0
回答已采纳
其中一列是名为"name“的变量。当我通过：df['name].nunique()检查Pandas中唯一值的数量时，我得到了一个与Pyspark df.select("name").distinct().show()不同的答案(在Pandas中大约为1800，在Pyspark中为350 )。在熊猫中：
df['name'] = df['name&#
浏览 0提问于2020-05-24得票数 0
1回答
我有这样的数据框架我希望获得Jaro_winkler评分(在一个新的专栏中)，用于column1和column2中的column1 DataFrame。
浏览 4提问于2020-05-12得票数 0
我在SparkR中有一个小代码，我想把它转换成pyspark。我对这个windowPartitionBy并不熟悉，并且重新分区。你能帮我了解一下这段代码是做什么的吗？
浏览 34提问于2020-12-18得票数 0
回答已采纳
我在一些帖子中看到，有重复的分区键可能会对性能产生影响。TABLE "Test1" ( CREATE TABLE "Test2" ( column1PRIMARY KEY (key, name,age)在Test1中，column1</e
浏览 1提问于2014-08-14得票数 1
回答已采纳
4回答
PySpark Dataframe的格式如下：要只访问stddev列( c1、c2、c3 )行，我使用：print type(ddd)print ddd.collect()<class 'pyspark.rdd.PipelinedRDD，而不是将每个值硬编码到SQL字符串中？因此，列的数目可以是可变
浏览 7提问于2017-02-22得票数 10
回答已采纳
我有一个如下所示的，并且需要创建一个新的dataframe，其中只有一个列是由原始数据中的所有7位数字组成的。这些值都是字符串。Column1应该被忽略。在Column2中忽略非数字和单数数字是相当简单的，但是对于有两个单独的7位数字的值，我很难单独提取它们。这需要自动化，并且能够在其他类似的数据文件上运行。数字总是7位，总是以‘1’开头有小费吗？+-----------+--------------------+
| COLUMN1| C
浏览 2提问于2022-03-09得票数 2
回答已采纳
我有一个带有2个ArrayType字段的PySpark DataFrame：DataFrame[id: string, tokens: array<string>, bigrams: array[Row(id='ID1', tokens=['one', 'two', 'two'], bigrams=['one two', 'two two'])]
我想将它们合并到一个ArrayType字段中：
浏览 0提问于2016-05-18得票数 21
回答已采纳
如何在sparks withColumn语句中使用posexplode？ Seq(Array(1,2,3)).toDF.select(col("*"), posexplode(col("value")) as Seq("position", "value")).show 工作正常，但是： Seq(Array(1,2,3)).toDF.withColumn("foo", posexplode(col("value"))).show 失败，出现以下错误： org.apache.spark.sql.An
浏览 282提问于2019-02-22得票数 4
谁能回答如果我们在Where子句中包含更多的条件会对SQL的性能产生怎样的影响？SELECT * WHERE COLUM
浏览 0提问于2017-02-15得票数 0
我想断言PySpark DataFrame列的值是否在所有行中都是相同的。0.0| 0.0|| 0.0| 0.0|列"A“不是常量，"B”是常量我尝试了两种方法：df.select(stddev(col('B'))).collect()df.select("B").disti
浏览 10提问于2018-08-31得票数 2
回答已采纳
builtins__.sum(arr),IntegerType())
但是，我已经了解到，UDF对于纯pySpark在没有UDF的情况下，可以在pySpark中执行上面的代码吗？
浏览 7提问于2017-12-15得票数 13
回答已采纳
我有一个包含大约500万条记录的表，我只需要将最后100万条记录转移到生产环境中(因为其他400万条记录已经存在)。这样做的最好方法是什么，这样我就不必每次都重新复制整个表？
浏览 0提问于2012-11-15得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
即时通信 IM
云直播
实时音视频活动推荐
腾讯云开发者
