Spark DataFrame和HiveSQL -删除不起作用的列？
Spark DataFrame和HiveSQL是大数据领域中常用的数据处理工具，用于处理和分析大规模的结构化数据。当需要删除不起作用的列时，可以采取以下步骤：
- 在Spark DataFrame中删除列：使用
drop方法可以删除DataFrame中的指定列。例如，要删除名为"column_name"的列，可以使用以下代码：
df = df.drop("column_name")这将返回一个新的DataFrame，不包含指定的列。
- 在HiveSQL中删除列：使用
ALTER TABLE语句可以修改Hive表的结构。要删除列，可以使用ALTER TABLE DROP COLUMN语句。例如，要删除名为"column_name"的列，可以使用以下语句：
ALTER TABLE table_name DROP COLUMN column_name这将从Hive表中永久删除指定的列。
Spark DataFrame和HiveSQL的优势和应用场景如下：
优势：
- 处理大规模数据：Spark DataFrame和HiveSQL都能处理大规模的结构化数据，可以在分布式环境中高效地进行数据处理和分析。
- 强大的数据处理功能：Spark DataFrame和HiveSQL提供了丰富的数据处理函数和操作，可以进行数据过滤、转换、聚合等操作。
- 兼容性：Spark DataFrame和HiveSQL都可以与其他大数据工具和框架无缝集成，如Hadoop、HBase、Kafka等。
应用场景：
- 数据分析和挖掘：Spark DataFrame和HiveSQL可以用于数据分析和挖掘任务，如数据清洗、特征提取、模式识别等。
- 数据仓库和数据湖：Spark DataFrame和HiveSQL可以用于构建和管理数据仓库和数据湖，提供数据存储、查询和分析的功能。
- 实时数据处理：Spark DataFrame和HiveSQL可以与流式数据处理框架结合，实现实时数据处理和分析。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark：https://cloud.tencent.com/product/spark
- 腾讯云Hive：https://cloud.tencent.com/product/hive
请注意，以上答案仅供参考，具体的实际应用和推荐产品需根据具体需求和场景进行评估和选择。
相关·内容
我要通过日志进入elasticsearch。我在databricks中导入数据，首先通过python扫描，然后将数据转换为dataframe，然后将dataframe转换为databricks中的临时视图。然后可以在sql建模中使用此视图。这个过程是不能改变的
当我查询：Select * from tempview时，我得到了所有的列:)
现在的挑战是:我的一个字段名叫做@timestamp，我可以看到databricks显示列在那里，但是我不能选择列本身。在hivesql中，我可以使用方括号@时间戳并继续前进，但它在hivesql中不起作用。
我知道@name语法是为sql变量保留
浏览 3提问于2021-05-19得票数 1
回答已采纳
如何在spark sql表中的所有列上调用Md5列函数？
它与HiveSQL语法相同吗？
SELECT md5(*) FROM employee;
浏览 0提问于2016-11-13得票数 1
我在文本文件中有重复列，当我尝试使用spark scala代码加载该文本文件时，它被成功加载到数据框中，我可以通过df.Show()看到前20行。
完整代码：-
val sc = new SparkContext(conf)
val hivesql = new org.apache.spark.sql.hive.HiveContext(sc)
val rdd = sc.textFile("/...FilePath.../*")
val fieldCount = rdd.map(_.split("[|]")).map(x => x.size).fir
浏览 13提问于2020-08-03得票数 1
回答已采纳
我使用的是Cloudera Manager 6.1.1和HUE。我的母舰引擎是spark。当我执行hivesql in hue查询时，总是会启动一个hive on spark作业，而且它不会停止。 ?
浏览 39提问于2019-06-19得票数 0
1回答
我有一个包含两列的spark dataframe : Stars (数值)和categories (标签字符串，例如："Restaurant，Italien，High-end")。我希望重新创建数据帧，这样类别就变成了标签的计数。在上面的示例中，类别将变为3。 我曾尝试将数据帧视为熊猫数据帧，但似乎不起作用。我是Spark的新手，所以可能是因为我不太理解RDD的概念。
浏览 22提问于2020-04-13得票数 0
问:如何高效地将Spark DataFrame中包含值的列写入Cassanrda？(在最小的Scala代码行中高效，而不是在Cassandra中创建一堆tombstones，让它快速运行，等等)
我有一个包含两个键列和300个潜在描述符值的Cassandra表。
create table sample {
key1 text,
key2 text,
0 text,
............
299 text,
PRIMARY KEY (key1, key2)
}
我有一个与底层表匹配的Spark数据帧，但数据帧中的每一行都
浏览 0提问于2018-11-06得票数 2
7回答
我想不出来，但我猜很简单。我有一个火花数据图。这个df有"A“、"B”和"C“列。现在假设我有一个Array，它包含这个df列的名称：
column_names = Array("A","B","C")
我想以这样的方式来做一个df.select()，这样我就可以指定哪些列不能选择。例如:假设我不想选择列"B“。我试过了
df.select(column_names.filter(_!="B"))
但这不起作用，因为
不能将org.apache.spark.sql.DataFrame应用于(Arr
浏览 21提问于2015-07-15得票数 22
回答已采纳
我有两个行数相同的DataFrame，但是根据源，列数是不同的和动态的。
第一个DataFrame包含所有列，但是第二个DataFrame被过滤和处理，没有所有其他列。
需要从第一个DataFrame中选择特定的列，然后添加/合并第二个DataFrame。
val sourceDf = spark.read.load(parquetFilePath)
val resultDf = spark.read.load(resultFilePath)
val columnName :String="Col1"
我试着用几种方式加进去，这里我只给了几个.
val modifiedRes
浏览 0提问于2017-10-31得票数 9
回答已采纳
我有一个像下面这样的数据框，只有一列和一行，我想创建一个函数来用一些文本替换匹配的字符串。
df2 = pd.DataFrame([['_text1']],columns = ['my_texts'])
spark_df = spark.createDataFrame(df2)
def text_func(df, col):
return df.withColumn("origin_code", sparkSqlFunctions.when("my_texts".startswith('_text1')
浏览 19提问于2019-07-18得票数 1
回答已采纳
1回答
我有一个全字符串spark dataframe，我需要返回其中所有行都满足特定条件的列。 scala> val df = spark.read.format("csv").option("delimiter",",").option("header", "true").option("inferSchema", "true").load("file:///home/animals.csv")
df.show()
+--------+---------+---
浏览 22提问于2020-08-28得票数 0
1回答
星火中每列值之和
、、
我需要一些关于火花的帮助。
我所做的是将我在Spark中获得的数据some转换为Pandas (使用Spark2Pandas命令)，然后对其进行如下工作：
基本上，我有一个有100列的Pandas dataframe，每个列都称为"FirstP XX SecondP"，是从00到99的列号。因此，首先，我删除了每一列文本的"FirstP“和”SecondP“部分(基本上，我只保留数字)。之后，使用for循环创建一个新列，在该列中，我将添加每个列的所有值的总和。然后，我删除包含所有数据的原始列。
我使用的代码如下：
data.columns = data.columns.
浏览 3提问于2022-01-06得票数 -2
回答已采纳
1回答
我需要在spark中实现滞后函数；我可以像下面这样做(使用hive/temp spark表中的一些数据)
假设DF包含以下行：
lagno:value
0, 100
0, 200
2, null
3, null
其中，第一列是要使用的实际滞后数，第二列是实际值。
当我运行这个查询时，它可以工作：
DataFrame df;
DataFrame dfnew=df.select(
org.apache.spark.sql.functions.lag( df.col("value"), 1 ).over(org.apache.spark.sql.express
浏览 3提问于2016-09-16得票数 3
4回答
有没有一种方法可以删除spark dataFrame中只包含空值的列？(我使用的是scala和Spark 1.6.2)
目前我正在做这件事：
var validCols: List[String] = List()
for (col <- df_filtered.columns){
val count = df_filtered
.select(col)
.distinct
.count
println(col, count)
if (count >= 2){
validCols ++= List(col)
}
}
构建至少包含两个不
浏览 6提问于2016-09-11得票数 7
用例是将一列附加到Parquet数据集，然后在同一位置高效地重写。下面是一个很小的例子。
创建一个pandas DataFrame并将其写入一个分区的Parquet数据集。
import pandas as pd
df = pd.DataFrame({
'id': ['a','a','a','b','b','b','b','c','c'],
'value': [0,1,2,3,4,5,6,
浏览 7提问于2021-10-14得票数 0
回答已采纳
我正在使用tryping来删除spark dataframe中包含特定行中的特定值的行。例如，如果我有下面的DataFrame，我想删除列"A“中有"two”的所有行。所以我想删除索引为1和2的行，我想使用Scala 2.11和Spark 2.4.0来实现。 A B C
0 one 0 0
1 two 2 4
2 two 4 8
3 one 6 12
4 three 7 14 我尝试了这样的东西： df = df.filer(_.A != "two") 或 df =
浏览 188提问于2020-11-03得票数 0
回答已采纳
2回答
在Pyspark中，每当我读取一个带有空set元素的json文件时。在生成的DataFrame中会忽略整个元素。我怎样才能让spark考虑一下而不忽略它。
我使用的是spark 2.4.2和Python 3.7.3
我尝试使用df.fillna('Null')。这不起作用，因为在创建DataFrame的那一刻，元素就不在那里了。
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("SimpleApp").getOrCreate()
people = ['{
浏览 0提问于2019-07-19得票数 0
在Spark中，将Timestamp列转换为毫秒时间戳Long列的最短和最有效的方法是什么？
下面是一个从时间戳到毫秒的转换示例
scala> val ts = spark.sql("SELECT now() as ts")
ts: org.apache.spark.sql.DataFrame = [ts: timestamp]
scala> ts.show(false)
+-----------------------+
|ts
浏览 1提问于2019-06-18得票数 2
2回答
我有一个包含两列的Spark数据帧：src_edge和dest_edge。我只想创建一个新的spark dataframe，以便它包含一个包含来自src_edge和dest_edge的值的列id。
src dst
1 2
1 3
我想将df2创建为：
id
1
1
2
3
如果可能的话，我也想创建没有重复值的df2。有谁知道怎么做吗？
id
1
2
3
浏览 1提问于2019-03-19得票数 1
1回答
如果我试图缓存一个巨大的DataFrame (例如:100 to表)，当我对缓存的DataFrame执行查询时，它会执行完整的表扫描吗？星星之火将如何索引数据。星火文件说：
Spark可以通过调用spark.catalog.cacheTable("tableName")或dataFrame.cache()来使用内存中的列格式来缓存表。然后，Spark将只扫描所需的列，并将自动调整压缩，以尽量减少内存使用和GC压力。您可以调用spark.catalog.uncacheTable("tableName")从内存中删除表。
我没有完全理解上面的语句，如果有人
浏览 8提问于2017-08-14得票数 2
我想从我的spark dataframe中提取一列。
我想把纬度和经度放在一个变量中。当我这样做的时候；
我只得到了列名。
浏览 0提问于2020-10-22得票数 0
我正试图根据一个(或多个)列的值将拆分为，而则独立于其他列旋转每个生成的数据格式。即，给定输入数据：
val inputDF = Seq(("tom","20","a","street a","germany"),("jimmy","30","b","street b","germany"),
("lola","50","c","street c
浏览 0提问于2018-07-03得票数 4
我正在使用下面的语句在spark中读取csv。
df = spark.read.csv('<CSV FILE>', header=True, inferSchema = True)
当我检入spark dataframe时，一些整型和双精度列被存储为dataframe中的字符串列。但是，并不是所有的列都是这样。
我已经检查了特定列的值，所有的值都是双精度类型，但spark仍然推断为StringType。
因为我加载的CSV文件大约有1000列，所以也显式地指定模式是不可行的。
如有任何建议或帮助，我们将不胜感激。
致以敬意，
Neeraj
浏览 5提问于2017-08-31得票数 2
我通过spark JDBC连接到DataFrame从Oracle读取数据。我有一个列，它显然是dataframe中的StringType。
现在我想在Hive中持久化它，但是作为数据类型Varchar(5)。我知道字符串会被截断，但这没问题。
我尝试使用UDF，但由于dataframe没有varchar或char类型，因此UDF不起作用。我还使用以下命令在Hive中创建了一个临时视图：
val tv = df.createOrReplaceTempView("t_name")
val df = spark.sql("select cast(col_name as var
浏览 0提问于2018-04-23得票数 2
我使用spark/scala本地将json文件转换为dataframe。
我当前的dataframe有一个列‘男性’和‘女性’值，如下所示。我想将dataframe中的‘男性’更改为'M'，以及使用Spark-sql<code>E 215</code>将‘where’更改为'F'的位置。
到目前为止，我已经：
val results = spark.sql("SELECT name, case WHEN gender = 'Male' then 'M' WHEN gender = 'Fema
浏览 5提问于2021-07-19得票数 1
1回答
我是新来的火花/斯卡拉。我正在尝试读取一些数据从一个蜂窝表到一个火花数据，然后添加一个列的基础上的一些条件。这是我的代码：
val DF = hiveContext.sql("select * from (select * from test_table where partition_date='2017-11-22') a JOIN (select max(id) as bid from test_table where partition_date='2017-11-22' group by at_id) b ON a.id=b.bid")
浏览 1提问于2017-11-27得票数 0
回答已采纳
1回答
我有一个有多列的spark DataFrame。我想根据一列对行进行分组，然后为每组找到第二列的模式。与熊猫DataFrame一起工作时，我会这样做：
rand_values = np.random.randint(max_value,
size=num_values).reshape((num_values/2, 2))
rand_values = pd.DataFrame(rand_values, columns=['x', 'y'])
rand_values['x'] = ra
浏览 1提问于2016-04-16得票数 10
回答已采纳
3回答
我使用的是Spark 1.3.1。
我正在尝试查看Python中Spark dataframe列的值。有了Spark dataframe，我可以使用df.collect()来查看数据帧的内容，但在我看来，Spark dataframe列还没有这样的方法。
例如，数据帧df包含一个名为'zip_code'的列。所以我可以做df['zip_code']，它会变成一个pyspark.sql.dataframe.Column类型，但是我找不到一种方法来查看df['zip_code']中的值。
浏览 1提问于2015-06-30得票数 43
回答已采纳
我已经用数组列( DataFrame )点燃了StringType
示例DataFrame:
df = spark.createDataFrame([
[None],
[[]],
[['foo']]
]).toDF("a")
电流输出：
+-----+
| a|
+-----+
| null|
| []|
|[foo]|
+-----+
期望输出：
+-----+
| a|
+-----+
| []|
| []|
|[foo]|
+-----+
我需要将Null值转换为空Array，以便与另一个数组列连接。
已经
浏览 1提问于2020-08-13得票数 0
回答已采纳
我希望将spark dataframe列的值从小时分钟秒转换为
例如"01:12:17.8370000“
将变成4337，谢谢你的评论。
或者"00:00:39.0390000“
会变成39秒。
我已经读过这个问题，但是我不知道如何使用这个代码来转换我的spark dataframe列。
像这样的东西
df.withColumn("duration",col("duration")....)
我使用的是scala 2.10.5和spark 1.6
谢谢
浏览 12提问于2017-07-31得票数 2
回答已采纳
sqldata = hiveSql.sql("""
SELECT name,age from DB
""")
tabel_df = pd.DataFrame(data=sqldata.collect())
tabel_df.to_csv('resultRDD.csv') 如代码所示，我的CSV如下所示： tom 16
jack 18 实际上，我需要CSV，如下所示 name age
tom 16
jack 18
浏览 166提问于2019-12-21得票数 1
回答已采纳
1回答
我对pyspark非常陌生，正在尝试使用它来处理一个保存为csv文件的大型数据集。我想将CSV文件读入spark dataframe，删除一些列，然后添加新列。我该怎么做呢？
我在将这些数据放入数据帧时遇到了问题。这是我目前所学内容的精简版本：
def make_dataframe(data_portion, schema, sql):
fields = data_portion.split(",")
return sql.createDateFrame([(fields[0], fields[1])], schema=schema)
if __name__
浏览 2提问于2016-10-30得票数 7
回答已采纳
1回答
我试图使用scala自动地将随机数据加载到一个空数据中。
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.Row
import org.apache.spark.rdd.RDD
val df = spark.sql("select * from test.test")
val emptyDF= spark.createDataFrame(spark.sparkContext.emptyRDD[Row], df.schema)
在这里，我尝试用测试表模式创建一个空的dataframe。在本例中，
浏览 0提问于2018-10-22得票数 2
回答已采纳
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
spark = sqlContext.sparkSession
avg_calc = spark.read.csv("quiz2_algo.csv", header= True,inferSchema=True)
header = avg_calc.first()
no_header = avg_calc.subtract(header)
no_header
avg_calc包含2列，我正在尝试从这两列中删除第1行，但是我收到以下错误：
-------
浏览 1提问于2018-05-12得票数 0
1回答
这是与相同的问题，但接受的答案对我不起作用。
尝试：我尝试将一个dataframe保存为拼花格式，然后用火花读取它。
问题：时间戳列不能由pyspark解释
我做了什么，
我尝试将hfds中的dataframe保存为
import dask.dataframe as dd
dd.to_parquet(ddf_param_logs, 'hdfs:///user/<myuser>/<filename>', engine='pyarrow', flavor='spark')
然后我用pyspark读取了该文件：
sdf = sp
浏览 4提问于2020-01-28得票数 2
回答已采纳
下面是一个简单的单词计数应用程序使用DataFrame和相应的单元测试使用火花测试基地。如果我使用以下方法，它就能工作
def toWords(linesDf: DataFrame) = {
linesDf
.select(linesDf("line"),
explode(split(linesDf("line"), WhitespaceRegex)).as("word"))
}
但是，如果我使用$方法调用引用列，则不起作用，如下所示
def toWords(linesDf: DataF
浏览 4提问于2020-04-12得票数 0
回答已采纳
1回答
我正在使用spark版本2.3，并试图将spark中的蜂巢表读取为：
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
df = spark.table("emp.emptable")
在这里，我添加了一个新列，其中包含了从system到现有的dataframe的当前日期
import pyspark.sql.functions as F
newdf = df.withColumn('LOAD_DATE', F.current_date())
现在面临一个问题，当我试
浏览 0提问于2018-12-06得票数 2
回答已采纳
我们有一个特定的需求，其中我将不得不从dataframe中drop列，该列中只有一个唯一的值。下面是我们正在做的事情
val rawdata = spark.read.format("csv").option("header","true").option("inferSchema","true").load(filename)
随后，为了在所有列中找到唯一值，我们使用了spark中支持的HyperLog++算法
val cd_cols = rawdata.select(rawdata.columns.map(c
浏览 7提问于2017-06-06得票数 3
回答已采纳
我以以下方式创建了一个DataFrame：
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.getOrCreate()
df = spark.read.csv("train.csv", header=True)
我的DataFrame的架构如下：
root
|-- PassengerId: string (nullable = true)
|-- S
浏览 3提问于2018-10-18得票数 0
回答已采纳
我有一个包含许多列的spark.ml DataFrame，每列中的每一行都包含一个SparseVector。我想对每一列应用MultivariateStatisticalSummary.colStats，colStats签名是：
def colStats(X: RDD[Vector]): MultivariateStatisticalSummary
看起来很完美..。除了我似乎不能从该DataFrame中select一列并将其转换为RDD[Vector]。这是我的尝试：
val df: DataFrame = data.select(shardId)
val col = df.as[(org
浏览 0提问于2017-02-16得票数 0
我有一个BQ表，它由缺省的_PARTITIONTIME分区。我想把它的一个分区读到Spark dataframe (PySpark)。但是，spark.read应用编程接口似乎不能识别分区列。下面是代码(不起作用)：
table = 'myProject.myDataset.table'
df = spark.read.format('bigquery').option('table', table).load()
df_pt = df.filter("_PARTITIONTIME = TIMESTAMP('2019-01-3
浏览 0提问于2019-07-31得票数 1
我正在用Scala编写一个ETL (2.4)作业，在;上读取带有glob模式的-separated CSV文件。数据被加载到一个DataFrame中，并包含一个列(假设它被命名为custom)，其中包含一个JSON格式的字符串(、多层嵌套)。其目标是从该列自动推断模式，以便可以为S3中Parquet文件上的写接收器构造模式。
这篇文章()建议，Spark2.4中的schema_of_json可以从JSON格式的列或字符串中推断模式。
以下是我尝试过的：
val jsonSchema: String = df.select(schema_of_json(col("custom")
浏览 0提问于2019-02-14得票数 9
我已经创建了一个空的dataframe，并开始添加它，通过读取每个文件。但其中一个文件的列数比前一个文件多。如何仅为所有其他文件选择第一个文件中的列？
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark.sql.types import StructType
import os, glob
spark = SparkSession.builder.\
config("spark.jars.packages","saurf
浏览 1提问于2019-09-06得票数 3
回答已采纳
1回答
在Scala Spark 2.0.1中，我试图在透视之后聚合多个列：
scala> val df = List((1, 2, 3, None), (1, 3, 4, Some(1))).toDF("a", "b", "c", "d")
df: org.apache.spark.sql.DataFrame = [a: int, b: int ... 2 more fields]
scala> df.show
+---+---+---+----+
| a| b| c| d|
+---+---+---+----+
浏览 3提问于2017-01-23得票数 3
回答已采纳
3回答
我有一个多列的org.apache.spark.sql.DataFrame。我希望使用lat_long_dist规范化或任何技术来缩放1列( MinMax )，将数据扩展到-1和1之间，并将数据类型保留为org.apache.spark.sql.DataFrame。
scala> val df = sqlContext.csvFile("tenop.csv")
df: org.apache.spark.sql.DataFrame = [gst_id_matched: string,
ip_crowding: string, lat_long_dist: double,
浏览 2提问于2015-11-25得票数 10
回答已采纳
5回答
下面的dataframe是一个名为'table_name‘的temp_table。
如何使用spark.sql()为所有列提供前缀？
root
|-- MAIN_COL: struct (nullable = true)
| |-- a: string (nullable = true)
| |-- b: string (nullable = true)
| |-- c: string (nullable = true)
| |-- d: string (nullable = true)
| |-- f: long (nullable = tr
浏览 2提问于2020-01-29得票数 4
回答已采纳
我已经使用java spark dataframe将CSV读取到dataframe中，现在我必须对每个列应用一些宽度，并将数据写入固定宽度的文件中。因为example..column 1有2位宽，列2有7个bit...like，而我有85列。谁能解释一下如何使用java spark将dataframe中的数据写入到固定宽度的文件中？我只需要java spark中的解决方案
浏览 0提问于2020-11-19得票数 0
1回答
我想在我的星火程序中遍历dataframe列，并计算min和max值。我对Spark和scala很陌生，一旦我在dataframe中获取它，我就无法遍历这些列。
我尝试过运行以下代码，但它需要将列号传递给它，问题是如何从dataframe中获取它并动态传递它，并将结果存储在一个集合中。
val parquetRDD = spark.read.parquet("filename.parquet")
parquetRDD.collect.foreach ({ i => parquetRDD_subset.agg(max(parquetRDD(parquetRDD.colum
浏览 3提问于2017-07-18得票数 0
回答已采纳
1回答
spark 包括用于计算min、max和类型"double“值的平均统计信息的工具，但是在尝试处理float类型的列值时，如何处理spark/java/cassandra场景？
编辑了以显示分辨率：
import org.apache.spark.sql.DataFrame;
import static org.apache.spark.sql.functions.*;
DataFrame df = sqlContext.read()
.format("org.apache.spark.sql.cassandra")
.option(&
浏览 0提问于2016-02-08得票数 1
1回答
我在有4个节点的dataproc集群上运行pyspark，每个节点有2个核心和8 GB RAM。我有一个dataframe，它有一个包含单词列表的列。我分解了这个专栏，并计算了出现次数- df.groupBy("exploded_col").count() 爆炸前约有78MN排。但是，运行上述代码的时间太长(超过4个小时)。为什么spark花了不寻常的长时间？我仍然是spark的新手，所以我还没有完全意识到适当的设置来处理巨大的数据。 我对sparkContext有以下设置 enter code here
SparkSession.builder \
.appName
浏览 132提问于2020-07-17得票数 1
我试图使用Pyspark在dataframe中更改一个列，也就是跨行对单个列的所有值进行洗牌。
我试图避免这样的解决方案，即在将列拆分并分配索引列之前，将其重新连接到原始的dataframe，而原始dataframe也有一个添加的索引列。主要是因为我的理解(这可能是非常错误的)，在大型数据集(数百万行)的运行时，联接是不好的。
# for some dataframe spark_df
new_df = spark_df.select(colname).sort(colname)
new_df.show() # column values sorted nicely
spark_df.with
浏览 0提问于2019-06-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
