将function (scanLeft)应用于分区，以在数据帧中创建新列
将function (scanLeft)应用于分区，以在数据帧中创建新列。
在云计算领域，将function (scanLeft)应用于分区是指在数据帧（DataFrame）中使用scanLeft函数对每个分区进行操作，并创建一个新的列。scanLeft函数是一种函数式编程中的高阶函数，它可以对一个集合进行迭代，并在每一步中将上一步的结果传递给下一步。
通过将function (scanLeft)应用于分区，可以实现对数据帧中的每个分区进行自定义的操作，并将操作的结果作为新的列添加到数据帧中。这种操作可以用于数据的累积计算、窗口函数等场景。
在云计算中，常用的数据处理框架如Apache Spark、Apache Flink等都提供了对分区进行操作的功能。例如，在Apache Spark中，可以使用DataFrame的mapPartitions函数来对每个分区应用自定义的函数。
应用场景：
- 数据累积计算：通过将function (scanLeft)应用于分区，可以对数据进行累积计算，例如计算每个分区的累积和、累积平均值等。
- 窗口函数：在时间序列数据分析中，可以使用窗口函数对每个分区的数据进行滑动窗口计算，例如计算每个分区的移动平均值、滑动窗口的最大值等。
推荐的腾讯云相关产品： 腾讯云提供了多个与数据处理和分析相关的产品，以下是其中几个推荐的产品：
- 腾讯云数据仓库（TencentDB for TDSQL）：提供高性能、可扩展的云原生数据仓库服务，支持对大规模数据进行分析和查询。 产品链接：https://cloud.tencent.com/product/tdsql
- 腾讯云数据湖分析（Tencent Cloud Data Lake Analytics）：提供基于Apache Flink的大数据分析服务，支持对数据湖中的数据进行实时分析和处理。 产品链接：https://cloud.tencent.com/product/dla
- 腾讯云弹性MapReduce（Tencent Cloud EMR）：提供基于Apache Spark和Hadoop的大数据处理和分析服务，支持对大规模数据进行批处理和实时处理。 产品链接：https://cloud.tencent.com/product/emr
以上是关于将function (scanLeft)应用于分区，在数据帧中创建新列的完善且全面的答案。
相关·内容
1回答
我正面临一个问题，在这个问题中，我无法查看来自Hive的某些数据。重现问题的步骤。创建一个表 drop table if exists hive_parquet_nulls_test ;
create table hive_parquet_nulls_test (
name String
)
partitioned by (report_date DATE)
stored as PARQUET; 然后创建一个具有新列的数据框并加载它们 import java.sql.Date
import org.apache.spark.sql._
import org.apache.spark.s
浏览 30提问于2019-12-21得票数 3
回答已采纳
1回答
我已经开发了Transact-SQL脚本来划分表。为了应用分区，我正在为分区键列创建一个非聚集索引，并将其与分区方案相关联。我有几个问题：
我的表可以有多个索引，当我们创建索引时，就会创建重复的数据。当我只在一个列(即partitioned列)上使用非聚集索引进行分区时，其他索引数据也会被分区吗？
如何在多个索引的情况下应用分区？
我们需要分开划分表数据和索引吗？
在Server中对表进行分区的最佳实践是什么？
浏览 0提问于2019-02-20得票数 0
1回答
我使用s3a从数据库读取数据帧并写入.parquet(s3a://bucketname//folder)。它适用于<100列的数据帧，但crashes.exits spark-shell适用于>100列的数据帧。如果是列限制/版本问题/内存问题，是否找不到任何材料？希望能从经验丰富的社区中找到一些方向。
PS。下面的代码可以在我的本地机器上的Eclipse Windows上运行，但在linux实例上会出现问题
spark版本- 2.4.0-cdh6.3.3 scala版本- 2.11.12 Java版本- 1.8
def execute(sql:String) = {//defin
浏览 15提问于2021-05-20得票数 1
回答已采纳
我的应用程序需要将数据集读入到dask中，该数据集分布在多个分区中。使用该数据帧，我需要对其执行多个操作(例如，从一列中减去另一列或求出两列的比率)。dataframe的索引是一个非唯一列。 因为应用程序完全是元数据驱动的，函数调用的顺序直到运行时才知道，所以我将应用程序设计为在每个阶段都依赖于返回一个新的延迟数据帧。我想知道一些分区和按列连接的巧妙使用是否可以帮助我提高代码的效率。 考虑到这些步骤是相互独立的，在下面的具体示例中，我可以相信最后一个操作会给出我的逐行比率的正确结果吗？也就是说，如果我执行的操作只向dataframe添加新的列，我可以相信行的顺序永远不会改变吗？ def su
浏览 21提问于2019-06-08得票数 0
回答已采纳
2回答
我已经创建了一个分区函数，但是我无法将它应用到一个表中。我不知道我哪里出了问题。
下面是我的分区函数：
CREATE PARTITION FUNCTION StaticDateMonthPartition (int)
AS RANGE left
FOR VALUES (
20120301,
20120401,
20120501,
20120601,
20
浏览 5提问于2012-05-15得票数 3
回答已采纳
我想用ifelse()-condition为多个数据帧创建几个列。下面是我的示例代码： df1 <- tibble(
date = lubridate::today() +0:9,
return= runif(n = 10, min = 0, max = 5))
df2 <- tibble(
date = lubridate::today() +0:9,
return= runif(n = 10, min = 0, max = 5))
df3 <- tibble(
date = lubridate::today() +0:9,
return= runif(n =
浏览 10提问于2019-03-09得票数 0
1回答
目前我正在开发Spark版本2.1.0，作为我的数据摄取工作的一部分，我必须使用ingest方法将数据摄取到hive表中。但是Spark 2.1版本有一个bug，当插入数据到hive表中时，insertinto方法不会保持列顺序。 我已经尝试在append模式下使用saveAsTable方法，但它不会起作用，因为在数据摄取之前，我首先使用正确的数据类型手动创建表。 我尝试从现有的hive表中创建spark数据帧，并尝试从其中获取列序列，并传递此列表结果以确保列序列，但每次都在hive表的顶部创建数据帧以获取列序列。每次加载hive表来创建数据帧都会占用内存吗？ 有没有人知道，如何用更好的方法
浏览 15提问于2019-02-26得票数 0
1回答
我需要使用索引和分区一个庞大但简单的表(1.27亿行)，以加快查询速度。它有99个月数据块，每个月有一个整数1到99。我希望每个月将每个月划分为每个分区，并对[ID]和[Month]列进行索引，因为我需要查询表，以便将每个月与其前面的[Month]和每个人的[ID]进行比较。我该怎么做？我已经创建了分区函数
CREATE PARTITION FUNCTION PF_Monthly(int)
AS RANGE RIGHT FOR VALUES (
1,2,3,4,5,6,7,8,9,10
,11,12,13,14,15,16,17,18,19,20
,21,22,23,24,25,26,27,2
浏览 2提问于2020-05-26得票数 0
回答已采纳
我对spark dataframe的分区数量有疑问。
如果我有Hive表(Employee)，它有列(name，age，id，location)。
CREATE TABLE employee (name String, age String, id Int) PARTITIONED BY (location String);
如果employee表有10个不同的位置。因此，在HDFS中，数据将被划分为10个分区。
如果我通过读取Hive表(Employee)的全部数据来创建Spark dataframe(df)。
Spark将为一个数据帧(Df)创建多少个分区？
df.rdd.partitio
浏览 0提问于2017-05-10得票数 4
2回答
我有一个spark数据帧，我用它来计算一行和一组给定坐标之间的欧几里德距离。为了更好地解释，我在这里重新创建了一个结构相似的数据帧'df_vector‘。
from pyspark.ml.feature import VectorAssembler
arr = [[1,2,3], [4,5,6]]
df_example = spark.createDataFrame(arr, ['A','B','C'])
assembler = VectorAssembler(inputCols=[x for x in df_example.column
浏览 0提问于2018-05-15得票数 1
我已经根据日期数据类型分区列对表进行了分区。
该栏的数据从"2014-01-01“开始，最后为"2015-01-01”。我知道，分区应该在左边和右边有空的分区。因此，我在创建分区函数时选择了以下边界范围。分区函数如下所示，
create partition function PfDateRange(date)
as range right for values('2014-04-01','2014-07-01','2014-10-01','2015-01-01')
我想听听一些选择边界范围的建议或良好做法。
另外，
浏览 0提问于2015-01-30得票数 1
回答已采纳
我有一个经常改变列位置的要求。我没有更改代码，而是创建了一个临时数据帧Index_df。在这里，我将更新列位置，它应该反映应该对其执行更改的实际数据帧。
sample_df
F_cDc,F_NHY,F_XUI,F_NMY,P_cDc,P_NHY,P_XUI,P_NMY
415 258 854 245 478 278 874 235
405 197 234 456 567 188 108 267
315 458 054 375 898 978 677 134
Index_df
col positi
浏览 4提问于2018-01-18得票数 0
回答已采纳
我们有这样的用例，我们希望按列值对数据帧进行分区，然后将每个分区写到单个文件中。我做了以下事情来做同样的事情：
val df = spark.read.format("csv").load("hdfs:///tmp/PartitionKeyedDataset.csv")
df.repartition($"_c1")
df.rdd.saveAsTextFile("s3://dfdf/test1234")
当我这样做的时候：
df.rdd.partitions.size
我只得到了62个partition.But，列的不同值是1
浏览 1提问于2018-03-14得票数 1
我有一个pyspark数据帧，如下所示：
<code>A0</code>
我想添加一个新的列，它将为这些唯一的行生成索引，如下所示：
<code>A1</code>
请帮助我使用pyspark生成这个新专栏。
提前感谢！
浏览 24提问于2018-12-21得票数 4
回答已采纳
2回答
我已经通过read.csv和lapply函数创建了一个嵌套的数据列表。这个嵌套的数据帧列表包含第一列product和rest 239列，用于不同国家的数据。所有数字都是字符格式的，我希望将其转换为列表中每个数据的数字形式。我使用了以下代码。但是它从每个数据中删除了product column1，并且只显示了列的[2:240]其余部分。如何防止删除product列？
files <- list.files(path = "D:\\R34\\casia3\\data_kaz\\export\\", pattern = "*.csv")
myfiles <
浏览 0提问于2019-06-13得票数 1
回答已采纳
2回答
有人能解释一下为Spark Dataframe创建的分区数量吗？
我知道，对于RDD，在创建它的时候，我们可以像下面这样提到分区的数量。
val RDD1 = sc.textFile("path" , 6)
但是对于Spark dataframe，在创建时，我们看起来没有像RDD那样指定分区数量的选项。
我认为唯一的可能性是，在创建数据帧之后，我们可以使用重新分区API。
df.repartition(4)
所以谁能让我知道我们是否可以在创建数据帧时指定分区的数量。
浏览 1提问于2016-09-07得票数 9
回答已采纳
如标题所述，是否存在使用存储读取API构造的读取流读取数据的排序顺序？如我所知，分区和聚类键是否有任何排序，如果使用群集，则分区中的数据存储在集群块中？
浏览 9提问于2022-06-09得票数 1
1回答
我有一个s3位置，其中有一个按日期列分区的拼花表。
parquet_data ---
-- dt=2021-07-27
files
-- dt=2021-07-26
files
现在我想创建一个外部表(CETAS)
使用由dt列分区的表。
CREATE EXTERNAL TABLE IF NOT EXISTS database.tbl_name (
ACCOUNT_NUM bigint
, ID
浏览 3提问于2021-07-27得票数 0
回答已采纳
我有一个现有的数据库，其中每个表都有4个分区(有同时使用范围分区和散列分区的表)。
我需要将其导入到具有预先创建的模式的另一个数据库中，在该数据库中，相同的表将具有8个分区。
我该怎么做呢？如果我做一个表级导入，这会“正常工作”吗？
浏览 0提问于2010-03-05得票数 1
回答已采纳
我在R生态系统中只有几天的时间，正在尝试找出一种方法来为原始数据帧中发现的每个数值列添加动态列。 我已经成功地编写了一种方法来更改dataframe中现有列中的值，但我需要的是将这些计算值放入新列中，而不是覆盖现有列。 这是我到目前为止所做的， myDf <- read.csv("MyData.csv",header = TRUE)
normalize <- function(x) {
return ((x - min(x,na.rm = TRUE)) / (max(x,na.rm = TRUE) - min(x,na.rm = TRUE)))
}
n
浏览 19提问于2020-10-09得票数 2
回答已采纳
我正在处理一个文件，在保存为增量之前，我运行了一个repartition(48, key)。在初始运行时，它在增量中生成大约25个分区(没有问题，因为键可能导致数据落入25个分区-我假设它不一定为没有数据的节点创建分区？)。 但是，在第二次运行时(通过合并完成)，生成了60+分区文件(这是一个具有1700个预先存在的键和仅300个新键的SCD进程) 我的理解是，repartition使用散列算法来确定键属于哪个分区，那么如果是这样的话，它是如何创建比定义的分区更多的分区文件的呢？ 代码示例： df = spark.read...
key = ["COL_A"]
part
浏览 30提问于2020-09-23得票数 2
你好，我想用for循环修改列表中的数据帧。我的函数运行良好，并且我的数据帧在函数中被修改，但是一旦我想拥有这些新的数据帧(与旧的数据帧具有相同的名称)，显示的不是数据帧，而是旧的数据帧。我得出结论，我不能覆盖我的旧数据帧。
我在列表中的所有数据帧都是这样的：
index customer_region number_order distance_between_seller_customer date_last_order mean_days_between_orders mean_item_per_order mean_volume_item_ordered
6
浏览 0提问于2021-04-20得票数 0
1回答
在我的R脚本中，我有一个包含四个不同月的数据的两列(时间、值)的SparkDataFrame。由于我需要将我的函数分别应用于一个月，我想我会把它分成四个分区，每个分区保存一个月的数据。
我创建了一个名为分区的额外列，其整数值为0-3，之后由该特定列调用了repartition方法。
不幸的是，正如在本主题中所描述的：，使用repartition方法，我们只确定所有具有相同键的数据都将在同一个分区中结束，但是具有不同键的数据也可以在同一个分区中结束。
在我的示例中，执行下面可见的代码可以创建4个分区，但其中只有2个分区使用数据填充。
我想我应该使用partitionBy方法，但是对于SparkR
浏览 1提问于2018-01-26得票数 6
回答已采纳
2回答
我们目前正面临用scala语言编写的闪烁in的性能问题。应用程序流程如下所述。
Spark应用程序从输入hdfs目录读取文本文件
使用编程指定架构在文件的顶部创建数据框架。此数据文件将是内存中的输入文件的精确复制。在dataframe中将有大约18列
var eqpDF = sqlContext.createDataFrame(eqpRowRdd, eqpSchema)
从步骤2中构造的第一个数据帧创建一个过滤后的数据帧。此数据帧将包含唯一的帐号，并借助distinct关键字。
var distAccNrsDF = eqpDF.select("accountnumber&#
浏览 2提问于2017-11-30得票数 1
我正在尝试处理一个大型数据集，但只处理其中的一小部分。每个操作都需要很长时间，我想查看数据帧的head或limit。
因此，例如，我调用UDF (用户定义函数)来添加一列，但我只关心在前10行执行此操作。
sum_cols = F.udf(lambda x:x[0] + x[1], IntegerType())
df_with_sum = df.limit(10).withColumn('C',sum_cols(F.array('A','B')))
然而，如果我不使用limit，这仍然需要同样长的时间。
浏览 0提问于2018-09-26得票数 2
1回答
我需要每天从一个包含大约35亿条记录的表中删除大约百万行75+。
数据库恢复模式很简单，我已经写了一个代码，在一个时间条件下删除15.000行，直到所有75M记录都被删除。(由于日志文件增长，我使用批删除)但是，以当前的删除速度，看起来至少需要5天，这意味着需要删除的数据量比我的删除速度快。
基本上，我要做的是总结(在另一个表中)并删除超过2个月的数据。该表中没有更新操作，只有插入和删除操作。
我有MSSQL 2017企业版
欢迎提出任何建议。
表定义：(为您提供清晰的视图)
表有3个索引，聚集的bigint Id索引、非聚集的(Datetime + bit + int)索引和包含每个列的非聚
浏览 0提问于2020-06-24得票数 0
因此，我的项目要求我使用两个分区将一个名为租约的表拆分(分区的一边是比2003年1月15日更旧的租约，另一边是比那个日期更新的租约)。
基本上，我以前已经创建了一个名为"Leases2“的表，我希望为它创建一个分区(为此我需要创建一个全新的表)，所以我将该表中的所有数据复制到一个名为”Leases2“的新表中，现在当我试图传输所有约束时，除了主键约束之外，它们都不会在新表上执行错误。
PS:我对sql很陌生。
所以我创建了分区，如下所示：
CREATE TABLE Leases2
(
ContractDate datetime NOT NULL,
F
浏览 1提问于2019-08-23得票数 3
回答已采纳
DataFrame repartition()方法和DataFrameWriter partitionBy()方法有什么区别？
我希望这两种方法都能用于“基于数据帧列的数据分区”？或者有什么不同？
浏览 4提问于2016-11-04得票数 60
回答已采纳
3回答
将熊猫数据栏映射到矩阵
、、、
下列操作
import pandas as pd
import numpy as np
data = pd.read_csv(fname,sep=",",quotechar='"')
将创建一个650,000 x 9数据帧。第一列包含日期，下面的内容旨在将单个日期标记转换为5个独立的功能。
def timepartition(elm):
tm = time.strptime(elm,"%Y-%m-%d %H:%M:%S")
return tm[0], tm[1], tm[2], tm[3], tm[4]
data[
浏览 3提问于2016-01-10得票数 0
回答已采纳
给定一个包含字符列的现有数据帧，如下面所示(oldColumn1)，我希望R在相同的数据帧中自动创建一个新列，从字符串的左侧命名(例如颜色)。
然后，对于每一行，将出现在"：“(例如红色、蓝色等)后面的字符串内容的正确部分放到名为"COLOR”的新列中。
有许多旧列(oldColumn1、oldColumn2等)需要像这样分开，所以手动这样做是不切实际的。提前感谢您提供的任何帮助。
# Here is an example of 3 oldColumns that already exist in dataframe.
# There are thousands of thes
浏览 7提问于2022-04-12得票数 0
回答已采纳
我希望在R数据帧中有一个文本文档列表，其中一列'doc_title‘包含文件的名称，另一列’.txt‘包含这些文件中的文本。 我使用以下代码从.txt文件的目录创建了一个数据帧： > file.list <- list.files(path = ".", pattern="*.txt", full.names=TRUE)
> all.files <- sapply(file.list, FUN = function(x)readChar(x, file.info(x)$size))
> df <- data.fram
浏览 14提问于2020-11-18得票数 0
回答已采纳
我想了解火花如何决定它创建的csv文件的数量，同时将数据帧保存为csv文件。分区的数量会影响这个数目吗？为什么要创建一些空文件？我有如下代码
dataframe.coalesce(numPartitions).write
.format("com.databricks.spark.csv")
.option("delimiter", "|")
.option("header", "true")
.mode("overwrite")
.save("outputpa
浏览 0提问于2018-03-28得票数 2
回答已采纳
我希望根据列(SECURITY_ID)对我的数据框(Df)进行分区，然后运行df.foreachpartition(自定义函数)。这工作得很好。
在每个分区中，必须根据列(排名)对数据进行排序。这工作得很好。
现在，根据我想要为每个分区按顺序逐行处理的顺序。例如：
基本数据帧：
+-------------+----------+----------+------
ACCOUNT_NO|SECURITY_ID| QUANTITY| RANK|
+-------------+----------+----------+------
32934789| 290X2| -98
浏览 0提问于2019-09-25得票数 0
1回答
我在AWS S3上有一个持久化数据帧，结构如下： s3://bucket/df/
|__ date=2020-02-19/
|__ FILENAME01.json
|__ FILENAME02.json
|__ FILENAME03
|__ ...
|__ date=2020-02-20/
|__ FILENAME04.json
|__ FILENAME05
|__ ...
|__ ... 如果我使用以下语法读取此数据帧： df = spark.read.json("s3://bucket/df)" 没有扩展名的文件将是
浏览 50提问于2021-02-20得票数 1
回答已采纳
给定在PySpark中指定用户定义函数的可用方法：
逐行本机PySpark UDFs
利用Apache Arrow的熊猫UDF
如何才能在dataframe上创建和运行一个用户定义的函数，该函数无需创建一个新列就不返回任何内容？
例如:假设您希望并行地将一个dataframe列加载到某个外部持久性存储中。也就是说，不要将整个数据写入HDFS，而是使用一个字段作为键，另一个字段作为将逐行传输到blob存储(如s3 )的值。
浏览 0提问于2019-01-17得票数 0
1回答
我在甲骨文中经历了各种关于哈希分区的网站，但我无法理解它的优势。我开始了解到，即使有时使用范围分区，数据也可能分布不均匀。因此，我们将使用Hash分区。
所以谁能给我解释一下什么是散列分区，散列分区的必要性？
为什么我们要使用Hash分区？
为什么我们在创建散列分区时使用2次方n表空间
当我们进行散列分区时，到底会发生什么？
有谁能给我详细解释一下吗？
提前谢谢。
浏览 0提问于2014-04-08得票数 1
我正在使用spark对我的数据集运行一个查询。查询的结果很小，但仍然是分区的。
我希望合并生成的DataFrame并按列排序行。我试过了
DataFrame result = sparkSQLContext.sql("my sql").coalesce(1).orderBy("col1")
result.toJSON().saveAsTextFile("output")
我也试过
DataFrame result = sparkSQLContext.sql("my sql").repartition(1).orderBy("
浏览 2提问于2015-07-31得票数 6
几年前，我划分了一个非常大的列商店索引表的集合。为了简单起见，假设我有四个分区文件，其中根据客户ID的范围存储数据。
CREATE PARTITION FUNCTION [CustomerPF](int) AS RANGE LEFT FOR VALUES (
N'25'
,N'50'
,N'75')
CREATE PARTITION SCHEME [CustomerPS] AS PARTITION [CustomerPF] TO (
customer0to25fg
,customer26to50fg
浏览 9提问于2021-12-15得票数 0
回答已采纳
1回答
我试图知道提高我的客户给我的查询的性能的最好的方法。它包含几个被连接的表，其中一个表名为dwh.fac_sale_detail，它包含15亿行。
此表dwh.fac_sale_detail是根据其名为TradingDateKey的列进行分区的。它实际上以yyyymmdd格式存储数据，但它是INT数据类型。
从2005年到2015年，这一数字达到了TradingDateKeys。但是分区只创建到2014年。
另一个团队中的一个人提出了以下建议，我正在尝试遵循他的建议，但我对于创建或更改分区并不熟悉，也不知道这对提高查询性能是否有任何影响：
他用他自己的话说
FactSalesDetail表目前
浏览 3提问于2015-09-17得票数 0
1回答
我有一个名为contest的数据帧
这里有两个我感兴趣的专栏
TST =拍摄总数SM =拍摄次数
我想复制这个名为contest的数据框，并创建一个划分SM/TST的新列
我用的是pandas和numpy。制作数据帧的新副本的步骤。将新列添加到复制的数据帧中，并将该计算称为shotperc = shot百分比将非常有帮助。我这周才开始使用Jupyter笔记本。
浏览 0提问于2020-09-20得票数 0
1回答
我试图根据S3中的一个目录在雅典娜中创建一个表，该目录如下所示：
folders/
id=1/
folder1/
folder2/
folder3/
dt=***/
dt=***/
id=2/
...
我想用两列隔开。一个是id，on是dt。
因此，最终我希望我的表有一个id列，对于每个id，所有的dt都在它的子文件夹folder3中。
我试图简单地在“分区按”部分设置这两列，其中的位置是“文件夹”路径，那么表就没有数据了。
然后，在查询表时，我尝试使用注入和在where子句中设置一个特定的id，但是表包含了我不需要的数据，并且分区似乎不
浏览 10提问于2022-01-24得票数 0
回答了类似的问题
我有一个数据帧(即1000)的列表，如下所示：
> lst[1000]
$rand1000
Binomial S4 S5 S6
254 Euastacus suttoni 25.816165 4.1916527 86.3
327 Orconectes hobbsi 16.726409 5.5241308 25.0
282 Faxonella creaseri 17.026970 6.4109494 18.
浏览 1提问于2017-03-28得票数 4
回答已采纳
我有创建新数据帧df2的代码，它是现有数据帧df的副本，但有四个新列a，b，c，d。这些列的值由它们自己的函数给出。 下面的代码按预期工作，但似乎是重复的。你能推荐一种更简洁的形式吗？ df2 <- df %>% mutate(a = lapply(df[,c("value")], f_a),
b = lapply(df[,c("value")], f_b),
c = lapply(df[,c("value")], f_c),
浏览 13提问于2019-08-25得票数 0
回答已采纳
我们有多个数据帧。
其中一个数据帧是主数据帧，它使用左-外连接与其他数据帧连接。所有这些数据帧都连接在4列上(比如col1、col2、col3、col4)。
为了减少数据混洗，目前我们正在对4个连接列上的所有数据帧进行重新分区，然后连接这些数据帧(从左到外)。
有没有更好的方法来连接/重新划分这些数据帧，以便最大限度地减少数据混洗？
谢谢
浏览 2提问于2019-02-08得票数 2
1回答
我想将两个数据帧连接到一个df中，并将其保存为一个csv，因为第一个数据帧位于csv文件中，所以我不想在内存中加载它。我尝试了附加模式下的df.to_csv，但是对于不同的列(比较和合并列)，它的行为并不像df.concat。有人知道如何连接csv和df吗？基本上，csv和df可以有不同的列，因此输出csv应该只有一个标头以及所有列和适当的相应行。
浏览 6提问于2022-02-17得票数 0
我想了解如何在不从df中“排除”其他列的情况下，对数据帧的特定列应用函数。例如，我想将一些特定的列乘以1000，而让其他列保持原样。
例如，像这样使用sapply函数：
a<-as.data.frame(sapply(table.xy[,1], function(x){x*1000}))
我得到了新的数据帧，其中第一列乘以1000，但没有在操作中使用的其他列。所以我尝试这样做：
a<-as.data.frame(sapply(table.xy, function(x) if (colnames=="columnA") {x/1000} else {x
浏览 0提问于2012-11-15得票数 14
回答已采纳
1回答
我使用星火在本地模式和一个简单的连接是太长。我获取了两个数据文件:a (8列和230万行)和B(8列和120万行)，并使用A.join(B,condition,'left')连接它们，最后调用了一个操作。它创建一个包含三个阶段的单个作业，每个阶段用于两个数据文件提取，另一个用于加入。令人惊讶的是，提取数据的阶段A大约需要8分钟，而数据B则需要1分钟。几秒钟之内就会加入。我的重要配置设置是：
spark.master本地的*
spark.driver.cores 8
spark.executor.memory 30g
spark.driver.memory 30g
浏览 0提问于2016-12-25得票数 5
回答已采纳
1回答
我的SQL表分区
、、
示例:我创建了一个包含1000个数据的表。
我把这张桌子分开
alter rnds通过散列(id)分区200添加主键(Id)分区；
我签入mysql数据目录，并发现它创建了5部分
rnds#P#p0.ibd , rnds#P#p1.ibd , rnds#P#p2.ibd , rnds#P#p3.ibd , rnds#P#p4.ibd
在此表中插入另一个1000 row并成功插入之后。
我的问题是，为什么不为新的1000 data创建新的部分。
创建表分区后，表如何管理新数据。
浏览 1提问于2015-01-22得票数 0
回答已采纳
我在读ALTER PARTITION FUNCTION 最佳做法，上面写着-
始终在分区范围的两端保留空分区，以确保分区分割(在加载新数据之前)和分区合并(在卸载旧数据之后)不会引起任何数据移动。避免分割或合并填充的分区。这可能非常低效率，因为这可能导致四倍的日志生成，也可能导致严重的锁定。
问题：
通过确保新边界与未来日期相对应，以确保不会发生数据移动，还是真的需要空分区？
我认为某些优化是在分区为空的情况下完成的，但是说主要成本在数据移动本身是正确的吗？
在SQL 2014中有什么新的东西可以帮助我们(我们从2008年到2014年)。是的，我知道SQLServer2019已经发布了，..b
浏览 0提问于2018-09-28得票数 2
回答已采纳
我正在使用spark.readStream从Kafka读取数据，并对生成的数据帧运行分解。我试图将爆炸的结果保存在蜂窝表中，但我找不到任何解决方案。我尝试了以下方法，但它不起作用(它运行，但我没有看到任何新的分区创建)
val query = tradelines.writeStream.outputMode("append")
.format("memory")
.option("truncate", "false")
.option("checkpointLocation", checkpointL
浏览 4提问于2017-12-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
