预处理管道错误:给定列不是数据帧的列
预处理管道错误是指在数据预处理过程中出现的错误，其中给定列不是数据帧的列。数据预处理是指在进行机器学习或数据分析任务之前，对原始数据进行清洗、转换和整理的过程。
当出现预处理管道错误时，通常是由于给定的列不符合预期的数据类型或格式，无法被正确地处理。这可能是由于数据集中的某些列包含了非预期的数据，例如缺失值、异常值、错误的数据类型等。
为了解决预处理管道错误，可以采取以下步骤：
- 检查数据集：首先，需要仔细检查数据集，确保每一列的数据类型和格式与预期一致。如果发现某些列的数据类型不正确，可以尝试进行数据类型转换或修复。
- 处理缺失值：如果数据集中存在缺失值，可以采取一些方法来处理它们，例如删除包含缺失值的行、使用均值或中位数填充缺失值，或者使用插值方法进行填充。
- 处理异常值：异常值可能会对预处理管道产生影响，因此需要进行异常值检测和处理。可以使用统计方法或基于模型的方法来检测异常值，并根据具体情况进行处理，例如删除异常值或使用合适的替代值进行填充。
- 数据转换和标准化：在预处理过程中，可能需要对数据进行转换和标准化，以便更好地适应机器学习或数据分析算法的要求。例如，可以进行特征缩放、对数转换、独热编码等操作。
- 数据集划分：在完成数据预处理后，通常需要将数据集划分为训练集、验证集和测试集，以便进行模型训练、调优和评估。
对于预处理管道错误的解决，腾讯云提供了一系列的云计算产品和服务，例如：
- 数据处理与分析：腾讯云数据处理与分析服务（链接：https://cloud.tencent.com/product/dpa）提供了数据清洗、转换和整理的功能，可以帮助用户高效地进行数据预处理。
- 人工智能：腾讯云人工智能服务（链接：https://cloud.tencent.com/product/ai）提供了各种机器学习和数据分析工具，可以帮助用户进行数据预处理和模型训练。
- 数据库：腾讯云数据库服务（链接：https://cloud.tencent.com/product/cdb）提供了高性能、可扩展的数据库解决方案，可以存储和管理预处理后的数据。
- 云原生：腾讯云容器服务（链接：https://cloud.tencent.com/product/tke）提供了容器化的部署和管理平台，可以帮助用户构建和管理预处理管道。
以上是关于预处理管道错误的解释和解决方法，以及腾讯云相关产品和服务的介绍。希望对您有所帮助！
相关·内容
1回答
因此，我创建了一个混合数据类型的模型，并使用SK Learn Docs中推荐的示例，使用列转换器来构建分类器。
由于输入来自csv，并被转换为Pandas Dataframe，因此看起来X_test、X_train、y_test、y_train也都是数据帧。将y_test传递给clf.predict()函数可以很好地工作，并且我可以接收预测结果。
然而，我想托管这个模型，Google cloud ML引擎接受预测请求API中的2D实例数组。如何让我的分类器适应并接受输入数组而不是数据帧？我意识到这可能是相当微不足道的，但正在努力寻找解决方案。
浏览 2提问于2018-12-23得票数 0
我目前正在尝试添加一个额外的功能到一个countvectorizer矩阵，这个矩阵是用scikit-learn创建的。 工作流程如下:我有一个dataframe，它包含一个包含文本的列和一个包含附加特性的列。 我首先将我的数据分成训练数据帧和测试数据帧。然后，我在训练数据的文本列上应用countvectorizer。然后，我用计数分解器矩阵作为输入来拟合RandomForest分类器。 我现在试图确定的是，我想使用矩阵和数据帧中另一列中的附加功能来运行RandomForest分类器。 我怎样才能做到最好呢？我已经读到过scikit功能联合，但无法在我的数据框架中使用不同的列。 下面是一个代码
浏览 22提问于2021-01-25得票数 0
回答已采纳
在使用列转换器作为一个整体对数据集进行预处理时，我遇到了一些问题--也许您可以帮助：
首先，我在我的数据集中看到：
X_train, X_test, y_train, y_test = train_test_split(df, target, test_size=0.2, random_state=seed)
然后我做预处理：
preprocessor = ColumnTransformer(
transformers=
[
("col_drop", "drop",["col1","col2",])
浏览 7提问于2021-07-28得票数 0
回答已采纳
我想在基于分隔符的数据帧内将一列拆分为两列。例如,
METHAMPHETAMINE | MORPHINE
THC
变成了
METHAMPHETAMINE MORPHINE
THC
在数据帧内。
谢谢!
浏览 0提问于2017-08-09得票数 1
我需要构建一个数据管道，它从CSV文件(存储在S3上)中获取输入，并“更新”Aurora RDS表中的记录。我了解批量记录插入的标准格式(开箱即用的模板)，但是对于记录的更新或删除，有没有什么标准方法可以在SqlActivity中使用这些语句？
我可以写一个update语句，但是引用CSV输入的方式，它们只是问号(?)没有任何索引列的自由。
让我知道数据管道是否可以这样使用？如果是，有什么具体的方法可以引用CSV列吗？提前感谢！
浏览 0提问于2016-07-12得票数 0
1回答
我有一段代码，它是我的数据的预处理文件。一切都是正常的，直到我必须将经过预处理的数据输入到一个fit函数中，该函数接受pandas、数据帧和数组。如何将此训练数据转换为供馈送的数据帧？在pipeline.fit()函数中，数据类型是列转换器，而不是pandas df。 代码： import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.com
浏览 19提问于2021-11-01得票数 0
回答已采纳
1回答
我正在尝试使用Baking建立一些预测模型-来自kaggle的营销目标这里是链接：
kaggle的数据集已经分为列车数据csv和测试数据csv。但是这两个csv文件都有一个目标列y。在启动EDA和预处理之前，我应该将它们连接到一个数据帧中吗？那么在创建模型的时候，要使用train_test_split库吗？
第二个问题是，我还看到了一些来自kaggle的数据集：也已经分离为列车数据csv和测试数据csv。但区别在于测试数据csv没有目标列(Response)。这让我觉得我不能连接两个数据集。
有人能给我解释一下吗？
浏览 11提问于2022-09-20得票数 -1
回答已采纳
1回答
事情是这样的，我有一个不平衡的数据，我正在考虑使用平滑转换。然而，当使用sklearn管道时，由于缺少值，我会得到一个错误。
这是我的密码：
from sklearn.pipeline import Pipeline
# SELECAO DE VARIAVEIS
categorical_features = [
"MARRIED",
"RACE"
]
continuous_features = [
"AGE",
"SALARY"
]
features = [
"MARRIED&
浏览 0提问于2020-09-19得票数 1
1回答
我正在做一个使用Tamil Universal Dependency dataset的NLP项目。我已经将数据预处理成一个数据框，其中的列是令牌及其依赖标记。我想使用mBERT模型执行单词嵌入。由于数据集是一个预先训练的模型，因此它已经被标记化，如附加的数据框所示。我不确定如何继续，因为当令牌被转换为令牌id时，令牌器错误地标记了令牌id。 b #List of tokens 数据帧 ? 令牌ID错误 ?
浏览 15提问于2021-10-31得票数 0
问题:我有一组数据帧，其中的数值列具有不同的列名。这些列每次都处于相同的位置。df MatA具有名为iBAQ.MatA.01至30的列，而data frame YoungA具有名为iBAQ.YoungA.01至30的列。我想把第11列除以第8列。它们总是在同一位置，所以MatA[9]等同于YoungA[9]。
我正在使用dplyr来传输一堆命令，如果我不必手动编辑大量具有更新的变量名的行，我会很高兴的。这就是我为什么要使用.来引用原始数据框架的原因。但是，这会导致错误的输出，其中创建了许多相同的列，如下面的最小示例所示：
> library(dplyr)
> Data <-
浏览 0提问于2017-10-23得票数 0
1回答
我正在做一个网站上的消费者行为分析项目，并实时预测用户的恶意活动。为用户进行的每一次点击收集点击数据。
我正在使用多个AWS服务，如kinesis stream、Lambda和sagemaker。我已经创建了一个自动编码器模型，并将其部署为sagemaker端点，当通过Kinesis流从网站接收到新的点击数据时，将使用lambda调用该端点。
因为sagemaker端点包含唯一的模型，但lambda函数接收的点击数据是带有URL、文本和日期的原始数据。如何将原始数据传递到所需的预处理步骤，并以所需的格式将处理后的数据发送到sagemaker端点？
原始数据示例：-
{'URL'
浏览 25提问于2021-06-07得票数 1
回答已采纳
我正在做一个检测人类意识水平使用此数据集的项目。
我对视频数据进行了如下预处理：
将视频转换为帧(每5秒取一帧)。
将框架旋转为垂直的。
应用OpenCV神经网络从图像中提取人脸。
将数据分成90%的训练、5%的验证和5%的测试。
数据集中的所有图像大小约为57万张。
我在移动设备上使用这个模型，所以我在MobileNetV2上使用了转移学习。模型分类是非常好的，但它感到奇怪，看到它做得这么好，并达到一个非常低的损失如此之快。
在这么大的数据集中，这可能吗？我觉得我做错了什么，因为当我尝试在移动设备上使用Tensorflow.js时，它的表现并不好。在做了一些研究之后，我意识到我应该使用一个结
浏览 0提问于2020-09-11得票数 1
回答已采纳
我有一个数据帧(df)，其中包含各种会议的主场优势值。第一列表示主队，其余列标题表示客队。我想在第二个数据帧( df1 )中创建一个新列df1['hfa']，它显示了df1中列出的各个比赛在df中的主场优势。下面是两个数据帧的图像。在excel中，我可以通过索引匹配实现双向查找。我想将df中的值映射到df1'hfa‘的df1中，这样它们就可以读取: 2.5，3.5，4.5等。 我有以下代码： df1['hfa'] = df1['Home Team'].map(df.set_index('Home Team')[]) 我不
浏览 26提问于2021-10-25得票数 1
回答已采纳
2回答
我正在尝试传递数据帧列中的所有数字，以便使用R中的wilcox.test(·)进行分析。
如果我传递c(1,2,3)，它可以很好地工作，但我希望将一个预先存在的数据库中的列传递到函数中，而不需要完全键入它。(大约有200万行)
传递该列会产生错误：'x' must be numeric. (可以理解)
示例数据：
AA AC AD AE AF
0.6047619 NA -1.0000000 1.0059524 -1.000000
-0.2348790 NA 0.5812500 0.129464
浏览 0提问于2013-06-04得票数 0
回答已采纳
1回答
我想对数据帧中的列df['Texts']中包含的小文本进行分组。下面是一个要分析的句子示例：
Texts
1 Donald Trump, Donald Trump news, Trump bleach, Trump injected bleach, bleach coronavirus.
2 Thank you Janey.......laughing so much at this........you have saved my sanity in these mad times. Only bleach Trump is using is on his
浏览 24提问于2020-05-12得票数 1
回答已采纳
1回答
我的模型处理视频，我想要计算它能以每秒帧的速度处理帧，或者处理1帧的时间。
我做了一个函数来得到预测，它接受原始帧作为输入，做所有的预处理，并返回分类。其中的预处理步骤之一是对视频中的帧进行采样，将进入深度学习模型的帧数减少1/5，如果没有所有的预处理，该模型就无法达到预期的效果。
所以我的问题是，我是否也应该考虑预处理时间？最重要的是，是所有帧的处理时间还是模型实际看到的帧的处理时间？
示例代码结构如下：
start = time.time()
prediction = main(data)
end = time.time
print("Time for 1 frame=",
浏览 2提问于2020-08-30得票数 0
实际上，这种怀疑更像是--“为什么这段代码工作正常？”
我正在从一本课本上算出一个问题。具体而言，问题是构建一个具有数据准备阶段的管道(删除NA值、执行功能缩放等)。然后是一个预测阶段，它涉及到对转换的数据集进行训练并返回其预测值的预测器。
这里，我们使用了一个支持向量回归模块(sklearn.svm.svr)。
我试过我的代码，但没成功。所以我查了课本作者提供的解决方案-
prepare_select_and_predict_pipeline = Pipeline([
('preparation', data_prep),
('svm_reg'
浏览 3提问于2021-04-04得票数 0
回答已采纳
给定以下测试文件： https://docs.google.com/spreadsheets/d/1rRUZirjPj2cBeaukUG8ngEowv80Nqg6N/edit?usp=sharing&ouid=100016243141159098340&rtpof=true&sd=true 我需要导入有4张工作表的.xlsx文件(这只是一个例子，我的原始文件有更多的工作表)，向每个df添加一列，并使用它所属的工作表的名称，然后将结果df与具有相同列数的df连接起来。 在这个示例中，我有两个表，每个表有两列(我希望它们在同一个dataframe中)，另外两个表，每个表有
浏览 10提问于2021-09-13得票数 1
回答已采纳
1回答
我在我的训练和测试集中训练了多分类模型，并在SVC中取得了很好的效果。现在，我想在我的整个dataframe中使用模型o进行预测，但是当我得到以下错误时：ValueError: X has 36976 features, but SVC is expecting 8989 features as input.
我的dataframe有两列:一列带有类别(我手动标记了大约1/5的dataframe)，另一列包含所有文本(包括未标记的文本)。
data={'categories':['1','NaN','3', 'NaN
浏览 3提问于2022-08-29得票数 1
回答已采纳
1回答
我正在尝试通过tensorflow对象检测api训练一个自定义数据集。数据集包含40k个numpy ndarray格式(uint8)的训练图像和标签。训练数据集shape=2 (40000,23456)和标签shape =1 (0...，3)。我想为这个数据集生成tfrecord。我该怎么做？
浏览 2提问于2018-05-19得票数 9
回答已采纳
我想对列表中的两个数据帧中的每个数据帧使用mutate，向第一个数据帧添加一个列z = 3，向第二个数据帧添加z = 4列(并返回两个数据帧的列表)。
dfs <- list(data.frame(x = 1), data.frame(y = 2))
mapply(dplyr::mutate, dfs, z = 3:4, SIMPLIFY = FALSE)
#> Error in lazyeval::lazy_dots(...): Promise has already been forced
我到底出了什么问题，我该如何去做我想做的事情？
浏览 2提问于2016-12-22得票数 3
2回答
我有一个数据，所以当我试图计算A列的平均值时，我只是写
mean(df$A)
而且效果很好。
但是，当我试图计算数据帧的部分平均值时，我会发现一个错误，即它不是一个数字或逻辑值
df$A %>% filter(A=="some value") %>% mean(df$A)
A的类型是双倍的。我还尝试使用
df$A <- as.numeric(as.character(df$A))
但没起作用。
浏览 1提问于2018-08-08得票数 0
回答已采纳
1回答
我使用的是的确切示例，它将permutation_importance与tree feature_importances进行比较
如您所见，使用管道：
rf = Pipeline([
('preprocess', preprocessing),
('classifier', RandomForestClassifier(random_state=42))
])
rf.fit(X_train, y_train)
permutation_importance
现在，当您拟合一个Pipeline时，它将一个接一个地对所有的转换进行拟合，并对数据进行转换
浏览 0提问于2020-05-30得票数 3
回答已采纳
最初，我的输入数据集有空格。但是我已经清理了它，并使用:df.isnull()、.sum()和everthing为0进行了检查。现在，在将我的数据集拟合到LinearRegression模型并进行预测之后，它带来了上述错误。
浏览 2提问于2022-06-08得票数 0
我正在努力计算R中数据帧中两组之间的t-test。下面的示例代码产生了一个有两列的数据帧:变量和值。有两个变量："M“和"F”。
data <- data.frame(variable = c("M", "F", "F"), value = c(10,5,6))
我需要证明M和F的值在统计上是不同的。换句话说，10在统计上与5和6的平均值不同。我需要在此数据框中添加另一列来显示p值。当我运行下面的代码时，它给出了以下错误：
result <- data %>% mutate(newcolumn = t.test(
浏览 5提问于2020-02-27得票数 0
1回答
我有两个数据帧： df1： ID Open High Low
1 64 66 52 df2 ID Open High Volume
1 33 45 30043 我想编写一个函数来检查列标题是否与df1中的列匹配/相同。 如果不是，我们会收到一条消息，告诉我们缺少哪一列。 给定这些数据帧的消息示例： "The column 'Low' is not selected in df2. The column 'Volume' is not selected in df1
浏览 30提问于2021-04-30得票数 2
回答已采纳
假设有一个形状为(4000,13)的数据帧。假设数据帧“str_labels”中可能有"|“值。如何通过删除所有包含字符串值"|“的行(全部13列)来对pandas数据帧进行排序。示例： list(dataframe["str_labels"])=["abcd","aaa","op|gg","iku | gv"]
filtered_out = ["abcd", "aaa"] ## example code
dataframe["|" not in d
浏览 13提问于2020-10-28得票数 0
回答已采纳
3回答
给定以下玩具数据帧：
df <- data.frame(A = c("A", "A", "A", "B", "B", "C", "C", "C", "C", "C"),
B = c(1, 2, 3, 1, 2, 1, 2, 3, 4, 5))
此数据框由2列组成，其中两列均按升序排序。
所需的结果是相同的数据帧，但是对于列‘A’中的值指定的每个组，列'B‘的值是相反的：
> df
浏览 17提问于2020-05-07得票数 1
回答已采纳
5回答
是否有一种方法可以方便地并排合并两个数据帧？
两个数据帧都有30行，它们具有不同的列数，例如，df1有20列，df2有40列。
如何轻松获得30行60列的新数据框？
df3 = pd.someSpecialMergeFunct(df1, df2)
或者可能在append中有一些特殊的参数
df3 = pd.append(df1, df2, left_index=False, right_index=false, how='left')
ps:如果可能的话，我希望复制的列名能够被自动解析。
谢谢!
浏览 4提问于2014-05-27得票数 53
2回答
要解除数据帧的嵌套，我可以使用：
df <- data_frame(
x = 1,
y = list(a = 1, b = 2)
)
tidyr::unnest(df)
但是，我如何在数据帧列中的列表中解锁列表呢？
df <- data_frame(
x = 1,
y = list(list(a = 1, b = 2))
)
tidyr::unnest(df)
错误：
每一列必须是向量列表或数据帧列表y。
浏览 1提问于2016-08-09得票数 20
回答已采纳
1回答
我正在编写一个程序，它将从csv文件中读取一个数据帧，然后计算其中一个属性(列)的哈希值，并将其作为一个新属性存储在数据帧中。所有这些都很好。但是，我想要的是将散列属性存储为我的键，将原始属性作为它的值存储在redis中。对于数据帧中指定列中的每个元素，我想这样做。例如：
这是我最初的数据框架：
customer value
a 1
b 2
c 3
然后，我要为value属性计算散列：
customer value hash
a 1
浏览 0提问于2018-04-22得票数 5
回答已采纳
创建决策树和数据集有21列，是数字变量和分类变量的混合。使用sklearn，我知道它不支持分类变量。我使用标签编码将分类转换为数字，同时也分离数值变量。然后，我会认为我必须把这两个组相加在一起，这样我就可以分成测试和训练数据。但是，当我试图将这两个变量相加(最初是数值变量，并将分类变量转换为数字变量)时，我收到了一个ValueError。
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns
import warnings
warnings.filterwarn
浏览 3提问于2022-02-05得票数 0
3回答
我正在连接两个数据帧，所以我想将一个数据帧定位到另一个数据帧。但首先，我对初始数据帧进行了一些转换：
scaler = MinMaxScaler()
real_data = pd.DataFrame(scaler.fit_transform(df[real_columns]), columns = real_columns)
然后连接：
categorial_data = pd.get_dummies(df[categor_columns], prefix_sep= '__')
train = pd.concat([real_data, categorial_data],
浏览 2提问于2018-05-16得票数 12
回答已采纳
当我通过show显示dataframe列的子集时，为什么显示的行的顺序不同？
以下是原始数据帧：
这里的日期是给定的顺序，如您所见，通过show。
现在，当我为新数据帧选择predict_df by列选择方法的子集时，通过show显示的行的顺序发生了变化。
浏览 4提问于2021-05-16得票数 3
1回答
我正在尝试创建一个Pandas管道，它创建虚拟变量并将列附加到现有的数据帧中。不幸的是，我不能让附加的列在流水线结束时保持不变。 示例： def function(df):
pass
def create_dummy(df):
a = pd.get_dummy(df['col'])
b = df.append(a)
return b
def mah_pipe(df):
(df.pipe(function)
.pipe(create_dummy)
.pipe(print)
return df
print(
浏览 16提问于2021-03-23得票数 1
回答已采纳
我最近开始使用pandas数据透视表功能，并希望在输出中添加额外的数据。我现在有下面的数据框
数据帧：
我想在最后一列旁边多加一列，这将给出12个月的费用预测，即平均*12。
结果数据帧：
提前感谢同行python专家的帮助。
浏览 2提问于2020-07-31得票数 0
1回答
如何保存和恢复我的滑雪板模型？
、、、、
我使用pickle存储机器学习模型，如下所示：
import pickle
with open('mymodel','wb') as f:
pickle.dump(gbc,f)
现在，在另一台计算机上，我想测试这个型号。因此，我正在恢复我的模型并传递这样的数据：
with open('mymodel', 'rb') as fin:
clf = pickle.load(fin)
X_new_preds = clf.predict(dataset)
但是我发现了一个错误：
ValueError: Num
浏览 1提问于2018-04-06得票数 2
1回答
我从来没有生产过xgboost模型，我关心的是如何在xgboost模型中处理新的数据预测。特别是当列名与训练的模型不匹配时，稀疏矩阵列名称-要么是由于添加了新的列，要么是因为在将新数据转换为稀疏矩阵时删除了某些列。
如果我试图在带有额外或缺少列名的新数据上预测xgboost模型，该怎么办？我看到这肯定会发生，并希望创建代码来说明它，以便预测是正确的。如果已经存在更优雅的解决方案，我更倾向于避免将它们拼凑在一起。
因此，具体地说，如果新的数据稀疏矩阵具有不同的列名，那么该怎么办？
我最好的猜测是分解(基于训练的数据级别)>创建稀疏矩阵>然后删除不匹配的列(在训练的数据集和新数据之间)
浏览 11提问于2017-01-16得票数 3
1回答
我正在尝试计算数据帧的单个列中特定值出现的百分比。我使用以下代码加载单个数据帧，并计算sinlge列"Counter“中每个值的总计数。然后，我将其除以该数据帧中存在的行数，以获得百分比。
test <- read.csv("./subdata/Bur01.csv")
test %>%
group_by(Counter) %>%
summarise(no_rows = length(Counter))
Counter no_rows
<int> <int>
1 2 176
2
浏览 22提问于2021-06-01得票数 0
回答已采纳
我在从我存储的数据帧创建线性模型时遇到了问题，因为自变量包含逗号分隔符(即314,567.5 vs 314567.4)。如何使用read.csv或readr读取数据集并返回特定列中没有逗号的数据帧？
浏览 0提问于2015-06-12得票数 1
我有几个JSON文件，应该使用r来读取和合并。每个文件包含51个观测值的数据。但是，当我读取r中的JSON文件时，我需要的信息嵌套在“提及”列中。我需要包含在“提及”中的时间戳来创建一个新的变量，该变量计算2017年t月的提及次数。
结果应该是一个数据帧，其中包含ID，在t中的引用，t2 ...t1，t2中的t12和B提及...t12。因此，每个JSON文件有一个51行25列的数据帧。
我使用了jsonlite包并编写了以下代码：
jsondata1 <- stream_in(file("1595450.txt"))
%>% jsonlite::flatten()
浏览 11提问于2019-07-29得票数 0
2回答
如何比较2个不同Pandas数据帧的列名。我想要比较测试数据帧中缺少某些列的训练数据帧和测试数据帧？？
浏览 0提问于2018-05-07得票数 13
回答已采纳
在R中，我想递归地遍历数据帧的列，并选择每一列，以便对给定的列绘制一个方格图。这是我的尝试
#define dataframe
library(ggplot2)
df <- mpg
#get unique column names
IDs <- unique( colnames(df) )
for (name in IDs){
#goal: store column as a data frame, actual: store column as a list
temp <- df[name]
#plot column of data vs cty mile
浏览 0提问于2021-06-02得票数 1
回答已采纳
1回答
我需要找到给定的点和数据帧列中包含的一系列点(我还知道经度和纬度)之间的旅行时间。我使用了以下代码行： distances_driving <-gmapsdistance(origin = CZ10$API , destination = "49.9919662993+14.6579083484",mode = "driving") CZ10是我的数据帧，API是以longitude+latitude格式包含所需值的列。 在运行代码时，我得到以下错误： StartTag: invalid element name Error: 1: StartTag:
浏览 14提问于2020-01-15得票数 1
1回答
多列上的pySpark连接数据帧
、、、、
我使用下面的代码来连接和删除两个数据帧之间的复制。但是，get错误AnalysisException: Detected implicit cartesian product for LEFT OUTER join between logical plans...Either: use the CROSS JOIN syntax to allow cartesian products between these relations, or: enable implicit cartesian products by setting the configuration variable spar
浏览 36提问于2020-06-08得票数 0
回答已采纳
给定两个数据帧，这两个数据帧可能具有完全不同的模式，除了索引列(本例中为<code>D0</code>)，例如下面的df1和df2：
df1：
<code>A1</code>
df2：
<code>A2</code>
我如何将这两个数据帧组合成一个如下所示的数据帧：
df3：
<code>A3</code>
我对spark非常陌生，所以这可能不是很有意义。但我试图解决的问题是:我需要组合这些数据帧，以便稍后可以将每一行转换为给定的对象。但是，它们必须按时间戳排序，所以当我写出这些对象时，它们的顺序是
浏览 18提问于2019-03-27得票数 0
我想根据我传递给dplyr的arrange函数的列及其位置对数据帧进行排序。只要我使用的是“旧”tidyverse/magrittr管道操作符，它就能工作。但是，将其更改为新的R管道将返回一个错误：
df <- data.frame(x = c(3, 4, 1, 5),
y = 1:4)
# Works
df %>%
arrange(.[1])
x y
1 1 3
2 3 1
3 4 2
4 5 4
# Throws error
df |>
arrange(.[1])
Error:
! arrange() faile
浏览 2提问于2022-03-01得票数 4
4回答
带汇总r的逻辑值计数
、、、
在数据帧中，我有一个具有Y和N值的列。这个数据帧也有一个id列。我想要创建两个列，一个具有总Y计数，另一个具有每个id的总N计数。我尝试用dplyr汇总函数执行这个过程。
group_by(id) %>%
summarise(total_not = count(column_y_e_n == "N"),
total_yes = count(column_y_e_n == "Y")
但是反对错误消息
Summarise_impl中的错误(.data，dots)
有服用吗？
浏览 0提问于2019-02-16得票数 1
回答已采纳
我正在尝试使用Python/Pandas粗略地复制R中的包(作为学习练习)。我所坚持的是“管道”功能。
在R/dplyr中，这是使用管道操作符%>%完成的，其中x %>% f(y)等同于f(x, y)。如果可能的话，我想使用中缀语法来复制(参见)。
为了说明这一点，请考虑以下两个函数。
import pandas as pd
def select(df, *args):
cols = [x for x in args]
df = df[cols]
return df
def rename(df, **kwargs):
for name, valu
浏览 206提问于2015-11-12得票数 30
回答已采纳
1回答
假设我有一些简单的数据帧，有10列和n行。许多行都有一些scikit值，所以我使用NaN -learn的输入器来填充这些值。 然而，前三列本质上是索引，所以我不需要在那里填充NaN。 因此，我有一个这样的实现： imp = sklearn.impute.KNNImputer()
t = pd.DataFrame(imp.fit_transform(df.iloc[:, 3:]), columns=df.columns[3:])
df.iloc[:, 3:] = t 通过查看df.head()和df.shape，似乎没有出现可怕的错误。然而，当涉及到数据帧切片时，我已经学会了不能完全信任熊猫
浏览 17提问于2020-01-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
