我的数据帧包含一个分类特征'Street‘，它可以接受两个可能的值'Grvl’或'Pave‘中的一个。我正在尝试在拟合ML算法之前将这个分类特征转换为数值。我的代码如下所示
dataset['Street']=dataset['Street'].map({'Grvl':0,'Pave':1}).astype(int)
我已经用数据帧中出现次数最多的值填充了缺少的值
dataset['Street'].isnull().sum()
我收到以下错误
ValueError
浏览 6提问于2017-07-25得票数 1
2回答
我研究了特征工程中Kaggle的fill null方法。一些玩家用另一个对象值填充NA。
例如，在性别列中有‘男性’、‘女性’和NA值。该方法是用另一个对象值填充NA，比如“中间”。在此之后，它处理没有任何null的性别属性，pandas也不会找到null。
我想知道这种方法对机器学习模型的性能有很好的影响，还是对特征工程有很好的影响？除此之外，在数据集中没有知识发现的情况下，有没有其他好的方法来填充NA？
浏览 0提问于2016-12-05得票数 1
我使用不同的方法探索pandas.DataFrame.interpolate()，linear和nearest，当尾部有缺失数据时，我发现这两种方法的输出不同。 例如： import pandas as pd # version: '0.16.2' or '0.20.3'
>>> a = pd.DataFrame({'col1': [np.nan, 1, np.nan, 3, np.nan, 5, np.nan]})
Out[1]:
col1
0 NaN
1 1.0
2 NaN
3 3.0
4 Na
浏览 82提问于2019-02-21得票数 3
回答已采纳
我喜欢在pandas dataframe中填充na，其中dataframe中的两列都在同一行上。 A B C
2 3 5
Nan nan 7
4 7 9
Nan 4 9
12 5 8
Nan Nan 6 在上面的数据框中，我希望将列A和列B都有Nan的行替换为“不可用”。 因此： A B C
2 3 5
Not available not available 7
4 7 9
Nan 4 9
12 5 8
Not available not available 6 我尝试了多种方法，但得到了不想要的结果
浏览 16提问于2020-10-12得票数 0
1回答
我有如下数据：
| ID | Name | Inv | Date | Value | PO | Type | Rate | Tax | Integ |
|----------|-----------|-----|------------|-------|-----|-------|-------|-------|-------|
| DEADBEEF | CHEMICALS | 321 | 19-11-2017 | 14288 | UK | State | 0.00% | 3000 | 0 |
| |
浏览 0提问于2018-11-25得票数 2
回答已采纳
1回答
我有一个数据框架，它有一个名为SAM的列，它包含以下数据
SAM
3
5
9
Nan
Nan
24
40
Nan
57
现在，我想分别在12、15和43值中插入Nan (因为9+3=12、12+3=15和40+3=43)。换句话说，通过将Nan添加到上一行(也可以是Nan)来填充任何3行。
我知道这可以通过遍历for循环来完成。但我们能用矢量化的方式做吗？就像ffill的一些修改版本(如果我们没有连续的NaNs，它可以在这里使用)，在pandas.fillna()中。
浏览 1提问于2016-12-14得票数 6
回答已采纳
2回答
填充缺失的值并进行规范化
、、、、
我有两列神经网络的训练数据，它们都是缺失的值。(还有许多其他列不缺少值。)
例如
Height | Weight
180 | 70
175 | N/A
N/A | N/A
我希望填充缺失的值，并将列规范化。
数据是高度和权重，所以我认为一个很好的填充值应该是0或-1。这是基于Python中的深度学习一书：
通常，对于神经网络，输入缺失值为0是安全的，条件是0不是有意义的值。
我假设0在值为150-200的数据集中没有意义。
我还被建议通过减去每一列的平均值并除以std来规范数据。
这两种方法都很好--我知道怎么做和为什么要这样做。我不明白的是如何把它们结合起来。我也可
浏览 0提问于2018-07-26得票数 8
1回答
给定以下DataFrame
A B
0 -10.0 NaN
1 NaN 20.0
2 -30.0 NaN
我希望合并列A和B，用来自列B的值填充列A中的NaN单元格，然后删除列B，从而生成如下所示的DataFrame：
A
0 -10.0
1 20.0
2 -30.0
我通过使用iterrows()函数解决了这个问题。
完整的代码示例：
import numpy as np
import pandas as pd
example_data = [[-10, np.NaN], [np.NaN, 20], [-30, np.NaN]]
exampl
浏览 0提问于2019-05-08得票数 1
回答已采纳
我想用最接近的(从左侧开始) e列的值填充not NaN列的NaN。
a b c d e
0 1 2.0 3.0 6.0 3.0
1 3 5.0 7.0 NaN NaN
2 2 4.0 NaN NaN NaN
3 5 6.0 NaN NaN NaN
4 3 NaN NaN NaN NaN
例如，对于e的第二行，它最接近的Not NaN列是e by position，然后我们以7.0为例，在Pandas中可以这样做吗？谢谢。
预期输出如下所示：
a b c d e
0 1 2.0
浏览 13提问于2020-02-07得票数 1
回答已采纳
1回答
我尝试按列合并两个CVS文件，但遇到错误。
import os
import pandas as pd
os.chdir('/home/yovel/PycharmProjects/fantasyfinal')
a = pd.read_csv("statsmerger.csv")
b = pd.read_csv("team.csv")
b = b.dropna(axis=1)
merged = a.merge(b, on = 'player')
merged.to_csv("output1.csv", index
浏览 17提问于2019-10-21得票数 0
1回答
我试图在Deedle C#数据框架中转发fill值，就像在python中使用pandas.ffill()函数一样。熊猫的前填充，允许在行索引和列索引中向前填充。我希望在Deedle中也这样做，在同一行中取最近的无缺失值，但从不同的列取，所以跨行，这在python和大熊猫中非常简单。我对C#和Deedle库都很陌生，我在文档中所能找到的就是如何在不跨数据框架的系列中转发填充值。任何帮助都是非常感谢的，我对此很陌生，而且我似乎在任何地方都找不到这个库的任何实质性示例。
这是我的数据框架的一个例子，我正试图跨行转发填充值。因此，col3中缺失值的填充值将成为col2等行中的最后一个值。
------
浏览 0提问于2019-08-18得票数 2
回答已采纳
3回答
我正在分析包含http请求日志的aws日志文件，我需要预测下一分钟的预期负载(请求数量)。然而，我发现有些时间跨度没有任何日志。在这种情况下，我是假设这些时间内的负载仅为0，还是需要进行某种插值？
time load
-----------------------------------
2018-11-07 09:45:00 40
2018-11-07 09:46:00 45
2018-11-07 09:47:00 34
2018-11-07 09:48:00 56
然后在接下来的两个小时内没有日志，然后再一次：
浏览 3提问于2019-02-02得票数 0
目前，我正在讨论主题问题。我不清楚为何会这样做，以及须作出甚麽修订。
代码：
table = df.pivot_table(values='LoanAmount', index='Self_Employed' ,columns='Education', aggfunc=np.median)
def fage(x):
return table.loc[x['Self_Employed'],x['Education']]
#Replacing missing values
df['LoanAmou
浏览 8提问于2018-11-24得票数 1
我能用这种方式理解吗？如果任何陈述是错误的或不准确的，请告诉我。
数据填充的原因:假设我有一个连续的数据(例如，每天的日志数据)，并且丢失了部分数据。为了进行一些计算(例如，平均值)，我们首先需要给缺失的部分赋值(例如，等于现有的数据)。
前向填充和后向填充是两种数据填充方法。不同的是填充方向？例如，星期二的数据(缺失)等于周一的数据(现有的)正向填充。相反的是向后填充。
浏览 0提问于2019-08-19得票数 1
回答已采纳
我对altair互动图有点问题。下面是代码的一小部分。
import pandas as pd
import altair as alt
import numpy as np
import random
n=300
dat = pd.DataFrame()
dat['X_axis'] = np.linspace(start=0.0, stop=1000, num = n)
mean = 4
std = 1
dat['Y_axis']=np.random.normal(loc=mean, scale=std, size = n)
dat['anom
浏览 2提问于2020-03-27得票数 1
2回答
我习惯于用NaN替换空字符串，并删除空数据。
import pandas as pd
import numpy as np
df.replace('', np.nan).dropna()
但是，我希望我的函数使用无服务器框架运行。我需要import numpy只是为了使用np.nan，它占用了我宝贵的250 my的包大小限制。
导入pd.np.nan是可行的，但有人警告说，pandas.np模块已被废弃，并将从未来版本的熊猫中删除。
是否有不导入numpy np.nan 而使用的解决方案？
浏览 5提问于2020-07-22得票数 2
回答已采纳
我正在努力检查具有相同行和列索引的两个pandas数据透视表(填充值1和Nan)之间的相似性百分比。我想计算相同的行数，并将它们除以总行数。给出基本的例子：
df1
column1 column2 column3
idx1 Nan 1 Nan
idx2 1 Nan 1
idx3 Nan Nan 1
df1
column1 column2 column3
idx1 1 Nan 1
i
浏览 5提问于2021-03-09得票数 1
回答已采纳
我有两个Series对象，从我的角度来看，它们看起来完全相同，只是它们包含不同的数据。我尝试将它们转换为DataFrames，并将它们作为单独的列放在同一个DataFrame中。出于某种原因，我无法理解，其中一个系列将高兴地转换为一个DataFrame，而另一个拒绝转换时，放置在一个容器(列表或迪克)。我得到一个重新索引错误，但没有重复的索引在这两个系列。
import pickle
import pandas as pd
s1 = pickle.load(open('s1.p', 'rb'))
s2 = pickle.load(open('s2.p
浏览 1提问于2016-10-17得票数 0
回答已采纳
1回答
我正在使用Pandas将R代码翻译成Python，我已经找到了相当于所有R操作的Pandas，但是现在我得到了以下R代码：
dtfr %>% mutate(a_column = ifelse(a_column == "INFINITY", MAX_VALUE, a_column))
这是我的熊猫等价物：
dtfr['a_column'] = np.where(dtfr['a_column'] == 'INFINITY', MAX_VALUE, dtfr['a_column'])
我一直在寻找与Pandas中的
浏览 7提问于2022-01-02得票数 1
回答已采纳
我想在一个列中实现对excel文件的操作，该列有字符串和整数数据，但该列是对象类型。
我的数据在Excel中如下所示：(字符串和数字的组合)
Time Spent
3600
0
None
1800
0
我尝试了下面的代码
if (df['Time Spent']=='None').all():
df['Time Spent'] = 0
else:
df['Time Spent'] = df['Time Spent'].astype('int')/3600
我所犯的错误
Index
浏览 1提问于2019-07-07得票数 3
回答已采纳
我试图使用Panda库的'loc‘函数在dataset中的一个列中计算缺少的值，但是代码没有成功执行。代码行如下所示。
# Impute missing data by mean weight of each sub-category in 'Item_Weight' column
data.loc[miss_bool,'Item_Weight'] = data.loc[miss_bool,'Item_Identifier'].apply(lambda x: item_avg_weight[x])
正在生成的错误如下，
data.loc
浏览 0提问于2018-08-01得票数 1
4回答
我有一个Pandas Dataframe，它有一些缺失值。我想用一些不会影响统计数据的东西来填充缺失的值，这是我将对数据执行的操作。 举个例子，如果在Excel中，你尝试对一个包含5个单元格和一个空单元格的单元格求平均值，那么平均值将是5。我希望在Python中也是如此。 我尝试用NaN填充，但是如果我对某一列求和，例如，结果是NaN。我也尝试用None填充，但得到了一个错误，因为我对不同的数据类型求和。 有人能帮忙吗？提前谢谢你。
浏览 25提问于2019-02-11得票数 0
回答已采纳
2回答
我有一个包含3列的DataFrame，这样每一列都可以有一个值NaN。我想根据这3个值填充第4列，以便对这些列应用or操作:如果第一列不是NaN，则获取它的值，否则检查第二列，依此类推。因为NaN值不是False，所以不能按原样使用or运算符。这是我附带的代码，但它不是Pythonic式的或者Pandas式的。有没有内置的函数可以做到这一点？或者，如果你有任何其他的建议？ import pandas as pd
import numpy as np
nan = np.NaN
df = pd.DataFrame({"a": [nan, 1, nan], "b"
浏览 22提问于2021-07-06得票数 1
回答已采纳
我一直在尝试使用pandas将多个不同长度的列表转换为CSV文件 list_1 = [0,1,2]
list_2 = [0,7]
df = pd.DataFrame.from_records({"col1": list_1, "col2": list_2)
df.to_csv("data.csv", sep=',',index=False) 然而，这段代码需要每个列表中相同数量的元素，而我一直找不到一段允许这样做的代码
浏览 18提问于2020-03-26得票数 0
回答已采纳
1回答
我试图创建一个函数，用不同的数值尺度，在多个序列中填充缺失的数字，同时为每个系列生成一个常量列。
from tika import parser
import pandas as pd
import numpy as np
import io
rawtext = parser.from_file('D:\Selenium\Texto.txt')
text = rawtext['content']
f = io.StringIO(text)
f.readline()
data = f.read()
f.readline()
def fill(d):
id
浏览 1提问于2020-09-13得票数 3
回答已采纳
我有一个字典商店，它将outlet的名称作为键，将outlet的种类作为其值 stores = {'McDonalds':'Fast food','African and Eastern Beverage':'Alcohol','Baskin Robbins': 'ice Cream'} 我有一个pandas数据帧，其中包含插座的名称和分支位置(在Merchant列中)，其中一些包含MerchantType的NaN值 我需要使用商店字典填充那些具有NaN值并匹配商家类型的行的MerchantTyp
浏览 13提问于2019-02-11得票数 1
回答已采纳
1回答
我试图在数据集上应用Gaussian Naive Bayes模型来预测疾病。当我预测使用训练数据时，它的运行是正确的，但是当我试图预测使用测试数据时，它给了ValueError。
runfile(‘D:/ROFI/ML/心脏病/Prediction.py’，wdir=‘D:/ROFI/ML/心脏病’)回溯(最近一次调用)：
文件""，第1行，在runfile中(‘D:/R菲/ML/心脏病/pretion.py’，wdir=‘D:/R菲/ML/心脏病’)
文件"C:\Users\User\Anaconda3\lib\site-packages\spyder\utils\
浏览 1提问于2017-06-19得票数 0
回答已采纳
因此，您可以看到，我的proteinID dataframe有4292个成员，当我试图打印它们时，我在索引13处得到一个错误，我不明白为什么。
知道怎么回事吗？
print proteinID.shape
print X_final.shape
for i,prot in enumerate(X_final):
print i
print prot
print proteinID[i]
这给了我：
(4292L,)
(4292L, 4L)
0
[ 0.01070217 0.86624627 0.30031799 1.0022054 ]
Q9BV57
1
浏览 0提问于2015-11-05得票数 0
回答已采纳
1回答
处理数据集中的缺失值
、、、
我们应该在多大程度上填充数据集中某个特征的缺失值，以便它不会变得多余？
我有一个最多有42000个观察值的数据集。有三个特征丢失了大约20000,35000和7000值。我应该仍然通过填充这些缺失值来使用它们，还是应该丢弃这三个功能？
在给定特征缺失值的数量的情况下，我们如何确定保留或转储特征的阈值？
浏览 1提问于2015-10-03得票数 0
下面的代码给出错误 import pandas as pd
import numpy as np
df=pd.DataFrame({"item":['a','a','b'],"item1":['b','d','c']})
df.groupby("item").agg(model_list=("item1", np.unique)) 由于项目a有两个唯一值(即b和d)，如何修改它以返回第一个非空的唯一值？
浏览 28提问于2021-03-18得票数 0
1回答
我想在这里执行空值分析。在这里，我提到了数据集的前两行 Shop_name Bikes_avaiable Shop_location Average_price_of_bikes Rating_of_shop
NYC Velo Ninja,hbx Salida 5685$ 4.2
Bike Gallery dtr,mtg,Harley Davidson Por
浏览 16提问于2020-06-28得票数 0
4回答
问题是如何在熊猫数据栏中用最频繁的级别填充NaNs？
在R randomForest包中有选项：A completed data matrix or data frame. For numeric variables, NAs are replaced with column medians. For factor variables, NAs are replaced with the most frequent levels (breaking ties at random). If object contains no NAs, it is returned unaltered.
在Pa
浏览 4提问于2015-09-16得票数 44
回答已采纳
我目前正在使用，我希望在dataframe中选择没有任何实体属性的所有数据条目。
df_ = df.loc[df['entities'] != None]
看起来挺好的，但是
df_ = df.loc[df['entities'] is not None]
将引发KeyError，这是
文件"pandas_libs\index.pyx"，第107行，>pandas._libs.index.IndexEngine.get_loc文件"pandas_libs\index.pyx"，第128行，>pandas._libs.
浏览 0提问于2019-08-27得票数 5
1回答
有没有办法在pandas分析报告输出中只显示特定的选项卡？
我使用的是pandas_profiling.ProfileReport(data)，但我只需要概述、变量和示例选项卡。那么，是否有一个选项可以隐藏其他选项卡，例如pandas_profiling.ProfileReport(data,correlations=False,missing_values=False)，而只显示报告的特定部分？
浏览 14提问于2019-11-20得票数 3
回答已采纳
大多数教科书说，要填充缺失的值，使用的是均值/中值(数字)和最频繁的(分类)，但我使用的是一个数据集，它有太多的缺失值，而且我不能删除这些列，因为它们很重要。
train.isnull().sum()
TransactionID 0
isFraud 0
TransactionDT 0
TransactionAmt 0
ProductCD 0
...
id_36 449555
id_37 44955
浏览 0提问于2020-03-17得票数 0
回答已采纳
2回答
如何在一些栏目上做ffil？我不需要ffil每一列，我想留下最后一列。 My input和Desired Output 这段代码将对每个列和表执行ffill操作。但我不需要对每个工作表的最后一列执行ffill操作。 import pandas as pd
writer = pd.ExcelFile('C:/Users/User/Desktop/law.xlsx')
writer.sheet_names
excelfile = pd.ExcelWriter('C:/Users/User/Desktop/law_out.xlsx', engine='
浏览 16提问于2020-09-07得票数 1
回答已采纳
1回答
我有一个非常大的数据集df，它缺少大量的日期(整个8月份)及其各自的数据。该文件如下所示
Date ID Size Total Used
07/01/2020 A 200 5000 0.90
07/01/2020 A 150 5000 0.90
07/
浏览 0提问于2020-10-03得票数 1
2回答
我有个数据：
import pandas as pd
data = {'fruit': ['pear','pear','banana', 'pear', 'pear','apple', 'apple', 'cherry','cherry'],
'fruit_type': ['unknown','pear','unknown', 'unknown
浏览 3提问于2021-07-26得票数 1
回答已采纳
1回答
这是我的数据
from cmath import nan
student_card = pd.DataFrame({'ID':[20190103, 20190222, 20190531],
'name':['Kim', nan, nan],
'class':['H', 'W', 'S']})
student_card
看上去像这样
所以在'name‘列中有
浏览 5提问于2022-09-21得票数 0
回答已采纳
1回答
如果通过CSV提供数据(可以是字符串，也可以是数字)，那么标记值缺失的好策略是什么？
一些非空的哨兵，比如NA
一些非空的哨兵，但被引用如"NA"
空字符串，例如，在CSV中，值将为0字符长。
引用的空字符串""
其他的事情/视情况而定？
如果有什么不同，那么希望CSV在使用readr、Pandas和Excel读取时表现合理。
浏览 0提问于2020-06-06得票数 0
回答已采纳
我有一个数据集，其中缺少值，但是它不是XGBClassifier的问题。它可以动态地为您填充值。在XGBClassifier填充功能时，我想保存它们。我的目标是使用XGBoost来估算丢失的数据，然后我将尝试另一种不允许NaN值的算法。这有可能吗？
浏览 8提问于2020-05-02得票数 0
回答已采纳
3回答
python的NA相当于R的NA是什么？
更具体地说:R有NaN、NA、NULL、Inf和-Inf。NA通常用于缺少数据的情况。python的等价物是什么？
numpy和pandas等库是如何处理缺失值的？
scikit-learn是如何处理缺失值的？
Python2.7和python3有区别吗？
浏览 2提问于2015-02-22得票数 30
回答已采纳
2回答
下表：
使用Pandas -我希望实现desired_output列，当当前单元格下的值i不同时，这是正确的-否则为FALSE。
我已经尝试了以下代码--但是会发生错误。
df['desired_output']=df.two.apply(lambda x: True if df.iloc[int(x),1]==df.iloc[int(x+1),1] else False)
浏览 4提问于2020-08-16得票数 0
回答已采纳
1回答
我有一个这样的data字典： data = {
'new_value': [
'100', '100',
'250', '250',
'250', '50',
'90', '90',
'90', '90'
],
'prev_value': [
'None', '
浏览 17提问于2020-01-30得票数 2
回答已采纳
我有以下数据(示例)：
import pandas as pd
data = [['A', '2022-09-01 10:00:00', False, 2], ['A', '2022-09-01 12:00:00', True, 3], ['A', '2022-09-01 14:00:00', False, 1],
['B', '2022-09-01 13:00:00', False, 1], ['B', '2022-09-
浏览 3提问于2022-11-02得票数 1
回答已采纳
1回答
你好，各位数据科学家。
我是这个领域的新手，我面临一个问题，因为我需要一个建议。所以我有数据，其中一个列是产品ID，另一个列表示它来自哪个城市。
那么，我现在的问题是，当城市价值为空时，在这种情况下怎么办？我认为这是绝对不可能的，猜测的起源和填充，或填充中位数。
那你的建议是什么？
非常感谢
浏览 0提问于2022-04-18得票数 0
回答已采纳
1回答
获得Dataframe df
State Item Space Date
AAA Grape 0.125 2022-02-11
Beans 0.0
AAA Mango 0.25 2022-02-11
AAA Beetroot 0.375 2022-02-11
Carrot 0.5
需要用该列的唯一值填充行中的空值。试过df['State'].fillna(df['State'].unique(), inplace=Tru
浏览 7提问于2022-02-18得票数 0
我有2016-2019年间的用电数据。每隔30分钟记录一次，共4年。13/03/2019-31/03/209之间没有数据。我从pandas.DataFrame.interpolate开始，我几乎尝试了所有的方法，而没有对这个问题进行任何修复。你可以在下面看到一些结果。
Df.interpolate(method=“最近”)
📷
df.interpolate(method="akima")
📷
df.interpolate(method="time")
📷
现在，我正在考虑使用同样的2018年3月的数据来填补2019年3月丢失的值。
你认为这是处理这个问题的最好方
浏览 0提问于2022-02-20得票数 0
回答已采纳
我试着用Imputer来表示缺失的值。我想跟踪所有缺失值的列，但因为我不知道它们中有哪些(列)已经被处理过:是否也可以返回所有缺失值的列？
归责注
当axis=0时，只包含fit缺失值的列在转换时被丢弃。当axis=1时，如果有无法填充缺失值的行(例如，因为它们只包含缺失的值)，则会引发异常。
import pandas as pd
import numpy as np
from sklearn.preprocessing import Imputer
data={'b1':[1,2,3,4,5],'b2':[1,2,4,4,0],'b3'
浏览 0提问于2018-06-14得票数 1
回答已采纳
4回答
数据中缺失的值
、、、、
我曾经经历过，大多数数据集都包含缺失的值，这使我们的任务变得有些困难。
请让我知道如何有效地填充那些缺失的值？是否有任何特定的技术来处理丢失的值？
浏览 0提问于2017-08-31得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
