首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python数据分析(2)-pandas数据结构操作

可以看出loc是靠索引值来索引,iloc靠数据在矩阵中的位置标号来索引(位置标号从0开始),例如: df.loc['b', 'two'] 和 df.iloc[1,1] 对应同一数:8 索引多个数据时...,保留数据,条件为假,该处数据被改为nan,即为缺省值 2.2 增加数据 增加数据涉及到增加行,增加列,以及多个dataframe合并 2.2.1 增加行:append ind1 = ['a', '...其实就相当于合并了两个dataframe,取了并集。所以在增加行的时候需要保证列能够参数对齐。...pop只用于删除列,drop可以用来删除行和列(axis参数控制) 2.4.2 删除index: 当drop中的axis参数为0时,即删除行: ind1 = ['a', 'b'] col1 = ['...缺省值处理 dataframe中没有数据或者数据为nan(非数字)时,都用nan表示。

1.5K110
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python踩坑指南(第一季)

    path/to/file', 'r') as f: print(f.read()) IO读取采用with形式,避免忘记close,否则会产生很神奇的结果 ---- embereding_data.drop_duplicates...(keep='first',inplace=True) python 中删除重复项 如果在原来数据上删除重复项,就要加入inplace=True 否则 只是保存一个副本!!!...'> print(j['Opcode'].encode('u8')) #返回值:信息 使用json.loads时,如果原字符串中包含有 \r\n\t等字符,则会提示报错, 修改参数strict=False...=1) 生成county_route_index字段示例310112.0_320583.0,而start_county_cd、end_county_cd为整型(int64) 解决办法: 1.str(...= 1) dataframe 某列的值根据其他列的值计算得来 ---- pRec = {} import functools def check_is_key_param(f): global

    56230

    Pandas部分应掌握的重要知识点

    df.loc[2,:]=["Rose","Sales","Female",3500] print("修改标签为2的行之后:") df 5、删除一列或多列数据 使用drop函数,并且指定axis=1才能删除列...如果要删除多列,则要结合标签的花式索引形式: df.drop(['sex','salary'],axis=1,inplace=True) #inplace=True表示原地修改,即修改的结果直接作用于当前对象...print("删除性别和工资列之后:") df 6、删除一行数据 使用drop函数,默认是删除行(axis=0是默认值)。...以下是删除标签为4的行: df.drop(4,inplace=True) print("删除标签为4的行之后:") df 说明:可以通过?或help来查看以上操作函数的参数,例如df.drop?...,本例中lambda函数的形参x代表每个分组 ④ 当组对象存在多列时,filter的过滤条件要求显式的指定某一列 六、处理缺失值 1、Pandas中缺失值的表示 Pandas表示缺失值的一种方法是使用

    4800

    pandas系列10-数值操作1

    df.replace([A,B],C) 多对多 Excel中通过多个if嵌套语句来实现 如果数值为32,替换成32 如果是260,替换成33 如果是280,替换成34 if(D:D=240,32,if(...如果待排序的书数据中存在缺失值,通过设置参数na_position对缺失值的显示位置进行设置 last,默认显示在最后面 first ?...Excel中删除非常简单,主要是讲解Python中怎么删除,使用的是drop方法 比如删除两个字段"col1"、“col2”,有两种写法: df.drop(["col1","col2"],axis=1...) # 直接写出属性的名字 df.drop(df.columns[[1,2]],axis=1) # 用属性所在的位置信息 两种方法都需要指明axis=1 直接将属性名字传给columns df.drop...唯一值获取与数值查找 唯一值获取 Excel中将该列值复制黏贴后删除重复值即可 Python中使用unique()方法 数值查找 Python中使用的是isin()方法,在某列上调用方法 在,返回T 不在

    1K20

    数据分析之pandas模块

    5,数据清洗   主要用isnull()判断值是否为空,notnull()判断值是否不为空,返回的都是值为bool型的Series,然后把它作为索引,就可以把为False的值给删除。 ?   ...4.2 还可以用drop(),drop系列的函数中,axis=1表示列,axis=0代表行,这和其他所有场景都是相反的 ?   4.3 上面两种清洗方法都是删除整行或者,整列,有时是不允许这样子删除。...我也可以用fillna()来把空值给填上。当inplace参数设为Ture时,表示修改后的数据映射到原数据,相当于修改原数据。 ?   ...在使用merge时,会自动根据两者相同的columns,来合并 每一列元素不要求一致 参数: how:out取并集,inner取交集 on:当两者有多列的名字相同时,我们想指定某一列进行合并,那我们就要把想指定列的名字赋给它...8,删除重复元素   使用duplicated()函数检测重复的行,返回元素为bool类型的Series对象,keep参数:指定保留哪一行重复的元素 ?

    1.2K20

    Pandas数据分析

    分析前操作 我们使用read读取数据集时,可以先通过info 方法了解不同字段的条目数量,数据类型,是否缺失及内存占用情况 案例:找到小成本高口碑电影  思路:从最大的N个值中选取最小值 movie2....默认情况下,它会考虑所有列,如果只想根据某些列删除重复项,可以将这些列名作为参数传递给subset参数 movie3.drop_duplicates(subset='title_year',keep='...last') # drop_duplicate方法的keep参数用于指定在删除重复行时保留哪个重复项 # 'first'(默认):保留第一个出现的重复项,删除后续重复项。...# False:删除所有重复项 数据连接(concatenation) 连接是指把某行或某列追加到数据中 数据被分成了多份可以使用连接把数据拼接起来 把计算的结果追加到现有数据集,可以使用连接 import...concat函数添加列,与添加行的方法类似,需要多传一个axis参数 axis的默认值是index 按行添加 向DataFrame添加一列,不需要调用函数,通过dataframe['列名'] = ['值

    11910

    案例 | 用pdpipe搭建pandas数据分析流水线

    (axis=0).apply(df) 结果如图9: 图9 删除缺失值所在列 # 删除含有缺失值的列 pdp.DropNa(axis=1).apply(df) 结果如图10: 图10 FreqDrop...,当drop参数设置为False时,结果列的列名变为其对应列+suffix参数指定的后缀名;当drop设置为False时,此参数将不起作用(因为新列直接继承了对应旧列的名称) result_columns...).head(3) 对应的结果如图14,可以看到在只传入columns和func这两个参数,其他参数均为默认值时,对budget列做对数化处理后的新列直接覆盖了原有的budget列: 图14 设置drop...colbl_sfx:str型,控制新列后缀名,当drop参数设置为False时,结果列的列名变为其对应列+suffix参数指定的后缀名;当drop设置为False时,此参数将不起作用(因为新列直接继承了对应旧列的名称...{男性,女性}->男性{0,1},0代表不为男性即女性,1相反,而drop_dirst设置为False时,原始变量有几个类别就对应几个哑变量被创造;当设置为指定类别值时(譬如设置drop_first =

    82410

    (数据科学学习手札72)用pdpipe搭建pandas数据分析流水线

    图7 DropNa:   这个类用于丢弃数据中空值元素,其主要参数与pandas中的dropna()保持一致,核心参数如下: axis:0或1,0表示删除含有缺失值的行,1表示删除含有缺失值的列...图9 删除缺失值所在列 # 删除含有缺失值的列 pdp.DropNa(axis=1).apply(df)   结果如图10: ?...型,决定是否在计算完成后把旧列删除,默认为True,即对应列的计算结果直接替换掉对应的旧列 suffix:str型,控制新列后缀名,当drop参数设置为False时,结果列的列名变为其对应列+suffix...colbl_sfx:str型,控制新列后缀名,当drop参数设置为False时,结果列的列名变为其对应列+suffix参数指定的后缀名;当drop设置为False时,此参数将不起作用(因为新列直接继承了对应旧列的名称...时,原始变量有几个类别就对应几个哑变量被创造;当设置为指定类别值时(譬如设置drop_first = '男性'),这个值对应的类别将不进行哑变量生成 drop:bool型,控制是否在生成哑变量之后删除原始的类别型变量

    1.4K10

    python数据分析——数据预处理

    how:可选参数,默认为’any’,表示只要有一个缺失值就删除该行或列;若设为’all’,则只有全部为缺失值时才删除该行或列。...可以传入一个或多个列的名称或索引。如果指定了subset参数,那么只有在指定的列中的值相同的行才会被判断为重复。 keep:可选参数,用于指定保留哪些重复值。...axis:指定删除行还是删除列。默认为0,表示删除行;1表示删除列。 index:要删除的行的标签列表或单个标签。与labels参数功能相同,只是在不指定axis的情况下使用。...['col1', 'col2'], axis=1, inplace=True) 使用drop函数时要注意,需要指定axis参数来指明删除行还是删除列,同时要根据实际需求选择合适的inplace参数值。...['col1', 'col2'], axis=1, inplace=True) 使用drop函数时要注意,需要指定axis参数来指明删除行还是删除列,同时要根据实际需求选择合适的inplace参数值。

    14110

    【数据处理包Pandas】DataFrame数据的基本操作

    drop() 方法通常用于删除行或列,通过指定axis参数来指定删除的是行还是列,默认情况下删除行,即axis=0。...drop() 方法可以同时删除多行或多列,并且可以通过inplace=True参数来就地修改原始 DataFrame,而不返回新的 DataFrame。...(行) # 可以一次删除多列 df1.drop(['生物','化学'],axis=1,inplace=True) print(df1) 输出结果: 语文 数学 英语 物理 乙 105...how:确定要删除的行或列的方式。'any':只要有任何缺失值就删除整行或整列。'all':只有全部为缺失值才删除整行或整列。默认为'any'。 thresh:指定在行或列中非缺失值的最小数量。...如果某行或某列中的非缺失值数量低于 thresh,则删除该行或该列。 subset:只在特定的列或行中查找缺失值并删除。可以传入一个列名或列名的列表。

    9200

    Pandas数据处理2、DataFrame的drop函数具体参数使用详情

    函数 函数语法: drop(labels, axis=0, level=None, inplace=False, errors='raise') 参数说明: axis:指定按照行进行删除,还是按照列进行删除...,如果设置为0,那么则删除行,如果为1,则删除列。...index:index是按照行删除时传入的参数,需要传入的是一个列表,包含待删除行的索引编号。 columns:columns是按照列删除时的参数,同样传入的是一个列表,包含需要删除列的名称。...函数axis参数测试 axis=0 axis参数测试,我们使用axis=0.删除行标为【1,2,3】的行。...----") # drop使用 df = df.drop(columns=['name', 'sex']) print(df) 总结 这个函数与删除空值有些不同,这个是指定删除,就是人为确认某行或某列无用的时候进行具体的删除操作

    1.4K30

    Python干货,不用再死记硬背pandas关于轴的概念?

    前言 axis 表示轴,是处理多维数据时用于表示维度方向的概念,在 pandas 中大部分的方法都有 axis 参数,因为 pandas 需要调用者告诉他,需要处理的是哪个维度的数据。...来看些例子,我们有如下数据: - 3列数据,每列数据都是1到3的数字 "删除第2列",代码如下: - df.drop('col2',axis=1) ,其中 axis=1 ,表明删除列 "删除第2...我们继续,不妨你在看答案之前,自己尝试思考一下 axis 的值是啥。 "为每一行求平均值" ,代码如下: 咦?为什么是 axis = 1 呢?根据直觉,你可能第一时间想到的是 axis = 0 吧。...当调用 df.mean(axis=1) 时,对于图如下: - axis = 1 ,表示向轴1方向(横向)扩展范围 - 然后,每个扩展范围应用 mean 方法求平均值 "为每一列求平均值" 。...在官方网站的文档中,明确说明 axis 参数的含义:"从行或列中删除其标签"。 也就是说,axis 指示了在哪个轴上寻找对应的标签,然后将其删除。

    87930
    领券