pandasNote3

import numpy as np
import pandas as pd
from pandas import Series, DataFrame

df1 = pd.DataFrame(np.arange(12.).reshape((3,4)),
                   columns=list("abcd"))

df2 = pd.DataFrame(np.arange(20.).reshape((4,5)),
                             columns=list("abcde"))

df1

df2

df1+df2

# 使用add方法，填入fill_value参数
df1.add(df2, fill_value=0)

# r翻转实现
1 / df1

df1.rdiv(1)

df1.reindex(columns=df2.columns, fill_value=0)

arr = np.arange(12.).reshape((3, 4))
arr

array([[ 0.,  1.,  2.,  3.],
       [ 4.,  5.,  6.,  7.],
       [ 8.,  9., 10., 11.]])

arr[0]

array([0., 1., 2., 3.])

# 每行都要执行减操作
arr - arr[0]

array([[0., 0., 0., 0.],
       [4., 4., 4., 4.],
       [8., 8., 8., 8.]])

# DF和S型数据 
frame = pd.DataFrame(np.arange(12.).reshape((4, 3)),
                     columns=list('bde'),
                     index=['Utah', 'Ohio', 'Texas', 'Oregon'])
frame

series = frame.iloc[0]
series

b    0.0
d    1.0
e    2.0
Name: Utah, dtype: float64

frame - series

series2 = pd.Series(range(3), index=['b', 'e', 'f'])
series2

b    0
e    1
f    2
dtype: int64

# 相同的数据则直接相加，只在一个类型中存在，填充为NaN
frame + series2

# 在列上进行广播机制
series3 = frame["d"]
series3

Utah       1.0
Ohio       4.0
Texas      7.0
Oregon    10.0
Name: d, dtype: float64

# axis="index"等价于axis=0
frame.sub(series3, axis="index")

frame = pd.DataFrame(np.random.randn(4, 3), columns=list('bde'),
                     index=['Utah', 'Ohio', 'Texas', 'Oregon'])
frame

# ufuncs函数
np.abs(frame)

np.exp(frame)

# apply()：将自己实现的函数直接传给apply方法，作用于每行，返回S型数据
func = lambda x: x.max() - x.min()  
frame.apply(func)

b    0.874874
d    1.789307
e    1.886124
dtype: float64

def f(x):
    return pd.Series([x.min(), x.max()], index=['min', 'max'])

frame.apply(f)

# applymap()方法：S的方法
format_x = lambda x: '{:.2f}'.format(x)
frame.applymap(format_x)

# S数据的map方法
frame['e'].map(format_x)

Utah       0.51
Ohio      -0.11
Texas     -0.94
Oregon     0.95
Name: e, dtype: object

obj = pd.Series(range(4), index=['d', 'a', 'b', 'c'])
obj.sort_index()

a    1
b    2
c    3
d    0
dtype: int64

# DF数据的排序
frame = pd.DataFrame(np.arange(8).reshape((2, 4)),
                     index=['three', 'one'],
                     columns=['d', 'a', 'b', 'c'])
# 默认是行排序，升序(one, three)
frame.sort_index()

# 指定列排序和降序（dcba）
frame.sort_index(axis=1, ascending=False)

# sort_values()
frame = pd.DataFrame({'b': [4, 7, -3, 2], 'a': [0, 1, 0, 1]})
frame.sort_values(by='b')

frame.sort_values(by=['a', 'b'])  # 同时指定多个列属性

obj = pd.Series([7, -5, 7, 4, 2, 0, 4])
obj.rank()

0    6.5
1    1.0
2    6.5
3    4.5
4    3.0
5    2.0
6    4.5
dtype: float64

# 根据出现的顺序返回排名
obj.rank(method='first')

0    6.0
1    1.0
2    7.0
3    4.0
4    3.0
5    2.0
6    5.0
dtype: float64

# 降序排列：[7,7,4,4,2,0,-5]，相同元素排名加1
obj.rank(ascending=False, method='min')  # 第一个7排名为1，取min值1

0    1.0
1    7.0
2    1.0
3    3.0
4    5.0
5    6.0
6    3.0
dtype: float64

obj.rank(ascending=False, method='max')  # 第一个7排名为1，取max值2

0    2.0
1    7.0
2    2.0
3    4.0
4    5.0
5    6.0
6    4.0
dtype: float64

obj.rank(ascending=False, method='first')

0    1.0
1    7.0
2    2.0
3    3.0
4    5.0
5    6.0
6    4.0
dtype: float64

# 类似min方法，但是不加1，重复元素排名相同
obj.rank(ascending=False, method='dense')

0    1.0
1    5.0
2    1.0
3    2.0
4    3.0
5    4.0
6    2.0
dtype: float64

df = pd.DataFrame([[1.4, np.nan], [7.1, -4.5],
                   [np.nan, np.nan], [0.75, -1.3]],
                  index=['a', 'b', 'c', 'd'],
                  columns=['one', 'two'])
df

df.sum(axis='columns')

a    1.40
b    2.60
c    0.00
d   -0.55
dtype: float64

# 含有一个NA值自动排除
df.mean(axis='columns', skipna=False)

a      NaN
b    1.300
c      NaN
d   -0.275
dtype: float64

df.mean(axis='columns')

a    1.400
b    1.300
c      NaN
d   -0.275
dtype: float64

df.idxmax()

one    b
two    d
dtype: object

df

df.idxmin()

one    d
two    b
dtype: object

df.cumsum()  # 累积求和

df.describe()