在Pandas0.12中,如果在带有自定义重采样函数的DataFrame上使用重采样方法,它将对自定义函数每一行进行一次调用,从而访问所有列中的值。在Pandas 0.15中,重采样方法在每个dataframe条目中调用我的自定义函数一次,唯一可用的值是该条目(而不是整行)。
如何恢复0.12行为并在自定义函数中查看整个行?
不同之处在于:
初始设置:
In [1]: import pandas
In [2]: import datetime
In [3]: import sys
In [4]: dt = datetime.datetime(2014,1,1)
In [5]: idx
在SQL中,我经常使用嵌套在汇总函数中的用例语句。这种类型的语法可以很好地计算表中某些行的和/计数与其他行的和/计数之间的所有类型的比率。
select a, b,
sum(case when d='xyz' then 1 else 0 end)/
count(distinct case when f='abc' then a end) as new_field
from table
group by a, b
你怎么能在Pandas中做这样的事情呢?
我正在使用Pandas操作一个包含多个行和列的csv文件,如下所示
Fullname Amount Date Zip State .....
John Joe 1 1/10/1900 55555 Confusion
Betty White 5 . . Alaska
Bruce Wayne 10 . . Frustration
John Joe 20 .
对于df
id Date ITEM_ID TYPE GROUP
0 13710750 2019-07-01 SLM607 O X
1 13710760 2019-07-01 SLM607 O M
2 13710770 2019-07-03 SLM607 O I
3 13710780 2019-09-03 SLM607 O N
4 13667449 2019-08-02 887643 O I
5 13667450
我想在一列中显示我拥有的组数,然后只显示那些有超过一个特定数目的组。
考虑一下这个例子:
import pandas as pd
df = pd.DataFrame(
{
'ColA': 'A A A B B C C C C D E E F F F F F F F G G H'.split(),
'ColB': '1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2'.split()
}
)
如果我这样分组的话:
print df.groupby(
给定一个Pandas数据帧,例如: fName lName smokes eye_color
Bob McCain 1 black
Bob McCain 0 black
Bob McCain 1 black
Ryan Diedre 0 brown
Ryan Diedre 0 brown
Ryan Diedre 1 brown
我正在尝试创建基于pandas数据帧的列表字典,我需要一个列表字典来传递给我的Plotly仪表板 In:
df.head()
Model Make
Ford F-150
Ford Escape
Ford Mustang
Jeep Grand Cherokee
Jeep Wrangler 我发现df.to_dict()是通过列标题来定向的,但是我需要根据相邻的行值来定向。要做到这一点,唯一的方法是将我的数据帧重塑为列by Model,它们各自的制造商在它们下面? Out:
makes_by_model= {
'Ford':
我正在使用Dask处理一堆csv格式的基于文本的记录,我正在学习使用它来解决内存问题太大的问题,并且我正在尝试过滤最符合复杂条件的组中的记录。
到目前为止,我所确定的处理此问题的最佳方法是基本上使用Dash将记录分组为比特大小的块,然后用Python编写适用的逻辑:
def reduce_frame(partition):
records = partition.to_dict('record')
shortlisted_records = []
# Use Python to locate promising looking records.
0 id description
1 11 pandas
2 is very
3 good
id在3行中,如下所示:
我想删除重复的id,但保留所有的描述。我使用:
pd.drop_duplicates(subset="id", keep="first")
这就是我的答案:
0 id description
1 11 pandas
但我想
0 id description
1 11 pandas is very good.
我有一个大数据集(450万行,35列)。感兴趣的列是company_id (字符串)和company_score (浮点数)。大约有10,000个独特的company_id's。
company_id company_score date_submitted company_region
AA .07 1/1/2017 NW
AB .08 1/2/2017 NE
CD .0003 1/18/20