检验样本是否服从泊松分布

用户3577892

发布于 2021-07-08 10:46:24

1.7K0

发布于 2021-07-08 10:46:24

文章被收录于专栏：数据科学CLUB

一、数据预处理二、变量分析三、总体分布估计四、结论与分析

本文以一个订单数据为例，研究顾客购买次数的分布规律，尝试从中估计总体的分布，以对后续的订单数据进行预测或进行业绩的对比

# 环境准备
import numpy as np
import pandas as pd
import scipy.stats as stats
import matplotlib.pyplot as plt

plt.rcParams['font.family'] = ['Microsoft YaHei']

一、数据预处理

df = pd.read_csv('./orders.csv')
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex:  entries,  to 
Data columns (total  columns):
customerId     non-null int64
orderDate      non-null object
dtypes: int64(), object()
memory usage: 134.0+ KB

print(df.head())

   customerId   orderDate
           --
           --
           --
           --
           --

可以看到订单日期字段是 object 对象，这里就是字符串。因此要先将其转化成 pandas 中的 DataTime 对象，然后再添加年份字段方便后续的分组聚合运算。

df.orderDate = df.orderDate.astype('datetime64')
df['year'] = df.orderDate.map(lambda dt: dt.year)
print(df.head())

   customerId  orderDate  year
          --  
          --  
          --  
          --  
          --

二、变量分析

首先通过数据透视表，查看不同年份的购买次数分布。然后再查看单个顾客累计购买次数分布。

counts = pd.pivot_table(
    df, values='orderDate', index=['customerId'], columns=['year'], aggfunc='count'
).fillna().astype(int)
counts['all'] = counts.sum(axis=)
print(counts.head())

year        2009  2010  2011  2012  all
customerId                             
              4     0     4     0    8
              7     4     5     0   16
              5     4     3     4   16
              2     8     3    14   27
              0     3     1     2    6

plt.figure(figsize=(,))
counts.plot(kind='box')

<matplotlib.axes._subplots.AxesSubplot at 0x7fb5d490f390>




<Figure size 864x360 with 0 Axes>

plt.figure(figsize=(,))
plt.subplot()
plt.hist(counts.sum(axis=), bins=)
plt.xlabel('times'); plt.ylabel('counts')

plt.subplot()
counts.sum(axis=).plot(kind='kde')
plt.xlim(-2,); plt.ylim(,0.04); plt.xlabel('times');

三、总体分布估计

根据预览的分布密度，并且由其统计学意义，猜测购买次数近似服从泊松分布。下面进行验证。

# 计算分布参数
lambda_ = counts.drop('all', axis=).sum(axis=).mean()
# 分布密度函数
def poisson(k, lambda_=lambda_):
    return np.e**(-lambda_) * lambda_**k / np.math.factorial(k)
# 计算总体分布
predict = [poisson(k) for k in range()]

# 可视化每个年份以及汇总的分布密度，与理想的总体分布进行对比
plt.figure(figsize=(,))
counts.drop('all', axis=).plot(kind='kde', linestyle='--', linewidth=)
counts['all'].plot(kind='kde', linewidth=, color='lightblue', label='总和')
# 理想泊松分布
plt.plot(range(), predict, linewidth=, color='green', label='泊松分布密度')
# 模拟的泊松分布
test = pd.Series([stats.poisson.rvs(lambda_) for i in range()])
test.plot(kind='kde', linewidth=, linestyle='--', color='red', label='模拟的分布密度')
plt.legend(); plt.xlim(-5, );

<Figure size 864x360 with 0 Axes>

请添加图片描述

四、结论与分析

由上图可以看到，首先总和的分布与理想的分布有差异，并且均值与时间跨度有关。具体表现为，一年内的次数分布，对比四年总和的次数分布，均值明显更小，集中趋势也更加显著。由于泊松分布为二项分布的极限分布，可以理解为，时间跨度影响了二项分布中的 n 参数，进而影响泊松分布中的 lambda 参数，亦即总体均值。因此结论得出的是，样本所在总体并不服从泊松分布，但是有明显的类似泊松分布的规律，由于其它未知变量的影响产生了偏移。

另外需要注意到，泊松分布的统计学解释认为每次抽样的条件相同。对应本例中的数据，即每次抽样中，其某个特定时间段（时间点）内购买的概率相同。但是由于数据中每个观测值来自不同的客户，因此不能保证这一点。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2021-07-02，如有侵权请联系 cloudcommunity@tencent.com 删除

编程算法

本文分享自数据科学CLUB 微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

编程算法

登录后参与评论

0 条评论

热度