Python | Pandas | Aggregation & Grouping

• Aggregation：分析大数据时，常常需要进行有效的数据累计(summarization)，得到相应的累计指标(aggregation)，例如sum()，mean()，min()等；
• Grouping：基于groupby函数实现对数据集的按需分组。

注意，虽然累计也有单独使用的场景（前几节介绍的内容），但更重要的用法是配合分组进行各组内部的累计——可以说aggregation和grouping是一对孪生兄弟。

使用Seaborn库中的一份行星数据：

# 导入seaborn库，获取该数据集，打印形状
import seaborn as sns
planets = sns.load_dataset('planets')
planets.shape

(1035, 6)

# 查看前5行数据
planets.head()

Table of contents

• 1. 回顾：pandas的简单Aggregate功能
  • 1.1 Series累计
  • 1.2 Dataframe累计
  • 1.3 describe常用统计值
• 2. Groupby：分割, 应用, 组合
  • 2.1 Split-Apply-Combine
  • 2.2 Groupby对象的基本操作方法
    • 1）按列取值
    • 2）按组迭代
    • 3）调用方法
  • 2.3 累计(aggregate), 过滤(filter), 转换(transform), 应用(apply)
    • 1）累计
    • 2）过滤
    • 3）转换
    • 4）apply方法
  • 2.4 设置分割的键（不太会用得到）
    • 1）将列表、数组、Series或索引作为分组键
    • 2）用字典或Series将索引映射到分组名称
    • 3）任意Python函数
    • 4）多个有效键组成的列表

1. 回顾：pandas的简单Aggregate功能

1.1 Series累计

ser = pd.Series(np.arange(10,16))
ser

0    10
1    11
2    12
3    13
4    14
5    15
dtype: int64

# 求和
ser.sum()

75

# 求均值
ser.mean()

12.5

1.2 Dataframe累计

Dataframe默认对每列进行累计，即默认axis=0；可以修改axis=1使累计在每行进行。

df = pd.DataFrame({'A':np.arange(5,10),
                  'B':np.arange(10,15)})
df

# 默认对列
df.sum()

A    35
B    60
dtype: int64

# 修改为行
df.sum(axis=1)

0    15
1    17
2    19
3    21
4    23
dtype: int64

1.3 describe常用统计值

describe() 函数可以计算每一列的若干常用统计值。

planets.describe()

2. Groupby：分割, 应用, 组合

有时我们需要对某些标签或索引的局部进行累计分析。groupby函数可以实现lazy分割，得到groupby对象；再对groupby对象进行函数操作时，就等价于将函数操作分别作用于分割出的每一个组，并输出合并的结果。此过程称为split-apply-combine：

• split：将df按照指定的key分割成若干组；
• apply：对每个组应用函数（通常是累计、转换或过滤函数）；
• combine：将每一组的结果合并成一个输出数组。 虽然可以使用此前掩码、累计、合并操作实现上述过程，但groupby常常只需要一行代码就可以完成，完美隐藏了中间的分割过程。

2.1 Split-Apply-Combine

df = pd.DataFrame({'key': ['A', 'B', 'C', 'A', 'B', 'C'],
                   'data': range(6)}, columns=['key', 'data'])
df

df.groupby('key')

<pandas.core.groupby.generic.DataFrameGroupBy object at 0x7fae291ef400>

groupby 返回一个DataFrameGroupBy对象，其中“隐藏”着若干组数据，但在没有应用累计函数之前是不会计算的——延迟计算（lazy evalution）：

df.groupby('key').sum()

2.2 Groupby对象的基本操作方法

Groupby 对象可以被看做是分割得到的Dataframe的集合。

1）按列取值

依据method列进行分组，只输出orbital_period的中位数：

planets.groupby('method')['orbital_period'].median()

method
Astrometry                         631.180000
Eclipse Timing Variations         4343.500000
Imaging                          27500.000000
Microlensing                      3300.000000
Orbital Brightness Modulation        0.342887
Pulsar Timing                       66.541900
Pulsation Timing Variations       1170.000000
Radial Velocity                    360.200000
Transit                              5.714932
Transit Timing Variations           57.011000
Name: orbital_period, dtype: float64

2）按组迭代

Groupby 对象支持直接按组进行迭代：

for (method, group) in planets.groupby('method'):
    print("{0:30s} shape={1}".format(method, group.shape))

Astrometry                     shape=(2, 6)
Eclipse Timing Variations      shape=(9, 6)
Imaging                        shape=(38, 6)
Microlensing                   shape=(23, 6)
Orbital Brightness Modulation  shape=(3, 6)
Pulsar Timing                  shape=(5, 6)
Pulsation Timing Variations    shape=(1, 6)
Radial Velocity                shape=(553, 6)
Transit                        shape=(397, 6)
Transit Timing Variations      shape=(4, 6)

3）调用方法

planets.groupby('method')['year'].describe()

2.3 累计(aggregate), 过滤(filter), 转换(transform), 应用(apply)

Groupby 对象的一些重要方法：

• aggregate
• filter
• transform
• apply

# 数据准备
rng = np.random.RandomState(0)
df = pd.DataFrame({'key': ['A', 'B', 'C', 'A', 'B', 'C'],
                   'data1': range(6),
                   'data2': rng.randint(0, 10, 6)},
                   columns = ['key', 'data1', 'data2'])
df

1）累计

aggregate()支持更复杂的操作，如字符串、函数等，并且能一次性计算所有累计值；

df.groupby('key').aggregate(['min',max,np.median])

df.groupby('key').aggregate({'data1':['min', np.median],
                            'data2':'max'})

2）过滤

# 判断函数
# 参数x是一个组，即dataframe
def filter_func(x):
    return x['data2'].std() > 4

df.groupby('key').std()

# 将过滤函数应用于每个lazy组中
# 不符合条件（False）的lazy组被筛掉。
df.groupby('key').filter(filter_func)

3）转换

转换，形状与原来的输入是一样的。

df.groupby('key').transform(lambda x:x-x.mean())

4）apply方法

apply()方法让你可以在每个组上应用任意方法：

# 定义函数
# 参数x是一个组，即dataframe
def norm_by_data2(x):
    # x是一个分组数据的Dataframe
    x['data1'] /= x['data2'].sum()
    return x

df.groupby('key').apply(norm_by_data2)

2.4 设置分割的键（不太会用得到）

df

1）将列表、数组、Series或索引作为分组键

分组键的长度需要与df匹配。

# L作为新的一列，成为key列
L = [0,1,0,1,2,0]
df.groupby(L).sum()

2）用字典或Series将索引映射到分组名称

df2 = df.set_index('key')
df2

mapping = {'A':'vowel', 'B':'consonant', 'C':'consonant'}
df2.groupby(mapping).sum()

3）任意Python函数

df2.groupby(str.lower).mean()

4）多个有效键组成的列表

df2.groupby([str.lower, mapping]).mean()

df2.groupby([mapping, str.lower]).mean()