pandas 学习 第15篇:分组 groupby

对DataFrame 和 Series 进行分组之后,会返回一个数据类型为GroupBy的对象。对数据进行分组之后,能够得到一个分组键和一个分组数据,一个分组对应的分组键是唯一的,分组是具有相同分组键的行或列的列表。

一,groupby函数的基本原理

这一节的内容引用于《Pandas教程 | 超好用的Groupby用法详解》,我强烈建议阅读原文,原文写的真棒。

为了后续图解的方便,采用模拟生成的10个样本数据,代码和数据如下:

company=["A","B","C"]
​
data=pd.DataFrame({
    "company":[company[x] for x in np.random.randint(0,len(company),10)],
    "salary":np.random.randint(5,50,10),
    "age":np.random.randint(15,50,10)
}
)

pandas 学习 第15篇:分组 groupby

在pandas中,实现分组操作的代码很简单,仅需一行代码,在这里,将上面的数据集按照 company字段进行划分:

group = data.groupby("company")

将上述代码输入 ipython后,会得到一个 DataFrameGroupBy对象

那这个生成的 DataFrameGroupBy是啥呢?对 data进行了 groupby后发生了什么? ipython所返回的结果是其内存地址,并不利于直观地理解,为了看看 group内部究竟是什么,这里把 group转换成 list的形式来看一看:

In [8]: list(group)
Out[8]:
[('A',   company  salary  age
  3       A      20   22
  6       A      23   33),
 ('B',   company  salary  age
  4       B      10   17
  5       B      21   40
  8       B       8   30),
 ('C',   company  salary  age
  0       C      43   35
  1       C      17   25
  2       C       8   30
  7       C      49   19)]

转换成列表的形式后,可以看到,列表由三个元组组成,每个元组中,第一个元素是组别(这里是按照 company进行分组,所以最后分为了 A, B, C),第二个元素的是对应组别下的 DataFrame,整个过程可以图解如下:

pandas 学习 第15篇:分组 groupby

总结来说, groupby的过程就是将原有的 DataFrame按照 groupby的字段(这里是 company),划分为若干个 分组DataFrame,被分为多少个组就有多少个 分组DataFrame。所以说,在 groupby之后的一系列操作(如 aggapply等),均是基于 子DataFrame的操作。理解了这点,也就基本摸清了Pandas中 groupby操作的主要原理。下面来讲讲 groupby之后的常见操作。

二,groupby 函数

对序列或DataFrame对象进行分组,返回分组之后的对象,并可以调用聚合函数获得每个分组的聚合值:

DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, dropna=True)
Series.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, dropna=True)

参数注释:

  • by:用于对序列进行分组,参数by的值可以是函数,列名或列名列表,映射
  • axis:0表示index,1表示columns,默认值是0,按照行(0)或列(1)进行拆分
  • level:对于多维索引,按照索引的级别来分组,默认值是0
  • as_index:对于聚合输出,返回的GroupBy对象把分组标签作为索引
  • group_keys:当调用apply函数时,把分组键(group keys)作为索引来区分分组
  • dropna:如果设置为True,当分组键包含NA时,把包含NA的分组键以及对应的值删除掉。

1,by是列名

如果by是标签列表,通常是按照列值来对数据进行分组,通常用于数据框(DataFrame)中,按照分组列,对每个列的值进行聚合运算:

>>> df = pd.DataFrame({'Animal': ['Falcon', 'Falcon', 'Parrot', 'Parrot'],
...                    'Max Speed': [380., 370., 24., 26.],
...                    'Max Age': [38, 30, 20, 16]})
>>> df.groupby(['Animal']).mean()
        Max Speed  Max Age
Animal
Falcon      375.0       34
Parrot       25.0       18

2,by是映射(序列)

当使用序列作为映射时,by序列的值用于对原始序列进行分组,by序列中相同的值对应着原始序列的值属于同一个分组;原始序列和by序列进行匹配的方法是索引对齐。

>>> s.groupby(by=pd.Series(data=[1,2,1,1],index=[0,2,3,1])).mean()
1    2.333333
2    3.000000
dtype: float64

索引对齐是怎么回事?

对于by参数的序列,数据是1, 2, 1, 1,这意味着,把原始序列分为2组,分组的key分别是1和2。

by序列的索引是0, 2, 3, 1,也就是说,当原始序列的索引为0, 3, 1 时,对应的分组key是1,当原始序列的索引为2时,对应的分组key是2。

索引对齐之后,原始序列中的值1,2,4属于分组1;原始序列中的值3属于分组2,再计算每个分组的均值。

三,GroupBy对象

GroupBy对象是由函数Series.groupby() 或 DataFrame.groupby()返回的对象,GroupBy对象有两个熟悉:groups和indices。

groups是字典结构,表示所有的分组:Dict {group name -> group labels}

indices是字典结构,表示分组的索引键:Dict {group name -> group indices},也就是groupby函数中by参数设置的字段的值。

举个例子:

>>> df = pd.DataFrame({'Animal': ['Falcon', 'Falcon', 'Parrot', 'Parrot'],
...                    'Max Speed': [380., 370., 24., 26.],
...                    'Max Age': [38, 30, 20, 16]})
>>> gb = df.groupby(['Animal'])

gb 就是 GroupBy对象,该对象的属性groups是一个字典结构,key是分组键,值是分组键对行的索引构成的列表。

>>> gb.groups
{'Falcon': Int64Index([0, 1], dtype='int64'), 'Parrot': Int64Index([2, 3], dtype='int64')}

对每个分组,可以计算聚合值,计算相关性等操作,详细操作,可以阅读官方手册 GroupBy

四,分组内数据的排序

由于字典结构没有sort_values()函数,因此不能在分组之后进行排序,但是可以首先对DataFrame进行排序,然后再对DataFrame进行分组。

group=data.sort_values('salary').groupby('company')
list(group)

pandas 学习 第15篇:分组 groupby

参考文档:

Pandas教程 | 超好用的Groupby用法详解

pandas.DataFrame.groupby

GroupBy

Original: https://www.cnblogs.com/ljhdo/p/13740132.html
Author: 悦光阴
Title: pandas 学习 第15篇:分组 groupby

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/8415/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

发表回复

登录后才能评论
免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部