pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

大家好,我是你们的东哥。

本篇是pandas100个骚操作的第6篇: pandas 数据转换 transform 的 4 个常用技巧

查看全部骚操作可以点击专栏:pandas 100个骚操作

本次给大家介绍一个功能超强的数据处理函数 transform,相信很多朋友也用过,东哥这里再次进行详细分享下。

transform有4个常用功能,总结如下:

  • 转换数值
  • 合并分组结果
  • 过滤数据
  • 结合分组处理缺失值

一. 转换数值

pd.transform(func, axis=0)

以上就是 transform转换数值的基本用法,参数含义如下:

  • func是指定用于处理数据的函数,它可以是普通函数、字符串函数名称、函数列表或轴标签字典映射函数的字典。
  • axis是指要应用到哪个轴, 0代表列, 1代表行。

1. 普通函数

func可以是我们正常使用的普通函数,像下面例子这样。

df = pd.DataFrame({'A': [1,2,3], 'B': [10,20,30] })
def plus_10(x):
    return x+10
df.transform(plus_10)

pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

或者,也可以用 lambda函数简洁的实现,效果是一样的。

df.transform(lambda x: x+10)

2. 字符串函数

我们可以传递任何有效的 pandas的字符串函数,例如 sqrt

df.transform('sqrt')

pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

3. 函数列表

func还可以是一个函数的列表。例如 numpysqrtexp函数:

df.transform([np.sqrt, np.exp])

pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

通过上面结果看到,两个函数分别作用于A和B每个列。

4. 轴标签映射函数的字典

func还可以是轴标签映射指定函数的字典。例如:

df.transform({
    'A': np.sqrt,
    'B': np.exp,
})

pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

这样,就可以对指定的列进行相应函数的转换了,且互补干扰。

二、合并分组结果

这个功能是东哥最喜欢的,就是可以合并 grouby()的分组结果。一个例子说明:

df = pd.DataFrame({
  'restaurant_id': [101,102,103,104,105,106,107],
  'address': ['A','B','C','D', 'E', 'F', 'G'],
  'city': ['London','London','London','Oxford','Oxford', 'Durham', 'Durham'],
  'sales': [10,500,48,12,21,22,14]
})

pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

我们可以看到,每个城市都有多家销售餐厅。我们现在想知道 每家餐厅在城市中所占的销售百分比是多少。 预期输出为:

pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

玩数据的朋友应该知道,这个功能类似SQL的窗口函数。

传统方法是:先 groupby分组,结合 apply计算分组求和,再用 merge合并原表,然后再 apply计算百分比。

但其实用 transform可以直接代替前面两个步骤,即分组求和、合并,简单明了。

首先,用 transform结合 groupby按城市分组计算销售总和。

df['city_total_sales'] = df.groupby('city')['sales']
                           .transform('sum')

pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

可以看到,使用 transfrom 计算分组的求和并不会像 apply 一样改变原表的结构,而是直接在原表的基础上再增加一列。

然后,再计算百分比。

df['pct'] = df['sales'] / df['city_total_sales']
df['pct'] = df['pct'].apply(lambda x: format(x, '.2%'))

pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

三、过滤数据

transform也可以用来过滤数据。仍用上个例子,我们希望获得城市总销售额超过40的记录,可以这样使用。

df[df.groupby('city')['sales'].transform('sum') > 40]

pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

四、结合分组处理缺失值

df = pd.DataFrame({
    'name': ['A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
    'value': [1, np.nan, np.nan, 2, 8, 2, np.nan, 3]
})

在上面的示例中,数据可以按 name分为三组,每组都有缺失值。替换缺失值的常见的方法是用 mean替换 NaN
下面是每个组中的平均值。

df.groupby('name')['value'].mean()
name
A    1.0
B    5.0
C    2.5
Name: value, dtype: float64

我们可以通过 transform()使用每组平均值来替换缺失值。

df['value'] = df.groupby('name')
                .transform(lambda x: x.fillna(x.mean()))

pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧
以上就是本次关于 transform的数据转换操作分享。

我是东哥,和我一起学pandas 100个骚操作,欢迎关注我的原创公众号:Python数据科学

Original: https://blog.csdn.net/yuxiaosmd/article/details/114648257
Author: Python数据科学
Title: pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/679006/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球