玩转Pandas函数

2023年7月16日上午8:36 • 人工智能 • 阅读 51

pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。

Pandas安装

安装 pandas 需要基础环境是 Python，开始前我们假定你已经安装了 Python 和 Pip。

使用 pip 安装 pandas:
进入你所在项目，直接在cmd命令行输入 pip install pandas 就可以安装

查看 pandas 版本

>>> import pandas
>>> pandas.__version__
'1.1.5'

实战案例

1、构造数据集

这里为大家先构造一个数据集，用于为大家演示这20个函数。

注：本数据集中的姓名、身份证号码、电话号码等信息均为虚构。

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)
print(df)

运行效果：

2、cat函数

这个函数主要用于字符串的拼接；

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["姓名"].str.cat(df["家庭住址"],sep='-'*3)
print(df)

运行效果

3、contains函数

这个函数主要用于判断某个字符串是否包含给定字符；


import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["家庭住址"].str.contains("广")
print(df)

运行效果

4、startswith、endswith函数

这个函数主要用于判断某个字符串是否以…开头/结尾；
startswith函数

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["姓名"].str.startswith("黄")
print(df)

运行结果

endswith函数

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["英文名"].str.endswith("e")
print(df)

运行效果

5、 count函数

这个函数主要用于计算给定字符在字符串中出现的次数；

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["电话号码"].str.count("3")
print(df)

运行结果

6、get函数

这个函数主要用于获取指定位置的字符串；

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["姓名"].str.get(-1)
print(df)

运行结果

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["身高"].str.split(":")

print(df)

运行效果

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["身高"].str.split(":").str.get(0)
print(df)

运行效果

7、len函数

这个函数主要用于计算字符串长度；

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["性别"].str.len()
print(df)

运行效果

8、 upper、lower函数

这个函数主要用于英文大小写转换；

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["英文名"].str.upper()

print(df)

运行效果

9、pad+side参数/center函数

这个函数主要用于在字符串的左边、右边或左右两边添加给定字符；

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)
df=df["家庭住址"].str.pad(10,fillchar="*")

print(df)

运行结果

10、 repeat函数

这个函数主要用于重复字符串几次；

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["性别"].str.repeat(3)
print(df)

运行效果

11 、slice_replace函数

这个函数主要用于使用给定的字符串，替换指定的位置的字符；

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["电话号码"].str.slice_replace(4,8,"*"*4)
print(df)

运行效果

12、replace函数

这个函数主要用于将指定位置的字符，替换为给定的字符串；
这个函数还接受正则表达式，将指定位置的字符，替换为给定的字符串。

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["身高"].str.replace(":","-")
print(df)

运行效果

13、split方法+expand参数

这个函数主要用于将一列扩展为好几列；

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df[["身高描述","final身高"]] = df["身高"].str.split(":",expand=True)
print(df)

运行效果

14、strip、rstrip、lstrip函数

这个函数主要用于去除空白符、换行符；
strip去除左右两边的空白字符； rstrip去除右边的空白字符；
lstrip去除左边的空白字符。


df["姓名"] = df["姓名"].str.strip()

15、 findall函数

这个函数主要用于利用正则表达式，去字符串中匹配，返回查找结果的列表；

s = pd.Series(['Lion', 'Monkey', 'Rabbit'])

搜索模式”Monkey”会返回一个匹配项：

>>> s.str.findall('Monkey')
0          []
1    [Monkey]
2          []
dtype:object

另一方面，模式”MONKEY”的搜索不返回任何匹配：

>>> s.str.findall('MONKEY')
0    []
1    []
2    []
dtype:object

可以将标志添加到模式或正则表达式中。例如，要找到忽略大小写的模式”MONKEY”：

>>> import re
>>> s.str.findall('MONKEY', flags=re.IGNORECASE)
0          []
1    [Monkey]
2          []
dtype:object

当模式匹配 Series 中的多个字符串时，返回所有匹配项：

>>> s.str.findall('on')
0    [on]
1    [on]
2      []
dtype:object

也支持正则表达式。例如，搜索以单词’on’ 结尾的所有字符串如下所示：

>>> s.str.findall('on$')
0    [on]
1      []
2      []
dtype:object

如果在同一个字符串中多次找到该模式，则返回多个字符串的列表：

>>> s.str.findall('b')
0        []
1        []
2    [b, b]
dtype:object

16、extract、extractall函数

这个函数主要用于接受正则表达式，抽取匹配的字符串(一定要加上括号)；

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}

df = pd.DataFrame(df)

df=df["身高"].str.extract("([a-zA-Z]+)")

df=df["身高"].str.extractall("([a-zA-Z]+)")

df=df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True)
print(df)
print(type(df))

运行效果

Original: https://blog.csdn.net/qq_40241957/article/details/124186725
Author: Java全栈研发大联盟
Title: 玩转Pandas函数

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/696061/

转载文章受原作者版权保护。转载请注明原作者出处！

人工智能

【自取】最近整理的，有需要可以领取学习：

Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言刷题答案下载！

Anaconda虚拟环境安装

最近刚开始接触深度学习，小白一枚，经老师同学推荐，才知道有优秀的免费教材《动手学深度学习》的中文版，还可以跟着李沐大神的B站视频学习。刚刚开始第一步：环境安装以及配置。在网上搜索…

人工智能 2023年6月17日
00103
什么是网格搜索

什么是网格搜索网格搜索是一种用于调整机器学习模型参数的方法。它通过指定参数候选集合，遍历所有可能的参数组合，并评估每个组合的性能，最终选择表现最好的参数组合。网格搜索是一种暴力搜…

人工智能 2024年1月1日
0095
神经网络算法基本原理及其实现

目录背景知识人工神经元模型激活函数网络结构工作状态学习方式 BP算法原理算法实现（MATLAB）背景知识在我们人体内的神经元的基本结构，相信大家并不陌生，看完下面…

人工智能 2023年6月23日
0060
局部规划算法：DWA算法原理

文章目录 * – 一、算法概述 – 二、算法原理 – + 1、运动学模型 + 2、速度采样 + 3、目标函数 – 三、应用场景 &#…

人工智能 2023年6月13日
0071
【机器学习】Tensorflow.js：在浏览器中使用机器学习实现图像分类

⭐️ 本文首发自前端修罗场(点击加入)，是 一个由资深&#x…

人工智能 2023年5月26日
0071
FAST-LIO2：快速且直接的激光雷达与惯导里程计

摘要本文介绍了FAST-LIO2：一种快速、稳健且通用的激光惯性里程计框架。FAST-LIO2建立在高效的紧耦合迭代卡尔曼滤波器的基础上，有两个关键的创新之处可以实现快速、稳健和…

人工智能 2023年7月27日
0050
利用Minitab中的全新Python 集成开启探索之旅

现如今，内容无处不在，随时可供访问！尼尔森 (Nielsen) 的一项研究发现，美国成人每天用于阅读、聆听、观看媒体以及与媒体互动的时间超过 11 小时。当下大家宅在家中，想必这个…

人工智能 2023年7月17日
0042
python多变量回归_具有深度学习的多变量多目标回归问题

我想设计一个有多个输入变量(4)和多个输出(3)的神经网络模型。不知道哪里可以改进。可能的问题：数据加载器和数据规范化：我发现我的输入数据有4个3~4位数的值，因此进行了规范化。…

人工智能 2023年6月18日
0058
在Pycharm中配置Pyqt5工具（2022年新版教程）

一、安装相关模块安装pyqt5、pyqt5designer、pyqt5-tools三个基础包，命令如下： pip install pyqt5 pip install pyqt5-…

人工智能 2023年7月4日
0064
[Pytorch]关于torchvision.transforms.resize采样时更换插值方式——class InterpolationMode

抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。 Original: https:…

人工智能 2023年6月17日
0065
【毕业设计】大数据电影数据分析与可视化系统 – python Django 大数据可视化

文章目录 0 前言 1 课题背景 2 效果实现 3 爬虫及实现 4 Flask框架 5 Ajax技术 6 Echarts 7 最后 0 前言 🔥 这两年开始毕业设计和毕业答辩的要求…

人工智能 2023年7月14日
0068
基于Laplacian图谱的短文本聚类算法

论文笔记：[1]孟海宁,冯锴,朱磊,张贝贝,童新宇,黑新宏.基于Laplacian图谱的短文本聚类算法[J].电子学报,2021,49(09):1716-1723. [Tencen…

人工智能 2023年6月3日
0050
多元线性回归分析spss结果解读_多元线性回归分析理论详解及SPSS结果分析

当影响因变量的因素是多个时候，这种一个变量同时与多个变量的回归问题就是多元回归，分为：多元线性回归和多元非线性回归。这里直说多元线性回归。对比一元线性回归： 1.1多元回归模型： …

人工智能 2023年6月18日
0079
win10+pycharm 调用相机进行拍摄图片并自动进行相机标定、矫正

利用pycharm工具+python语言，设计一个单目摄像头的调用函数，可以进行实时的抓拍的功能。具体封装的函数，实现的代码如下： def read_show(): cap = c…

人工智能 2023年7月18日
0048
r语言实现岭回归_R语言中回归模型的一些总结2

主要内容来源为《R语言核心技术手册》。对线性模型假设的检验 car包中的 ncvTest()函数可以用来检验异方差性， lmtest包中的 bptest()函数可以实现同样的功能…

人工智能 2023年6月18日
0066
基于PaddleOCR实现车牌识别

基于PaddleOCR的车牌识别 * – 1.方案设计 – 2.数据处理 – + 2.1 车牌数据集介绍 + 2.2 数据预处理 –…

人工智能 2023年6月17日
0064

2024 年 4 月
一	二	三	四	五	六	日
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30

玩转Pandas函数

Pandas安装

实战案例

1、 构造数据集

2、cat函数

3、contains函数

4、startswith、endswith函数

5、 count函数

6、get函数

7、len函数

8、 upper、lower函数

9、pad+side参数/center函数

10、 repeat函数

11 、slice_replace函数

12、replace函数

13、split方法+expand参数

14、strip、rstrip、lstrip函数

15、 findall函数

16、extract、extractall函数

大家都在看

1、构造数据集