五花八门的Pandas取数操作

公众号:尤而小屋
作者:Peter
编辑:Peter

Pandas系列_DataFrame数据筛选(上)

本文介绍的是如何在pandas进行数据的筛选和查看。因为pandas中有各种花样来进行数据筛选,本文先介绍比较基础的一部分方式。

五花八门的Pandas取数操作

; 扩展阅读

关于pandas的介绍,以及在pandas中如何创建Series和DataFrame类型的数据,请阅读:

1、Series类型数据创建

2、10种方式创建DataFrame类型数据

3、一切从爆炸函数开始

模拟数据

本文中各种例子基于一份模拟数据展开,在创建数据的时候引入了部分缺失值,通过numpy库来生成:

import pandas as pd
import numpy as np

df = pd.DataFrame({
    "name":['小明','小王','张菲','关宇','孙小小','王建国','刘蓓'],
    "sex":['男','女','女','男','女','男','女'],
    "age":[20,23,18,21,25,21,24],
    "score":[np.nan,600,550,np.nan,610,580,634],
    "address":["广东省深圳市南山区",
               np.nan,
               "湖南省长沙市雨花区",
               "北京市东城区",
               "广东省广州市白云区",
               "湖北省武汉市江夏区",
               "广东省深圳市龙华区"]
})

df

五花八门的Pandas取数操作

我们查看下各个字段的数据类型:3个字符类型,一个int64,一个float64类型

五花八门的Pandas取数操作

思维导图

下面开始介绍各种筛选数据的方法:

五花八门的Pandas取数操作

; 查看头尾数据

查看头尾数据,使用的是head和tail方法:

head

该方法默认是前5行

五花八门的Pandas取数操作

可以自己指定看多少行数据:

五花八门的Pandas取数操作

; tail

tail使用方法是类似的:

  • 默认尾部5行
  • 指定查看行数

五花八门的Pandas取数操作

随机筛选

使用的是sample方法,默认是查看一行数据,也可以指定查看多少行:

五花八门的Pandas取数操作

; 数值型数据筛选

单个条件

1、数值型数据的筛选一般是根据大小比较来进行的:

五花八门的Pandas取数操作

五花八门的Pandas取数操作

; 多个条件

2、当我们存在多个比较条件的时候,需要注意:

  • 不能用and,使用竖线 |
  • 每个条件要使用方括号

五花八门的Pandas取数操作

下面是正确的写法:

五花八门的Pandas取数操作

使用数值函数

常用的数值比较函数如下:

df.eq()
df.ne()
df.le()
df.lt()
df.ge()
df.gt()

1、使用单个数值函数筛选

五花八门的Pandas取数操作

五花八门的Pandas取数操作

2、使用多个数值函数筛选;

五花八门的Pandas取数操作

字符型数据筛选

字符类型数据的筛选主要是通过python和pandas中相关函数;

  • 包含:str.contains
  • 开始:str.startswith
  • 结束:str.endswith

下图中的3个例子讲解了上面3个函数的使用方法:

五花八门的Pandas取数操作

上面的例子中使用的字段本身都是没有空值的,如果字段中带有空值,该如何处理?比如我们想选出address带有”深圳”的同学:

五花八门的Pandas取数操作

五花八门的Pandas取数操作

解决方法1:带上参数

五花八门的Pandas取数操作

解决方法2:通过布尔值的比较判断

五花八门的Pandas取数操作

; 指定数据值筛选

通过指定某个字段的具体某个值来筛选数据:

五花八门的Pandas取数操作

数值型和字符型联用

数值型的大小比较条件和字符相关条件的联合使用:

  • 且:&
  • 或:|

五花八门的Pandas取数操作

; 索引取数

直接通过某个索引值来取数,这种情况很少用:

五花八门的Pandas取数操作

切片取数

pandas中切片取数和Python中是相同的:

  • 左边索引从0开始计数,右边索引从-1开始计数
  • 切片规则: start:stop:step,分别表示起始位置start,结束位置stop,步长step(可正可负)

不包含结束索引位置的元素: 含头不含尾,请记住索引切片的重要规则!!!

五花八门的Pandas取数操作

使用切片的单个数值取数:

五花八门的Pandas取数操作

使用切片取数的多种案例:

五花八门的Pandas取数操作

五花八门的Pandas取数操作

下面看看本文案例中的切片取数:

五花八门的Pandas取数操作

五花八门的Pandas取数操作

步长不为1和索引为负数的情况:

五花八门的Pandas取数操作

; 缺失值筛选

本文中使用的案例缺失值情况为:

五花八门的Pandas取数操作

查看缺失值

df.isnull()

五花八门的Pandas取数操作

查看字段缺失值

df25 = df.isnull().any()
df25

五花八门的Pandas取数操作

锁定缺失值存在的行

df26 = df[df.isnull().values==True]
df26

五花八门的Pandas取数操作

列属性取数

指定属性名

第一种是我们直接指定列属性的名称,在这种情况下取出来的是Series类型数据

五花八门的Pandas取数操作

第二种情况下取出来的是DataFram e类型数据:

五花八门的Pandas取数操作

五花八门的Pandas取数操作

; 指定字段属性的类型

本文案例的数据字段类型为:

五花八门的Pandas取数操作

1、取出 包含object类型的数据:

五花八门的Pandas取数操作

如果是想取出 包含多种类型的数据:

五花八门的Pandas取数操作

2、取出 不包含object类型的数据:

五花八门的Pandas取数操作

总结

pandas中取数的方式真的是五花八门,有很多方式能够取到我们想要的数据。本文中介绍的多种算是比较基本,比如头尾部数据、基于条件判断的筛选、切片筛选等,后续将会介绍更多pandas中取数技巧,敬请期待!

Original: https://blog.csdn.net/qq_25443541/article/details/117037425
Author: 尤尔小屋的猫
Title: 五花八门的Pandas取数操作

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/676988/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球