Python之Pandas isnull检查是否有缺失值

1.df.isnull()

元素级别的判断,把对应的所有元素的位置都列出来,元素为空或者NA就显示True,否则就是False

train.isnull()

Python之Pandas isnull检查是否有缺失值

2,df.isnull().any()

列级别的判断,只要该列有为空或者NA的元素,就为True,否则False

train.isnull().any()

Python之Pandas isnull检查是否有缺失值

3.df[df.isnull().values==True]

可以只显示存在缺失值的行列,清楚的确定缺失值的位置。

train[train.isnull().values==True]

Python之Pandas isnull检查是否有缺失值
导出到excel里看 dataframe.to_excel()

4.isnull().sum()

将列中为空的个数统计出来

train.isnull().sum()

Python之Pandas isnull检查是否有缺失值
5.计算变量缺失率
df=pd.read_csv('titanic_train.csv')

def missing_cal(df):
"""
    df :数据集
return:每个变量的缺失率
"""
missing_series = df.isnull().sum()/df.shape[0]
missing_df = pd.DataFrame(missing_series).reset_index()
missing_df = missing_df.rename(columns={'index':'col',
                                        0:'missing_pct'})
missing_df = missing_df.sort_values('missing_pct',ascending=False).reset_index(drop=True)
return missing_df

missing_cal(df)如果需要计算样本的缺失率分布,只要加上参数axis=1.

缺失观测的行数data3.isnull().any(axis = 1).sum()

缺失观测的比例data3.isnull().any(axis = 1).sum()/data3.shape[0]

Reference

1.xiaoxiaosuwy https://blog.csdn.net/xiaoxiaosuwy/article/details/81187694

  1. _Python_与数据挖掘 https://zhuanlan.zhihu.com/p/187315467

3.刘顺祥 https://zhuanlan.zhihu.com/p/93179647

Original: https://blog.csdn.net/RachelJiang/article/details/113476593
Author: RachelJiang
Title: Python之Pandas isnull检查是否有缺失值

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/754347/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • (学习flask) 04 使用flask-sqlalchemy

    flask使用数据库 这里使用SQLAlchemy关系型数据库框架管理数据库 pip install flask-sqlalchemy 数据库引擎URLMySQLmysql://u…

    Python 2023年8月14日
    045
  • SICP: 层次性数据和闭包性质(Python实现)

    示例代码我已经上传到了GitHub仓库:SICP-Python(包括本书其它章节的示例代码),感兴趣的童鞋可以前往查看。 绪论 序对可以为我们提供用于构造复合数据的基本&#8221…

    Python 2023年10月28日
    049
  • Python中Scrapy框架

    Scrapy 框架 Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架,该框架使用纯 Python 语言编写。Scrapy 框架应用广泛,常用于数据采集、网络监测,以…

    Python 2023年10月1日
    046
  • Django部署uwsgi

    详细过程 开发环境 知识补充 uWSGI安装 配置uWSGI uWSGI的运行管理 uWSGI的运行说明 开发环境 云服务器(Ubuntu),能run的Django项目文件 知识补…

    Python 2023年8月4日
    070
  • Django的Hello Word,快速开启你的第一个应用程序(一)

    Django是一个由Python写成的Web应用框架。Django的主要目的是简便、快速的开发数据库驱动的网站。它强调代码复用,多个组件可以很方便的以”插件&#8221…

    Python 2023年8月6日
    069
  • Python开发篇——如何在Flask下编写JWT登录

    首先,HTTP 是无状态的协议(对于事务处理没有记忆能力,每次客户端和服务端会话完成时,服务端不会保存任何会话信息)——每个请求都是完全独立的,服务端无法确认当前访问者的身份信息,…

    Python 2023年8月14日
    093
  • R语言进行模型交叉验证比较

    我们建立模型后,需要对模型变量调整比较,得出最优模型,交叉验证为目前评价模型质量的一个比较流行的方法。我们今天使用BOOT包的cv.glm函数来交叉验证,得出最优模型,并和其他指标…

    Python 2023年9月16日
    056
  • 数学规划(Python cvxpy、scipy.optimize)

    一、线性规划模型 1.模型结构 ①决策变量,x =(x1,x2,x3…,xn)。 ②目标函数,f(x) ③可行域,,常用一组不等式(约束条件)表示: 当目标函数和约束条…

    Python 2023年8月26日
    066
  • 【flask扩展】使用Flask-Mail发送邮件

    ; 📋 个人简介 💖 作者简介:大家好,我是阿牛,全栈领域新星创作者。😜 🎉 支持我:点赞👍+收藏⭐️+留言📝 📣 系列专栏:flask框架快速入门🍁 💬格言:要成为光,因为有怕黑…

    Python 2023年8月10日
    067
  • 攻防世界-宜兴网信办-inget

    题目 访问题目路径 这个题目的意思就是请输入ID,然后尝试绕过,那应该就是SQL注入,但是呢,我是个懒狗,我直接跑sqlmap 先跑数据库名 sqlmap "http:/…

    Python 2023年9月27日
    051
  • panda是删除行_如何从Pandas数据帧中删除行列表?

    如何从Pandas数据帧中删除行列表? 我有一个数据帧df: df sales discount net_sales cogs STK_ID RPT_Date 600141 200…

    Python 2023年8月21日
    055
  • Deformable DETR 实战(训练及预测)

    开源地址:https://github.com/fundamentalvision/deformable-detr 超级小白,摸索了几天,感谢批评指正!!! 一、数据集准备 1.下…

    Python 2023年9月30日
    067
  • numpy常用创建

    Array creation routines numpy.empty Return a new array of given shape and type, without in…

    Python 2023年8月29日
    085
  • 基于gunicorn部署flask项目

    文章目录 * – + * 1、WSGI协议 * 2、gunicorn介绍 * 3、gunicorn安装 * 4、gunicorn使用 * – 4.1 基于F…

    Python 2023年8月9日
    064
  • Vue3 Vite3 多环境配置 – 基于 vite 创建 vue3 全家桶项目(续篇)

    在项目或产品的迭代过程中,通常会有多套环境,常见的有: dev:开发环境 sit:集成测试环境 uat:用户接收测试环境 pre:预生产环境 prod:生产环境 环境之间配置可能存…

    Python 2023年10月19日
    0162
  • Pygame小游戏:死磕《球球版—贪吃蛇蛇》,你中招了嘛?

    前言 家人们!你们身边有没有出现这些现象,或者说你就是这大军中的一员呢? 比如这样: 这样: 好像我们身边的都有这么一群人曾经已经沉浸在这个机(gui)智(chu)游戏当中,说到这…

    Python 2023年9月21日
    089
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球