【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据

两DataFrame的时间索引反向/求差集,查找缺失时间数据

手动反爬虫,禁止转载:
原博地址

https://blog.csdn.net/lys_828/article/details/121865192(CSDN博主:Be_melting)

 知识梳理不易,请尊重劳动成果,文章仅发布在CSDN网站上,在其他网站看到该博文均属于未经作者授权的恶意爬取信息

1 构造两个时间DataFrame数据

import pandas as pd

index =  pd.date_range('2021-10-01','2021-10-31')
df2 = pd.DataFrame(index = index,data =list(range(1,32)))

df1 = pd.DataFrame({'date':['2021-10-03','2021-10-05'],
                    'data':[1,3]})

两个数据输出为:

【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据

2 目的

实现缺失时间数据的查找,即是找到df2中的时间不在df1中出现的内容,也就是两者直接取差集,最终的结果就是获得2021年10月份除去1号和3号后所有的时间数据。

首先需要做的就是将df1中的时间字段转化一下时间索引,并取出df2中的时间索引,方便后续的操作。

data_range = df2.index
df1.date =(pd.to_datetime(df1.date))
df1.set_index('date',inplace = True)
df1

输出结果如下:

【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据

3 实现方式

3.1 方式一

通过添加数据后去重,将df2中的时间整合到df1中,然后再把重复的元素全部删除,代码如下

miss_date_1 = data_range.append(df1.index).drop_duplicates(keep=False)
print(miss_date_1)
print(len(miss_date_1))

输出结果如下:

【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据
获取缺失数据代码及输出结果如下:(为了显示方便只输出前五行)
df2.loc[miss_date_1].head()

【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据

3.2 方式二

利用列表推导式进行循环判断,输出满足的时间数据索引,代码如下:

miss_date_2 = [i for i in data_range if i not in df1.index]
print(miss_date_2)
print(len(miss_date_2))

输出结果如下:

【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据
获取缺失数据代码及输出结果如下:(为了显示方便只输出前五行)
df2.loc[miss_date_2].head()

【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据

3.3 方式三

利用集合进行去重,也是最简单的方式,代码如下:

miss_date_3 = list(set(data_range) - set(df1.index))
print(miss_date_3)
print(len(miss_date_3))

输出结果如下:

【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据
获取缺失数据代码及输出结果如下:(为了显示方便只输出前五行,需要注意集合中的元素是无序的)
df2.loc[miss_date_3].head()

【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据
问题也不大,按照index进行一个排序就可以了,总体上来看还是最后一种方式最为简单。
df2.loc[miss_date_3].sort_index().head()

输出如下:

【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据

Original: https://blog.csdn.net/lys_828/article/details/121865192
Author: 百木从森
Title: 【疑难杂症】两DataFrame的时间索引反向/求差集,查找缺失时间数据

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/752897/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • python怎么安装pyplot_Python安装时import matplotlib.pyplot as plt报错

    安装matplotlib的时候可能会出现输入import matplotlib.pyplot as plt出现报错的现象,如下图所示: import matplotlib impo…

    Python 2023年9月4日
    044
  • Django通过nginx 部署(成功运行)

    配置python版本和ssh启用root参考其它文章 完整项目路径 /root/projects/mysutra_pro 下级目录/root/projects/mysutra_pr…

    Python 2023年8月4日
    086
  • Python全栈开发-数据分析-02 Pandas详解 (上)

    Pandas详解 (上) 一. 安装pandas 1.按Win+R,输入CMD确定,输入 pip install pandas 回车还要安装xlrd,否则你打不开Excel文件 p…

    Python 2023年8月21日
    045
  • 完美解决 matplotlib 对数上标负号乱码的问题

    大结局 在使用matplotlib进行绘图时,如不对参数进行修改,会出现中文字体显示乱码的问题。该问题可以通过在绘图之前进行字体设置解决,见我之前博客中的介绍https://blo…

    Python 2023年9月5日
    074
  • 关于新版本selenium定位元素报错:‘WebDriver‘ object has no attribute ‘find_element_by_id‘等问题

    由于一段时间没有使用Selenium,当再次使用时发现之前写的Selenium元素定位的代码运行之后会报错,发现是Selenium更新到新版本(4.x版本)后,以前的一些常用的代码…

    Python 2023年10月10日
    045
  • 爬虫

    404. 抱歉,您访问的资源不存在。 可能是网址有误,或者对应的内容被删除,或者处于私有状态。 代码改变世界,联系邮箱 contact@cnblogs.com 弹尽粮绝,会员救园:…

    Python 2023年10月30日
    028
  • 【python】Flask之路由

    一、关于路由 所谓路由,就是处理请求URL和函数之间关系的程序 根据例子看源码 from flask import Flask app = Flask(__name__) @app…

    Python 2023年8月10日
    064
  • Python与GIS

    Python矢量与栅格数据处理 原创 孟祥帅 祥帅的小屋 2022-10-21 18:55 发表于山东 持续更新ing,欢迎各位点赞关注哦! 1. Python处理栅格影像 1.1…

    Python 2023年8月24日
    038
  • 刨析django—-django+vue项目部署

    文章目录 打包Vue项目 * 方案1 – 打包Vue项目 配置django端 方案2 部署django到公网 * 购买云服务器 登录自己的云服务器 配置django需要…

    Python 2023年8月4日
    082
  • matplotlib可视化系列之【缩放和投影】

    有时,我们在绘制之前对数据进行转换,一方面可以突出显示某些区域的数据;另一方面,我们可以更好地看到转换后的数据之间的关系。 [En] Sometimes, we transform…

    Python 2023年5月24日
    088
  • Python字典的常用方法

    dict_demo = {‘语文’: 105, ‘数学’: 140, ‘英语’: 120}•dict_demo.clear() 相当于引用原字典的内容,但是内存里所指向的内存地址是…

    Python 2023年6月3日
    082
  • 基于gunicorn部署flask项目

    文章目录 * – + * 1、WSGI协议 * 2、gunicorn介绍 * 3、gunicorn安装 * 4、gunicorn使用 * – 4.1 基于F…

    Python 2023年8月9日
    054
  • Python ❀ 制作简单的猜拳游戏

    Python ❀ 制作简单的猜拳游戏 原创 无糖可乐没有灵魂2022-06-24 19:21:43博主文章分类:Python ©著作权 文章标签 Python 猜拳游戏 数据 py…

    Python 2023年5月25日
    076
  • EDG夺冠!用Python分析22.3万条数据:粉丝都疯了!

    原创不易,本文禁止抄袭,转载,违权必究! 一、 EDG夺冠信息 11月6日,在英雄联盟总决赛中,EDG战队以3:2战胜韩国队,获得2021年英雄联盟全球总决赛冠军,这个比赛在全网各…

    Python 2023年5月25日
    090
  • 折线图并添加误差阴影

    绘制降水的年际变化折线图,并添加误差范围,主要用到fill_between()函数,可以去matplotlib官网查看。 import matplotlib.pyplot as p…

    Python 2023年8月21日
    084
  • python 实现二叉树

    本文不涉及二叉树概念的详细讲解,而着重利用 python 实现 二叉树,其中穿插代码讲解。 在链表中,一个节点只能有一个后继节点和前驱节点。而在 中,一个节点可以有多个后继节点,但…

    Python 2023年8月2日
    036
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球