在SQL语言中去重是一件相当简单的事情，面对一个表(也可以称之为DataFrame)我们对数据进行去重只需要GROUP BY 就好。
select custId,applyNo from tmp.online_service_startloan group by custId,applyNo
1.DataFrame去重
但是对于pandas的DataFrame格式就比较麻烦，我看了其他博客优化了如下三种方案。
我们先引入数据集：
import pandas aspd
data=pd.read_csv(r’D:/home/nohup.out.20191028.startloan.csv’,encoding=’utf-8′)print(data.info())
共有14936条数据，那我们还是按 custId和applyNo去重。
1.使用list后手写去重
定义去重函数：我这里使用了遍历行，添加列表的的方式去重。
定义去重函数
defdropRep(df):
list2=[]for _,i indf.iterrows():
Original: https://blog.csdn.net/weixin_30220993/article/details/114912492
Author: 包雪龙
Title: python series去重_pandas中DataFrame和Series的数据去重
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/676852/
转载文章受原作者版权保护。转载请注明原作者出处！