读取CSV
读取CSV文件由两种方式：
第一种
import csvwith open(‘data.csv’,’r’,encoding = ‘utf8’) as fp: reader = csv.reader(fp) for row in reader: print(row)
第二种
import pandas as pd #需要导入pandas库df = pd.read_csv(‘data.csv’)print(df)
用pandas库的.drop_duplicates函数
1 import shutil
2 import pandas as pd
5 frame=pd.read_csv(‘E:/bdbk.csv’,engine=’python’)
6 data = frame.drop_duplicates(subset=[‘名称’], keep=’first’, inplace=False)
7 data.to_csv(‘E:/baike.csv’, encoding=’utf8′)
通常会分为两种情况，一种是去除完全重复的行数据，另一种是去除某几列重复的行数据，就这两种情况可用下面的代码进行处理。
- 去除完全重复的行数据
data.drop_duplicates(inplace=True)
- 去除某几列重复的行数据
data.drop_duplicates(subset=[‘A’,’B’],keep=’
Original: https://blog.csdn.net/weixin_33920303/article/details/114426455
Author: 沼泽无它
Title: python对csv去除重复行_Python 去重csv文件中相同的重复行
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/737859/
转载文章受原作者版权保护。转载请注明原作者出处！