之前写过一篇对大型csv文件进行拆分的文章
使用python对csv文件进行拆分
本来用着还挺顺手，直到最近在工作里，需要拆分七八百万行的csv文件，用原来的那套逻辑，居然要跑一个多小时，未免有些太慢了，于是就改用 pandas处理，只需要两分钟就可以搞定
- 首先是导入库和确定文件路径
import pandas as pd
import datetime
start_time = datetime.datetime.now()
path = r'D:\需要处理的文件.csv'
result_path_dir = r'D:\拆分后的输出文件路径'
这里设置 start_time是为了获取程序开始执行的时间，在程序结束的时候，可以方便查看这套逻辑总共运行了多久
2. 读取csv文件
data = pd.read_csv(path,encoding='GBK',dtype = str)
read_csv可以有很多参数，但在这次需求里，只需要目标文件、目标文件格式和字段类型就可以，本来这里是没加 dtype参数的，但后来导出数据时，发现数字会变成科学计数法，不利于业务方使用，于是就可以在读取数据的时候，直接限制每个字段都是 str类型，就可以避免这个问题
多说一句，目标文件我是从 dbeaver导出来的，按默认导出方式，也会出现科学计数法的情况，可以通过更改配置的方式避免，这里也一并记录一下，把分隔符由默认的 ,改为 \t,
3. 确认文件总行数和切分后的文件行数
row_num = len(data)
size = 300000
其中， row_num字段就是目标文件的总行数， size就是根据需求，将大文件切分后生成小文件的行数，可以根据自己需要进行调整，这里设置的是30万行
4. 开始对目标文件进行切分
j = 1
for start in range(0, row_num, size):
stop = start + size
filename = "{}\切分后的小文件名称_{}.csv".format(result_path_dir,j)
d = data[start: stop]
print("Saving file : " + filename + ", data size : " + str(len(d)))
d.to_csv(filename,encoding='GBK', index=None)
j = j + 1
end_time = datetime.datetime.now()
print(start_time)
print(end_time)
这里 j变量的作用是为了方便我们知道，当前是切分了多少个小文件，而循环主体实现的功能，实际就是从0开始，每次切割 size长度的行数，直到最后的 row_num，期间每生成一个小文件都会输出到指定目录下，并拼接上 j变量的值作为后缀，最后打印的两个时间，就可以看出来这段逻辑执行所需时间。个人亲测，这段逻辑用来切分800万行的csv文件，用时不到2分钟，最后附上完整代码
import pandas as pd
import datetime
start_time = datetime.datetime.now()
path = r'D:\需要处理的文件.csv'
result_path_dir = r'D:\拆分后的输出文件路径'
data = pd.read_csv(path,encoding='GBK',dtype = str)
row_num = len(data)
size = 300000
j = 1
for start in range(0, row_num, size):
stop = start + size
filename = "{}\切分后的小文件名称_{}.csv".format(result_path_dir,j)
d = data[start: stop]
print("Saving file : " + filename + ", data size : " + str(len(d)))
d.to_csv(filename,encoding='GBK', index=None)
j = j + 1
end_time = datetime.datetime.now()
print(start_time)
print(end_time)
Original: https://blog.csdn.net/weixin_44999258/article/details/126789337
Author: 孟意昶
Title: 使用python中的pandas对csv文件进行拆分
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/671112/
转载文章受原作者版权保护。转载请注明原作者出处！