pandas和fit_generator配合使用时，不想将数据全部读入内存，因为实际上也读入不了，数据量太大了。以下是如何按batch_size大小读取：
1、准备数据：
1 a = pd.DataFrame(a)
2 a = [
3 [1, 1, 1, 1],
4 [2, 2, 2, 2],
5 [3, 3, 3, 3],
6 [4, 4, 4, 4],
7 [5, 5, 5, 5],
8 [6, 6, 6, 6],
9 ]
10 a = pd.DataFrame(a)
11 a.to_csv(“../a.csv”, index=False)
2、读入原始数据：
1 pd.read_csv(“../a.csv”)
输出：
2 0 1 2 3
3 0 1 1 1 1
4 1 2 2 2 2
5 2 3 3 3 3
6 3 4 4 4 4
7 4 5 5 5 5
8 5 6 6 6 6
3、读取前几行：
1 pd.read_csv(“../a.csv”, nrows=2)
输出：
2 0 1 2 3
3 0 1 1 1 1
4 1 2 2 2 2
4、跳过某些行，或跳过前多少行：
1 pd.read_csv(“../a.csv”, skiprows=1, nrows=2)
输出：
2 1 1.1 1.2 1.3
3 0 2 2 2 2
4 1 3 3 3 3
5 pd.read_csv(“../a.csv”, skiprows=lambda x: x % 2 != 0)
输出：
6 0 1 2 3
7 0 2 2 2 2
8 1 4 4 4 4
9 2 6 6 6 6
通过skiprows指定跳过多少行，nrows参数取前多少行就可以实现batch_size大小的输入。
标签：读取,..,read,skiprows,按行,pd,csv
来源： https://www.cnblogs.com/dan-baishucaizi/p/12084175.html
Original: https://blog.csdn.net/weixin_42511091/article/details/112880918
Author: 是呵呵
Title: pandas读取csv相对路径_pandas批量读取csv文件–按行索引读取
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/753353/
转载文章受原作者版权保护。转载请注明原作者出处！