【数据加载之Dataset和DataLoader的使用】

Pytorch中的数据加载

在深度学习中,数据量通常是都非常多,非常大的,如此大量的数据,不可能一次性的在模型中进行向前的计算和反向传播,经常我们会对整个数据进行随机的打乱顺序,把数据处理成一个个的batch,同时还会对数据进行预处理。

1.Dataset基类介绍

在torch中提供了数据集的基类 torch.utils.data.Dataset,继承这个基类,可以快速的实现对数据的加载。
torch.utils.data.Dataset的源码如下:

class Dataset(object):
    """An abstract class representing a Dataset.

    All other datasets should subclass it. All subclasses should override
    __len__, that provides the size of the dataset, and &#

Original: https://blog.csdn.net/W1530/article/details/122783687
Author: 漫天飘雪13
Title: 【数据加载之Dataset和DataLoader的使用】

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/708406/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球