文章目录
- 前言
* - 数据来源
- transforms联用
- 总结
前言
数据集是我们在训练模型中经常用到的,那我们该如何下载并进行使用它呢
数据来源
打开pytorch官网
发现有很多:音频,视觉,文字之类的
以视觉为例打开torchvision
发现好多数据集已经为我们列出来了.COCO数据集等等
以第一个数据集为例,点开后发现其用法都在上面了,我们只需要看懂会用即可
代码如下（示例）：
## 下载数据
> 当我们选择好一个数据集时,(以CIFAR10为例),我们该如何下载使用呢.
导入相关的包,在pycharm中按ctrl p 会有提示
- root是下载到的文件夹
- train 是否是训练数据, 否则就是测试数据
- download是否要进行下载
按照提示输入参数即可
其中
transforms是图像所进行的操作
可以看到有很多操作的类,这里我们以
ToTensor 来看按住ctrl 点进去即可看见源码
大概意思就是将一个PIL或者是numpy类型转换成 tensor数据类型
我们继续来看 数据对象
在pycharm console种可以看到对象的各个属性对应
而对应的索引值是一个图片和一个对应的索引
我们就可以用image对象接受并进行显示
import torchvision
from torchvision import transforms
import torch.utils.tensorboard.summary
trainset = torchvision.datasets.CIFAR10(root='./data',train=True,download=True)
print(trainset.classes)
image,index = trainset[1]
image.show()
print(trainset.classes[index])
transforms联用
那我们接下来就用tansforms对这些数据集进行,操作
以Totensor为例
发现已经转成了tensor数据类型
那我们将其数据记录到tensorboard种,进行显示.
import torchvision
from torchvision import transforms
from torch.utils.tensorboard import SummaryWriter
write= SummaryWriter("rgylin_data")
daset_transform= transforms.Compose([transforms.ToTensor()])
trainset = torchvision.datasets.CIFAR10(root='./data',transform=daset_transform,train=True,download=True)
for i in range(15):
img,index= trainset[i]
write.add_image("rgylin_data",img,i)
write.close()
发现只能是tensor数据类型,那正好了
import torchvision
from torchvision import transforms
from torch.utils.tensorboard import SummaryWriter
write= SummaryWriter("rgylin_data")
daset_transform= transforms.Compose([transforms.ToTensor()])
trainset = torchvision.datasets.CIFAR10(root='./data',transform=daset_transform,train=True,download=True)
for i in range(15):
img,index= trainset[i]
write.add_image("rgylin_data",img,i)
write.close()
tensorboard显示一下,
控制台输入
tensorboard --logdir=C:\Users\ASUS\Desktop\rgylin_data就可以了
最终得到
总结
有很多生函数,利用控制台看变量,还有就是看函数的源码注释。官方都给的很详细
Original: https://blog.csdn.net/qq_46540840/article/details/123039796
Author: Rgylin
Title: 一篇学会Pytorch数据集下载
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/710049/
转载文章受原作者版权保护。转载请注明原作者出处！