对于 nn.Parameter()是pytorch中定义 可学习参数的一种方法，因为我们在搭建网络时，网络中会存在一些矩阵，这些矩阵内部的参数是可学习的，也就是可梯度求导的。
对于一些常用的网络层，例如 nn.Conv2d()卷积层、 nn.LInear()线性层、 nn.LSTM()循环网络层等，这些网络层在pytorch中的nn模块中已经定义好，所以我们搭建模型时可以直接使用，但是有些自定义网络在pytorch中是没有实现的，我们就需要自定义可学习参数，那就用到了nn.Parameter()这个函数。
该函数会为我们创建一个矩阵，该矩阵是默认可 梯度求导的，之后我们就可以利用这个矩阵进行计算，该函数需要传入的参数是一个tensor，一般我们会传入一个初始化好的tensor。
下面我们将使用一个简单的线性层作为实例，来理解如何使用nn.Parameter()。
在类中我们定义了一个线性层，输入维度是10，输出维度是3，对于nn.Linear()层内部已经封装好了nn.Parameter()，所以不需要我们自定义，直接使用即可。
class Net1(nn.Module):
def __init__(self):
super().__init__()
self.linear = nn.Linear(10, 3)
def forward(self, x):
return F.sigmoid(self.linear(x))
对于一个线性层，我们会需要两个矩阵，分别是权重W和偏置b，所以我们要用nn.Parameter()定义两个可学习参数，然后传入对应维度的tensor作为参数，之后就可以在forward中定义计算过程。
class Net2(nn.Module):
def __init__(self):
super().__init__()
self.W = nn.Parameter(torch.randn(10, 3))
self.b = nn.Parameter(torch.randn(3))
def forward(self, x):
return F.sigmoid(self.W @ x + self.b)
利用下面代码就可以看定义好的模型中的参数
model1 = Net1()
model2 = Net2()
for name, parameters in model1.named_parameters():
print(name, ':', parameters.size())
for name, parameters in model2.named_parameters():
print(name, ':', parameters.size())
linear.weight : torch.Size([3, 10])
linear.bias : torch.Size([3])
W : torch.Size([10, 3])
b : torch.Size([3])
Original: https://blog.csdn.net/m0_47256162/article/details/127822519
Author: 雷 神
Title: pytorch中nn.Parameter()使用方法
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/658701/
转载文章受原作者版权保护。转载请注明原作者出处！