理论基础
KL散度：衡量两个概率分布之间的相似性，其值越小，概率分布越接近。公式表达如下。
D K L ( P ∥ Q ) = ∑ i = 1 N [ p ( x i ) log p ( x i ) − p ( x i ) log q ( x i ) ] = ∑ i = 1 N [ p ( x i ) log p ( x i ) log q ( x i ) ] \begin{aligned} D_{K L}(P \| Q) & =\sum_{i=1}^{N}\left[p\left(x_{i}\right) \log p\left(x_{i}\right)-p\left(x_{i}\right) \log q\left(x_{i}\right)\right] \ & = \sum_{i=1}^{N}\left[p\left(x_{i}\right) \frac{\log p\left(x_{i}\right)}{\log q\left(x_{i}\right)} \right] \end{aligned}D K L (P ∥Q )=i =1 ∑N [p (x i )lo g p (x i )−p (x i )lo g q (x i )]=i =1 ∑N [p (x i )lo g q (x i )lo g p (x i )]
注：对于两个概率分布 P P P 、Q Q Q，P P P 为真实事件的概率分布，Q Q Q 为随机事件拟合出来的该事件的概率分布，即 D K L ( P ∥ Q ) D_{K L}(P \| Q)D K L (P ∥Q ) 表示使用 P P P 来拟合 Q Q Q， 或者说使用 Q Q Q 来指导 P P P。
实现
import torch
import torch.nn as nn
import torch.nn.functional as F
input = torch.tensor([0.7, .1, .2], requires_grad=True)
target = torch.tensor([.2, .5, .3])
kl_loss = nn.KLDivLoss(reduction="batchmean")
output = kl_loss(F.log_softmax(input, dim=0), F.softmax(target, dim=0))
print(output)
print(F.kl_div(F.log_softmax(input, dim=0), F.softmax(target, dim=0), reduction="batchmean"))
my_kl_loss = F.softmax(target, dim=0) * (torch.log(F.softmax(target, dim=0)) - F.log_softmax(input, dim=0))
my_kl_loss = my_kl_loss.mean()
print(my_kl_loss)
my_kl_loss2 = F.softmax(target, dim=0) * (F.log_softmax(target, dim=0) - F.log_softmax(input, dim=0))
my_kl_loss2 = my_kl_loss2.mean()
print(my_kl_loss2)
几个要点：
- KL散度的原理
- KL实现为什么要做log和softmax
- 上溢出和下溢出的情况
- 在pytorch的log函数中，默认是以e e e 为底数的
参考：
Original: https://blog.csdn.net/king_project/article/details/125782232
Author: 逸彬
Title: Pytorch之KLDivLoss
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/618173/
转载文章受原作者版权保护。转载请注明原作者出处！