知识点
- 梯度下降法在计算梯度的时候可以计算梯度的平均值后再更新w，但是不容易取到全局最小值。
- 在计算梯度的时候可以对每一个点都计算梯度，然后对每一个点都更新w，尽量避免只取到局部最小值的情况。
课件代码
import numpy as np
import matplotlib.pyplot as plt
xData = [1.0, 2.0, 3.0]
yData = [2.0, 4.0, 6.0]
w = 0
def forecast(x : float) -> float:
return x * w
calculate cost
def cost(xs : list, ys : list) -> float:
cost = 0
for x, y in zip(xs, ys):
yPred = forecast(x)
cost += (yPred - y) ** 2
return cost / len(xs)
calculate average gradient
def gradient(xs : list, ys : list) -> float:
grad = 0
for x, y in zip(xs, ys):
grad += 2 * x * (x * w - y)
return grad / len(xs)
for epoch in range(100):
costVal = cost(xData, yData)
gradVal = gradient(xData, yData)
# parameter = 0.01
w -= 0.01 * gradVal
Original: https://www.cnblogs.com/shixuanliu/p/16617598.html
Author: deafl
Title: 《PyTorch深度学习实践》第3讲—梯度下降
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/587615/
转载文章受原作者版权保护。转载请注明原作者出处！