目录
1.线性回归的基本概念
在回归分析中，如果只包含一个自变量和一个因变量，且二者关心可近似用一条直线表示，则称该回归分析为一元线性回归分析。如果包含两个及两个以上的自变量，且因变量与自变量之间是线性关系，则称该回归分析为多元线性回归分析。
2.线性回归算法
设预测函数（目标函数）为：
hθ(x) = θ0 + θ1×1 + θ2×2 + θ3×3 + θ4×4
为了符号表示更方便，去x0=1，得到预测函数如下：
hθ(x) = θ0x0 + θ1×1 + θ2×2 + θ3×3 + θ4×4
将hθ(x)转为向量表示：
令列向量 x = [x0;x1;x2;x3;x4]
令列向量 θ = [θ0;θ1;θ2;θ3;θ4]
则hθ(x) = θTx
即：hθ(x) = θ0x0 + θ1×1 + θ2×2 + θ3×3 + θ4×4 = θTx (x0=1)
3.多元梯度下降算法
预测函数（目标函数）： hθ(x) = θTx = θ0x0 + θ1×1 + θ2×2 + …+ θnxn (x0=1)
参数： θ0，θ1，θ2，…，θn
代价函数：
我们应该清楚针对多元线性回归，上面代价函数中的θ和x(i)都是n+1维向量。
梯度下降算法：
一定要同步更新θj，其中 j = 0,1,2,…n。
循环迭代，直至收敛，即可求得θj，按照此法求出所有的参数θ0，θ1，θ2，…，θn。
; 4.总结
对于很多现实中的数据，我们通过线性回归也许不能很好的将其与训练样本数据进行拟合，我们可能需要非线性回归得到更好的拟合。这种情况我们可以通过合理的更换特征要素，进而将非线性回归转为线性回归。
Original: https://blog.csdn.net/qq_58529413/article/details/123256032
Author: 这篇博客保熟
Title: 多元线性回归的梯度下降
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/628708/
转载文章受原作者版权保护。转载请注明原作者出处！