正规方程是线性回归问题中区别于梯度下降的一种求解代价函数J(θ)最小值的方法。
首先将代价函数转换为矩阵形式：
欲求J(θ)最小值，只需令:
▽ θ J ( θ ) = 0 ▽_\theta J(\theta) = 0 ▽θJ (θ)=0
; 方法二、三：（运用矩阵的导数公式）
矩阵导数公式参考：链接
; 方法一：（运用矩阵导数与矩阵的迹的公式）
推导过程：
第三个等式由来：一个实数的迹即其本身。
第四个等式由来：
( 1 ) t r A = t r A T (1)\,\,\,\,\,\,\,\,\,\,\,\, tr A = tr A^T (1 )t r A =t r A T
( 2 ) ▽ θ y T y = 0 (2)\,\,\,\,\,\,\,\,\,\,\,\,\,\, ▽{\theta}\,y^Ty = 0 (2 )▽θy T y =0
第五个等式由来：
( 3 ) ▽ A T t r A B A T C = B T A T C T + B A T C (3)\,\,\,\,\,\,▽{A^T}trABA^TC = B^TA^TC^T+BA^TC (3 )▽A T t r A B A T C =B T A T C T +B A T C
( 4 ) ▽ A t r A B = B T (4)\,\,\,\,\,\, ▽_AtrAB=B^T (4 )▽A t r A B =B T
最后令为0即可得到：
θ = ( X T X ) − 1 X T y \theta = (X^TX)^{-1}X^Ty θ=(X T X )−1 X T y
其中式(3)由来：(由下图中2 3推得式5，即上文式(3))
Original: https://blog.csdn.net/weixin_47000625/article/details/125322371
Author: momentum_
Title: 正规方程（Normal equations）推导过程
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/617587/
转载文章受原作者版权保护。转载请注明原作者出处！