本文使用标准方程，scikit包，以及伪逆对线性回归模型求解进行了详解和代码实现
线性回归
先生成一个函数进行测试,我们来看看生成随机的点如下图所示。我们再对其进行拟合
import numpy as np
import matplotlib.pyplot as plt
np.random.seed(27)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)
plt.plot(X, y, "b.")
plt.xlabel("$x_1$", fontsize=18)
plt.ylabel("$y$", rotation=0, fontsize=18)
plt.axis([0, 2, 0, 15])
plt.show()
标准方程
线性回归模型为y ^ = θ ⋅ X \widehat{y}=\theta\cdot X y =θ⋅X
线性回归模型的MSE成本函数：
$MSE=\frac{1}{m}\sum (\theta ^T x^(i) – y^(i))$ 为了得到成本最小的$\theta$值，有一个闭式解法，也被称为标准方程，如下所示 $\widehat{\theta} = (X^TX)^{-1}X^Ty $
X_b = np.c_[np.ones((100,1)),X]
theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)
theta_best
array([[4.20916327],
[2.84057496]])
我们期待的是$\theta_0 =4,\theta_1=3 , 得 到 的 是 ,得到的是,得到的是\theta_0 =4.20916327,\theta_1=2.84057496$,非常接近了
现在可以用来做预测
X_new = np.array([[0],[2]])
X_new_b = np.c_[np.ones((2,1)),X_new]
y_predict = X_new_b.dot(theta_best)
y_predict
array([[4.20916327],
[9.89031319]])
绘制模型的预测结果
plt.plot(X_new,y_predict,"r-")
plt.plot(X,y,"b.")
plt.axis([0,2,0,15])
plt.show()
使用Scikit—Learn执行线性回归
from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X,y)
lin_reg.intercept_,lin_reg.coef_
(array([4.20916327]), array([[2.84057496]]))
lin_reg.predict(X_new)
array([[4.20916327],
[9.89031319]])
LinearRegression类基于scipy.linalg.lstsq()函数（最小二乘）
theta_best_svd,residuals,rank,s=np.linalg.lstsq(X_b,y,rcond=1e-6)
theta_best_svd
array([[4.20916327],
[2.84057496]])
上面的标准函数其实也可以写作：
$\widehat{\theta}=X^+y$ 其中$X^+$是X的伪逆，可以通过np.linalg.pinv()来直接计算
np.linalg.pinv(X_b).dot(y)
array([[4.20916327],
[2.84057496]])
Original: https://blog.csdn.net/chenqiuyu10/article/details/121831445
Author: 陈胖纸
Title: 机器学习——线性回归详解
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/630941/
转载文章受原作者版权保护。转载请注明原作者出处！