回归方法

线性回归模型

原理

线性回归——即对一组二元（单值）关系集的线性拟合，以寻找二元关系的函数表达。

简单线性回归模型如下：

$$y = wx+b$$

其中$x$表示特征值，$w$表示权重，$b$表示偏置，$y$表示标签。

多元线性回归

对于一组$n$元关系（也可以认为是二元）的线性拟合。譬如：对于二元关系$(y,(x_1,x_2,…,x_n))$可以建立多元线性回归模型如下：

$$y = b + w_1x_1+w_2x_2+...+w_nx_n$$

其中$x_i$表示第$i$个特征值，$w_i$表示第$i$个特征对应的权重，$b$表示偏置，$y$表示标签。

对线性回归模型，假设训练集中 m 个训练样本，每个训练样本中有 n 个特征，可以采用矩阵的表示方法，则多元线性回归模型还可以表示为：

$$Y = \theta X$$

其中$\theta = (\theta_0,\theta_1,\theta_2,…,\theta_n)$。

其损失函数可表示为：

$$𝐽(𝜃)=(𝑌−𝑌̂ )^2=(𝑌−𝜃𝑋)^=(𝑌−𝜃𝑋)𝑇(𝑌−𝜃𝑋)$$

其中，标签 𝑌 为 (m,1) 的矩阵，训练特征 𝑋 为 (m,n+1) 的矩阵(列数为n+1，是因为需要添加一列 $𝑥_0$， 并且这一列的值都为 1)，回归系数 𝜃 为 (n+1,1) 的矩阵，对 𝜃 求导，并令其导数等于 0 ，可以得到$X^T(Y−𝜃X)=0$。所以，最优解为：

$$𝜃=(X^TX)^{-1}X^TY$$

这个就是正规方程解，我们可以通过最优方程解，直接求得我们所需要的参数 $𝜃$。