[机器学习]线性回归公式推导

线性回归 公式推导

线性回归是机器学习最基本的一个模型，接下来会写几篇各个模型的公式推导，后续再用代码实现下基本的模型运行。

矩阵表示

数据集：$D=\{(x_{1}, y_{1}),(x_{2}, y_{2}) \cdots (x_{m}, y_{m})\}​$

$$x_{i} \in \mathbb{R^{n}}( n维)，y_{i} \in \mathbb{R}，i=1,2 \cdots m​$$ $$X=\begin{pmatrix} x_{1} & x_{2} & \cdots & x_{m} \end{pmatrix}^{T} =\ \begin{pmatrix} x^{T}_{1}\\ x^{T}_{2}\\ \vdots \\ x^{T}_{m} \end{pmatrix} =\begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1n}\\ x_{21} & x_{22} & \cdots & x_{2n}\\ \vdots & \vdots & \ddots & \vdots \\ x_{m1} & x_{m2} & \cdots & x_{mn} \end{pmatrix}_{m*n}​$$ $$Y=\begin{pmatrix} y_{1}\\ y_{2}\\ \vdots \\ y_{n} \end{pmatrix}_{n*1}，w= \begin{pmatrix} w_{1}\\ w_{2}\\ \vdots \\ w_{n} \end{pmatrix}_{n*1}​$$

目标函数 $f(x) = w^{T}X$

其中，几个关键点需要注意：

• $m$表示样本数量，$n$ 表示特征维度；
• $W​$ 的维度是和样本的特征维度一样的
• 默认情况下$x_{i}$ 是列向量，但是样本矩阵$X$ 中的每一个对应的样本是行向量；

另外可以增加一个偏置$b$，目标函数为$f(x) = wx+b$ ，其中 $w_{0} = 1, x_{0} =\begin{pmatrix} x_{01}\\ x_{02}\\ \vdots \\ x_{0n} \end{pmatrix}_{n*1}=b= \begin{pmatrix} b_{1}\\ b_{2}\\ \vdots \\ b_{n} \end{pmatrix}_{n*1}$

这样表示后，其实$f(x)=wx+b$ 也可以简化成$f(x)=wx$，$x_{i}$增加了一维而已，计算过程是不会有任何影响的，我们暂且使用$f(x) = w^{T}X$ 来进行下述的推导。

损失函数：

$$L( w) =\sum ^{m}_{i=1}\left\Vert w^{T} x_{i} -y_{i}\right\Vert ^{2}_{2} \\ =\sum ^{m}_{i=1}\left( w^{T} x_{i} -y_{i}\right)^{2}\\ =\begin{pmatrix} w^{T} x_{1} -y_{1} & w^{T} x_{2} -y_{2} & \cdots & w^{T} x_{m} -y_{m} \end{pmatrix}\begin{pmatrix} w^{T} x_{1} -y_{1}\\ w^{T} x_{2} -y_{2}\\ \vdots \\ w^{T} x_{m} -y_{m} \end{pmatrix}$$

其中左边一项先做化简，右边相乘的是左边的转置：

$$\begin{pmatrix} w^{T} x_{1} -y_{1} & w^{T} x_{2} -y_{2} & \cdots & w^{T} x_{m} -y_{m} \end{pmatrix} \\ =\begin{pmatrix} w^{T} x_{1} & w^{T} x_{2} & \cdots & w^{T} x_{m} \end{pmatrix} -\begin{pmatrix} y_{1} & y_{2} & \cdots & y_{m} \end{pmatrix}\\ =\ w^{T}\begin{pmatrix} x_{1} & x_{2} & \cdots & x_{m} \end{pmatrix} -\begin{pmatrix} y_{1} & y_{2} & \cdots & y_{m} \end{pmatrix}\\ =w^{T} X^{T} -Y^{T}$$ $$\therefore \ L( w) =\left( w^{T} X^{T} -Y^{T}\right)\left( w^{T} X^{T} -Y^{T}\right)^{T}\\ =\left( w^{T} X^{T} -Y^{T}\right)( Xw-Y)\\ =w^{T} X^{T} Xw-w^{T} X^{T} Y-Y^{T} Xw+Y^{T} Y\\ =\ w^{T} X^{T} Xw-2w^{T} X^{T} Y+Y^{T} Y$$

要求得损失函数$L(w)$的最小值所对应的$w$，就是求$L(w)$的导数为零的$w$的值；

$$\frac{\partial L( w)}{\partial w} =2X^{T} Xw-2X^{T} Y=0\\ \therefore \ X^{T} Xw=X^{T} Y\\ \therefore w=\left( X^{T} X\right)^{-1} X^{T} Y$$

今天先写到这，后续再更新下“几何解释”，未完待续…

reference

1. 线代随笔12-线性回归的矩阵推导
2. 机器学习-白板推导系列-线性回归（Linear Regression）
3. 最小二乘法-维基百科