原文首发于个人CSDN博客：
http://blog.csdn.net/kalenzh/article/details/43734479
Hypothesis Representation （假设函数表达式）
- Logistic Regression Model
Want $0\leq h_{\theta}(x) \leq 1$
$$\left. \begin{array}{l} h_{\theta}(x) = g(\theta^{T}x) \\ g(z) = \dfrac{1}{1+e^{-z}} \end{array} \right\} \to h_{\theta}(x) = \dfrac{1}{1+e^{-\theta^{T}x}}$$Sigmoid function
Logistic function
This two concept are basically synonyms and mean the same things.
这两个函数概念基本是同义词，表示了$g(z)$
- Interpretation of Hypothesis Output
对于一个已存在的数据集，我们需要为假设函数寻找一个$\theta$来拟合这个数据集；
$h_{\theta}(x) = P(y=1|x;\theta)$
在给定的特征值$x$，参数值$\theta$下，$y=1$的概率。
$P(y=0|x;\theta) = 1 - P(y=1|x;\theta)$
Decision Regression（决策边界）
- Logistic Regression
假设预测：
如果 $h_{\theta}(x) \geq 0.5$，则 $y=1$；
如果 $h_{\theta}(x) < 0.5$，则 $y=0$；
在$g(z)$函数中
如果 $z \geq 0$，则 $0.5\leq g(z)<1$；
如果 $z<0$，则 $0< g(z)<0.5$；
所以
$\color{blue}{\theta^{T}x \geq 0} \Rightarrow h_{\theta}(x)\geq0.5 \Rightarrow \color{blue}{y = 1}$
$\color{navy}{\theta^{T}x < 0} \Rightarrow h_{\theta}(x) < 0.5 \Rightarrow \color{navy}{y = 0}$
- Decision Boundary
假设： $\theta_{0} = -3, \theta_{1} = 1, \theta_{2} = 1$
$$\theta = \begin{bmatrix}
-3\\
1\\
1
\end{bmatrix}$$
Predict
$"y = 1"$ if $ -3 + x_{1} + x_{2} \geq 0$
$"y = 0"$ if $ -3 + x_{1} + x_{2} < 0$
这里可以看出 $x_{1} + x_{2} = 3 $ 这条线 是上述两个等式取不同值得分界线，这条分界线就被称为决策边界；
在这里，决策边界是假设函数的一个属性，由参数决定，与数据集无关。
- Non-linear decision Boundaries
support:
$$\theta = \begin{bmatrix}
-1\\
0\\
0\\
1\\
1
\end{bmatrix}$$
Predict
$”y = 1”$ if $ -1 + x_{1}^{2} + x_{2}^{2} \geq 0$
$”y = 0”$ if $ -1 + x_{1}^{2} + x_{2}^{2} < 0$
此时，决策边界为 $ x_{1}^{2} + x_{2}^{2} = 1$
参数 $\theta$ 并不是由训练集所决定的，但是可以由训练集拟合出 $\theta$
高阶复杂的假设函数：
$h_{\theta}(x) = g(\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}+\theta_{3} x_{1}^{2}+\theta_{4} x_{1}^{2} x_{2} + \theta_{5} x_{1}^{2} x_{2}^{2}+ ...)$