Marchine Learning in Action 一书第五章介绍了逻辑回归(Logistic regression)，但是书中没有给出目标函数，也没有给出梯度下降法的推导。在解释代码处文中指出：
A little math is needed to derive the equations used here, and I’ll leave you to look into that further if desired.
So, 本文的目的就是展示所谓的A little math。
Logistic regression
sigmoid function
$$
\sigma(z)=\frac{1}{1+e^{-z}}
$$
结合线性分类器，分类方法写为：
\begin{equation}
h_{\theta}(x)=\frac{1}{1+e^{-\theta^Tx}}
\end{equation}
其中，$\theta$和$x$都是矢量，如果$h_{\theta}(x)>0.5$则$y=1$, 否则$y=0$。根据$y$的取值，样本$x$就被分成两类。
下面的问题是如何求出最优的$\theta$？
目标函数
一般而言目标函数会写成所有训练样本的误差项求和的形式
$$\begin{equation}
J(\theta)=\frac{1}{N}\sum_{i=1}^N \frac{1}{2}[y^{(i)}-h_{\theta}(x^{(i)})]^2
\end{equation}$$
但是对于Logstic回归来说，这个目标函数并不好，相对于自变量是一个非凸函数，
因此使用另外的目标函数，这个目标函数是
定义如下函数
$$\begin{equation}
\text{Cost}(h_{\theta}(x),y)=
-y\log(h_{\theta}(x))-(1-y)\log(1-h_{\theta}(x))
\end{equation}$$
并将目标函数写为
$$\begin{equation}
J^{(i)}(\theta)=
\frac{1}{N}\sum_{i=1}^N\text{Cost}(h_{\theta}(x^{(i)}),y^{(i)})=
-\frac{1}{N}[y^{(i)}\log(h_{\theta}(x^{(i)}))+(1-y^{(i)})\log(1-h_{\theta}(x^{(i)}))]
\end{equation}$$
梯度下降法求解$\frac{\partial}{\partial\theta_j}J(\theta)$
括号[]内第一求和项的导数
$$\begin{align} \frac{\partial y^{(i)}\log(h_{\theta}(x^{(i)})}{\partial \theta_j} =&y^{(i)}(1+e^{-\theta^T x})\frac{e^{-\theta^T x}x^{(j)}}{(1+e^{-\theta^T x})^2}\\ =&y^{(i)}\frac{e^{-\theta^T x}x^{(j)}}{1+e^{-\theta^T x}}\\ \end{align}$$括号[]内第二求和项的导数
$$\begin{align} \frac{\partial (1-y^{(i)})\log(1-h_{\theta}(x^{(i)})}{\partial \theta_j} =&(1-y^{(i)}) \frac{(1+e^{-\theta^T x})}{e^{-\theta^T x}} \times \frac{-e^{-\theta^T x}}{(1+e^{-\theta^T x})^2}x^{(j)}\\ =&(y^{(i)}-1)\frac{x^{(j)}}{1+e^{-\theta^T x}}\\ \end{align}$$以上两式求和得
$$\begin{equation}
(y^{(i)}-h_{\theta}(x^{(i)}))x^{(j)}
\end{equation}$$
因此
$$\begin{equation}
\frac{\partial}{\partial\theta_j}J(\theta)=\frac{1}{N}(h_{\theta}(x^{(i)})-y^{(i)})x^{(j)}
\end{equation}$$