Logistic-regression

梯度下降与逻辑回归

承接梯度下降实现线性拟合矩阵推导及实现，线性回归用于拟合线性关系的数据。而逻辑回归更多用于二分类。即，因变量的值从连续的值变成了离散的$\{0,1\}$。在这种语意下，我们重新选取假设函数和损失函数，并按照与求解线性回归的梯度下降同样的思路，进行参数拟合。

在这里，我们将重点阐述假设函数和损失函数，以及相应的梯度求解。

假设函数

假设函数其实就是我们选取的符合数据分布的函数形式。在线性回归中，我们定义假设函数为$\theta^Tx$，而在逻辑回归中，我们引入$sigmoid$函数。

$sigmoid(z) = g(z) = \frac{1}{1+e^{-z}}$

函数图像如下：

我们发现该函数为严格增函数，定义域为$(-\infty,\infty)$，值域为$(0,1)$，$\lim_{z\rightarrow \infty}g(z)=1,\lim_{z\rightarrow -\infty} = 0$。也就是说，通过这个函数，我们将实数映射到了$(0,1)$区间。我们将这个函数作用于线性回归的假设函数，得到逻辑回归的假设函数。

$$