一.基本概念
在介绍逻辑回归模型以前,先介绍一下逻辑斯谛分布。
设X是连续型随机变量,X服从逻辑斯蒂分布是指X具有下列分布函数F(x)和密度函数f(x):
逻辑斯谛分布的分布函数F(x)的曲线如图所示,其图形是一条S形曲线,曲线在中心附近增长最快,在两端增长速度较慢。当x无穷大时,F(x)接近于1;当x无穷小时,F(x)接近于0。
逻辑回归分布函数
二.二项逻辑斯谛回归模型
二项逻辑斯蒂回归模型是一种分类模型,由条件概率分布P(Y|X)表示,形式为参数化的逻辑斯蒂分布。这里随机变量X取值为实数,随机变量Y取值为1或0。
二项逻辑斯谛回归模型是如下的条件概率分布:
这里x属于实数,Y属于{0,1}是输出,w和b是参数,w称为权值向量,b称为偏置,为w和x的内积。
对于给定的输入实例x,按照上述分布函数可以求得P(Y=1|x)和P(Y=0|x)。逻辑斯谛回归是比较两个条件概率值的大小,将实例x分到概率值大的那一类。
有时候为了方便,将权值向量和输入向量加以扩充,仍记作w,x,即
这时,逻辑斯蒂回归模型如下:
得到上面的回归模型了,上面的回归模型中有一个未知参数w,在利用上述的模型对数据进行预测之前需要先求取参数w的值,这里采用极大似然估计的方法求取参数w。
设:
似然函数为:
对数似然函数为:
这样问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯蒂回归学习中通常采用的方法是梯度下降法以及拟牛顿法。
将利用极大似然估计得到的w值代入上述的模型中,即可用于测试数据集的预测。
三.多项逻辑斯蒂回归
二项逻辑斯谛回归模型是二项分类模型,用于二分类问题中。可以将其推广到多项逻辑斯谛回归模型,用于多分类问题。假设离散型随机变量Y的可能取值集合是{1,2,...,K},那么多项逻辑斯谛回归模型是:
End.
作者:俊红的数据分析之路
本文已获得作者授权,如转载请联系作者
- 我的微信公众号
- 微信扫一扫
-
- 我的微信公众号
- 微信扫一扫
-
评论