3分钟看懂「逻辑斯蒂」回归模型

挖数网精选
挖数网精选
挖数网精选
446
文章
0
评论
2020-05-1202:05:00 评论 868 771字
摘要

逻辑斯谛分布即增长分布,增长分布的分布函数是”增长函数”,它是一种连续型的概率分布。今天带大家详细了解一下。

一.基本概念

在介绍逻辑回归模型以前,先介绍一下逻辑斯谛分布。

设X是连续型随机变量,X服从逻辑斯蒂分布是指X具有下列分布函数F(x)和密度函数f(x):

3分钟看懂「逻辑斯蒂」回归模型

3分钟看懂「逻辑斯蒂」回归模型

逻辑斯谛分布的分布函数F(x)的曲线如图所示,其图形是一条S形曲线,曲线在中心附近增长最快,在两端增长速度较慢。当x无穷大时,F(x)接近于1;当x无穷小时,F(x)接近于0。

3分钟看懂「逻辑斯蒂」回归模型

逻辑回归分布函数

二.二项逻辑斯谛回归模型

二项逻辑斯蒂回归模型是一种分类模型,由条件概率分布P(Y|X)表示,形式为参数化的逻辑斯蒂分布。这里随机变量X取值为实数,随机变量Y取值为1或0。

二项逻辑斯谛回归模型是如下的条件概率分布:

3分钟看懂「逻辑斯蒂」回归模型

3分钟看懂「逻辑斯蒂」回归模型

这里x属于实数,Y属于{0,1}是输出,w和b是参数,w称为权值向量,b称为偏置,为w和x的内积。

对于给定的输入实例x,按照上述分布函数可以求得P(Y=1|x)和P(Y=0|x)。逻辑斯谛回归是比较两个条件概率值的大小,将实例x分到概率值大的那一类。

有时候为了方便,将权值向量和输入向量加以扩充,仍记作w,x,即

3分钟看懂「逻辑斯蒂」回归模型

3分钟看懂「逻辑斯蒂」回归模型

这时,逻辑斯蒂回归模型如下:

3分钟看懂「逻辑斯蒂」回归模型

3分钟看懂「逻辑斯蒂」回归模型

得到上面的回归模型了,上面的回归模型中有一个未知参数w,在利用上述的模型对数据进行预测之前需要先求取参数w的值,这里采用极大似然估计的方法求取参数w。

设:

3分钟看懂「逻辑斯蒂」回归模型

3分钟看懂「逻辑斯蒂」回归模型

似然函数为:

3分钟看懂「逻辑斯蒂」回归模型

对数似然函数为:

3分钟看懂「逻辑斯蒂」回归模型

这样问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯蒂回归学习中通常采用的方法是梯度下降法以及拟牛顿法。

将利用极大似然估计得到的w值代入上述的模型中,即可用于测试数据集的预测。

三.多项逻辑斯蒂回归

二项逻辑斯谛回归模型是二项分类模型,用于二分类问题中。可以将其推广到多项逻辑斯谛回归模型,用于多分类问题。假设离散型随机变量Y的可能取值集合是{1,2,...,K},那么多项逻辑斯谛回归模型是:

3分钟看懂「逻辑斯蒂」回归模型

End.

作者:俊红的数据分析之路

本文已获得作者授权,如转载请联系作者

  • 我的微信公众号
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: