从贝叶斯出发，如何真正的理解算法？

数据分析学习社

348
文章

0
评论

2021-07-1410:44:42 评论 604 4077字

摘要

贝叶斯算法大名鼎鼎，但用过贝叶斯的估计没几个能从业务的角度去真正理解贝叶斯吧？有多少人能将贝叶斯思想自然的用于解释生活中的各种现象呢？在电梯里你能用几句话跟领导解释清楚吗？

大学时学习了很多高深的课程，什么数学物理方法、小波函数等等，但现在脑海里估计已经一片空白，反正大概是一堆公式和解题方法吧，其实就是在当时，也根本没深究过这些数学公式的来龙去脉，更无法理解这些公式后面的光辉思想。

当然直接拿着贝叶斯公式或者调用一个函数的确可以快速解决问题，但这种方法显然没法内化，逻辑上的推导才是算法精神和乐趣所在，对于一个建模的人来说，如果有时间，还是要尽量让一个算法长在自己心里，语言和工具总会不断被更新，你也许永远跟不上这个节奏，唯有里面的思想是持久的，也是一大把年纪后能留下的唯一的算法资产，特别是如果其还能指导你的生活，知道为什么总是很重要。

1、关于信念

你相信上帝吗？你相信中医吗？你相信全球变暖是人为造成的吗？你相信转基因食品安全吗？你相信大年初一去灵隐寺烧香能带来好运吗？信或不信，我们可以用一个量化数字来表示，比如说概率，大年初一去灵隐寺烧香能带来好运的可能性是90%，这是主观概率，就好比天气预报说明天下雨的概率90%一样。

真正的深信不疑或彻底不信都是很少的，一般情况下对一般有争议的问题我们都是抱着将信将疑的态度，信念值在0.01%到99.99%之间，而且，我们对大多数事物的信念值都在动态变化,比如有什么特别突兀的新东西出来，我们一开始可能是不信的，随着证据增多，慢慢增加信念，那么，我如何基于这些证据去计算新的信念值？

2、贝叶斯的困惑

所谓的贝叶斯方法源于他生前为解决一个"逆概"问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算"正向概率"，如"假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大？"

而一个自然而然的问题是反过来："如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测，随着取出的球越来越多，我的推测是否也会变化？"

实际上，贝叶斯当时的论文只是对这个问题的一个直接的求解尝试，并不清楚他当时是不是已经意识到这里面包含着的深刻的思想。然而后来，贝叶斯方法席卷了概率论，并将应用延伸到各个问题领域，所有需要作出概率预测的地方都可以见到贝叶斯方法的影子，特别地，贝叶斯成为机器学习的核心方法之一。

3、从业务出发推导贝叶斯定理

如果我在决策时掌握所有的信息，我当然能计算一个客观的概率，比如在一个桶里有黑白色的球，如果我事先知道里面黑白球的比例，我自然知道我随机拿到一个白球的概率是多少，如果我事先知道去灵隐寺获得好运的可能性就是90%，我自然会在某次路过灵隐寺的时候进去烧香。

可是生活中绝大多数决策面临的信息是不全的，我们手里只有有限的几个证据，而贝叶斯定理的精神在于，人类的观察能力是有限的，既然无法得到全面的信息，我们就在证据有限（表面）的情况下，尽可能地做一个更好的判断，下面我们先祭出贝叶斯公式，然后尝试用灵隐寺烧香能否显灵的例子推导出它：

P（A/B）=P（B/A）/P（B）*P（A）

这里P（A）代表认为升职的概率，B代表一个与A相关的事件（实例），比如"我朋友去年去了灵隐寺烧香，结果他升职了"，P（A/B）代表在B发生的情况下，A发生的概率，其他类似。

P（A）代表了我的原始信念A，就是说我对于升职有一个初始的判断概率，比如15%。P（A/B）代表某个实际事件发生后，有了新的证据，我需要对于原始的信念A做个调整，你可以把A当成你对一般情况的理论预言，而B是一次实验结果，有了新的实验结果，你就调整自己的理论预言，这个新的预言就是P（A/B）。

那么P（A/B）这个新的预言如何计算呢？

首先，跟初始的P（A）有关系，假如P（A）一开始极小，则再多的事件发生你也不会改变初衷，我们的当前观点肯定受先前观点的影响。

其次，跟P（B/A）/P（B）也有关系，就是说如果在原始信念P（A）作用下发生某个特定事件（B）的可能性相对更高了，则我由于这个事件改变原始信念的可能性就越高，比如这里P（B）代表去灵隐寺的概率，P（B/A）就代表升职的人中去过灵隐寺的的概率，两者比值就表示信念由于事实改变的相对大小，注意好好理解这句话。