【干货】终极入门 马尔可夫网络 (Markov Networks)——概率图模型

2018 年 1 月 7 日 机器学习研究会
今天我们把注意力放到无向图模型,以及马尔可夫网络 (Markov Networks)。 事实上之所以叫做无向图模型,只是因为概率图中的边可以是双向的:


在这里,就是所有可能性值的求和:


唯一与马尔可夫网络不同的是,这里每个factor中的Di可以是多元的。

所有可以总结,

最后我还要介绍一种非常常用的马尔可夫网络变形:条件随机场(CRF)

与马尔可夫网络唯一不同的是,条件随机场(CRF)求partition function的时候是仅仅对一个变量求和的,最后求的是在X情况下的条件概率,而不是联合概率:

这就在建模时有许多有意思的结果:

  1. CRF是很不错的判别模型, 对数几率回归就是其中一种。

  2. CRF可以把整个图模型的局部特征函数转化为全局特征函数,从而写成条件随机场的权重向量和特征向量的内积形式。这就可以每次只关心一个特征。再把所有全局特征集中起来一起考虑。


如判别上图中的动物是奶牛,我们首先把整个图“切”成一块块的“小图”。

如果用贝叶斯网络或者朴素贝叶斯构建这些“小图”,就需要把每个“小图”的所有特征都考虑进去,这在最终求联合概率时将会非常复杂。而条件随机场解决了这个问题,我们不需要费力考虑每个小块之间的关系。

相反,我们可以先关注所有小块的颜色亮暗比的分布,再关注所有小块纹理粗糙度的分布,然后考虑动物边界是不是明显有4只脚,最后把这些因素都合起来,判别这个动物是不是奶牛?这样,是不是在数学上更好处理了?



转自:机器学习算法与自然语言处理


完整内容请点击“阅读原文”

登录查看更多
31

相关内容

Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
125+阅读 · 2020年7月10日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
166+阅读 · 2020年5月6日
因果关联学习,Causal Relational Learning
专知会员服务
178+阅读 · 2020年4月21日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
【斯坦福新课】CS234:强化学习,附课程PPT下载
专知会员服务
112+阅读 · 2020年1月15日
【课程】概率图模型,卡内基梅隆大学邢波
专知会员服务
67+阅读 · 2019年11月4日
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
115+阅读 · 2019年9月24日
干货:复杂网络及其应用简介
数据猿
22+阅读 · 2018年12月21日
118页概率思维教程——基础、技巧与算法
专知
12+阅读 · 2018年9月5日
深度学习入门必须理解这25个概念
AI100
7+阅读 · 2018年6月6日
【干货】​深度学习中的线性代数
专知
21+阅读 · 2018年3月30日
干货 | 受限玻尔兹曼机基础教程
机器学习算法与Python学习
7+阅读 · 2018年3月27日
基础 | 一文轻松搞懂-条件随机场CRF
黑龙江大学自然语言处理实验室
16+阅读 · 2018年3月24日
一文帮你理解什么是深层置信网络(DBN)
干货 | 一文搞懂极大似然估计
AI100
6+阅读 · 2017年12月3日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
A General and Adaptive Robust Loss Function
Arxiv
7+阅读 · 2018年11月5日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
5+阅读 · 2018年5月10日
Arxiv
11+阅读 · 2018年4月25日
Arxiv
10+阅读 · 2018年3月23日
VIP会员
相关VIP内容
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
125+阅读 · 2020年7月10日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
166+阅读 · 2020年5月6日
因果关联学习,Causal Relational Learning
专知会员服务
178+阅读 · 2020年4月21日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
【斯坦福新课】CS234:强化学习,附课程PPT下载
专知会员服务
112+阅读 · 2020年1月15日
【课程】概率图模型,卡内基梅隆大学邢波
专知会员服务
67+阅读 · 2019年11月4日
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
115+阅读 · 2019年9月24日
相关资讯
干货:复杂网络及其应用简介
数据猿
22+阅读 · 2018年12月21日
118页概率思维教程——基础、技巧与算法
专知
12+阅读 · 2018年9月5日
深度学习入门必须理解这25个概念
AI100
7+阅读 · 2018年6月6日
【干货】​深度学习中的线性代数
专知
21+阅读 · 2018年3月30日
干货 | 受限玻尔兹曼机基础教程
机器学习算法与Python学习
7+阅读 · 2018年3月27日
基础 | 一文轻松搞懂-条件随机场CRF
黑龙江大学自然语言处理实验室
16+阅读 · 2018年3月24日
一文帮你理解什么是深层置信网络(DBN)
干货 | 一文搞懂极大似然估计
AI100
6+阅读 · 2017年12月3日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
Top
微信扫码咨询专知VIP会员