会员服务
在数学统计中，Kullback-Leibler散度（也称为相对熵）是衡量一个概率分布与第二个参考概率分布有何不同的一种度量。应用包括表征信息系统中的相对（香农）熵，连续时间序列中的随机性以及比较推论的统计模型时的信息增益。在简单的情况下，Kullback-Leibler散度为0表示所讨论的两个分布是相同的。 简而言之，它具有各种应用，例如应用统计，流体力学，神经科学和机器学习。
一篇文章讲清楚交叉熵和KL散度
一篇文章讲清楚交叉熵和KL散度
PaperWeekly
1+阅读 · 2022年11月11日
DeepMind“钓鱼执法”：让AI引诱AI说错话，发现数以万计危险言论
DeepMind“钓鱼执法”：让AI引诱AI说错话，发现数以万计危险言论
量子位
0+阅读 · 2022年2月11日
5种数据同分布的检测方法！
5种数据同分布的检测方法！
THU数据派
2+阅读 · 2021年2月22日
用20篇论文走完知识蒸馏在 2014-2020 年的技术进展
用20篇论文走完知识蒸馏在 2014-2020 年的技术进展
新智元
1+阅读 · 2021年2月3日
损失函数理解汇总，结合 PyTorch1.7 和 TensorFlow2
损失函数理解汇总，结合 PyTorch1.7 和 TensorFlow2
深度学习自然语言处理
1+阅读 · 2020年11月26日
2021届校招算法岗知识点总结
2021届校招算法岗知识点总结
AINLP
0+阅读 · 2020年11月23日
损失函数理解汇总，结合PyTorch1.7和TensorFlow2
损失函数理解汇总，结合PyTorch1.7和TensorFlow2
极市平台
1+阅读 · 2020年11月11日
FastBERT-CPU推理加速10倍
FastBERT-CPU推理加速10倍
AINLP
2+阅读 · 2020年10月19日
Normalizing Flows入门(中)
Normalizing Flows入门(中)
AINLP
0+阅读 · 2020年8月2日
互信息及其在图表示学习的应用
互信息及其在图表示学习的应用
AINLP
3+阅读 · 2020年6月21日
互信息及其在图表示学习的应用
互信息及其在图表示学习的应用
图与推荐
0+阅读 · 2020年6月20日
硬核推导Google AdaFactor：一个省显存的宝藏优化器
硬核推导Google AdaFactor：一个省显存的宝藏优化器
AINLP
1+阅读 · 2020年4月29日
【数学基础】机器学习中的几个熵
【数学基础】机器学习中的几个熵
深度学习自然语言处理
0+阅读 · 2020年2月19日
ICLR2020满分论文：PPO带来的性能提升来源于code-level?
ICLR2020满分论文：PPO带来的性能提升来源于code-level?
极市平台
3+阅读 · 2020年1月9日
交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离）
交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离）
极市平台
0+阅读 · 2019年12月31日
参考链接
微信扫码咨询专知VIP会员
Top