Consider the problem of estimating a latent signal from a lossy compressed version of the data when the compressor is agnostic to the relation between the signal and the data. This situation arises in a host of modern applications when data is transmitted or stored prior to determining the downstream inference task. Given a bitrate constraint and a distortion measure between the data and its compressed version, let us consider the joint distribution achieving Shannon's rate-distortion (RD) function. Given an estimator and a loss function associated with the downstream inference task, define the rate-distortion risk as the expected loss under the RD-achieving distribution. We provide general conditions under which the operational risk in estimating from the compressed data is asymptotically equivalent to the RD risk. The main theoretical tools to prove this equivalence are transportation-cost inequalities in conjunction with properties of compression codes achieving Shannon's RD function. Whenever such equivalence holds, a recipe for designing estimators from datasets undergoing lossy compression without specifying the actual compression technique emerges: design the estimator to minimize the RD risk. Our conditions simplified in the special cases of discrete memoryless or multivariate normal data. For these scenarios, we derive explicit expressions for the RD risk of several estimators and compare them to the optimal source coding performance associated with full knowledge of the relation between the latent signal and the data.


翻译:当压缩机对信号和数据之间的关系具有不可知性时,从数据压缩压缩机对数据丢失的压缩版中的潜在信号进行估计的问题。当压缩机对信号和数据之间的关系具有不可知性时,这种情况出现在一系列现代应用中,在确定下游推论任务之前,数据被传输或储存时,会出现这种情况。考虑到比特率限制和数据及其压缩版之间的扭曲度度,让我们考虑在达到香农的速率扭曲功能(RD)时,对数据进行联合分配的问题。鉴于估算机和与下游推论任务相关的损失函数,将比率扭曲风险界定为RD达到分布时的预期损失。我们提供了一般条件,根据这些条件,从压缩数据中估算的操作风险与RD的风险一样,与RD的风险一样。要证明这一等等等值的主要理论工具是运输成本不平等,同时实现香农的RD功能。如果等值不变,那么在设计正在损失压缩的数据集的相关估计器的估算器的配方,而不具体说明实际出现的压缩技术:设计估算仪,以尽量减少RDD的预期损失关系,我们从压缩数据中估算的操作中产生的操作风险与RD的风险与RD的风险一样。我们在正常的模型中,要将一些不固定的模型的模型中,要对各种的模型的模型进行各种的模型的模型的模型的精确度进行各种的精确度的精确度。

0
下载
关闭预览

相关内容

专知会员服务
41+阅读 · 2020年12月18日
【干货书】机器学习速查手册,135页pdf
专知会员服务
120+阅读 · 2020年11月20日
数据科学导论,54页ppt,Introduction to Data Science
专知会员服务
38+阅读 · 2020年7月27日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
已删除
架构文摘
3+阅读 · 2019年4月17日
卷积自适应降噪自动编码器
FCS
8+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
计算机类 | 期刊专刊截稿信息9条
Call4Papers
4+阅读 · 2018年1月26日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年3月6日
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
VIP会员
相关资讯
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
已删除
架构文摘
3+阅读 · 2019年4月17日
卷积自适应降噪自动编码器
FCS
8+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
计算机类 | 期刊专刊截稿信息9条
Call4Papers
4+阅读 · 2018年1月26日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员