神经网络量化已被证明是一种有效的方法,可显著降低深度学习模型在资源受限设备上的内存占用与计算开销。然而,传统的量化方法通常依赖于对训练数据的访问,在实际应用中,这在隐私保护、安全性或合规性方面常常难以实现。**零样本量化(Zero-shot Quantization, ZSQ)**作为一种新兴方案,能够在完全不依赖真实数据的前提下实现模型量化,因而展现出广阔的应用前景。

本文对当前 ZSQ 方法及其最新研究进展进行了系统综述。首先,我们对零样本量化问题进行了形式化定义,并指出该领域面临的核心挑战。接着,我们根据数据生成策略对现有 ZSQ 方法进行了分类,总结其研究动机、关键思想与主要结论。最后,本文还探讨了未来的研究方向,以期解决当前存在的局限性,推动 ZSQ 领域的持续发展。 据我们所知,本文是目前关于零样本量化问题的首篇系统性综述。

成为VIP会员查看完整内容
1

相关内容

联邦学习中基础模型参数高效微调综述
专知会员服务
11+阅读 · 5月5日
【CMU博士论文】强化学习中策略评估的统计推断
专知会员服务
26+阅读 · 2024年9月15日
非Transformer不可?最新《状态空间模型(SSM)》综述
专知会员服务
71+阅读 · 2024年4月16日
《分布外泛化评估》综述
专知会员服务
41+阅读 · 2024年3月6日
持续学习:研究综述
专知会员服务
81+阅读 · 2023年1月30日
专知会员服务
70+阅读 · 2021年8月20日
专知会员服务
134+阅读 · 2021年3月13日
再谈人脸识别损失函数综述
人工智能前沿讲习班
14+阅读 · 2019年5月7日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
深度学习与计算机视觉任务应用综述
深度学习与NLP
50+阅读 · 2018年12月18日
基于Lattice LSTM的命名实体识别
微信AI
47+阅读 · 2018年10月19日
【论文笔记】ICLR 2018 Wasserstein自编码器
专知
31+阅读 · 2018年6月29日
现代情感分析方法
算法与数学之美
14+阅读 · 2018年1月12日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
459+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2022年9月7日
Arxiv
18+阅读 · 2021年3月16日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Arxiv
26+阅读 · 2020年2月21日
Arxiv
12+阅读 · 2019年3月14日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
Arxiv
11+阅读 · 2018年7月31日
VIP会员
相关主题
相关VIP内容
联邦学习中基础模型参数高效微调综述
专知会员服务
11+阅读 · 5月5日
【CMU博士论文】强化学习中策略评估的统计推断
专知会员服务
26+阅读 · 2024年9月15日
非Transformer不可?最新《状态空间模型(SSM)》综述
专知会员服务
71+阅读 · 2024年4月16日
《分布外泛化评估》综述
专知会员服务
41+阅读 · 2024年3月6日
持续学习:研究综述
专知会员服务
81+阅读 · 2023年1月30日
专知会员服务
70+阅读 · 2021年8月20日
专知会员服务
134+阅读 · 2021年3月13日
相关资讯
再谈人脸识别损失函数综述
人工智能前沿讲习班
14+阅读 · 2019年5月7日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
深度学习与计算机视觉任务应用综述
深度学习与NLP
50+阅读 · 2018年12月18日
基于Lattice LSTM的命名实体识别
微信AI
47+阅读 · 2018年10月19日
【论文笔记】ICLR 2018 Wasserstein自编码器
专知
31+阅读 · 2018年6月29日
现代情感分析方法
算法与数学之美
14+阅读 · 2018年1月12日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
相关论文
A Survey of Large Language Models
Arxiv
459+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2022年9月7日
Arxiv
18+阅读 · 2021年3月16日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Arxiv
26+阅读 · 2020年2月21日
Arxiv
12+阅读 · 2019年3月14日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
Arxiv
11+阅读 · 2018年7月31日
微信扫码咨询专知VIP会员