会员服务
Bias项的神奇作用：RoPE + Bias = 更好的长度外推性
Bias项的神奇作用：RoPE + Bias = 更好的长度外推性
PaperWeekly
0+阅读 · 2023年4月7日
NeurIPS 2022 | 准确建模多智能体系统，斯坦福提出隐空间多层图模型
NeurIPS 2022 | 准确建模多智能体系统，斯坦福提出隐空间多层图模型
PaperWeekly
0+阅读 · 2022年11月30日
SIGIR 2022 | FRNet：上下文感知的特征强化模块
SIGIR 2022 | FRNet：上下文感知的特征强化模块
PaperWeekly
0+阅读 · 2022年11月19日
NeurIPS'22 Spotlight｜华为诺亚GhostNetV2出炉：长距离注意力机制增强廉价操作
NeurIPS'22 Spotlight｜华为诺亚GhostNetV2出炉：长距离注意力机制增强廉价操作
极市平台
0+阅读 · 2022年11月15日
AI画画模型成本被打下来了！预训练成本直降85%，微调只需单张RTX 2070，这个国产开源项目又上新了
AI画画模型成本被打下来了！预训练成本直降85%，微调只需单张RTX 2070，这个国产开源项目又上新了
量子位
0+阅读 · 2022年11月9日
综述｜视觉Transformer在CV中的现状、趋势和未来方向
综述｜视觉Transformer在CV中的现状、趋势和未来方向
极市平台
4+阅读 · 2022年11月8日
COLING 2022 | 清华美团提出DABERT：针对匹配任务的双通道注意力增强预训练模型
COLING 2022 | 清华美团提出DABERT：针对匹配任务的双通道注意力增强预训练模型
PaperWeekly
0+阅读 · 2022年11月5日
MetaFormer：宏观架构才是通用视觉模型真正需要的！
MetaFormer：宏观架构才是通用视觉模型真正需要的！
极市平台
0+阅读 · 2022年10月30日
ToMe：我的方法无需训练即可加速 ViT 模型｜搞懂Transformer系列
ToMe：我的方法无需训练即可加速 ViT 模型｜搞懂Transformer系列
极市平台
2+阅读 · 2022年10月25日
各种各样神奇的自注意力机制（Self-attention）变形
各种各样神奇的自注意力机制（Self-attention）变形
PaperWeekly
1+阅读 · 2022年10月15日
ICLR'23截稿, 图神经网络依然火热 (附42 篇好文整理)
ICLR'23截稿, 图神经网络依然火热 (附42 篇好文整理)
图与推荐
1+阅读 · 2022年10月5日
ICLR 2022 | 将Anchor box重新引入DETR，提供query可解释性并加速收敛
ICLR 2022 | 将Anchor box重新引入DETR，提供query可解释性并加速收敛
PaperWeekly
0+阅读 · 2022年9月27日
7 Papers & Radios | 无人机3D打印登Nature封面；哈工大用微波驱控机器人
7 Papers & Radios | 无人机3D打印登Nature封面；哈工大用微波驱控机器人
机器之心
0+阅读 · 2022年9月25日
ACL 2022 | 给注意力升升温，模型摘要的有效蒸馏
ACL 2022 | 给注意力升升温，模型摘要的有效蒸馏
PaperWeekly
0+阅读 · 2022年9月22日
比标准Attention快197倍！Meta推出多头注意力机制“九头蛇”
比标准Attention快197倍！Meta推出多头注意力机制“九头蛇”
量子位
0+阅读 · 2022年9月19日
参考链接
微信扫码咨询专知VIP会员
Top