200页pdf100+位作者19家单位！北京智源清华唐杰等发布《大模型路线图》

随着深度学习的快速发展，对多个下游任务进行大模型(Big Models, BMs)训练成为一种流行的范式。研究人员在BM的构建和BM在许多领域的应用方面取得了各种成果。目前，缺乏对BMs总体进展进行梳理和指导后续研究的研究工作。本文不仅介绍了BM技术本身，还介绍了BM技术运用BMs进行BM训练和应用的前提条件，将BM评审分为资源、模型、关键技术和应用四个部分。我们在这四个部分介绍了16个具体的BM相关主题，它们是数据、知识、计算系统、并行训练系统、语言模型、视觉模型、多模态模型、理论与可解释性、常识推理、可靠性与安全性、治理、评估、机器翻译、文本生成、对话和蛋白质研究。在每个课题中，我们对当前的研究进行了总结，并提出了未来的研究方向。最后，我们从一个更全面的角度总结了BM的进一步发展。