2023->2024必看的十大「大模型领域综述」论文

【导读】2023是大模型元年。围绕大模型和生成式AI、智能体等研究，新成果每天都在出现，GPT-4、Gemini、知识图谱结合、领域大模型等。在此，专知小编整理这一年这些研究热点主题的综述进展，共十篇，了解当下，方能向前。祝大家2024新年快乐！

1、****GPT-4多模态大模型发布！98页《OpenAI GPT-4 技术报告》论文详细阐述！附下载

摘要：本文报告了GPT-4的发展，这是一个大规模的多模态模型，可以接受图像和文本输入并产生文本输出。虽然在许多现实世界的场景中，GPT-4的能力不如人类，但它在各种专业和学术基准上表现出了人类水平的表现，包括通过了模拟的律师考试，其分数约为考生的前10%。GPT-4是一个基于transformer的模型，预训练用于预测文档中的下一个token。训练后的校准过程会提高对事实的衡量和对期望行为的坚持程度。该项目的一个核心组件是开发基础设施和优化方法，这些方法可以在广泛的范围内预测性能。这使我们能够基于不超过GPT-4计算量的1/ 1000的训练模型准确地预测GPT-4性能的某些方面。网址：

https://www.zhuanzhi.ai/vip/ff1a69c57a32dab97613edf0f6f907c1

2、超越GPT-4？Google 60页《Gemini-高性能多模态大模型》报告，详解技术测试等细节，附中英文版

摘要：这份报告介绍了一种新的多模态模型系列——Gemini，它在图像、音频、视频和文本理解方面展现出非凡的能力。Gemini系列包括Ultra、Pro和Nano三种尺寸，适用于从复杂推理任务到设备内存受限用例的各种应用。在一系列广泛的基准测试中的评估显示，我们最强大的Gemini Ultra模型在这些基准测试的32项中的30项中推进了最新技术水平——特别是它是首个在广受研究的考试基准MMLU上达到人类专家表现的模型，并且在我们检查的所有20项多模态基准测试中提升了最新技术水平。我们相信，Gemini模型在跨模态推理和语言理解方面的新能力将使各种用例成为可能，我们讨论了将它们负责任地部署给用户的方法。网址：

https://blog.google/technology/ai/google-gemini-ai/

3、124页大模型综述最新版！人大《大型语言模型》综述中英文版本

自从 20 世纪 50 年代图灵测试被提出以来，人类一直在探索如何用机器掌握语言智能。语言本质上是一种由语法规则支配的复杂的人类表达系统。开发有能力理解和掌握一门语言的人工智能（AI）算法是一个重大挑战。作为一种主要的语言理解和生成方法，语言建模在过去的二十年中得到了广泛的研究，并从统计语言模型逐步发展为神经语言模型。近年来，通过在大规模语料库上对 Transformer 模型进行预训练，人们提出了预训练语言模型（Pre-training Language Model, PLM），其在解决各种自然语言处理（Natural Language Processing, NLP）任务方面表现出强大的能力。由于研究人员发现扩展模型规模可以提高模型能力，因此他们通过将参数增加到更大的尺寸来进一步研究该效应。有趣的是，当参数规模超过一定水平时，这些规模更大的语言模型的性能不仅得到了显著提升，而且还表现出一些小规模语言模型（例如 BERT）所不具备的特殊能力（例如上下文学习）。为了区分不同参数规模下的语言模型，研究界创造了术语 ——大语言模型（Large Language Model, LLM）代指大型的 PLM（如包含数百亿或数千亿个参数）。近年来，学术界和工业界极大地推进了针对 LLM 的研究，其中一个显著的进展是推出了 ChatGPT（一种基于 LLM 开发的强大 AI 聊天机器人），它引起了社会的广泛关注。LLM 的技术发展对整个 AI 界产生了重要影响，这将彻底改变我们开发和使用 AI 算法的方式。考虑到这一快速的技术进步，在本篇综述中，我们通过介绍 LLM 的背景、主要发现和主流技术来回顾近年来的进展。我们特别关注 LLM 的四个主要方面，即预训练、适配微调、使用和能力评估。此外，我们还总结了开发 LLM 的可用资源，并讨论了 LLM 现有的问题和未来的发展方向。本文提供了关于 LLM 的最新文献综述，期望能为研究人员和工程师提供帮助。 https://github.com/RUCAIBox/LLMSurvey

4、重磅！60+位作者发布263页pdf《AI4Science》论文，百科全书式概述人工智能在量子、原子级和连续系统科学的应用

****

人工智能（AI）的进步正在推动自然科学新发现的新范式。如今，AI已经开始通过提高、加速和促进我们对各种空间和时间尺度下自然现象的理解，推动自然科学的发展，催生出了被称为科学人工智能（AI4Science）的新研究领域。作为一种新兴的研究范式，AI4Science是一个庞大且高度跨学科的领域。因此，对这个领域进行统一和技术处理是必要的，但也充满挑战。本文旨在对AI4Science的一个子领域提供深入且技术全面的阐述，即针对量子、原子和连续体系的AI。这些领域旨在理解从亚原子（波函数和电子密度）、原子（分子、蛋白质、材料和相互作用）到宏观（流体、气候和地下）尺度的物理世界，构成了AI4Science的重要子领域。关注这些领域的独特优势在于，它们在很大程度上共享一组挑战，从而允许进行统一和基础的处理。一个关键的共同挑战是如何通过深度学习方法捕捉物理第一原理，特别是自然系统中的对称性。我们提供了对实现对称性变换等变性技术的深入而直观的阐述。我们还讨论了其他常见的技术挑战，包括可解释性、分布外泛化、基础和大型语言模型的知识转移，以及不确定性量化。为了便于学习和教育，我们提供了我们发现有用的资源的分类列表。我们力求做到全面和统一，希望这个初步的努力能激发更多的社区兴趣和努力，以进一步推动AI4Science的发展。 https://www.zhuanzhi.ai/paper/01607bcd00ae3cab2bbac713236498ea

网址：

https://www.zhuanzhi.ai/paper/a40c43c4b56cc5cb5c45e40ace23b81d

**5、拥抱还是革命，ChatGPT时代AI科研学者如何生存？纽约大学Julian等《AI学者的夹缝生存策略》给出15条科研生存之道建议**你是学术机构的人工智能研究员吗?你是否担心自己无法应对当前人工智能的发展步伐?您是否觉得您没有(或非常有限)访问人工智能研究突破所需的计算和人力资源?你并不孤单; 我们有同样的感觉。越来越多的人工智能学者不再能找到资源在全球范围内保持竞争力。这是一个最近出现的现象，但正在加速发展，私营公司将大量计算资源投资于前沿AI研究。在这里，我们将讨论学术科研工作者如何在保持竞争力。我们还简要讨论了大学和私营部门如果愿意，可以做些什么来改善这种状况。这不是一个详尽的策略列表，你可能不同意所有的策略，但它有助于开始讨论。这些策略包括：

放弃？
尝试扩展
缩小规模
**重用与重制 **

分析而非综合

强化学习

小模型无计算

**在专业应用领域或领域开展工作 **

** 解决目前很少关心的问题 **

** 尝试那些“不应该”有效的事情 **

做一些“看起来不好”的事情

** 创业；剥离出去！**

** 合作或跳槽！ **

**大型行业参与者如何提供帮助？ **

大学如何提供帮助

https://www.zhuanzhi.ai/paper/f5b56758eda2c2fd84f5b70a9c567822

****

6、大模型时代: 知识图谱过时了吗？Griffith大学等最新《统一大型语言模型和知识图谱:路线图》，29页pdf详述最全指南

大型语言模型（LLMs），如ChatGPT和GPT4，由于其新兴能力和通用性，正在自然语言处理和人工智能领域掀起新浪潮。然而，LLMs是黑箱模型，常常难以捕获和获取事实知识。相比之下，知识图谱（KGs），例如维基百科和华普，是结构化知识模型，明确存储丰富的事实知识。知识图谱可以通过提供外部知识以推理和解释，从而增强LLMs。同时，知识图谱难以构建并且具有不断演变的特性，这对知识图谱中生成新事实和表示未见知识的现有方法提出了挑战。因此，将LLMs和知识图谱统一起来并同时利用它们的优势是互补的。在这篇文章中，我们提出了一个前瞻性的LLMs和知识图谱统一的路线图。我们的路线图包括三个总体框架，即1) 知识图谱增强的LLMs，它在LLMs的预训练和推理阶段，或为了增强对LLMs所学知识的理解，将知识图谱纳入其中；2) LLM增强的知识图谱，利用LLMs进行不同的知识图谱任务，如嵌入，完成，构建，图到文本生成和问答；以及 3)协同的LLMs + 知识图谱，在其中LLMs和知识图谱扮演着平等的角色，并以互利的方式工作，以增强LLMs和知识图谱对由数据和知识驱动的双向推理。我们在路线图中回顾和总结了这三个框架内的现有努力，并指出了它们的未来研究方向。

https://www.zhuanzhi.ai/paper/d797f937ac6861f6896dc93f3875bbc6

7、大模型时代的自然语言处理：挑战、机遇与发展

近期发布的 ChatGPT 和 GPT-4 等大型语言模型, 不仅能高质量完成自然语言生成任务, 生成流畅通顺, 贴合人类需求的语言, 而且具备以生成式框架完成各种开放域自然语言理解任务的能力. 在少样本, 零样本场景下, 大模型可取得接近乃至达到传统监督学习方法的性能, 且具有较强的领域泛化性, 从而对传统自然语言核心任务产生了巨大的冲击和影响. 本文就大模型对自然语言处理的影响进行了详细的调研和分析, 试图探究大模型对自然语言处理核心任务带来哪些挑战和机遇, 探讨大模型将加强哪些自然语言处理共性问题的研究热度, 展望大模型和自然语言处理技术的未来发展趋势和应用. 分析结果表明, 大模型时代的自然语言处理依然大有可为. 我们不仅可以将大模型作为研究方法和手段, 学习, 借鉴大型语言模型的特点和优势, 变革自然语言处理的主流研究范式, 对分散独立的自然语言处理任务进行整合, 进一步提升自然语言核心任务的能力; 还可就可解释性, 公平性, 安全性, 信息准确性等共性问题开展深入研究, 促进大模型能力和服务质量的提升. 未来, 以大模型作为基座, 拓展其感知, 计算, 推理, 交互和控制能力, 自然语言处理技术将进一步助力通用人工智能的发展, 促进各行各业的生产力进步, 更好地为人类社会服务。 https://www.sciengine.com/SSI/doi/10.1360/SSI-2023-0113

8、重磅！121页《大模型技术》中国人工智能系列白皮书（附下载）****

近年来，大模型技术飞速发展，从架构演进统一到训练方式转变，再到模型高效适配，大模型技术引起机器学习范式的一系列重要革新，为通用人工智能发展提供了一种新的手段。由单一模态的语言大模型到语言、视觉、听觉等多模态大模型，大模型技术融合多种模态信息，实现多模态感知与统一表示，也将和知识图谱、搜索引擎、博弈对抗、脑认知等技术融合发展，相互促进，朝着更高智能水平和更加通用性方向发展。与此同时，大模型技术生态蓬勃发展，开源服务与开放生态成为主流趋势，国内外大模型开放平台、开源模型、框架、工具与公开数据集加速大模型技术演进，框架、工具间软硬件协同优化降低大模型开发和应用成本，推动大模型高效训练与部署。大模型与教育、科学、金融、传媒艺术等专用领域结合拓广通用大模型能力边界，与实体经济的深度融合成为其赋能行业应用关键，正在“大模型”与“小模型”端云协同并进发展格局下重塑生产力工具，变革信息获取方式，改变人类社会生活和生产方式。随着大模型的应用，其安全问题日益凸显，因而需关注大模型技术发展的内生及伴生风险，关注大模型安全对齐、安全评估技术，发展大模型安全增强技术，加强大模型安全监管措施，确保其“安全、可靠、可控”。总之，抓紧推动大模型技术研发，尤其是大模型原始技术创新和大模型软硬件生态建设，强化垂直行业数据基础优势，集中国家资源投入大模型发展，同时关注大模型风险监督，彰显人工智能的技术属性和社会属性。

随着ChatGPT等大型人工智能（AI）模型的广泛应用，人工智能生成内容（AIGC）越来越受到关注，正引领着内容创建和知识表示的范式转变。AIGC使用生成性大型AI算法，根据用户提供的提示，以更快的速度和更低的成本辅助或替代人类创建大量的、高质量的、类似人类的内容。尽管AIGC最近取得了显著的进步，但其安全性、隐私性、道德和法律挑战仍需得到解决。本文深入调研了AIGC的工作原理、安全和隐私威胁、最先进的解决方案以及AIGC范式的未来挑战。具体而言，我们首先探讨了AIGC的启用技术、通用架构，并讨论其工作模式和关键特征。然后，我们调研了AIGC的安全和隐私威胁的分类，并强调了GPT和AIGC技术的道德和社会影响。此外，我们回顾了关于AIGC模型及其生成内容的可规范AIGC范式的最新AIGC水印方法。最后，我们确定了与AIGC相关的未来挑战和开放的研究方向。

https://www.zhuanzhi.ai/paper/b8bd2d1b3785e54627ad947b1997f5d9

2022 年11 月30 日，OpenAI 推出全新的对话式通用人工智能工具—— ChatGPT。ChatGPT 表现出了非常惊艳的语言理解、生成、知识推理能力，它可以很好地理解用户意图，做到有效的多轮沟通，并且回答内容完整、重点清晰、有概括、有逻辑、有条理。ChatGPT 上线后，5 天活跃用户数高达 100 万，2 个月活跃用户数已达1 个亿，成为历史上增长最快的消费者应用程序。除了被广大用户追捧外，ChatGPT 还受到了各国政府、企业界、学术界的广泛关注，使人们看到了解决自然语言处理这一认知智能核心问题的一条可能的路径，并被认为向通用人工智能迈出了坚实的一步，将对搜索引擎构成巨大的挑战，甚至将取代很多人的工作，更将颠覆很多领域和行业。哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告，从技术原理、应用场景、未来发展等方面对ChatGPT 进行了尽量详尽的介绍及总结。 11、大模型如何领域适配？埃默里大学等首篇《大型语言模型领域专业化》综述，42页pdf详述大模型领域垂直化技术

****大型语言模型（LLMs）显著推进了自然语言处理（NLP）领域的发展，为广泛应用提供了高度有用且任务不受限的基础。LLMs作为通用任务解决器的巨大潜力激励人们将其功能大幅度扩展，远超“聊天机器人”，并将其用作特定领域如健康保健、金融和教育等领域的专家和工具的助手甚至替代品。然而，直接应用LLMs解决特定领域的复杂问题会遇到许多难题，这些难题由领域数据的异质性、领域知识的复杂性、领域目标的独特性，以及领域应用中的各种限制（例如，各种社会规范、文化一致性、宗教信仰和道德标准）所引起。为了填补这种空白，在最近几年中，对LLMs领域专化的研究和实践已经爆炸式增长，然而，这需要一个全面和系统的审查来更好地总结和引导这个有前景的领域。在这篇综述论文中，首先，我们提出了一个系统的分类法，该分类法根据对LLMs的可访问性对LLMs领域专化技术进行分类，并总结了所有子类别的框架以及它们之间的关系和差异。我们还提出了一个全面的关键应用领域分类法，这些领域可以从专业化的LLMs中受益，讨论了它们的实际意义和开放的挑战。此外，我们还提供了关于该领域当前研究状态和未来趋势的见解。https://www.zhuanzhi.ai/paper/3279a4c93753550f0d2fbcd780b30414

**12、AI Agent下一个热点？复旦最新86页《大型语言模型智能体的崛起与潜力》综述，详述LLM Agent: 大脑、感知和行动**https://www.zhuanzhi.ai/paper/cd77bba118be3a41aa389b99437d8988 长期以来，人类一直在追求与人类水平相当或超越的人工智能（AI），认为AI智能体是实现这一目标的有前景的工具。AI智能体是能感知环境、做出决策并采取行动的人造实体。自20世纪中叶以来，已经做出了许多努力以发展智能的AI智能体。然而，这些努力主要集中在算法或训练策略的进步上，以提高在特定任务上的特定能力或性能。实际上，这个领域缺乏的是一个足够通用和强大的模型，作为设计能适应多样化场景的AI智能体的起点。由于它们展示出的多功能和出色的能力，大型语言模型（LLMs）被认为是通用人工智能（AGI）的潜在媒介，为构建通用AI智能体提供了希望。许多研究努力已经以LLMs为基础来构建AI智能体，并取得了显著进展。我们首先从其哲学起源追溯智能体的概念，到其在AI中的发展，并解释为什么LLMs是适合作为AI智能体的基础。在此基础上，我们提出了一个基于LLM的智能体的概念框架，包括三个主要组成部分：大脑、感知和行动，该框架可以根据不同的应用进行定制。随后，我们探讨了基于LLM的智能体在三个方面的广泛应用：单智能体场景、多智能体场景和人-智能体合作。接下来，我们深入研究智能体社会，探讨基于LLM的智能体的行为和个性，当它们形成社会时出现的社会现象，以及它们为人类社会提供的洞见。最后，我们讨论该领域内的一系列关键主题和未解决的问题。

13、AI+军事

万字长文 |《马赛克战概念的仿真实验》马赛克战赋能技术、马赛克战仿真研究

马赛克战是一种作战理论，由更多数量和种类的灵活、流动和可扩展的武器装备、传感器和平台组成的部队，比按照系统的方法发展的部队更有效和更有弹性。马赛克部队的每个成员就像马赛克中的瓦片一样与众不同。他们可以根据对当地情况的了解来决定和行动。与正面对抗敌人的类似武器和平台相比，这可能具有压倒性的优势。马赛克战提高了决策速度，并使指挥官采取更多的同步行动，这给对方部队的决策带来了额外的复杂性。本文研究了马赛克战概念的有利技术，创建了测试该概念的试验环境，进行了初步实验，并介绍了实验结果。