摘 要 不同场景下时序数据的异质性极大地影响了智能决策中时序预测算法的泛化性和有效性,对其应用构成了重要阻碍。 时序预测大模型是解决这一挑战的重要技术。综合了时序预测领域的最新研究动态,从模态视角自上而下地探讨了时序预测大 模型的4种实现思路:基于提示的方法、基于微调的方法、基于对齐的方法以及时序预测基础模型。梳理了时序预测大模型构 建过程中的核心要素和可用技术。探讨了未来的重要挑战和研究方向。 关键词 时间序列,大语言模型,基础模型,预测时序预测技术在智能决策中扮演着重要角色: 通过分析和学习历史数据的模式,准确预测时空系 统的未来态势,可以为复杂系统调度优化和智能决 策提供关键支持。时间序列数据广泛分布于交通、 电力、气象等多种时空系统中,记录了关键观测点 或指标的状态变化,是反映这些系统演变趋势的关 键数据资源。时间序列预测技术致力于通过分析和 学习历史数据的模式,准确预测未来趋势。这种技 术在智能决策中扮演着至关重要的角色:能够准确 预测时空系统的未来态势,从而为有效的调度优化 和智能决策提供关键支持。因此,深入研究时序预 测技术对于战场态势感知、武器系统维护、战场环 境监测等领域至关重要,可以显著提高决策的准确 性和效率,为军事行动提供精确而有力的支持。 长期以来,基于统计模型的时间序列预测算法, 如自回归积分滑动平均(autoregressive integrated mov⁃ ing average,ARIMA)[1] 和指数平滑状态空间模型(ex⁃ ponential smoothing state space model,ETS)[2] ,被广泛 认为是可靠的工具,并在实际应用中得到了认可。 随着深度学习技术的发展,研究者们开发了更为灵 活和强大的模型,这些模型能够挖掘时间序列数据 中的深层价值模式,从而显著提升预测的准确性, 成为学术研究的新趋势。然而,基于深度学习的时 序预测模型通常要求训练和推理阶段使用相同的数 据集[3] ,这限制了它们的泛化能力。一方面,不同领 域的时序数据常常展现出不同的模式,导致模型难以 广泛泛化;另一方面,不同领域数据的质量参差不 齐,如信噪比、历史数据长度以及预测数据长度等, 进一步削弱了模型的跨领域可用性。在军事领域,这 些问题尤为显著,因为军事应用涉及的场景多样(例 如电力、气象、交通等),且具有高对抗性,数据分布 漂移严重,这使得现有的时序预测算法面临挑战。 受到计算机视觉和自然语言处理领域中诸如视 觉 Transformer(vision Transformer,ViT)[4] 、双向编码器 表 示 Transformer(bidirectional encoder representa⁃ tions from Transformers,BERT)[5] 、生成式预训练Trans⁃ former(generative pre-trained Transformer,GPT)[6] 等 预训练大型模型的启发,时序预测大模型日益受到 学术界的关注,并被认为是一个充满潜力的研究方 向[7] 。这些模型的设计目标是解决数据模式异质、数 据质量不一等核心挑战,从而开发出适用于所有领 域的时间序列预测任务的通用模型,处理零样本或 少样本情况下的预测,推动时序预测技术的更广泛 应用和实践。然而,作为一个新兴领域,目前还缺 乏针对时序预测大模型研究思路和可用技术的系统 性分析。大多数现有的综述[8-11] 主要关注于预训练的 大语言模型(例如 GPT[6] 、LLaMA[12)] 在时序预测中的 应用。在其他研究中,文献[13]通过“数据视角”对相 关工作进行了分类和梳理,而文献[7]则通过“方法视 角”对相关工作进行了区分。此外,先前的研究通常 同时概述时间序列、空间数据(如轨迹)等多种类型 的数据,而没有对时序预测任务进行深入挖掘。 本文专注于时序预测任务,全面分析了大量相 关研究,采用自上而下和自下而上两种视角详尽地 综述了时序预测大模型的设计思路和具体技术:1) 自上而下的视角:采用“模态视角”来区分不同的研 究思路,即根据对自然语言和时间序列模态的利用方 式的不同对相关工作进行分类。2)自下而上的视 角:梳理了时序预测大模型构建流程中的共性关键技 术。两个视角结合,既给出了实现时序预测大模型的 多种思路,也梳理了可选择的具体技术。此外,本研 究还探讨了未来可能的重要研究方向。

成为VIP会员查看完整内容
1

相关内容

扩散模型中的注意力机制:综述
专知会员服务
23+阅读 · 4月10日
生成式人工智能在机器人操作中的应用:综述
专知会员服务
25+阅读 · 3月6日
不平衡数据学习的全面综述
专知会员服务
36+阅读 · 2月15日
大语言模型在规划与调度问题上的应用
专知会员服务
45+阅读 · 1月12日
大模型的能力边界与指挥控制应用
专知会员服务
70+阅读 · 1月4日
图神经网络在金融欺诈检测中的应用综述
专知会员服务
27+阅读 · 2024年11月22日
面向算法选择的元学习研究综述
专知会员服务
45+阅读 · 2023年2月11日
多模态数据的行为识别综述
专知会员服务
86+阅读 · 2022年11月30日
基于表格数据的深度学习方法
专知会员服务
39+阅读 · 2021年10月19日
专知会员服务
230+阅读 · 2020年5月6日
智能合约的形式化验证方法研究综述
专知
16+阅读 · 2021年5月8日
基于深度学习的数据融合方法研究综述
专知
33+阅读 · 2020年12月10日
事件知识图谱构建技术与应用综述
专知
24+阅读 · 2020年8月6日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
【图计算】人工智能之图计算
产业智能官
17+阅读 · 2020年4月3日
当深度强化学习遇见图神经网络
专知
227+阅读 · 2019年10月21日
层级强化学习概念简介
CreateAMind
18+阅读 · 2019年6月9日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
Arxiv
169+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
457+阅读 · 2023年3月31日
Arxiv
76+阅读 · 2023年3月26日
Arxiv
168+阅读 · 2023年3月24日
Arxiv
24+阅读 · 2023年3月17日
VIP会员
相关VIP内容
扩散模型中的注意力机制:综述
专知会员服务
23+阅读 · 4月10日
生成式人工智能在机器人操作中的应用:综述
专知会员服务
25+阅读 · 3月6日
不平衡数据学习的全面综述
专知会员服务
36+阅读 · 2月15日
大语言模型在规划与调度问题上的应用
专知会员服务
45+阅读 · 1月12日
大模型的能力边界与指挥控制应用
专知会员服务
70+阅读 · 1月4日
图神经网络在金融欺诈检测中的应用综述
专知会员服务
27+阅读 · 2024年11月22日
面向算法选择的元学习研究综述
专知会员服务
45+阅读 · 2023年2月11日
多模态数据的行为识别综述
专知会员服务
86+阅读 · 2022年11月30日
基于表格数据的深度学习方法
专知会员服务
39+阅读 · 2021年10月19日
专知会员服务
230+阅读 · 2020年5月6日
相关资讯
智能合约的形式化验证方法研究综述
专知
16+阅读 · 2021年5月8日
基于深度学习的数据融合方法研究综述
专知
33+阅读 · 2020年12月10日
事件知识图谱构建技术与应用综述
专知
24+阅读 · 2020年8月6日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
【图计算】人工智能之图计算
产业智能官
17+阅读 · 2020年4月3日
当深度强化学习遇见图神经网络
专知
227+阅读 · 2019年10月21日
层级强化学习概念简介
CreateAMind
18+阅读 · 2019年6月9日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员