Recent selective state space models (SSMs), such as Mamba and Mamba-2, have demonstrated strong performance in sequence modeling owing to input-dependent selection mechanisms. However, these mechanisms lack theoretical grounding and cannot support context-aware selection from latent state dynamics. To address these limitations, we propose KOSS, a Kalman-optimal Selective State Space model that formulates selection as latent state uncertainty minimization. Derived from estimation theory, KOSS adopts a continuous-time latent update driven by a Kalman gain that dynamically modulates information propagation based on content and context, enabling a closed-loop, context-aware selectivity mechanism. To ensure stable computation and near-linear scalability, KOSS employs global spectral differentiation for frequency-domain derivative estimation, along with a segment-wise scan for hardware-efficient processing. On a selective copying task with distractors, KOSS achieves over 79\% accuracy while baselines drop below 20\%, demonstrating robust context-aware selection. Furthermore, across nine long-term forecasting benchmarks, KOSS reduces MSE by 2.92--36.23\% and consistently outperforms state-of-the-art models in both accuracy and stability. To assess real-world applicability, a case study on secondary surveillance radar (SSR) tracking confirms KOSS's robustness under irregular intervals and noisy conditions and demonstrates its effectiveness in real-world applications. Finally, supplementary experiments verify Kalman gain convergence and the frequency response of spectral differentiation, providing theoretical support for the proposed closed-loop design.


翻译:近期的选择性状态空间模型(SSMs),如Mamba和Mamba-2,凭借其输入依赖的选择机制在序列建模中展现出强大性能。然而,这些机制缺乏理论依据,且无法支持基于潜在状态动态的上下文感知选择。为克服这些局限,我们提出KOSS——一种卡尔曼最优选择性状态空间模型,将选择机制形式化为潜在状态不确定性的最小化问题。基于估计理论推导,KOSS采用由卡尔曼增益驱动的连续时间潜在状态更新机制,该增益根据内容与上下文动态调节信息传播,实现了闭环式上下文感知选择机制。为确保计算稳定性与近线性可扩展性,KOSS采用全局谱微分法进行频域导数估计,并结合分段扫描策略实现硬件高效处理。在含干扰项的选择性复制任务中,KOSS取得超过79%的准确率,而基线模型均低于20%,验证了其强大的上下文感知选择能力。此外,在九项长期预测基准测试中,KOSS将均方误差降低2.92%至36.23%,在准确性与稳定性方面持续超越最先进模型。为评估实际应用价值,针对二次监视雷达(SSR)跟踪的案例研究证实了KOSS在非均匀间隔与噪声条件下的鲁棒性,并展示了其在现实场景中的有效性。最后,补充实验验证了卡尔曼增益的收敛性及谱微分的频率响应特性,为所提出的闭环设计提供了理论支撑。

0
下载
关闭预览

相关内容

【NeurIPS2024】几何轨迹扩散模型
专知会员服务
24+阅读 · 2024年10月20日
【NeurIPS2022】黎曼扩散模型
专知会员服务
42+阅读 · 2022年9月15日
【ICLR2022】GNN-LM基于全局信息的图神经网络语义理解模型
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
【NeurIPS2019】图变换网络:Graph Transformer Network
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NeurIPS2024】几何轨迹扩散模型
专知会员服务
24+阅读 · 2024年10月20日
【NeurIPS2022】黎曼扩散模型
专知会员服务
42+阅读 · 2022年9月15日
【ICLR2022】GNN-LM基于全局信息的图神经网络语义理解模型
相关资讯
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
【NeurIPS2019】图变换网络:Graph Transformer Network
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员