State-space models (SSMs), exemplified by the Mamba architecture, have recently emerged as state-of-the-art sequence-modeling frameworks, offering linear-time scalability together with strong performance in long-context settings. Owing to their unique combination of efficiency, scalability, and expressive capacity, SSMs have become compelling alternatives to transformer-based models, which suffer from the quadratic computational and memory costs of attention mechanisms. As SSMs are increasingly deployed in real-world applications, it is critical to assess their susceptibility to both software- and hardware-level threats to ensure secure and reliable operation. Among such threats, hardware-induced bit-flip attacks (BFAs) pose a particularly severe risk by corrupting model parameters through memory faults, thereby undermining model accuracy and functional integrity. To investigate this vulnerability, we introduce RAMBO, the first BFA framework specifically designed to target Mamba-based architectures. Through experiments on the Mamba-1.4b model with LAMBADA benchmark, a cloze-style word-prediction task, we demonstrate that flipping merely a single critical bit can catastrophically reduce accuracy from 74.64% to 0% and increase perplexity from 18.94 to 3.75 x 10^6. These results demonstrate the pronounced fragility of SSMs to adversarial perturbations.


翻译:状态空间模型(SSMs),以Mamba架构为代表,近年来已成为最先进的序列建模框架,在长上下文场景中展现出强大性能的同时,具备线性时间可扩展性。凭借其效率、可扩展性和表达能力三者的独特结合,SSMs已成为基于Transformer模型的有力替代方案,后者因注意力机制的二次计算和内存开销而受限。随着SSMs在现实应用中的日益普及,评估其对软件和硬件层面威胁的敏感性,以确保安全可靠运行,变得至关重要。在此类威胁中,硬件诱导的比特翻转攻击(BFAs)通过内存故障破坏模型参数,从而损害模型精度和功能完整性,构成了尤为严重的风险。为探究此漏洞,我们提出了RAMBO,这是首个专门针对基于Mamba架构设计的BFA框架。通过在Mamba-1.4b模型上使用LAMBADA基准(一种填空式词语预测任务)进行实验,我们证明仅翻转一个关键比特即可灾难性地将准确率从74.64%降至0%,并将困惑度从18.94提升至3.75 × 10^6。这些结果揭示了SSMs对抗性扰动的显著脆弱性。

0
下载
关闭预览

相关内容

 DiffRec: 扩散推荐模型(SIGIR'23)
专知会员服务
48+阅读 · 2023年4月16日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
相关VIP内容
相关资讯
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员