We introduce PROVSEEK, an LLM-powered agentic framework for automated provenance-driven forensic analysis and threat intelligence extraction. PROVSEEK employs specialized toolchains to dynamically retrieve relevant context by generating precise, context-aware queries that fuse knowledge from threat reports with evidence from system provenance data. The framework resolves provenance queries, orchestrates multiple role-specific agents, and synthesizes structured, ground-truth verifiable forensic summaries. By combining agent orchestration with Retrieval-Augmented Generation (RAG) and chain-of-thought (CoT) reasoning, data-guided filtration using a behavioral model, PROVSEEK enables adaptive multi-step analysis that iteratively refines hypotheses, verifies supporting evidence, and produces scalable, interpretable forensic explanations of attack behaviors. PROVSEEK is designed for automated threat investigation without task-specific training data, enabling forensic-style investigation even when no prior knowledge of the environment. We conduct a comprehensive evaluation on publicly available DARPA datasets, demonstrating that PROVSEEK outperforms retrieval-based methods for the intelligence extraction task, achieving a 34% improvement in contextual precision/recall; and for threat detection task, PROVSEEK achieves 22%/29% higher precision/recall compared to both a baseline agent approach and State-Of-The-Art (SOTA) Provenance-based Intrusion Detection System (PIDS). In our scalability study, we show that PROVSEEK increases token usage by 1.42x and latency by 1.63x as the database size increases 50x, making it optimal for large-scale deployment. We also conducted an ablation and error analysis study to show how different components of PROVSEEK affect the detection performance.


翻译:我们提出了PROVSEEK,一种基于大语言模型的智能体框架,用于自动化溯源驱动的取证分析和威胁情报提取。PROVSEEK采用专用工具链,通过生成精确、上下文感知的查询,动态检索相关上下文,将威胁报告中的知识与系统溯源数据中的证据相融合。该框架能够解析溯源查询,协调多个特定角色的智能体,并生成结构化、可验证真实性的取证摘要。通过将智能体编排与检索增强生成(RAG)、思维链(CoT)推理、基于行为模型的数据引导过滤相结合,PROVSEEK实现了自适应多步骤分析,能够迭代优化假设、验证支持证据,并生成可扩展、可解释的攻击行为取证解释。PROVSEEK专为自动化威胁调查而设计,无需特定任务的训练数据,即使在缺乏环境先验知识的情况下也能进行取证式调查。我们在公开的DARPA数据集上进行了全面评估,结果表明:在情报提取任务中,PROVSEEK优于基于检索的方法,上下文精确率/召回率提升了34%;在威胁检测任务中,与基线智能体方法和最先进的基于溯源的入侵检测系统(PIDS)相比,PROVSEEK的精确率/召回率分别提高了22%和29%。在可扩展性研究中,我们发现当数据库规模扩大50倍时,PROVSEEK的令牌使用量增加1.42倍,延迟增加1.63倍,表明其适用于大规模部署。我们还进行了消融和错误分析研究,以展示PROVSEEK各组件对检测性能的影响。

0
下载
关闭预览

相关内容

图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
大数据分析研究组开源Easy Machine Learning系统
中国科学院网络数据重点实验室
17+阅读 · 2017年6月13日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
大数据分析研究组开源Easy Machine Learning系统
中国科学院网络数据重点实验室
17+阅读 · 2017年6月13日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员