The deployment of AI-assisted development tools in compliance-relevant, large-scale industrial environments represents significant gaps in academic literature, despite growing industry adoption. We report on the industrial deployment of WhatsCode, a domain-specific AI development system that supports WhatsApp (serving over 2 billion users) and processes millions of lines of code across multiple platforms. Over 25 months (2023-2025), WhatsCode evolved from targeted privacy automation to autonomous agentic workflows integrated with end-to-end feature development and DevOps processes. WhatsCode achieved substantial quantifiable impact, improving automated privacy verification coverage 3.5x from 15% to 53%, identifying privacy requirements, and generating over 3,000 accepted code changes with acceptance rates ranging from 9% to 100% across different automation domains. The system committed 692 automated refactor/fix changes, 711 framework adoptions, 141 feature development assists and maintained 86% precision in bug triage. Our study identifies two stable human-AI collaboration patterns that emerged from production deployment: one-click rollout for high-confidence changes (60% of cases) and commandeer-revise for complex decisions (40%). We demonstrate that organizational factors, such as ownership models, adoption dynamics, and risk management, are as decisive as technical capabilities for enterprise-scale AI success. The findings provide evidence-based guidance for large-scale AI tool deployment in compliance-relevant environments, showing that effective human-AI collaboration, not full automation, drives sustainable business impact.


翻译:在合规相关的大规模工业环境中部署人工智能辅助开发工具,尽管行业采用日益增多,但学术文献仍存在显著空白。本文报告了WhatsCode的工业部署实践,这是一个特定领域的AI开发系统,用于支持WhatsApp(服务超过20亿用户)并处理跨多个平台的数百万行代码。在25个月(2023-2025年)期间,WhatsCode从针对性的隐私自动化演变为与端到端功能开发及DevOps流程集成的自主智能体工作流。WhatsCode取得了显著的量化成效:将自动化隐私验证覆盖率从15%提升至53%,提高了3.5倍;识别隐私需求;在不同自动化领域生成超过3000个被采纳的代码变更,采纳率介于9%至100%之间。该系统完成了692次自动化重构/修复变更、711次框架采纳、141次功能开发辅助,并在缺陷分诊中保持了86%的精确度。我们的研究识别出生产部署中形成的两种稳定的人机协作模式:针对高置信度变更的一键式部署(占60%案例)和针对复杂决策的接管-修订模式(占40%)。我们证明,组织因素(如所有权模型、采纳动态和风险管理)与技术能力对企业级人工智能的成功同等关键。研究结果为合规环境下的大规模AI工具部署提供了实证指导,表明可持续的业务影响源自有效的人机协作,而非完全自动化。

0
下载
关闭预览

相关内容

机器或装置在无人干预的情况下按规定的程序或指令自动进行操作或控制的过程, 是一门涉及学科较多、应用广泛的综合性科学技术。
NLG任务评价指标BLEU与ROUGE
AINLP
21+阅读 · 2020年5月25日
Auto-Keras与AutoML:入门指南
云栖社区
18+阅读 · 2019年2月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关资讯
NLG任务评价指标BLEU与ROUGE
AINLP
21+阅读 · 2020年5月25日
Auto-Keras与AutoML:入门指南
云栖社区
18+阅读 · 2019年2月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员