本文来自微信公众号： HavenlonLabs ，作者：HavenlonLabs
2025年7月，一件让所有科技公司后背发凉的事登上了Fortune：AI编程平台Replit的智能体，在执行任务时直接清空了一家软件公司的生产。更荒诞的是事后——这个AI一本正经地道歉，称这是\"我这边的灾难性失误\"。
道歉当然没用。数据没了就是没了。
这不是孤例，而是一个时代的注脚。OpenAI高管把2025年称为\"AI智能体之年\"，此后的剧情大家都看到了：能写代码、能上网、能改文件、能替你付钱的AI Agent成批上岗。企业排着队给AI\"发工牌\"，却几乎没有人认真想过一个问题——
你招一个实习生都要背调、签保密协议、限制权限，凭什么让一个AI直接碰生产数据库？
新加坡政府科技局（GovTech）联合新加坡科技设计大学的三位研究者，最近在一篇论文里给出了他们的答案：一套叫ARC（Agentic Risk&Capability，智能体风险与能力）的治理框架。名字很学术，但拆开看，它讲的其实是一件特别朴素的事：怎么给AI员工定岗、定责、上保险。
值得玩味的是出手的人。这不是哪家AI公司的安全团队在自证清白，而是一个政府的技术部门在给自己\"管AI员工\"立规矩——毕竟政府系统一旦翻车，代价比创业公司删个库大得多。
为什么老办法管不住AI Agent
有人会问：AI风险管理不是老话题了吗？欧盟AI法案、NIST风险管理框架，文件一摞一摞的。
问题恰恰出在这。这些监管框架讲的是\"应该负责任、应该可问责\"的大原则，相当于告诉你\"要遵纪守法\"，但没告诉你合同怎么签、权限怎么配。原则有了，操作手册没有。
而Agent和上一代聊天机器人有本质区别。ChatGPT说错话，大不了被截图挂上网；Agent干错事，是真的会删你的库、花你的钱、以公司名义给监管机构发邮件。研究还发现一个反直觉的事实：同一个大模型，套上Agent的壳之后，反而更容易做出不安全的行为——它有了手和脚，就有了闯祸的物理条件。
那按老办法，给每个Agent项目做一次深度定制的风险评估行不行？行，但只能撑一时。当公司里跑着几十上百个Agent的时候，安全团队就成了瓶颈：要么审不过来拖死业务，要么放水放到出事。
安全圈的思路也帮不上太多忙。OWASP、NVIDIA这些机构做过Agent威胁建模，专业是够专业，但门槛太高——写业务代码的开发者看不懂威胁模型，看懂了也不知道自己这个场景该防哪几条。
一边是管得太虚的监管原则，一边是管得太深的安全工程，中间那层\"公司治理团队拿来就能用的制度\"，一直是空的。ARC框架瞄准的就是这个空档。
核心洞察：别盯着工具，盯着\"它能干什么\"
ARC框架最聪明的一步，是换了一个提问方式。
以前的思路是审工具：这个Agent接了什么搜索API、装了什么插件、连了哪个MCP服务器，一个一个查。听起来严谨，实际上是个无底洞——市面上光搜索工具就有Google SERP、Serper、Perplexity一堆，功能大同小异；反过来，一个GitHub接口又能干提交代码、读需求单好几件事。工具层面的清单永远列不完，列完就过时。
ARC的思路是审能力：不管你用哪家的工具，我只问你这个AI能对世界做什么。就像HR不会去审员工用微信还是钉钉，只会问：这个岗位能不能碰客户数据？能不能对外代表公司？有没有报销权限？
框架把Agent的能力划成三类，翻译成大白话就是：
会想——能自己拆解任务、排优先级、给其他Agent派活、挑工具。这是\"脑力\"。
会说——能跟人聊天、生成图文音视频、上网搜索、以公司名义对外发正式函件、执行付款和下单交易、直接操作电脑界面。这是\"对外接口\"。
会做——能写代码跑代码、增删改查文件和数据库、调整系统配置。这是\"动手能力\"。
这个视角妙在三点。第一，能力比工具稳定，工具月月换，能力清单一年也变不了几条。第二，它天然能分级：一个只会聊天的客服Agent和一个能跑代码、能改数据库的编程Agent，风险量级完全不同，前者轻装上阵，后者重点盯防——低风险的业务不用陪着高风险的一起过堂。第三，\"它能删文件\"这种表述，业务负责人和法务都听得懂，不用先修一门网络安全课。
一套完整的\"人事制度\"：定岗、预判、上保险
看清能力只是第一步。ARC框架完整走下来是三段：元素、风险、控制，对应到管人的语言就是：它是谁、它会怎么翻车、怎么防它翻车。
先看\"它是谁\"。除了上面说的能力，还要看两样：组件——它用的是哪个大模型、什么指令、什么记忆、什么工具，相当于查学历和简历；设计——多个Agent之间怎么分工协作、权限怎么隔离、行为有没有留痕，相当于组织架构和考勤制度。
再预判\"怎么翻车\"。论文把翻车方式归为三种，几乎能套用到所有事故上：它自己菜（能力不足、理解跑偏，Replit删库属于这类）；它被人带坏了（黑客通过恶意网页、恶意文件下达隐藏指令，行话叫\"提示注入\"）；它的装备坏了（依赖的工具或资源出了问题）。
翻车方式乘以翻车代价——数据泄露、系统瘫痪、越权提权、发布违法内容、误导用户——就能穷举出一张风险登记册。论文附录直接给了一份46项的现成清单，从\"覆写或删除数据库表\"到\"通过恶意网站进行提示注入\"，每一条都有真实事故或学术研究背书，不是拍脑袋想的。
最后上保险。每条风险对应具体的技术控制措施，并且分了三档，可以理解为：红线（必须照做，比如AI生成的代码只能在断网沙盒里跑）、标配（应当采纳或者认真改造后采纳，比如破坏性操作前必须人工审批）、加分项（高风险系统建议加装）。这个分档很务实——它承认不是每家公司都有无限的安全预算，先把红线守住，再谈锦上添花。
还有一个容易被忽略但很清醒的设计：框架明确要求评估残余风险。意思是，装完所有保险之后，你还是要回答一个问题——剩下没防住的部分，公司认不认？防提示注入的护栏是拿旧攻击训练的，新式攻击未必拦得住；两个单独看都还行的能力，组合起来可能出新的幺蛾子。没有银弹，这话是框架作者自己说的。
两个Agent的\"入职审查\"，差距有多大
论文用两个虚构产品做了完整演示，对比非常直观。
第一个叫\"研究员\"，对标OpenAI和Perplexity的Deep Research：你给它一个问题，它上网搜资料、写成报告。盘点能力：会做计划、会写报告、会上网搜索——就这三样。对着风险登记册过一遍，适用风险38项；再结合公司的业务场景评估影响和可能性，砍掉那些\"理论上存在但实际够不着\"的，最后剩10项需要认真设防，对应17条控制措施。其中最凶险的一条是\"通过恶意网站进行提示注入\"：影响4分（满分5），可能性直接拉满5分——因为这种攻击已经有多个真实案例，而且攻击者根本不需要接触你的系统，只需要在网上放好一张\"毒饵\"网页等着AI来读。
第二个叫\"氛围编程者\"，对标Replit、Vercel这类产品：普通人说句话，它就生成一个网站并部署上线。盘点能力：做计划、挑工具、聊天、上网、跑代码、管文件和数据库、改系统配置——七样，几乎把\"会做\"类的高危能力集齐了。结果适用风险48项，最终25项需要设防，是\"研究员\"的两倍还多。其中赫然就有\"覆写或删除数据库表或文件\"这一条——评估里引用的真实案例，正是开头那起Replit删库事故。
同一套流程，两种产品，得出完全不同强度的管控方案。这就是\"按能力定风险\"的价值：AI越能干，套在它身上的缰绳就得越多。能力越大，责任越大——论文标题玩的这个梗，落到治理上是字面意思。
说点冷静的
这套框架不是万能药，论文作者自己也承认两点:它还没有经过大规模的实证检验，属于\"设计完成、路测刚开始\"的状态；而且风险清单需要随着新攻击手法的出现持续更新，买了保险不等于一劳永逸。
但它回答了一个眼下所有公司都躲不开的问题。Agent的采购决策正在从\"要不要上\"变成\"上多少个\"，而绝大多数组织的治理能力还停留在\"出了事再说\"。等到你的AI员工以公司名义签了合同、删了客户数据、给监管机构发了一封措辞不当的邮件，再回头补制度，成本完全不是一个量级。
在按下Agent的启动键之前，不妨先用ARC的思路问自己三个问题：
它能碰到什么？——数据库、客户资料、对外邮箱、付款接口，一项一项列出来，别嫌烦。
它最坏能干出什么？——不是问它平均表现如何，是问它发疯一次你赔得起吗。
出事之前，谁有权拔插头？——人工审批卡在哪个环节、日志留在哪里、翻车了找谁，这些答案如果是模糊的，那就还没准备好。
说到底，AI Agent就是一种新型员工：干活快、不请假、不抱怨，但也可能在某个深夜删掉你的数据库，然后礼貌地向你道歉。
入职手续，还是要办的。
本文核心观点与数据来自论文\"With Great Power Comes Great Responsibility:The Agentic Risk&Capability(ARC)Framework\"（Shaun Khoo,Jessica Foo,Roy Ka-Wei Lee，arXiv:2512.22211，发表于IASEAI'26），框架已开源。Replit事故引自Fortune 2025年7月报道。
本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 tougao@huxiu.com。
本文来自虎嗅，原文链接：https://www.huxiu.com/article/4875446.html?f=wyxwapp
辉煌配资提示：文章来自网络，不代表本站观点。
