十二怒汉

前三季度，抚顺市经济运行情况→_我的网站

A |     该图片使用了AI生成技术          本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs          现在谈AI安全，很多人的第一反应都是：怎样让模型少犯错？          减少幻觉、优化提示词、防止提示词注入、增加上下文、接入更强的模型，再用另一个Agent检查前一个Agent。    今年以来，全市上下深入实施全面振兴新突破三年行动，随着宏观调控组合政策持续发力显效，经济运行呈现总体平稳、进中提质的向好态势。

B |          　　根据地区生产总值统一核算结果，前三季度，全市实现地区生产总值707.3亿元，按不变价格计算，同比增长4.7%，较上半年提高0.3个百分点。         这些工作当然有价值。         但它们容易让人产生一种错觉：只要模型足够聪明、提示词足够完善、检测系统足够复杂，AI就可以安全地完成一切。从产业结构看，全市三次产业占比为5.1：47.6:47.3。

C |          问题是，AI真的可能永远正确吗？          答案恐怕是否定的。         我们无法消灭所有错误          AI Agent面对的不是一道标准答案明确的考试题，而是不断变化的现实环境。其中，第一产业实现增加值36.2亿元，增长5.4%；第二产业实现增加值336.6亿元，增长5.7%；第三产业实现增加值334.5亿元，增长3.7%。         它读取的邮件可能是伪造的，访问的网页可能包含恶意指令，接收到的数据可能已经被污染，用户给出的任务也可能存在歧义。         即使模型本身没有受到攻击，它也可能误解目标、遗漏条件，或者基于不完整的信息作出一个看起来合理的决定。

D |          　　农业生产稳中向好          　　前三季度，全市农林牧渔业总产值52.2亿元，可比增长5.3%。         我们可以持续提高模型的准确率，却很难证明它在下一次任务中一定不会犯错。         　　主要农产品增势较好          　　从种植业看，全市蔬菜及食用菌、水果分别增长3.2%、5.0%。         试图让AI永远正确，是在追求一个无法验证的目标；阻止危险结果发生，才是一条可以真正落地的边界。从畜牧业看，截至9月末，羊出栏、牛出栏、家禽出栏分别增长4.5%、4.8%和10.4%。从渔业看，水产品产量增长20.2%。         　　规上工业稳步增长          　　前三季度，全市规模以上工业增加值同比增长5.4%，较1-8月提升1.9个百分点。

E | 工业用电量71.3亿千瓦时，增长15.3%。         　　支柱产业支撑有力          　　全市建材工业、冶金工业、石化工业、煤炭工业和电力工业增加值分别增长0.3%、5.5%、6.4%、7.8%和12.8%。         真正的问题不是AI会不会犯错。         它一定会。

F |          　　近六成行业生产保持增长          　　全市36个规上工业大类行业中，有21个行业增加值实现增长，行业增长面为58.3%。         真正的问题是：当它犯错以后，系统是否会毫无阻碍地把这个错误执行出去。         模型错误不一定等于现实损失          一个AI在聊天窗口里回答错误，造成的可能只是一次糟糕的体验。

G |          但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后，错误的性质就完全不同了。         它可能把钱转给错误的地址，删除重要数据，修改生产环境，扩大成员权限，或者关闭本应保留的审计记录。         模型只是产生了一个错误判断。         真正把错误变成事故的，是后面的执行能力。         模型犯错只是答案错了，执行失控才是真的出事。         这也是为什么，AI安全不能只盯着模型内部。         　　固定资产投资降幅收窄          　　前三季度，全市固定资产投资同比下降12.1%，降幅较1-8月收窄11.2个百分点。         我们当然要防提示词注入，要提高推理能力，也要检测恶意输入。其中，第二产业投资、第三产业投资增速降幅较1-8月分别收窄8个百分点、14.1个百分点。

H | 但即使前面的所有防线都失效了，系统仍然应该保留一道最后的底线。         这道底线不负责判断AI为什么犯错。         它只负责确认：这件事到底能不能发生。         守住钱袋子，比猜出所有骗子更现实          假设一个AI Agent正在替企业处理付款。         　　新开工项目发挥重要作用          　　1-9月，新开工项目数量增长22.3%，完成投资增长44.3%，上拉全市投资8.3个百分点。

I |          　　消费品市场稳定向好          　　前三季度，全市社会消费品零售总额实现162.1亿元，同比增长7.3%。         　　按单位所在地分          　　城镇消费品零售额149.3亿元，增长7.7%；乡村消费品零售额12.8亿元，增长2.5%。         　　按消费形态分          　　商品零售139.4亿元，增长6.4%；餐饮收入22.7亿元，增长12.9%。         我们可以训练它识别诈骗邮件，可以要求它核对合同，可以增加一个模型复核收款信息。         但我们无法保证它永远认得骗子。         　　对外贸易增速回落          　　前三季度，全市外贸进出口总额实现32.1亿元，同比下降18.1%。         骗子会改变话术，邮件账号可能被入侵，真实员工也可能被冒充。即使多个模型同时参与判断，它们仍可能基于同一份错误信息得出相同结论。         更现实的做法，是直接守住付款的底线：          单笔金额不能超过限制；新收款地址不能立即付款；审批后收款目标不能被替换；超出风险阈值必须经过独立确认；任何远程管理员都不能临时关闭这些规则。其中，出口额实现30.2亿元，下降17.5%；进口额实现1.9亿元，下降27.3%。全市实际利用外资428万美元。

J |          这样，即使AI被欺骗，损失仍然会被限制。         　　财政、金融持续增长          　　前三季度，全市一般公共预算收入56.9亿元，同比增长11.4%。         你不需要保证AI永远认得骗子，只需要保证骗子无法轻易带走你的钱。         这就是大道至简。其中，税收收入39.9亿元，增长10.2%。         前面可以有复杂的模型、提示词、工作流和检测系统。         最后只需要一条明确的边界：          不符合条件，就不执行。         最后的系统不必比AI更聪明          很多人认为，保护AI的安全系统也应该是一套更强大的AI。         　　截至9月末，金融机构本外币存款余额3162.5亿元，同比增长7.0%；金融机构本外币贷款余额1240.4亿元，同比增长0.7%。         但位于最后一道边界的系统，未必需要理解自然语言，也不需要参与复杂推理。         它只需要知道几个确定事实：          这次操作要转多少钱，目标是谁，权限是否发生变化，数据是否可以恢复，风险条件有没有超限。         　　居民收入稳步增加          　　前三季度，全体居民人均可支配收入28131元，同比增长5.8%。其中，城镇居民人均可支配收入31677元，增长5.3%；农村居民人均可支配收入17457元，增长6.9%。         　　物价温和上涨          　　前三季度，全市居民消费价格同比增长0.2%。其中，其他用品和服务、教育文化和娱乐、衣着、交通和通信、生活用品及服务分别上涨3.5%、1.1%、1.0%、0.6%和0.5%；居住、食品烟酒和医疗保健价格分别下降0.3%、0.5%和0.6%。

K |          　　总的来看，全市前三季度经济延续恢复向好态势，但当前国际形势复杂多变，需求不足制约犹存，一些结构性问题仍较突出。下阶段，全市上下聚焦高质量发展这一首要任务，加快构建新发展格局，因地制宜发展新质生产力，巩固和增强全市经济回升向好势头，决战四季度，坚决打好打赢攻坚之年攻坚之战。                   责任编辑：刘春阳。         这些事实不满足，就拒绝。         安全不一定要比风险更聪明，它只需要守住风险最终必须经过的那道门。         越靠近最终执行，系统反而越应该简单、独立和保守。         因为复杂意味着更多配置、更多依赖、更多攻击面，也意味着系统可能被前面的同一套错误逻辑同时影响。         真正的最后防线，不应该和Agent使用同一个提示词、同一个上下文、同一套权限，也不应该因为SaaS中有人点击了“强制执行”就自动失效。         它存在的意义，就是在所有人都认为可以继续时，依然保留拒绝的能力。         底线应该由人提前决定          当然，底线并不是系统自己创造的。         企业需要提前决定，什么事情绝对不能由AI单独完成。

L |          可能是一笔超过限额的付款，可能是删除核心数据库，可能是修改管理员权限，也可能是让现实设备进入不可逆状态。         这些边界一旦确定，就不应该交给Agent在执行过程中临时解释。         真正的安全，不是让AI在最后一秒重新思考，而是让人类在风险发生之前提前划清边界。

M |          AI可以负责分析、规划、推荐，甚至完成绝大部分自动化工作。         但越是不可逆、越是高价值、越可能造成现实损失的操作，越需要一道独立于AI判断的最终约束。         AI安全的终点，不是把模型训练成永不犯错的圣人，而是让系统在模型犯错时依然守得住自己的底线。         未来的AI一定会越来越聪明，也会获得越来越多的工具和权限。

N |          我们没有必要因为它可能犯错，就拒绝所有自动化。         但我们也不能因为它越来越强，就默认把最后的决定权一起交出去。

o |          最后想和大家讨论一个问题：          对你来说，AI最不能越过的底线是什么——钱、管理员权限、核心数据，还是现实设备的控制权？          本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 [email protected]。

Current article:http://8jaib.loukachunwenghongchuikui.shop/list_ilwxfi/9mibj.html

Published on:17:36:14