如果企业里的AI不只是回答问题，还能替员工发邮件、查订单、调取客户资料，甚至操作业务系统，会发生什么？它看到了不该看的数据怎么办？执行错了任务由谁负责？这些看似遥远的问题，正随着AI加快进入企业而变得现实。
8月27日，温州市人工智能协会在仁信大厦温州大学元宇宙与人工智能研究院举行智能体安全企业应用闭门研讨会。温州数据集团、电信、移动、联通、浙江云谷等单位技术负责人，以及市软件行业协会、市工商联相关委员会专家参加交流。大家讨论的核心，是如何让企业既能用好AI，又不让它“越界”。
过去，企业使用AI，大多是写文案、做图片、整理材料，出了问题通常还停留在内容层面。如今，AI正从会聊天的“工具”，变成能调用软件、连接数据、执行任务的“数字同事”。能力越强，能接触的信息越多，可能带来的风险也越大。比如，一名员工只能查看自己负责的客户资料，那么由他使用的AI是否也应遵守同样的权限？AI代替员工完成操作后，企业又该怎样查清它为什么这样做？
与会专家认为，企业应用AI不能只看“好不好用”，还要回答三个朴素的问题：它是谁、它能做什么、出了问题能不能查清。对应到管理上，就是给AI明确身份，限定能够查看的数据和执行的操作，并留下完整记录。涉及付款、合同、客户隐私、生产控制等重要环节时，还应保留人工确认，不能把决定权完全交给机器。
研讨中，运营商、云平台、数据平台及行业专家结合实际业务，交流了数据保护、操作留痕、外部服务风险以及效率与安全如何平衡等问题。大家认为，不同行业使用AI的方式不同，但基本原则应当一致：权限够用即可，重要操作必须确认，执行过程能够追溯，发生异常可以及时停止。
温州市人工智能协会秘书长冯向荣表示，AI安全不是为了让企业不敢用AI，而是为了让企业用得更放心、更长久。协会下一步将梳理会议共识，形成便于本地企业理解和执行的AI应用安全实践要点，并通过持续交流，帮助企业从“尝试使用”走向“规范使用”。
当AI开始进入订单、客服、财务、生产等真实业务环节，企业需要像管理员工、账号和系统一样管理AI。先把边界划清，再让能力释放，或将成为企业拥抱AI必须补上的一课。