当AI开始自行决定如何执行任务：一次ChatGPT使用经历引发的三个问题

徐慎Ekstasis

发布于 2026-10-16 21:17:52

470

概述

一次ChatGPT实际使用经历引发了我对AI决策权的进一步思考：当用户明确指定工作方法时，大模型仍可能自行改变执行方式，甚至无法保证未来严格遵守要求。结合已有关于AI自主决策与指令遵循的研究，本文从Decision Authority视角提出三个问题：如何判断AI实际执行的决定来自用户还是模型？如何约束模型并验证其遵循用户的方法？为什么会发生未经授权的决策偏离？

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

agent

一、一次让我重新思考AI决策权的经历

二、问题并不只发生在单次任务中

三、已有研究对AI自主决策与指令偏离的讨论
- 1. Artificial Intelligent Disobedience：AI是否应该违背人类指令？
- 2. Scaling Reasoning, Losing Control：推理能力越强，模型就越容易控制吗？
- 3. ReasonIF：不仅要看结果，还要看推理过程

四、从我的观察出发，我想提出三个问题
- 问题一：我们如何判断，AI执行过程中的某个决定，究竟来自用户还是模型自身？
- 问题二：当AI不按照指定方法工作时，我们如何约束它，并验证它确实执行了要求？
- 问题三：为什么会发生这种情况？问题究竟出在哪里？

五、回到Decision Authority：我们究竟拥有多少决策权？

六、一次观察，以及我希望更多人参与的验证
- 参考研究

当AI开始自行决定如何执行任务：一次ChatGPT使用经历引发的三个问题

当AI开始自行决定如何执行任务：一次ChatGPT使用经历引发的三个问题

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐