同样一句错话，出现在可修改的草稿里，和被直接发给客户，后果会一样吗？
显然不会。前者还有机会被发现和改掉，后者可能已经变成承诺。讨论 AI 的可靠性时，这个差别很容易被模型排行榜遮住。
AI 有时会生成与事实或给定材料不一致的内容，通常被叫作“幻觉”。名字有点玄，实际体验却很直白：它说得很完整，依据却不成立。
模型能力当然会影响错误多少。但产品如何展示答案、是否提供核对依据、会不会直接执行，也决定了错误能走多远。
设想一个设备资料问答工具。用户问新型号的维护周期，系统找到的却是旧型号手册。如果它把旧数字直接填进答案，界面再配上整齐表格和肯定语气，用户反而更难察觉资料不匹配。
如果同一处明确显示型号和文档版本，并把没有证据的部分留空，读者就知道这里仍需要确认。产品少说一句，可能比强行补齐更有用。
Claude 的官方文档建议允许模型表达不确定、用来源核对论断，同时明确这些办法不能完全消除幻觉。资料：Claude 文档
不过，加了引用也不是终点。链接能打开，只说明网页存在，不说明网页支持旁边那句话。有些错误恰好发生在“资料是真的，结论推过头了”。重要数字如果能对应到原文段落，读者才更容易看见这一步。
从内容生产的角度，我尤其在意草稿和发布之间的距离。生成一段介绍，通常还有编辑余地；自动向客户发送承诺，或者修改一项关键记录，出错后就不一定容易收回。它们可以用同一个模型，却不能因此采用同样宽松的控制。
“结果仅供参考”也不能包办这些问题。用户读完提示后，如果没有方便的查看依据、修改和停止入口，风险仍然留在原处。警告写在页面上，不等于错误已经更容易处理。
因此，AI 产品的可靠性还包括一种能力：出错之后，人是否看得出来，是否来得及纠正。我们当然希望模型答得越来越准；在它仍会出错的现实里，产品不能把流畅的表达当成最后一道检查。