Salesforce高管：“幻觉”影响“可靠性”华尔街日报

Salesforce在实际应用中遇到了多项大模型技术挑战，当给大模型超过8个指令时，它会开始遗漏指令，这对需要精确处理的任务来说并不理想。此外，AI还会出现“漂移”现象，“当用户提出无关问题时，AI代理会失去对其主要目标的关注”。

企业软件巨头Salesforce高管承认，对大模型的信任度在过去一年中有所下降，该公司正在其主要AI产品Agentforce中减少对生成式AI的依赖，转而采用更多基础的“确定性”自动化技术来提高软件可靠性。

周一，据The Information报道，Salesforce产品营销高级副总裁Sanjna Parulekar表示：“我们所有人在一年前对大语言模型都更有信心。”该公司现在Agentforce中使用基于预定义指令的确定性自动化，而非完全依赖AI模型的推理和解释能力。

这一策略调整旨在解决大模型在处理精确任务时出现的“幻觉”等技术故障，确保关键业务流程每次都遵循完全相同的步骤。Salesforce网站现在强调Agentforce能够帮助“消除大模型固有的随机性”。

作为最具价值的软件公司之一，Salesforce对大模型的部分退让可能对数千家使用该技术的企业产生影响，目前Agentforce预计年收入将超过5亿美元。

Salesforce在实际应用中遇到了大模型的多项技术挑战。该公司Agentforce首席技术官Muralidhar Krishnaprasad指出，当给大模型超过8个指令时，它会开始遗漏指令，这对需要精确处理的任务来说并不理想。

家庭安防公司Vivint的经历印证了这些问题。该公司为250万客户使用Agentforce处理客户支持，但遇到了可靠性问题。例如，尽管给出了在每次互动结束时向客户发送满意度调查的指令，但Agentforce有时会因无法确定的原因不发送调查。

为解决这类问题，Vivint与Salesforce合作在Agentforce内设置了"确定性触发器"，确保每次都能发送调查。使用这种基础自动化形式不仅降低了运营成本，也为客户提供了更低的价格。

Salesforce高管Phil Mui在10月的博客文章中描述了另一个关键挑战：AI“漂移”现象。据Mui介绍，该公司“最复杂的客户”在使用AI时遇到困难，“当用户提出无关问题时，AI代理会失去对其主要目标的关注”。