AI不需要理解世界，但我们需要理解AI数字社会发展与研究

戴维·温伯格（David Weinberger）在《知识的边界》一书中对网络化知识的认识曾给我们打开知识的新疆界[1]，而他对人工智能时代的知识的见解，可以归纳如下：

人类努力获得对复杂系统的理解。然而，我们基于“人类的理解”所作的预测并不像人工智能那样准确，虽然人工智能并不真正理解任何东西。

不过，鉴于人工智能的预测比基于人类理解的预测更准确，我们应该放弃对理解的追求，而专注于建立能够为我们作决定的人工智能。

将主导权交给预测性人工智能，我们将迎来人类进化的下一个阶段[2]。

通过大模型及其背后的生成式人工智能，以及现在方兴未艾的代理式人工智能，我们其实已经迈入了温伯格所称的“人类进化的下一个阶段”。

利用统计模型、回归分析和深度学习技术，预测性人工智能旨在以高精度预测未来的结果或趋势，可以应用于众多行业之中，如医疗保健、金融、营销和供应链管理、法律等，作出数据驱动的决策、优化流程并改善结果。

但正如温伯格所看到的，理解是一个大问题。随着AI系统在各个领域的决策过程中变得越来越重要，可解释人工智能（explainable AI，简称XAI）的要求应运而生。

XAI是一个探索如何使AI系统更可解释的领域，帮助用户理解AI预测和决策背后的推理过程。这使得它与传统的“黑箱”AI模型不同，后者可能提供准确的预测或分类，但没有提供关于如何得出这些结论的洞察。

毋庸置疑，人工智能的未来关键在于，我们是应该放弃理解，还是致力于建立可以理解的人工智能？

深度学习：极其黑暗的黑箱

随着技术的发展，我们可能很快就会跨越一些门槛，而越过这些门槛，使用人工智能就需要信仰的飞跃。当然，我们人类也并不能够总是真正解释我们的思维过程，但我们找到了直觉上信任和衡量人的方法。

换言之，人类建立信任，不依赖于可计算的透明性，而依赖于一种具身直觉的理解：

我们通过陪伴来判断善意，通过回应来确认存在，通过关系来衡量责任。对于那些以不同于人类的方式思考和决策的机器来说，这是否也是可能的？

我们以前从未制造过以其创造者不理解的方式运作的机器。过去的工具——从锤子到蒸汽机、从航天器到超级计算机——尽管精巧复杂，但仍服从因果、遵循逻辑，其工作方式皆在人的掌控与理解之内。我们知道它们为何而动、因何而停。

然而，当深度学习、语言模型与自组织算法诞生后，局面发生了变化：历史上第一次，我们拥有了比我们更难以理解的创造物。

这些机器在高维空间中“思考”，拥有我们无法直观感知的表征与路径。

它们给出的答案有效，但解释缺席；它们的判断精准，却不知其因。我们能指望与这些不可预测和不可捉摸的智能机器，达成多好的沟通和相处？这些问题将把我们带向人工智能研究的前沿。

人工智能并不一向这样。从一开始，对于人工智能的可理解性，或可解释性，就存在两派观点。

许多人认为，建造根据规则和逻辑进行推理的机器是最有意义的，这样将使它们的内部运作对任何愿意检查某些代码的人来说是透明的。

其他人则认为，如果机器从生物学中获得灵感，并通过观察和体验来学习，那么智能将更容易出现。这意味着要把计算机编程转给机器。与其由程序员编写命令来解决一个问题，不如由程序根据实例数据和所需输出生成自己的算法。后来演变成今天最强大的人工智能系统的机器学习技术，遵循的正是后一种路径：机器基本上是自己编程。

任何机器学习技术的工作原理本质上比手工编码的系统更不透明，即使对计算机科学家来说也是如此。这并不是说，所有未来的人工智能技术都将同样不可知。但就其性质而言，深度学习是一个特别黑暗的黑箱。

我们把海量数据投入其中，大语言模型便生成回答、判断、偏好等等，但我们不知道它是如何抵达这些结论的。它的路径，不可追溯；它的“规律”，不可求证；它的偏差，不可预警。它像一个沉默的神谕者：我们依赖它，却无法质问它；我们服从它，却无法要求它承担责任。

于是，技术不再只是工具，而成了一种不透明的权力。

它是制度化的行动者，在社会中行使权力。这种权力不通过暴力显现，而通过规则、标准、算法逻辑潜移默化地渗透人类生活。

一旦面对这样的黑箱，就产生了人对系统的信任问题。温伯格所举的经典例子，是一个名为“深度患者”（Deep Patient）的医疗学习怪物。纽约某医学院的研究人员向它输入整整70万份病历，并让它不受限制地找出它能做的事情。结果，它作出的诊断和预测远远超出了人类医生的能力。虽然该“黑箱”诊断系统无法解释它给出的预测，但在某些情况下，它的确比人类医生更准确。

这就是深度学习，会带来人类从未考虑过或甚至无法想象的发现。温伯格说，“深度患者”的教训是，深度学习系统不必将世界简化为人类能够理解的东西。

问题在于，温伯格没有深入处理人对人工智能的信任。比如，即便“深度患者”的诊断比人类医生更准确，但要是它无法解释自己给出的判断，医生和患者会对它表示信任吗？

AI医生值得信任，需要满足三个条件。

第一是可解释性：患者和医护人员可以理解决策逻辑，因为信任不仅基于结果，更基于过程的透明与可理解。

第二是可追责性：错误和风险能明确归属，责任可以追溯并落实。

第三是伦理嵌入：算法设计中考虑患者尊严、脆弱性和权利。

如果患者只能被动接受结果，而医生的角色，从指导者、守护者，逐渐转变为算法的执行者，就会产生伦理责任问题。患者的主动权被剥夺，医生的判断空间被压缩，错误的诊断不再容易追溯到人，而算法又无法承担伦理责任；最后受伤害的，仍是患者。

这说明，技术越强大，越需要明确它的权力与边界，否则信任就只是一种表象。

人类信任：难以经受失败的打击

人类的信任往往基于我们对其他人如何思考的理解，以及对这些思考的可靠性的经验了解。这有助于创造一种心理安全感。

而AI对于大多数人来说，仍然是相当新颖和陌生的。它使用复杂的分析系统进行决策，以识别潜在的隐藏模式和来自大量数据的微弱信号。

即使可以在技术上解释，AI的决策过程对于大多数人来说通常都是难以理解的。更何况目前的人工智能发展是在朝着不可理解的方向加速前进。同自己不明白的事情互动会引起焦虑，并使我们感觉我们失去了控制。

芯片制造商英伟达推出的自动驾驶汽车，看上去与其他自动驾驶汽车没有什么不同，但它实际上迥异于谷歌、特斯拉或通用汽车所展示的任何东西，而是显示了人工智能的崛起。英伟达的汽车并不遵循工程师或程序员提供的任何一条指令。相反，它完全依靠一种算法，这种算法通过观察人类的行为而学会了自己驾驶。

让一辆车以这种方式行驶是一项令人印象深刻的壮举。但它也有点令人不安，因为并不完全清楚汽车的决定是如何做出的。来自车辆传感器的信息直接进入一个巨大的人工神经元网络，该网络处理数据，然后提供操作方向盘、刹车和其他系统所需的命令。其结果似乎与你所期望的人类司机的反应一致。

但是，如果有一天它做出一些出乎意料的事情——比如撞上了一棵树，或者在绿灯前停止不动呢？按照现在的情况，可能很难找出它这样做的原因。该系统是如此复杂，甚至设计它的工程师也难以分离出任何单一行为的原因。而且你也不能向它提问：没有办法来设计一个系统，使它总是能够解释为什么它做那些事。

除非我们找到方法，让深度学习等技术对其创造者更容易理解，对用户更负责任，否则，将很难预测何时可能出现失败——而失败是不可避免的。

麻省理工学院研究机器学习应用的教授托米·贾科拉（Tommi Jaakkola）说：

“这是一个已经凸显意义的问题，而且在未来它将变得更有意义。无论是投资决策、医疗决策，还是可能的军事决策，你都不希望仅仅依靠‘黑箱’方法。[3]”

贾科拉对AI的一般局限性和常见失败提出了重要见解，尤其关注AI在实际应用中的问题，以及其在复杂场景中无法考虑所有变量的局限性。其中包括：

AI的误用——贾科拉指出，AI并非因为技术本身存在缺陷而失败，而是因为它常常被用于不适合解决的问题。错误的应用场景是AI失败的主要原因之一。

数据不完整——机器学习项目中，处理不完整的数据源是一大挑战。这是许多AI项目失败的常见原因。

模型局限性——他强调当前AI模型的固有局限性。例如，即使神经网络的微小变化，也可能导致其无法捕捉所有必要信息，从而在复杂的现实场景中产生不可预测或错误的行为。

系统稳健性——贾科拉的工作强调构建稳健且值得信赖的机器学习系统的重要性，这对于防止公众信任流失尤其关键，特别是在医疗等关键应用领域。

贾科拉的见解常被引用于讨论为何许多企业AI项目或试点计划未能产生预期效果，有研究显示失败率可能高达95%。因此，