生成式AI为何是一场工程灾难？加美财经
为了维持系统运转，人工智能公司正在推高其他人的成本 。
ChatGPT 和 Claude 等大型语言模型极度消耗资源，科技公司可能已经买走全球 70% 的高端计算机内存供应，造成市场短缺 。结果，计算机内存和存储设备价格正急剧上涨 。
Photo by Steve Johnson on Unsplash
我两年前为了采访报道购买的硬盘，每块售价 350 美元；两周前再查看时，价格已经涨到 800 美元，如今更是无货可买 。一些笔记本电脑的价格上涨了多达 50%，低价电脑受到的冲击尤其严重 。
按照一项预测，价格亲民的入门级电脑可能在 2028 年前 “ 消失 ”。 内存短缺预计还将持续数年 。
这些内存正在被装进数据中心，而科技公司正以惊人的速度扩建数据中心 。 未来几年，这些公司计划把美国数据中心的总容量扩大到现在的八倍 。这些设施对电力的需求已经大到一定程度，一些公司甚至开始改装喷气发动机，为数据中心供电 。
问题并不只是人工智能应用得太普遍或扩张得太快 。其他计算机技术也经历过类似的爆发式增长，却没有引发如此大幅的用电增长，也没有造成计算机零部件短缺 。
如今，视频和音乐在全球通过流媒体传输，每天产生许多 TB 的网络流量 。智能手机热潮需要制造数十亿部设备，而这些设备目前仍在传输海量数据 。
数十亿件家用设备也已经成为物联网的一部分 。 整个行业还把业务迁移到云软件上，而这些软件并不是托管在云端，当然也是运行在数据中心里。
用行业自己的术语来说，生成式人工智能的问题，在于无法有效实现规模化 。 创业公司从 1000 名用户扩张到 100万名用户时，成本如何变化，是风险投资者评估企业时关注的核心因素 。他们希望看到，增加每名新用户的成本会随着时间下降，这样企业才能服务数百万用户，并获得越来越多的利润 。要做到这一点，部分依靠精心设计计算机系统，让系统能够高效应对越来越多想上传照片 、 叫车或播放音乐的用户 。
但生成式人工智能至今没有完成这种高效 、 可扩展的系统建设 。 与此同时，生成式人工智能模型还在不断膨胀 。
根据独立机构估算，模型参数数量已经从 2020 年的 1750 亿增加到如今超过 1 万亿 。Claude 和 ChatGPT等产品实际使用的模型规模仍属机密 。
“ 大型语言模型 ” 里的 “ 大 ”，本来不应成为卖点 。但人工智能行业发现，较大的模型往往优于较小的模型，由此形成了一种近乎图腾崇拜的 “ 规模定律 ”信念，仿佛只要不断扩大模型，就能解决任何问题 。
OpenAI 首席执行官萨姆 · 奥尔特曼去年 9 月在博客中写道：“ 也许有了 10 吉瓦的算力，人工智能就能找到治愈癌症的方法。”
然而，扩大模型带来的回报正在递减 。 人工智能模型越大，每增加一个参数所带来的提升就越少 。
为了维持稳定进步，模型规模必须以越来越快的速度扩张 。
我询问了几名人工智能研究人员，是否能举出其他现实世界的软件，扩展效率也如此低下，没有人能给出答案 。即使跳出软件领域，也很难找到可比的情况 。
规模经济正是灯泡 、 汽车和服装能够变得如此便宜的原因 。无论按照经济标准还是工程标准衡量，生成式人工智能可能都是人类部署过的最糟糕技术 。
但当前这种臃肿的技术路线已经吸引了巨额投资，行业可能缺乏改变方向的意愿 。OpenAI 联合创始人 、 前首席科学家伊利亚 ·苏茨克维去年 11 月接受采访时表示，企业采用这种暴力扩张方式，是因为 “ 这让你能够以极低风险投入资源 ”。
他认为，要把资金投入重新设计一种估值已经达到万亿美元级别的产品，难度要大得多 。
那些怀疑人工智能正在推动经济泡沫的人指出，这些企业能否盈利仍然是未知数，主要原因正是技术成本高昂而且效率低下 。
效率是计算机科学的核心原则 。 计算机专业本科生最先学到的知识之一，是编写一个对 50 个单词排序的程序并不困难 。 但如果把5000 万个单词交给同一个程序，程序很可能耗尽内存，或者需要数小时才能完成 。
计算机科学的大量内容，就是学习各种巧妙的编程方法，防止这种情况发生 。许多方法利用数据中的重复规律，让程序接收更多输入时，处理每一小部分新增数据所需的时间或内存反而减少 。
正是这种效率，使现代智能手机和计算机既强大又便宜 。 这种方式被称为对数扩展 。
大型语言模型并不遵循对数扩展规律 。 当输入的单词增加时，模型会变得更慢，并占用更多内存 。 输入规模越大，所需时间和资源增长得越快。
用技术术语来说，大型语言模型按平方级扩展 。 任何计算机专业学生都知道，这非常糟糕 。
研究人工智能模型运行成本的机构 Epoch AI 去年发布了一张图表，展示了多种公开人工智能模型在处理越来越多 “token”时，服务成本如何呈指数增长 。 所谓 token，就是用户输入聊天机器人的文字单位 。
人工智能并非一定要以这种方式开发 。 传统人工智能研究的目标，是用模拟人类思维过程的方式解决问题 。研究人员观察自己的思考方式，然后尝试把这些思维习惯写进程序 。
这种方法后来基本被放弃，部分原因是人类思维规则很难识别，也很难清楚表达 。 不过，这种方法有一个明显优点，就是消耗的资源和数据少得多。
如今的人工智能开发并不试图总结人类思维规则，而是向计算机提供数百万个例子，让计算机模仿 。
大型模型之所以在生成语言 、 图像和音乐时往往优于小型模型，其中一个原因就是拥有更多可供借鉴的素材 。
一些研究人员希望重新采用过去效率更高的方法，并与现代技术路线结合 。但到目前为止，这些项目得到的关注和资金，远远少于为聊天机器人提供支持的大型模型 。
聊天机器人企业知道自己的产品效率低下 。 一些公司找到了改善性能的方法，但这些方法并没有带来显著进展 。 企业偶尔会声称取得突破。Anthropic 首席执行官达里奥 · 阿莫代把这类突破称为 “ 算力倍增器 ”。
但这些说法通常含糊不清，也没有证据表明，大型语言模型按平方级扩展和模型规模爆炸式扩大的根本问题已经解决 。 我联系 Anthropic询问这一问题时，公司拒绝公开发表评论 。
一些研究人员正在开发体积极小 、 所需数据和算力更少的模型 。 我采访了微软人工智能研究人员亚历克西娅 · 若利克尔－马蒂诺 。她独立设计了其中一种模型 。
我问她如何看待整个行业依赖暴力扩张的做法 。
她对我说：“ 这有点疯狂 。 到了某个阶段，你必须学会提高一点效率 。”
去年，若利克尔－马蒂诺凭借一篇研究 “ 微型递归模型 ” 的论文获得 5 万美元奖金 。 这种模型不需要消耗巨量算力 。
她写道：“ 认为只有依赖大企业投入数百万美元训练的巨型基础模型，才能完成困难任务，这种想法本身就是一个陷阱 。”
她开发的模型不能取代大型语言模型 。 这个模型并不是用来生成语言，而是为生物学和电气工程等领域解决逻辑问题 。不过，目前一些由规模大得多的人工智能模型承担的任务，这种小模型也能完成 。
然而，我们似乎已经被大型语言模型困住了，或许是因为这些产品的营销过于强势 。 如今，无论用户是否需要，大型语言模型都在被塞进各种产品。
2024 年和 2025 年，大型语言模型被整合进 Windows 和macOS，这意味着现在连运行一台基础个人电脑，也需要更强的算力 。由于企业预计未来会推出更多人工智能功能，智能手机也开始配备升级后的硬件 。
效率低下的人工智能，还被加入 Adobe Photoshop 和微软 Word等常用软件，这意味着计算机必须拥有更强性能，才能运行这些程序 。
这一切尤其糟糕，因为计算机性能已经无法按照过去的速度提高 。 从 20 世纪 50 年代开始，制造商不断让微芯片变得更快 、 更小 、更便宜，这一趋势通常被称为摩尔定律 。
但过去几年，芯片元件已经小到制造商遭遇分子层面的物理限制，无法继续大幅缩小，技术进步因此明显放缓 。
制造商没有继续缩小元件，而是把重点转向开发专门适配人工智能的新型硬件 。这偶尔能够带来渐进式性能提升，但没有任何进步能够追上人工智能需求呈指数增长的速度 。
归根结底，对于科技行业内部那些相信自己正在复制智能本身的人来说，效率低下可能根本不值得担忧 。
硅谷许多人怀有一种近乎宗教信仰般的执念，认为某种类似心智的东西能够从大型语言模型中诞生 。
但大型语言模型说到底只是通过统计规律生成语言的软件 。 这类软件无法记住基本事实，缺乏常识，与生物大脑也完全不同 。
甚至被称为人工智能 “ 教父 ” 之一的扬 · 勒昆最近也对 《 纽约时报 》 表示：“大型语言模型并不是通往超级智能，甚至人类水平智能的道路 。”
然而，人工智能的神话诱惑如此强烈，以至于许多工程师认为，为了推动人工智能继续发展，任何原则都可以让路，甚至连编写高效软件这一最基本的要求也不例外。
