哈佛教授:我解雇过拿模型答案交差的人

51CTO技术栈 · 经八阕原文

佛商学院教授卡里姆·拉哈尼在访谈中直言工具能帮人完成任务,但他无法接受,人直接把结果交上来,却连好坏都没判断过。 一项研究观察了244名咨询顾问。有人边用AI边思考,有人把双方擅长的工作分开;还有一组人让AI从头做到尾,自己只做简单润色。最后这组人节省了动手的时间,也失去了从任务里学习的机会。 另一项研究发现,模型面对两件看似相近的任务,可能做好一件、做错另一件。更麻烦的是,它答错时也能讲得很有道理。 拉哈尼因此不相信模型的第一个答案,还会要求它先反驳自己。 聊到岗位,他不认为初级员工最先失业。比起敢于上手新工具的年轻人,他反倒担心不愿改变的中间管理层。他甚至设想:如果AI让团队提交的PR数量翻倍,人工审查很快会跟不上。 开发者把更多工作交给Agent后,这个问题已经不远。

拉哈尼谈有人拿“AI给我的”解释工作结果 以下根据访谈内容和拉哈尼提及的研究整理。 244名顾问中,27%是“放手型”:活交给AI,自己学得最少 主持人先问拉哈尼:使用AI,为什么有人越用越熟练,有人却开始依赖它? 拉哈尼把在BCG研究中观察到的使用方式分成三类。“协作型”会和模型来回讨论,一起寻找解法;“分工型”知道自己擅长什么、AI擅长什么,分配任务后再回来监督;“放手型”把整项任务交出去,等答案出现。 拉哈尼:分工型的人会说,“这部分我更懂,那部分交给AI做”,但回来以后仍会检查。放手型的人只是按下开始键。论学习效果,最后这一组最差,因为他们不再参与思考和解决问题。

拉哈尼解释“放手型”使用者为何容易停止学习 研究记录的244名顾问里,约27%属于“放手型”。 拉哈尼自己更在意这种工作状态:一个人如果只负责把AI的输出搬到交付物里,还能从哪一步积累经验? 协作型与分工型同样把工作交给AI,区别在于他们仍会追问、挑选和检查。模型升级以后,原先的分工也得跟着调整;一直把AI当成只会做某类小任务的工具,同样可能落后。 两件差不多的任务,AI可能只做对一件 主持人拿出“锯齿状能力边界”的图问:普通人能不能提前看出哪项任务适合AI?拉哈尼说,研究团队起初也以为模型会做好顾问的大部分工作,实验结果却没有那么整齐。 拉哈尼:做完实验才发现,有些顾问任务AI做得好,有些就做不好。棘手的是,我们拿到的是一种不完美的智能,可它说话很流利,也很有说服力。

拉哈尼谈模型对相近任务也可能表现不同 另一项实验把这种差异测了出来:在大模型擅长的咨询任务上,使用AI的人完成得更快;换到超出其能力范围的任务,使用AI反而降低了得出正确答案的概率。这与前面244名顾问的使用方式研究不是同一项实验。 主持人提醒拉哈尼,新模型上线,过去划好的边界又会移动。他承认这很难:只能持续把真实任务交给新模型试,留意它在哪里失手,而不是凭一次顺利的结果相信它从此都能做好。 你指出它错了,它可能把错误解释得更漂亮 访谈接着聊到一项更让人头疼的发现。主持人提到,顾问质疑AI的答案时,模型有时没有认真退回去检查,反而给出了更强硬、更完整的论证。 拉哈尼点头。他认为人容易被这种流畅表达欺骗,尤其在自己本来就不熟悉的问题上。

拉哈尼谈模型不完美却很会表达 哈佛商学院相关研究发现,研究团队查看了72名BCG顾问验证AI答案时留下的近5000次提示。 模型被追问后,有时会拿出更能让人信服的说法,顾问也可能因此停止核查。这是特定实验里的现象,不能推成所有模型都会在被质疑时“嘴硬”。 主持人问,既然模型会这样诡辩,日常工作怎么防范? 拉哈尼:别让AI只负责支持你的想法。先请它指出你的问题可能问错了什么,找出反面证据,再要求它交代哪些判断没有可靠依据。 拉哈尼:我会让它先提出反对意见。如果有一份方案摆在面前,就请它找出几个理由,说明这份方案为什么可能行不通;还要继续调查,找可能被我们漏掉的危险信号。我从不直接接受第一个答案。

拉哈尼讲述自己怎样追问模型 他形容自己和模型的关系有一点“对抗”:模型要敢反驳他,他也要敢反驳模型。 对开发者来说,让Agent质疑自己的修复方案可以帮助发现遗漏;最后仍得回到可检查的证据,例如失败路径是否被测试覆盖、改动有没有碰到旧接口。模型第二次说“我检查过了”,本身不算检查结果。 一个人能做整个产品,也可能只拿到“平均方案” 主持人又提到一种新用法:给模型数据和工具权限,它能自己挑分析方法、安排步骤。既然模型越来越会做决定,人还需要盯着它选了什么吗? 拉哈尼说需要。他担心模型会挑一种常见、平稳的办法,而不是最适合眼前问题的办法。自己做了20年研究、受过5年博士训练,他仍会遇到这种情况:让模型从几种回归方法中选择,它挑出的不一定适合那份数据。 拉哈尼:如果让模型自行决定方法,而你不看它选了什么,它可能给你一个平均做法。平均做法对这个具体任务,未必够好。

拉哈尼解释模型自主选方法时可能落入“平均方案” 他把话题引到“一人产品团队”:工程师借助AI可以做页面、访谈用户、写测试,不再只管代码。但一个人能产出设计稿,不等于已经知道什么设计适合产品。他说自己的女儿学了四年工业设计,对产品的判断就比自己强;模型能很快给出一版看起来不错的设计,却未必给得出这个团队真正需要的那一版。 主持人追问:如果一个人原本不懂设计,怎么判断模型交来的是一流作品,还是一份中等水准的拼接? 拉哈尼的回答是先补一点该领域的基本知识,知道有哪些方案和取舍,再决定让模型往哪个方向做。工具扩大了一个人的工作范围,也把更多学习责任推回给这个人。 新人还要不要练基本功?他让900名MBA学生亲手做项目 这就引出了主持人的下一个问题:基础任务被AI接走,新人从哪里学会判断好坏?拉哈尼说自己也没有现成答案,但他借用了一个学积分的例子。 拉哈尼:最开始,你得亲手做几道积分题,弄懂它是怎样算出来的。后面几十道、上百道重复题,可以让机器去做。你再观察机器处理不同题目的规律,而不是永远重复同一种练习。 这不是要求新人先关掉AI苦练几年。 先建立能看懂结果的底子,再利用机器扩大练习和观察的范围,是他在访谈里给出的顺序。 拉哈尼还谈了自己参与的哈佛商学院AI必修课。课程内容每年都得改,单靠读案例已经跟不上模型变化。于是他们取消了原来的期末考试,让约900名MBA学生动手做项目。他说,下一轮课程还计划让学生构建检索增强应用、做模型评测、尝试多Agent系统,用AI解决真实的商业问题。 拉哈尼:我们不能在商学院里只谈AI,却不让学生真正去做。只有亲手构建,才会知道这些工具能完成什么、在哪些地方做不到。

拉哈尼介绍哈佛商学院约900名MBA学生的AI项目实践 他把“学会学习”看得很重。模型可以解释概念、换一种讲法、随时提问,学生也可以更快做出作品;但如果作业只剩复制和粘贴,人就没有机会弄明白自己到底会了什么。 经理以为团队在用AI,自己却没碰过它 拉哈尼在给企业高管做训练时,也见过另一种落差。 管理者说公司已经在用AI,真让他们围绕自己的工作动手做一个应用,阻力却很大。他不愿他们做一个与业务无关的小玩具,而是让负责生产、运营的人拿自己头疼的事来试。 他回忆,把一些高管放到电脑前约90分钟,情况会突然变化:有人发现,自己催了IT部门好几年的一个需求,竟然可以先做出可运行的原型。另一个变化是管理者终于明白,自己没有亲手试过工具,就很难判断团队哪些工作该改变。

拉哈尼转述高管亲手试用AI后,对多年未解决需求的反应 访谈谈到2030年的岗位时,他也不肯对“初级员工先失业”下定论。 他明确表示,初级工作是否已经被自动化,这个问题远没有定论。自己观察到的年轻人敢用AI做东西;一些中间管理层反而因为熟悉旧流程,不愿改变。 拉哈尼:从我看到的公司内部情况看,中间管理层可能比初级员工面临更大的风险。但这不意味着每个新人都安全。如果你的工作只是复制模型输出,这样的岗位确实很难保住。

拉哈尼强调“初级工作最先被自动化”尚无定论,中间层风险是他的观察与判断 他没有拿出一项证明“中层比新人更容易失业”的岗位统计。这个判断来自他在企业里的观察,不能被写成就业市场的既定趋势。采访中更确定的一点是:一个人处在什么级别,并不能代替他亲自理解新工具。 PR真要翻倍,人工审查还看得过来吗 访谈后半段,主持人问:AI让每个人产出更多东西,接下来谁有时间看完?拉哈尼立刻拿软件开发举例。 拉哈尼:假设团队能提交的PR数量一下翻倍,人工审查很快就会跟不上。模型可以继续帮忙审查,但那时人要做什么?这个问题我还没有答案。

拉哈尼设想PR数量上升后,人工审查可能成为新的卡点 让另一个模型审PR,也许能筛掉不少错误;但是当生成和审查都加快,团队得重新决定哪些改动可以自动过,哪些改动必须有人看,以及看的人究竟对什么负责。拉哈尼在访谈中提出了问题,没有声称找到一套可以直接照搬的审查制度。 他研究软件行业并非偶然。上世纪90年代末,他最初想弄明白:开发者明明能拿高薪,为什么还有人愿意为开源项目无偿写代码?他发现,人并非只为报酬工作,也会享受解决问题本身。 如今AI接手更多编码任务,他反过来问:如果人喜欢的那部分工作也被拿走,只剩管理Agent,这份工作对人还有没有意义? 写在最后 主持人最后问,如果下一代模型越来越强,公司怎样判断自己是在做有价值的产品,还是只给模型套了一层界面。拉哈尼说,他还不知道完整答案。但他坚持一件事:领导者不能把这个判断外包给别人,自己必须动手理解模型能做什么。 这也是这场访谈留给开发者的落点。AI会继续写更多代码、给出更多方案,甚至审查另一台AI的改动。工作可以交出去,判断却不能只靠“模型说没问题”。

来源:51CTO技术栈(经八阕转载) · 查看原文
Scroll for more