David Sussillo,从孤儿院到科学家

神经杂志 · 经八阕原文

在本次与《Neuron》的访谈中,David Sussillo回顾了他从不利的童年环境成长为计算神经科学和人工智能领域领军研究者的历程。他讨论了FORCE学习算法的发展、神经网络可解释性的进展、学术界与工业界的互动关系,并给来自非传统背景的有志科学家提供了建议。

David Sussillo是一位神经科学家、技术专家,也是《涌现:童年、计算与心灵奥秘的回忆录》(Emergence: A Memoir of Boyhood, Computation, and the Mysteries of Mind)(2026年3月出版)的作者,该书追溯了他从阿尔伯克基基督徒儿童之家(Albuquerque Christian Children's Home,ACCH)到成为计算神经科学家和人工智能研究者的历程。

David在哥伦比亚大学师从Larry Abbott获得博士学位,并在斯坦福大学跟随Krishna Shenoy完成博士后研究。在此期间,David研究了循环神经网络(recurrent neural networks,RNNs),包括其训练、建模、可解释性以及在神经数据分析中的应用。

他目前是斯坦福大学的兼职教授,同时也是Meta Reality Labs的科学家,此前曾在Google Brain(现为Google DeepMind)工作,开发人工智能可解释性的新方法。他的研究应用人工神经网络来理解神经元群体如何共同产生计算和行为。在Meta,他致力于基于肌电信号的脑机接口研究,以开发下一代人机交互技术。

你的童年充满了重大挑战——在阿尔伯克基基督徒儿童之家度过多年,母亲频繁进出精神病院。你能谈谈那段经历吗?在ACCH的日常生活是怎样的?那些年如何塑造了今天的你?

我的父母都患有成瘾问题,我的母亲患有严重的精神疾病,在我童年的大部分时间里都在精神病院度过。我的父亲频繁进出监狱和中途之家;在我6岁时,他基本上就从我的生活中消失了。我的姐姐Esther和我与母亲一起住在阿尔伯克基的“战区”——一个名副其实的街区。当我8岁时,母亲照顾我们的能力彻底崩溃。我们最终进入了ACCH,除了偶尔一两个月外,我再也没有和她一起生活过。

ACCH是一家收容儿童的集体之家,这些孩子如今被称为“被活人遗弃的孤儿”或“社会孤儿”。那里的大多数孩子并非因父母去世而失去双亲,而是因父母的精神疾病、成瘾或监禁。我们住在所谓的“小屋”里——那是6000平方英尺的砖砌牧场式房屋,每栋最多可容纳16名孩子,由一对基督徒夫妇担任舍监父母。在任何时候,阿尔伯克基一家Albertsons超市后面10英亩的校园里,三栋小屋中住着三十到五十个孩子。

很难向他人传达在没有父母的情况下在机构中生活多年的含义。我不是说情感上的困难——我是说人们真的很难理解那种具体的现实。没有睡前亲吻。没有拥抱,除了偶尔家庭探访时尴尬的拥抱。没有辅导。当你在学校遇到问题或有人欺负你时,没有人可以倾诉。舍监父母光是应付混乱就已力不从心;个人的情感需求根本无法顾及。我们没有被以任何戏剧性的方式虐待。我们只是孤独。

有些孩子逃跑了。大多数被警察带回来。有一次,Jake Lovato追踪到一个16岁女孩和一个10岁男孩,他们跑到了大约5英里外的灰狗巴士站。他们举着一个牌子:“我们去哪儿都行。”就我而言,我从未认真考虑过逃跑——ACCH提供了食物和住所,让我能继续上学,这比任何替代方案都要好。

Esther和我在那里待了5年。我们成了“终身居民”——那些待得太久以至于不记得其他生活的孩子。到七年级时,我们已经待得比所有人都久。那一年,我母亲去世了。弗吉尼亚的姑妈和叔叔曾短暂尝试收留我,但未能成功。所以我最终在Milton Hershey School度过了我的高中时光,这是宾夕法尼亚州Hershey的一所寄宿学校,收容弱势儿童。宣传册把它描述得田园诗般美好,但现实是另一个有着自己严格结构和情感距离的机构。因为Esther最终去了另一所寄宿学校,母亲的去世也意味着我与姐姐的分离。

那些早期经历塑造了我今天几乎一切。很难解释,因为当你还是个孩子时,你并不真正理解身边发生的事情。本质上,我发育中的大脑被迫在没有任何指导的情况下应对持续不断的慢镜头创伤。不过也有一些具体的积极结果:我变得对人的情感非常敏感,能够读懂场合,能够结交和维持朋友。我培养了很强的职业道德。但也有负面影响:我容易愤怒,背负着许多包袱,在取得任何真正的进步之前,我作为年轻人必须克服这些。

尽管身处这样的环境,你发现了计算机和科学作为一条出路。那是如何发生的?是什么时刻或经历激发了你对编程和科学思维的兴趣?

这一切始于我很小的时候——大概4、5岁——在街机游戏厅玩电子游戏。当你只有几个硬币时,你会很快变得非常厉害。有一家游戏厅里,我发现你可以在毛绒地毯上摩擦给自己充上静电,然后触摸Defender机台的金属部分——变!免费游戏!商场里有一个巨大的游戏厅,有数百台游戏机。我玩不起,但我喜欢看。那个游戏厅是纯粹的逃避——一个又一个屏幕上上演着生死攸关的戏剧,每个孩子都通过恰到好处的按键积极参与其中。但在所有这些逃避中,我在学习秩序和逻辑系统的规则——隐藏的扭曲通道的秘密,或者如何获得一条额外的命。电子游戏培养了我的专注力,从某种奇怪的意义上说,这是我第一次接触研究。

真正的转折点出现在三年级,我被认定为“天才儿童”,并被安排到公立学校的一个特殊项目中。这也许是我早年生活中最重要的干预。该项目教会了我如何头脑风暴——何时让创造力流动,何时进行批判。我学会了如何列提纲和总结主题,这些工具帮助我整理了脑海中盘旋的混乱思绪。

有一堂课通过一个Encyclopedia Brown侦探故事解释了概率,故事讲的是一个孩子计算从万圣节糖果堆中抽出他最喜欢的糖果的几率。这让我着迷,因为懂得数学就像拥有绝地武士的力量。我那时无法用语言表达,但我直觉地理解到,理解世界如何运作能给你带来力量。当你的日常生活毫无掌控感时,你会被任何你能获得的权力形式所吸引。

我的小学教育最终包括每周一次使用Apple II电脑的计算机实验室。我们玩“寓教于乐”的游戏,比如《俄勒冈小道》,你要尝试用有篷马车带着家人穿越全国。我总是死于痢疾。我们还通过LOGO学习编程,这是一个图形编程环境,你通过输入键盘命令来控制一个三角形光标(看起来像一只海龟)来移动和绘图。

但我第一次真正见识计算机的能力,来自在RadioShack与一个少年的偶然相遇。他当时正在一台TRS-80上工作,我大概五六岁。他问了我的名字,然后输入:

10 PRINT "David is cool"

20 GOTO 10 >RUN

这是我人生中第一次看到真正的魔法。屏幕上填满了我的名字——几十次、几百次、一百万次!就在那一刻,我第一次领悟了:计算机让你像陆军将军或大厨一样。它忠实地、毫无怨言地执行配方,永不停歇。

随着我进入中学和高中,我的智力成长通过阅读继续。我如饥似渴地阅读《Discover》杂志,学习了混沌理论和奇异吸引子等在20世纪80年代进入主流的科学主题。一篇关于Conway生命游戏的文章完全俘获了我的想象力。

正如我们所知,生命游戏是一种细胞自动机——在二维网格上的模拟,每个细胞根据关于其邻居的简单规则处于存活或死亡状态。这个模拟中涌现出的东西令人惊叹——像像素虫子一样在网格上移动的滑翔机和宇宙飞船,振荡的闪烁器和脉冲星,甚至可以进行复制的模式。当我到Milton Hershey School并在课堂上学习Pascal时,我花了整整两周编程生命游戏,以便自己研究那些奇特的宇宙飞船和振荡器。我当时完全不知道,但那个问题——复杂行为如何从简单组件中涌现——将构成我整个职业生涯的基础。毫无疑问,我对神经科学的兴趣起源可以追溯到生命游戏。

你最终上了大学,但成为计算神经科学家的道路并不平坦。最终你找到了进入Larry Abbott实验室的路,在那里你开发了FORCE学习。你能带我们走过那段旅程,并谈谈那个突破吗?

我在卡内基梅隆大学(Carnegie Mellon University,CMU)的本科阶段在智力上是极其激烈的。鉴于我的背景,当我收到第一学期的期中考试成绩时,我被猛然惊醒。但我不会允许自己失败,所以我以源于对是否属于这里深感不安的强度投入到计算机科学和数学课程中。我熬过了第一年,脚步终于站稳了。到大三时,我参与了一位教授的项目,他提出了一个基于社交网络的问题/回答系统的想法(那是在遥远的1995年)。我最终构建了软件,教授后来将其转化为一家公司。我人生中第一次不再身无分文。

但到了大四,我犯了一个错误——为了创业而降低了学业优先级,不可避免地精疲力竭。在一时冲动的决定中,我完全退学了,搬到波士顿为另一家初创公司工作。那时一切都崩溃了。由于我无法理解的原因,我开始出现严重的惊恐发作——全身颤抖和令人虚弱不堪的焦虑。大约8个月的时间,我几乎无法正常生活。于是我搬到了纽约,那里有些亲人,开始接受治疗。我找到了一份金融软件编程的工作,花了两年时间重整自己的心理健康。这是我真正开始直面童年经历的时候——直面它,无论结果如何。而那时,事情开始真正变得顺利起来。

我远程完成了CMU的学位。我不断回想起在本科课堂上体验过的发现带来的兴奋感——那种问题轮廓变得清晰、你全身心投入寻找解决方案的感觉。我去了哥伦比亚大学,在电气工程系找到了一份UNIX系统管理员的工作,每学期附带两门免费课程。所以我一边做“网络管道工”,一边上电气工程硕士的课程。

大约两年后,我决定要读神经科学博士。我一直对大脑着迷——可以追溯到高中时看过的NOVA系列纪录片和生命游戏——而且我觉得这是将我的技术天赋与我的背景连接起来的完美方式。我进入了哥伦比亚大学的神经科学项目,并奇迹般地在哥伦比亚大学新成立的理论神经科学中心Larry Abbott的实验室找到了一个位置。这后来证明是我人生中最大的运气之一。

从我们第一次见面起,很明显Larry和我在同一波长上。我们都是直觉型、概念型的思考者,对计算和大脑有着相似的想法。我们都对一个具体问题感兴趣:如果你想真实地模拟大脑,你需要循环神经网络(recurrent neural networks,RNNs)——具有反馈回路的网络,神经元以允许记忆和上下文处理的复杂方式相互影响。前馈网络(Feedforward networks)(信息单向流动)可以使用反向传播(backpropagation)训练(尽管即使在当时这也被认为是高度可疑的)。但由于RNN是动力系统,可以表现出极其复杂的甚至混沌动力学(chaotic dynamics),没有人弄清楚如何有效地训练它们。

Larry曾与Kanaka Rajan和Haim Sompolinsky一起研究受驱混沌系统的统计物理。与此同时,Herbert Jaeger和Wolfgang Maass分别独立开发了称为“回声状态网络”(echo state networks)和“液态状态机”(liquid state machines)的模型。这些模型表明,你可以利用循环网络丰富的动力学而无需传统意义上的训练。我的贡献是弄清楚如何将Larry与Kanaka和Haim的工作与回声状态方法相结合,以实际训练混沌RNN执行特定计算。这后来被称为FORCE学习。

我认为这是一个重要的贡献,因为理解大脑需要理解循环动力学。如果大脑进行计算,它至少部分必须通过动力学来实现。你无法用前馈模型捕捉到这一点。而拥有一个可训练的模型,而不是手工构建的模型,为接触复杂的神经生理学数据开辟了全新的方式。

在开发FORCE学习之后,你转向了“打开黑箱”的挑战——逆向工程训练后的神经网络以理解它们如何工作。你在理论方面与Omri Barak合作,然后将这些技术应用于生物神经数据。这是如何发生的?发现了什么?

开发FORCE学习算法的结果是,神经科学首次拥有了一种可靠的方法来训练RNN执行与生物大脑相似的任务。你可以构建这些人工网络,训练它们执行与动物实验中相同的任务——判断两个音调哪个更高、记住刺激序列、或基于上下文做出决策——然后对它们进行逆向工程以理解它们如何解决这些问题。这些见解随后可以转化为关于真实大脑功能的可检验假设。

来源:神经杂志(经八阕转载) · 查看原文
Scroll for more