深圳17岁天才少年被“争抢”,本人回应

南方都市报 · 经八阕原文

最近,AI圈被一个名字刷屏了——17岁的陈广宇。 10月15日,“00后”天才少年陈广宇在社交平台发文宣布,近日已离开月之暗面的Kimi团队。他表示:“过去一年在Kimi的工作是我迄今为止最美好的时光。我非常感激能够与如此出色和支持我的同事共事并从中学到东西。”

消息一出,迅速引发热议。几乎同一时间,前DeepMind推理架构负责人、现Anthropic研究员肖尔托·道格拉斯现身评论区,公开邀请他去旧金山。 面对肖尔托·道格拉斯的邀请,陈广宇回复:“谢谢Sholto!我正要去湾区。”也有分析认为,他离开或是去读大学。 据南方都市报,有传闻称,陈广宇前脚宣布离开,后脚便收到5份工作邀约,金额均在100万美元(约合700万元人民币)以上。 这位受到国际业内关注的少年科研者,曾在深圳求学。 陈广宇出生于2009年,曾就读于原北大附中深圳南山学校,后转入华润小径湾贝赛思国际学校,今年6月刚刚高中毕业。去年11月,年仅16岁的他加入Kimi团队,担任机器学习研究员。以此计算,他在Kimi工作的时间不超过一年。 他还曾入选罗德信托“高潜力未来领袖计划”,并在美国顶尖小型实验室Tilde Research做过AI研究。

短短不到一年,陈广宇便深度参与了两项重磅研究。 今年3月,Kimi发布技术报告《Attention Residuals》,对大模型十年没有变化的核心结构残差连接进行重新设计。《Attention Residuals》的第一作者除了Kimi关键人物之一、RoPE(旋转位置编码)的提出者苏剑林,以及Kimi Linear(Kimi的新型混合线性注意力架构)的第一作者张宇以外,还有陈广宇。 研究过程中,张宇与陈广宇共同提出“分块注意力残差”设计,在保留效果的同时,大幅降低大规模模型训练的计算和通信成本。 论文发出后,马斯克马上点评“让人印象深刻”,前OpenAI研究科学家Andrej Karpathy表示该研究真正践行了“Attention is All You Need”的理念,推理之父、前OpenAI研究副总裁Jerry Tworek也表示“深度学习2.0来了”。 7月,月之暗面发布新一代大模型Kimi K3,总参数规模达2.8万亿。据披露,AttnRes额外成本不到2%,却带来约25%的训练效率提升。陈广宇还参与了加速另一核心架构KDA的计算内核工作——K3的两大核心架构,都有他的贡献。

来源:南方都市报(经八阕转载) · 查看原文
Scroll for more