Gemini大佬爆料：谷歌已有颠覆性密钥新智元

谷歌大模型将迎颠覆升级！Gemini负责人爆料：长上下文效率与长度双重突破在即，注意力机制迎来惊人发现。Scaling Law未死，正加速演变！

最近，Google DeepMind的Gemini预训练负责人Sebastian Borgeaud在采访中给出重磅爆料——

未来一年，大模型预训练领域将在「长上下文处理效率」和「上下文长度扩展」两大方向迎来重大技术创新。

同时，Google Gemini三巨头——Jeff Dean、OriolVinyalsML和Noam Shazeer罕见同台了，他们的对谈中，跟Sebastian的内容展现出了惊人的一致。

众多高瞻远瞩、闪烁着智慧光芒的思想让人深思。

Google DeepMind的Gemini预训练负责人Sebastian Borgeaud在最近的访谈中表示，预计在未来一年内，针对提升长上下文处理效率以及进一步扩展模型上下文长度的预训练技术，将会有重大创新。

另外他还透露说，最近他们在注意力机制方面取得了一些非常有趣的发现，这可能在未来几个月内重塑他们的研究方向。