上海AILab开源：Agent装上“海马体”量子位

人与世界的交互天然是多模态的。一张产品设计图、一段用户操作录屏、一次包含语音和演示的线上会议，这些由图像、声音、视频构成的高维业务信息，正成为驱动AI智能体创造价值的关键来源。

当前绝大多数“长期记忆”系统在架构上仍设计为纯文本的记忆库。但智能体的“记忆”不应该是扁平的文本日志，而是一个能够记录并关联 “在何时、看到了何物、讨论了何事” 的多维体验图谱。这种跨模态、跨时间的记忆关联与融合能力，是智能体从被动工具进化为智能助手的关键要素。

为了攻克这一挑战，上海人工智能实验室正式开源MemVerse—首个面向智能体的通用多模态记忆框架。它突破性地将图像、音频、视频等多模态信息与文本对齐到统一的语义空间进行记忆，并首创 “双通路”架构与“记忆蒸馏” 技术，让智能体首次拥有了可成长、可内化、秒级响应的终身记忆能力。

从“文本堆叠”到“模态融通”：MemVerse实现多模态记忆的范式跃迁

Agent需要的不是更大的“硬盘”，而是一个会思考的“大脑”。

现有的LLM Agent，无论上下文窗口如何扩展，仍面临灾难性遗忘与模态割裂的双重困境。

传统方法在处理文本时尚可应对，一旦面对图像、视频等多模态信息流，便显得力不从心，通常只能进行机械的切片与检索，无法理解信息内在的时空逻辑与跨模态语义。

针对这一根本性挑战，上海人工智能实验室-数据前沿团队提出全新解决方案：多模态记忆系统MemVerse。

它从人类认知的经典记忆模型中汲取灵感，旨在构建一个包含中央协调器、双通路记忆与参数化蒸馏的完整闭环，实现从“被动数据检索”到“主动记忆运用”的范式转移。