谷歌公布Titans系列AI模型架构，融合长短期记忆与注意力机制

1月20日，谷歌研究院公布了一种名为“Titans”的新型模型架构。该架构的特色是将短期记忆、长期记忆与注意力机制相结合，采用了仿生设计理念。与当前广泛使用的Transformer模型相比，Titans能处理超过200万个Token的上下文长度。

据了解，Titans包括三种设计变体：MAC、MAG和MAL。MAC将长期记忆作为上下文的一部分，使注意力机制能够结合历史信息和当前数据。MAG则根据任务需求调整实时数据与历史信息的重要性，专注于最相关的信息。MAL则将记忆模块作为深度网络的一层，将用户历史记录和当前上下文内容进行固定压缩后，再交由注意力模块处理。

谷歌声称，Titans系列模型架构在长序列处理任务中的表现明显优于现有模型，无论是语言建模还是时间序列预测，Titans在准确性和效率上都展现了“压倒性优势”，甚至在某些场景中超越了如GPT-4等具有数十倍参数的模型。