谷歌 PaLM 2 在训练中使用的文本数据是其前身的近五倍

文章来源：企鹅号 - 巴比特

据 CNBC 5 月 17 日消息，谷歌上周宣布的大型语言模型 PaLM 2 使用的训练数据几乎是其前身的五倍，使其能够执行更高级的编码、数学和创意写作任务。根据 CNBC 查看的内部文件，PaLM 2 是谷歌在 I/O 大会上推出的新型通用大型语言模型，它接受了 3.6 万亿个 token 的训练。谷歌之前版本的 PaLM 于 2022 年发布，并接受了 7800 亿个 token 的训练。