苹果新论文揭示AI推理能力局限 简单数学问题微调表现即大幅下降

【太平洋科技快讯】近日，苹果公司的研究团队发布了一篇论文，针对大型语言模型(LLM)在数学推理方面的局限性进行了深入探讨。论文指出，尽管LLM在生成人类水平文本等方面表现出色，但在处理简单数学问题时，若对问题进行微小改动，如添加无关信息，模型的表现会大幅下降。

研究中提供了一个实例，当询问“奥利弗在三天内共摘了多少个奇异果”时，LLM能够正确计算。但加入无关细节后，如“其中5个奇异果比平均小”，LLM便给出了错误答案。研究人员对数百个类似问题进行了修改，发现几乎所有问题都导致LLM回答成功率大幅降低。

研究人员认为，这一现象表明LLM并未真正理解数学问题，而是依赖于训练数据中的模式进行预测。当需要真正的逻辑推理时，模型往往无法产生合理的结果。这一发现为人工智能的发展提供了重要参考。虽然LLM在多个领域表现优异，但其推理能力仍需改进。