IT之家 9 月 30 日消息，《纽约时报》上周的一篇报道揭露了 OpenAI 首席执行官萨姆・阿尔特曼在去年访问亚洲期间与多家芯片制造商高层会谈的内幕，报道称，阿尔特曼提出的巨额投资计划遭到了台积电高管的强烈质疑，他们认为这个想法太荒谬了，以至于他们将阿尔特曼戏称为“播客兄弟（podcasting bro）”。图源 Pexels阿尔特...
IT之家 10 月 12 日消息，近年来，人工智能（AI）在各个领域取得了显著的进展，其中大型语言模型（LLM）能够生成人类水平的文本，甚至在某些任务上超越人类的表现。然而，研究人员对 LLM 的推理能力提出了质疑，他们发现这些模型在 简单的数学问题时，只要稍加改动，就会犯错误，这表明它们可能并不具备真正的逻辑推理能力。
周四，苹果公司的一组研究人员发布了一篇名为《理解大型语言模型中数学推理的局限性》的论文，揭示 LLM 在 数学问题时容易受到干扰。IT之家注意到，研究人员通过对数学问题的微小改动，例如添加无关的信息，来 LLM 的推理能力。结果发现，这些模型在面对这样的变化时，其表现急剧下降。
例如，当研究人员给出一个简单的数学问题：“奥利弗星期五摘了 44 个奇异果，星期六摘了 58 个奇异果。星期日，他摘的奇异果是星期五的两倍。奥利弗一共摘了多少个奇异果？”时，LLM 能够正确地计算出 。然而，当研究人员添加一个无关的细节，“星期日，他摘的奇异果是星期五的两倍，其中 5 个比平均小。”时，LLM 的回答却出现了错误。例如，GPT-o1-mini 的回答是：“... 星期日，其中 5 个奇异果比平均小。我们需要从星期日的总数中减去它们：88（星期日的奇异果） - 5（较小的奇异果） = 83 个奇异果。”
上面只是一个简单的例子，研究人员修改了数百个问题，几乎所有问题都导致模型的回答成功率大幅下降。
研究人员认为，这种现象表明 LLM 并没有真正理解数学问题，而是仅仅根据训练数据中的模式进行预测。但一旦需要真正的“推理”，例如是否计算小的奇异果，它们就会产生奇怪的、不合常理的结果。
这一发现对 AI 的发展具有重要的启示。虽然 LLM 在许多领域表现出色，但其推理能力仍然存在局限性。未来，研究人员需要进一步探索如何提高 LLM 的推理能力，使其能够更好地理解和 复杂的问题。
还没有评论，来说两句吧...