在最新的大语言模型推理测试中，DeepSeek R1等顶尖模型面临了前所未有的挑战。一项基于NPR周日谜题挑战的研究揭示了这些模型在解决看似简单却实则复杂的谜题时的种种困境，引发了广泛关注和讨论。

一、新基准测试诞生

研究团队从NPR周日谜题挑战中精心挑选了近600个问题，构建了一个全新的基准测试数据集。这些谜题无需专业知识，仅凭普通的英语知识和美国文化常识即可理解，但解决起来却极具挑战性。例如，将“alpha”中间的“l”改为字母表中前一个字母，得到一个新单词“aloha”，这样的问题即便是英语母语者也难以在短时间内解决。

二、顶尖模型表现各异

研究团队利用这一新基准测试对OpenAI o1、o3-mini、DeepSeek R1以及谷歌Gemini Flash Thinking等模型进行了评估。结果显示，OpenAI o1以59%的准确率拔得头筹，o3-mini紧随其后，准确率为47%，而DeepSeek R1则表现不佳，准确率仅为35%。

三、DeepSeek R1频现“我放弃”

令人惊讶的是，DeepSeek R1在推理过程中频繁出现“我放弃”的情况。在595个测试问题中，它明确在142个问题上选择了放弃。此外，该模型还会陷入“无限思考”状态，无法在达到上下文输出限制前完成推理。研究团队认为，DeepSeek R1需要增加推理时机控制机制，以鼓励模型在接近输出限制时结束推理。

四、模型“故障”模式多样

除了DeepSeek R1外，其他模型也表现出不同的“故障”模式。例如，有些模型会给出在推理过程中完全没有出现过的“凭空”答案，或者明知违反问题约束但仍然给出答案。这些现象在现有的基准测试中并不明显，揭示了新一代推理模型在解决复杂问题时仍需克服的种种挑战。

五、网友热议引发思考

研究发布后，在Hacker News上引发了网友的热烈讨论。有网友认为，这项研究并非传统意义上的“推理”挑战，而是更侧重于“记忆回忆”。他们认为，当测试内容过于侧重记忆时，将其称为“推理”似乎有些牵强。此外，还有网友对模型表现不一表示质疑，担心谜题和答案可能被加到了模型的训练数据中。

六、未来展望

尽管新一代推理模型在解决复杂问题时仍面临诸多挑战，但这一研究无疑为人工智能领域带来了新的思考和启示。未来，随着技术的不断进步和算法的持续优化，我们有理由相信，这些模型将能够更好地应对各种复杂问题，为人类带来更多便利和价值。