思考成為負擔：揭秘大型語言模型的「思考陷阱」

你相信让AI多思考反而会让它变笨吗？最新研究表明，这种反直觉的现象确实存在！

想象一下，你请一位助手完成一项任务，详细告诉他所有要求和限制。但当你鼓励这位助手"先好好思考再行动"时，他反而更容易忽略你的某些指令。这听起来不可思议，但在大型语言模型（LLM）的世界里，这种现象却真实存在。

今天我们带来一项颠覆常识的最新研究发现：让AI模型进行链式思考（Chain-of-Thought）可能会显著降低其遵循指令的能力。这项研究对15个模型进行了测试，包括Claude 3.7、GPT系列、DeepSeek-R1等，揭示了AI思考过程中的一个关键缺陷。

1、思考会使AI更笨？这项研究颠覆了我们的认知

当前，链式思考（Chain-of-Thought，简称CoT）被认为是提升AI模型解决复杂问题能力的"神器"。许多最新的模型，如DeepSeek-R1、Claude系列和OpenAI的O系列，都将CoT作为核心功能来宣传。

然而，研究者在使用IFEval和ComplexBench两个基准数据集对模型进行测试后发现：当模型被要求使用CoT方法进行思考时，其遵循指令的准确性普遍下降。例如，Llama3-8B-Instruct模型的准确率从75.2%骤降至59.0%，下降了超过16个百分点。

这种现象在几乎所有测试的模型中都存在，不论是开源模型还是闭源模型、小模型还是大模型。更令人惊讶的是，那些专门针对推理能力进行训练的模型（如Claude 3.7-Sonnet-Think和DeepSeek-R1）在遵循指令方面的表现反而不如它们的基础版本。

2、思考如何成为阻碍？揭秘AI的注意力转移

为什么会出现这种反直觉的现象？研究者通过两种方法进行了深入分析：

（1）大规模案例研究

研究者手动分析了超过1500个样本，发现思考对模型遵循指令的影响可分为四种典型情况：

思考有帮助的情况：

1）格式和结构遵循：思考有助于模型生成有效的JSON、正确使用引号或遵循markdown语法等结构性要求

2）词汇和关键词精确度：思考增强了模型对特定词汇要求的遵守，如插入罕见字符、省略句末标点等

思考有害的情况：

1）过度关注高层内容而忽略简单约束：当面对多个要求时，思考往往会导致模型专注于内容规划，却忽略了一些基本限制，如字数限制或大小写要求

2）引入不必要内容导致违反约束：思考常常会让模型添加多余或善意的内容（如解释、翻译或强调），却无意中违反了指令要求

（2）约束注意力分析

研究者提出了一种"约束注意力"指标，用于量化模型对指令中约束相关词语的关注度。他们发现：使用CoT会显著降低模型对约束词语的注意力。

3、如何让AI更好地"思考"？四种解决方案效果大PK

针对这一问题，研究者提出并评估了四种缓解策略：

（1）少样本上下文学习通过在指令前添加精心挑选的示例来引导模型。然而，由于令牌长度限制和示例偏差，这种方法效果有限。

（2）自我反思让模型先生成初步回答和思考过程，然后进行第二次推理来反思并改进自己的回答。这种方法在简单指令（如IFEval）上表现良好，但在复杂指令上效果反而下降。而且，这种方法需要两次前向传递，计算成本较高。

（3）自选择思考让模型自行决定是否需要进行显式思考。这种方法在ComplexBench上表现不错，但分析显示模型往往会过度使用思考，即使不必要的情况下也会进行思考。

（4）分类器选择思考使用外部二元分类器来决定是否应该应用CoT思考。这种方法在两个基准测试上都取得了最佳整体表现，但需要为每个目标模型训练特定的分类器。

研究结果表明，分类器选择思考方法在大多数情况下能显著提高模型遵循指令的能力，几乎恢复了不使用CoT时的性能水平。

4、AI"思考"的未来：选择性思考可能是关键

这项研究首次系统揭示了一个令人意外的现象：让AI进行显式的链式思考可能会损害其遵循指令的能力。这一发现对于AI领域具有重要意义，特别是在构建更可靠的指令遵循模型方面。

研究者建议采用一种决策流程：根据指令的复杂性选择不同的策略。对于简单任务，自我反思或分类器选择思考效果更好；对于复杂任务，自选择思考或分类器选择思考更为有效。

值得注意的是，这项研究仅关注指令遵循任务，思考对其他领域的影响还有待探索。但它已经为我们揭示了AI思考过程中的一个关键盲点，并提供了实用的缓解策略。

这项研究提醒我们：在AI领域，更多思考并不总是意味着更好的结果。对于大型语言模型来说，知道何时以及如何思考可能比简单地增加思考量更为重要。

在未来，我们可能会看到更多选择性思考的AI系统，它们能够智能地决定何时深度思考，何时直接回答，从而在各种任务中实现最佳性能。

论文标题：When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs

论文链接：https://arxiv.org/abs/2505.11423