不再像CoT（“思維鏈”）一樣“一個字一個字往外蹦”，加上“軟思維”就能讓大模型像人類一樣進行抽象思考。
來自SimularAI和微軟DeepSpeed的研究員聯合提出了Soft Thinking，讓模型在連續的概念空間中進行 “軟推理”，而非局限於離散的語言符號，打破了基於離散token的推理瓶頸。
相比標準CoT，Soft Thinking最高提升Pass@1平均準確率2.48%、減少token使用量22.4%。
並且，Soft Thinking是一種即插即用的推理策略，無需額外訓練即可應用於現有模型（如Llama、Qwen）。
目前主流的語言模型推理方法存在一個關鍵問題：只能逐字生成離散的語言符號（如單詞或子詞）。
這就好比思考時只能一個字一個字的蹦出來，不僅限制了模型表達抽象概念的能力，還容易在複雜問題中因“單一選擇”而犯錯。
人類大腦思考時並非依賴明確的語言符號，而是通過抽象概念的靈活整合進行推理。
Soft Thinking正是受此啟發，將語言模型的推理從“離散符號空間”拓展到“連續概念空間”。
這樣，模型就可以捕捉到介於僅有細微差別的語義之間的概念，能夠更靈活地探索多種解題路徑，同時保持高效和可解釋性。
有網友表示：這種方法解決了自回歸“貪婪”的next token搜索問題。
如何讓模型像人類一樣進行抽象思考
推理流程：在連續概念空間中 “軟推理”
Soft Thinking僅修改傳統CoT的中間推理階段，保留最終答案的離散生成（如數學題的數字答案或程式碼的具體語句）。
Soft Thinking的理論本質是線性近似替代路徑枚舉。
解複雜問題時，傳統CoT的推理路徑數量隨步驟呈指數級增長（如每步選1000個token，3步就有1000^3種路徑），無法顯式枚舉。
Soft Thinking通過線性化近似，將指數級路徑求和簡化為概念token的加權計算。
用概率加權替代離散採樣，通過連續概念空間中的線性變換，隱式聚合多條路徑的資訊，避免顯式枚舉的計算爆炸。
概念token：用概率分布代替單一符號
傳統方法每次生成一個確定的token（如 “30”“加”），而Soft Thinking生成一個概率分布（如 “30” 的概率40%，“乘以” 的概率30%，“分解” 的概率20%等），這個分布被稱為 “概念token”。
每個概念token相當於多個可能符號的 “混合體”，允許模型同時保留多種推理可能性。
如下圖中的例子，在計算“43×34”時，模型可能同時考慮“分解34為30+4”和“直接相乘”兩種路徑的概率，而非只選其一。
連續概念空間：在 “模糊” 的語義空間中推理
通過將概念token的概率分布與模型的詞向量（Token Embedding）加權結合，形成連續的概念空間。
這裡的 “連續” 意味著模型可以在不同概念之間平滑過渡，例如從“分解數字”自然過渡到“乘法運算”，而無需用明確的語言符號分隔步驟。
Cold Stop機制：避免無效循環
由於模型在訓練中沒見過概念token（屬於 “分布外” 輸入），長時間推理可能導致陷入重複或混亂（類似人類思維的 “卡殼”）。
Soft Thinking引入了一個“Cold Stop”機制：通過監測概率分布的熵值判斷模型的 “自信程度”。
當熵值持續較低時（表明模型對當前推理路徑很確定），提前終止中間步驟，直接生成答案，避免浪費計算資源。
測試結果及對比
在基準測試裡，QwQ - 32B模型的平均Pass@1準確率從標準CoT的83.84%提升至86.32%，最高提升2.48%，其中在AIME 2024數據集上提升6.45%。
推理效率方面，DeepSeek-R1-Distill-Qwen-32B在數學任務中token使用量減少22.4%。
與其他方法的對比
COCONUT-TF（無訓練）：直接使用隱藏狀態作為輸入，完全失敗，生成長度達最大值且無正確解。
平均嵌入策略：僅計算top-5 token均值，準確率低且生成長度長（如AIME 2024僅6.66%正確）。
Soft Thinking通過連續概念空間推理和Cold Stop機制智能平衡了效率與準確性，為大模型優化提供了新思路。
感興趣的朋友可以到官方了解更多細節。
官方網站：https://soft-thinking.github.io/論文地址：https://arxiv.org/abs/2505.15778代碼地址：https://github.com/eric-ai-lab/Soft-Thinking參考連結：https://x.com/xwang_lk/status/1925399783503798692
— 完 —
📪 量子位AI主題策劃正在徵集中！歡迎參與專題365行AI落地方案，一千零一個AI應用，或與我們分享你在尋找的AI產品，或發現的AI新動向。
💬 也歡迎你加入量子位每日AI交流群，一起來暢聊AI吧～
一鍵關注 👇 點亮星標
科技前沿進展每日見
一鍵三連「點讚」「轉發」「小心心」
歡迎在評論區留下你的想法！