論文：Predicting Empirical AI Research Outcomes with Language Models連結：https://arxiv.org/pdf/2506.00794
科研界的痛點：燒錢嘗試錯誤，急需「預言家」
AI研究就像開盲盒——90%的論文想法看似驚艷，實際一試就失敗！但驗證一個想法平均要耗費103小時人力加上大量運算能力。人類專家主要靠經驗押寶，新手則容易踩到坑。
關鍵問題：AI能否在實驗前預測哪個想法更可靠？
評測基準：配對想法預測
在兩個相互競爭的研究想法之間進行比較（例如，兩種越獄方法），預測哪一個在一組基準測試中表現更好。
研究者可以透過實際實現這兩個想法來獲得真實的評估結果；因此，某個想法只有在真正有效的情況下才能獲勝，而不是因為它「看起來」新穎或令人興奮。
AI如何變身「科研預言家」？三步驟！
研究團隊為GPT-4.1開辦了一個「科研速成班」：
高可靠度的「科研題庫」。研究團隊從ACL、NeurIPS、CVPR等頂尖會議（涵蓋NLP、ML、CV、機器人等領域）中，系統性提取了7585個想法對比案例（訓練集6000對+測試集1585對）。每個案例包含：研究目標（如「破解LM的攻擊方法對比」）、兩個競爭想法的詳細描述、基於3-4個基準測試的客觀結果標籤（透過多數投票確定勝負）。
「科研規律」預測訓練：採用監督式微調（SFT）策略，使用6000個歷史想法對訓練GPT-4.1，目標是學習「想法描述→基準表現」的映射關係。
為模型配備「智能文獻助手」：為LLM論文檢索代理模組，檢索代理會自動生成查詢、搜尋相關論文、總結全文內容並過濾無關資訊，幫助模型獲取間接知識。
神奇設定：模型不藉助任何實驗驗證，只能靠「推理」押寶！
驚人結果：AI碾壓人類專家
公開題庫測試：經過訓練的AI系統準確率達77%，而現有的頂尖模型（如Claude 3.5）純粹靠猜測（約50%的準確率）。
人類專家團戰：25位NLP專家組隊分析45道題，5人一組討論45分鐘，結果…… 多數投票準確率僅48.9%！AI以64.4%完勝。
不吃「名校情結」這一套：給失敗想法貼上「DeepMind出品」等名校標籤後，AI準確率基本不受影響。
終極挑戰：預測AI生成的新點子！
用未發表過的35個AI原創點子進行測試（例如讓ChatGPT自己思考研究課題），AI預測器仍能拿下63.6%的準確率！這意味著：
AI可輔助AI科研：幫助模型篩選高潛力點子，避免無效的燒錢。
破除「虛有其表迷思」：人類偏愛複雜數學包裝的想法，而AI更關注實際效果。
未來：全自動化科研流程？
這套系統就像「研究加速器」：
短期：幫助實驗室優先驗證高潛力想法，節省數百萬級的運算能力成本。
長期：接入AI科研全流程（生成想法→預測效果→自動實驗），讓AI自己迭代升級！
解釋力與可靠性：目前的系統是黑箱標籤預測，仍需破解「為什麼這個想法能成功」。
備註：暱稱-學校/公司-方向/會議(例如ACL)，進入技術/投稿群
ID：DLNLPer，記得備註喔