推理大模型并非一定要推理
論文筆記分享, Reasoning Models Can Be Effective Without Thinking。 uc berkeley。

目前主流的推理模型在解決問題時,通常會有一個think階段。這種方式雖然結(jié)果會大幅提升,但消耗的計(jì)算資源卻不少。
所以,這個文章研究的問題是: AI真的需要這么“認(rèn)真思考”嗎?
注:本文寫于o3發(fā)布之前, o3的思考充分利用工具能力,模型即產(chǎn)品,有一點(diǎn)跳脫o1版推理大模型的范疇了。另外,今天開源的Gemini 2.5 Flash,支持了thinking budget,有一些理念與本論文趨同。
所以他們用了 NoThinking 的方式,就是讓AI直接給出答案,跳過所有中間推理步驟。
就類似下圖框出來那樣,或者直接對比正常的模式。效果竟然還不錯。

- 省3~4倍資源。
 - 始終優(yōu)于沒有經(jīng)過RL訓(xùn)練的非推理模型。
 - 很適合多次嘗試,允許模型采樣多次,看pass@k的效果。
 - 在一些任務(wù)中,跟正常思考的模型的結(jié)果差不多。
 
如下圖:

限定token預(yù)算 (在達(dá)到指定token之后,強(qiáng)行添加,如 答案是xxx 的內(nèi)容上去)之后,很多數(shù)據(jù)集表現(xiàn)比經(jīng)過think的效果更好。

本文轉(zhuǎn)載自??NLP前沿??,作者:NLP前沿
      已于2025-4-23 09:58:01修改
    
 
        贊
        
 
        收藏 
      
 回復(fù)
 分享
 微博
QQ
微信
  舉報
  
  回復(fù)
  相關(guān)推薦
 

















