MIT 的研究團(tuán)隊近日發(fā)布了一項創(chuàng)新的計算方法，旨在提高大型語言模型（LLM）的運算效率，同時降低能源消耗。這項名為實例自適應(yīng)縮放的技術(shù)，可以根據(jù)提問的復(fù)雜程度調(diào)整計算資源。研究小組的相關(guān)論文于11月初發(fā)布，得到了 MIT-IBM 沃森人工智能實驗室、MIT-Amazon 科學(xué)中心、MIT-Google 計算創(chuàng)新項目以及 MathWorks 的支持。

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

傳統(tǒng)的大型語言模型在處理問題時，往往會使用固定的推理過程獎勵模型（PRMs），這使得它們在面對不同復(fù)雜度的問題時，計算資源利用率不高，且常常高估成功的概率。MIT 的研究人員通過重新設(shè)計 PRMs，使其能夠根據(jù)不同的問題動態(tài)調(diào)整推理軌跡的數(shù)量。這樣，簡單的問題可以使用較少的計算資源，而復(fù)雜的問題則可以獲得更多的推理支持。

研究人員指出，人的思維過程往往是通過分解復(fù)雜問題、逐步推理和不斷修正來進(jìn)行的，而 LLM 也同樣能從這一過程中獲益，能夠在推理時獲得更多的 “思考” 時間。研究顯示，采用這種新方法后，計算資源的使用量減少了一半，同時依然能夠提供與現(xiàn)有模型相媲美的準(zhǔn)確回答。經(jīng)過重新校準(zhǔn)的 PRMs 也為較小的 LLM 提升了性能。

鑒于這一技術(shù)的成功，MIT 團(tuán)隊表示他們將進(jìn)一步探索該方法在其他應(yīng)用中的表現(xiàn)，如代碼生成和人工智能代理，并計劃探索 PRM 校準(zhǔn)方法在強(qiáng)化學(xué)習(xí)等領(lǐng)域的更多應(yīng)用。

劃重點: