三星近日宣布推出自主研發(fā)的AI性能基準測試工具“可信真實場景使用評估基準”（Trustworthy Real-world Usage evaluation Benchmark，簡稱TRUEBench），旨在填補現(xiàn)有測試工具在多語言支持和復(fù)雜任務(wù)評估方面的空白。該工具由三星研究院開發(fā)，針對當前主流AI基準測試過于依賴英語和單輪問答結(jié)構(gòu)的局限性進行優(yōu)化。

測試集設(shè)計方面，TRUEBench突破了傳統(tǒng)基準測試的單一模式。其測試樣本長度從8個字符的短任務(wù)到超過20000字符的長文檔處理不等，涵蓋從基礎(chǔ)指令執(zhí)行到復(fù)雜邏輯推理的完整能力譜系。這種設(shè)計使評估結(jié)果更貼近真實業(yè)務(wù)場景中的AI應(yīng)用表現(xiàn)。

在評估機制上，TRUEBench采用AI與人工協(xié)同優(yōu)化的評分系統(tǒng)。通過機器學習模型與專業(yè)評估人員的交互校準，工具建立了包含多維度指標的量化評估框架。目前，該工具的測試數(shù)據(jù)集和實時排行榜已在開源社區(qū)Hugging Face上線，用戶可同時對比最多5個AI模型的性能表現(xiàn)。

三星電子DX部門首席技術(shù)官Paul (Kyungwhoon) Cheun強調(diào)，TRUEBench的開發(fā)基于三星在智能設(shè)備領(lǐng)域的深厚技術(shù)積累。他表示：“通過將真實場景中的AI應(yīng)用經(jīng)驗轉(zhuǎn)化為標準化評估體系，我們希望為行業(yè)提供更具參考價值的性能指標，同時鞏固三星在AI技術(shù)創(chuàng)新領(lǐng)域的領(lǐng)先地位。”

該工具的推出標志著三星在AI基礎(chǔ)設(shè)施領(lǐng)域的戰(zhàn)略升級。與現(xiàn)有測試工具相比，TRUEBench的多語言支持體系涵蓋主流語種及部分小語種，其任務(wù)分類系統(tǒng)則精確對應(yīng)企業(yè)數(shù)字化轉(zhuǎn)型中的典型工作場景。這種差異化設(shè)計使其在商業(yè)應(yīng)用評估方面具有顯著優(yōu)勢。