12 月 4 日消息，當(dāng)?shù)貢r(shí)間 12 月 3 日，OpenAI 宣布，正在開發(fā)一種新的訓(xùn)練框架，讓 AI 在出現(xiàn)不當(dāng)行為時(shí)能夠主動(dòng)“承認(rèn)”。

據(jù)了解，團(tuán)隊(duì)把這種機(jī)制稱為“懺悔（confession）”。傳統(tǒng)大語言模型往往用于訓(xùn)練去滿足用戶期待，因此容易出現(xiàn)逢迎式回答，或在毫無依據(jù)下給出極其自信的臆測(cè)。新方法則要求模型在給出最終答案后，再提供一段說明，解釋自己是如何得出這個(gè)回答的。

“懺悔”的評(píng)分只看誠實(shí)度，不再像主要回答那樣需要兼顧有用性、準(zhǔn)確性或是否遵守指令。

研究人員表示，希望模型能夠如實(shí)說明自身行為，包括可能存在風(fēng)險(xiǎn)的問題動(dòng)作，例如測(cè)試作弊、刻意壓低表現(xiàn)或違反指令。只要模型誠實(shí)承認(rèn)作弊、壓分或違反指令，反而會(huì)獲得更高獎(jiǎng)勵(lì)。