中科院自動化研究所與小紅書技術(shù)團隊聯(lián)合研發(fā)的“PretrainZero”系統(tǒng)，近日在人工智能領(lǐng)域引發(fā)廣泛關(guān)注。這項突破性成果通過模擬人類主動學(xué)習(xí)機制，使AI模型無需人工標(biāo)注數(shù)據(jù)即可從海量文本中自主篩選有價值內(nèi)容，在推理能力測試中展現(xiàn)出顯著優(yōu)勢。

傳統(tǒng)AI訓(xùn)練模式存在明顯局限：預(yù)訓(xùn)練階段要求模型機械記憶所有文本信息，如同學(xué)生死記硬背教科書；后訓(xùn)練階段依賴專家標(biāo)注的高質(zhì)量數(shù)據(jù)，類似需要一對一輔導(dǎo)才能掌握特定技能。這種被動接受式學(xué)習(xí)導(dǎo)致AI雖具備基礎(chǔ)語言能力，卻難以應(yīng)對復(fù)雜推理任務(wù)，尤其在常識判斷、跨領(lǐng)域知識遷移等場景中表現(xiàn)乏力。

研究團隊創(chuàng)新性地構(gòu)建了雙角色對抗學(xué)習(xí)框架，讓AI同時扮演“出題者”與“答題者”。當(dāng)系統(tǒng)處理維基百科文本時，“出題者”會智能識別關(guān)鍵信息節(jié)點進行遮蓋，既避開過于簡單的詞匯，也規(guī)避超出當(dāng)前能力的復(fù)雜概念；“答題者”則需通過多步驟邏輯推理填補空白，并完整展示思考過程。這種動態(tài)調(diào)整機制確保訓(xùn)練難度始終匹配模型能力，形成持續(xù)優(yōu)化的學(xué)習(xí)閉環(huán)。

實驗數(shù)據(jù)顯示，采用該框架訓(xùn)練的Qwen3-4B模型在三大權(quán)威基準(zhǔn)測試中取得突破性進展：MMLU-Pro綜合推理得分提升8.43%，SuperGPQA研究生級多學(xué)科測試提高5.96%，數(shù)學(xué)推理平均表現(xiàn)躍升10.60%。更值得注意的是，經(jīng)過PretrainZero預(yù)訓(xùn)練的模型在后續(xù)專項任務(wù)中，最終性能較傳統(tǒng)方法提升2-3個百分點，且推理效率隨訓(xùn)練深入持續(xù)提升。

技術(shù)實現(xiàn)層面，研究團隊設(shè)計了精巧的難度調(diào)控算法?！俺鲱}者”在篩選遮蓋內(nèi)容時，會綜合考量詞匯信息量、上下文關(guān)聯(lián)度及推理可行性；而“答題者”的推理過程需包含背景分析、可能性推演和結(jié)論驗證等完整鏈條。這種設(shè)計使模型逐漸掌握“選擇性學(xué)習(xí)”能力，能夠自主聚焦知識盲區(qū)，避免無效信息干擾。

與傳統(tǒng)方法相比，PretrainZero實現(xiàn)了三重突破：其一，突破數(shù)據(jù)依賴瓶頸，利用公開文本資源替代人工標(biāo)注數(shù)據(jù)；其二，破解訓(xùn)練效率難題，通過動態(tài)難度調(diào)整使模型始終處于最佳學(xué)習(xí)狀態(tài)；其三，拓展能力邊界，使AI推理能力從專業(yè)領(lǐng)域延伸至常識判斷等泛化場景。實驗表明，訓(xùn)練后的模型不僅能準(zhǔn)確填補“凱撒遇刺”等歷史知識空白，更能通過時間線索和歷史背景推導(dǎo)出完整事件脈絡(luò)。

該成果在教育、科研、內(nèi)容創(chuàng)作等領(lǐng)域展現(xiàn)出廣闊應(yīng)用前景。智能輔導(dǎo)系統(tǒng)可據(jù)此識別學(xué)生知識薄弱點，自動生成個性化學(xué)習(xí)路徑；科研助手能夠從海量文獻中自主提取關(guān)鍵發(fā)現(xiàn)，構(gòu)建跨學(xué)科知識圖譜；創(chuàng)作型AI則可基于深度推理生成更具洞察力的內(nèi)容。研究團隊正在探索將該框架擴展至多模態(tài)學(xué)習(xí)，使AI具備從圖像、音頻等多元數(shù)據(jù)中主動獲取知識的能力。

針對計算效率優(yōu)化問題，研究團隊已開發(fā)出輕量化模型架構(gòu)，通過參數(shù)共享機制降低雙角色訓(xùn)練成本。同時建立的穩(wěn)定性監(jiān)控系統(tǒng)，可實時平衡“出題者”與“答題者”的能力發(fā)展，防止訓(xùn)練過程失衡。為確保學(xué)習(xí)質(zhì)量，團隊還設(shè)計了包含推理合理性、知識準(zhǔn)確性等維度的綜合評估體系。

這項研究為AI發(fā)展提供了全新范式：通過算法創(chuàng)新提升模型自主學(xué)習(xí)能力，而非單純擴大參數(shù)規(guī)模或堆砌訓(xùn)練數(shù)據(jù)。其核心價值在于證明智能提升的關(guān)鍵不在于知識容量，而在于學(xué)習(xí)方式的進化。相關(guān)技術(shù)細(xì)節(jié)已公開于學(xué)術(shù)平臺，供全球研究者驗證與拓展。