近日，Anthropic與英國人工智能安全研究所、艾倫圖靈研究所聯(lián)合發(fā)布了一項(xiàng)重要研究成果，揭示了大型語言模型（LLM）在數(shù)據(jù)安全領(lǐng)域的潛在脆弱性。研究指出，僅需250份經(jīng)過特殊處理的“投毒”文件，便可在不同規(guī)模的LLM中成功植入后門，且攻擊效果與模型參數(shù)量無直接關(guān)聯(lián)。

傳統(tǒng)認(rèn)知中，破壞模型需要控制訓(xùn)練數(shù)據(jù)的特定比例，但此次研究顛覆了這一假設(shè)。實(shí)驗(yàn)覆蓋了參數(shù)量從6億到130億的多種模型，結(jié)果顯示，即使使用更清潔數(shù)據(jù)訓(xùn)練的大型模型，所需的中毒文檔數(shù)量也保持穩(wěn)定。在測試中，中毒樣本僅占數(shù)據(jù)集的0.00016%，卻足以顯著影響模型行為。研究人員通過72個(gè)不同規(guī)模模型的訓(xùn)練實(shí)驗(yàn)，分別使用100、250和500份中毒文件進(jìn)行攻擊測試，發(fā)現(xiàn)250份文檔即可實(shí)現(xiàn)可靠的后門植入，而增加至500份并未提升攻擊效果。

實(shí)驗(yàn)采用了一種“拒絕服務(wù)”式的后門攻擊方式：當(dāng)模型遇到特定觸發(fā)詞“SUDO”時(shí)，會(huì)輸出隨機(jī)無意義的亂碼。每個(gè)中毒文檔均包含正常文本，隨后是觸發(fā)詞，最后附加一段無意義內(nèi)容。Anthropic特別說明，此次測試的后門屬于低風(fēng)險(xiǎn)漏洞，僅會(huì)導(dǎo)致模型生成無意義代碼，對先進(jìn)AI系統(tǒng)不構(gòu)成重大威脅。目前，尚無明確證據(jù)表明類似方法可實(shí)現(xiàn)更嚴(yán)重的攻擊，如生成不安全代碼或繞過安全機(jī)制，早期研究表明復(fù)雜攻擊的實(shí)施難度顯著更高。

盡管公開研究結(jié)果可能引發(fā)攻擊者嘗試，但Anthropic認(rèn)為，披露此類信息對AI社區(qū)具有積極意義。數(shù)據(jù)中毒攻擊中，防御者可通過重新檢查數(shù)據(jù)集和訓(xùn)練后的模型占據(jù)主動(dòng)。研究強(qiáng)調(diào)，防御者需警惕此前認(rèn)為不可能發(fā)生的攻擊方式，確保保護(hù)措施在極少量中毒樣本持續(xù)存在的情況下仍能有效。然而，攻擊者仍需克服獲取訓(xùn)練數(shù)據(jù)和突破模型訓(xùn)練后防御機(jī)制的挑戰(zhàn)。