近日,針對(duì)網(wǎng)絡(luò)上關(guān)于豆包手機(jī)助手技術(shù)實(shí)現(xiàn)方式的質(zhì)疑,豆包官方發(fā)布了一份詳細(xì)的技術(shù)說明,對(duì)相關(guān)誤解進(jìn)行了澄清。此前,有網(wǎng)友發(fā)布視頻聲稱,豆包手機(jī)助手通過特定權(quán)限繞過系統(tǒng)限制,獲取了銀行安全鍵盤等受保護(hù)界面的內(nèi)容。對(duì)此,豆包明確表示,這些說法是對(duì)其技術(shù)原理的錯(cuò)誤解讀。
豆包手機(jī)助手在說明中指出,其采用的是系統(tǒng)原生截屏接口(WindowManagerService.captureDisplay),并嚴(yán)格遵循應(yīng)用聲明的Secure標(biāo)記規(guī)則。這意味著,對(duì)于銀行等應(yīng)用中標(biāo)記為受保護(hù)的界面內(nèi)容,豆包手機(jī)助手無法進(jìn)行截屏操作。為了驗(yàn)證這一點(diǎn),豆包鼓勵(lì)用戶自行測試,通過編寫帶有受保護(hù)頁面的APK,觀察AI是否能夠“看到”這些內(nèi)容。測試結(jié)果顯示,AI無法獲取這些受保護(hù)的信息。
針對(duì)網(wǎng)友提到的READ_frame_BUFFER權(quán)限,豆包解釋稱,這一權(quán)限的申請(qǐng)是為了支持AI在后臺(tái)完成操作。具體而言,豆包手機(jī)助手將第三方應(yīng)用運(yùn)行在虛擬屏空間中,并通過該權(quán)限獲取虛擬屏中的截圖內(nèi)容,以供豆包大模型進(jìn)行推理分析。然而,這一過程并不會(huì)突破Secure標(biāo)記的限制,無法讀取到包括銀行App在內(nèi)的任何第三方應(yīng)用設(shè)置為Secure的內(nèi)容。
關(guān)于CAPTURE_SECURE_VIDEO_OUTPUT權(quán)限的使用,豆包進(jìn)一步說明,這是為了解決受保護(hù)頁面在虛擬屏投影中顯示為黑屏的問題。由于用戶無法查看和操作黑屏界面,因此需要此權(quán)限將受保護(hù)內(nèi)容正常展示給用戶。盡管如此,投影后的頁面仍會(huì)保留Secure標(biāo)記,僅允許用戶查看,而無法被截屏或進(jìn)一步獲取。
豆包手機(jī)助手的操作流程基于用戶指令展開:用戶下達(dá)指令后,系統(tǒng)會(huì)截屏并發(fā)送至云端豆包大模型;模型理解指令后返回具體操作,手機(jī)端再執(zhí)行這些指令。這一過程需要不斷重復(fù),直至任務(wù)完成。由于每一步操作后都需要重新截圖上傳分析,因此操作間隔約為3秒鐘。豆包強(qiáng)調(diào),這一設(shè)計(jì)是為了確保AI能夠準(zhǔn)確理解用戶意圖,而截圖上傳僅用于視覺理解和推理,不會(huì)存儲(chǔ)在云端。
針對(duì)技術(shù)實(shí)現(xiàn)的限制,豆包解釋稱,由于分析界面所需的大模型參數(shù)規(guī)模較大,受限于當(dāng)前手機(jī)芯片性能,暫時(shí)無法在端側(cè)運(yùn)行。因此,截圖上傳云端處理成為必要選擇。據(jù)了解,國內(nèi)多家手機(jī)廠商的AI操作助手產(chǎn)品也采用類似原理,并同樣需要申請(qǐng)READ_frame_BUFFER等系統(tǒng)權(quán)限。
豆包在說明中重申,用戶隱私安全是其核心關(guān)注點(diǎn)。豆包手機(jī)助手僅在用戶主動(dòng)下達(dá)指令時(shí)啟動(dòng)截屏功能,且無法截取第三方應(yīng)用的Secure標(biāo)記頁面。所有上傳至云端的截圖均用于任務(wù)執(zhí)行,完成后即被刪除,不會(huì)留存。豆包表示,將繼續(xù)以負(fù)責(zé)任的態(tài)度回應(yīng)技術(shù)質(zhì)疑,并歡迎社會(huì)各界提出改進(jìn)建議。










