科技領(lǐng)域傳來(lái)新突破,蘋果公司與普渡大學(xué)聯(lián)合研發(fā)出一項(xiàng)名為DarkDiff的AI技術(shù),旨在攻克極低光照環(huán)境下的手機(jī)拍攝難題。在光線極其微弱的情況下,手機(jī)拍攝的照片常因噪點(diǎn)過(guò)多而質(zhì)量不佳,傳統(tǒng)降噪算法往往通過(guò)過(guò)度平滑處理來(lái)掩蓋噪點(diǎn),但這會(huì)導(dǎo)致照片細(xì)節(jié)丟失,呈現(xiàn)出類似油畫的涂抹效果。
為解決這一問(wèn)題,研究團(tuán)隊(duì)摒棄了傳統(tǒng)后期修圖的思路,創(chuàng)新性地將預(yù)訓(xùn)練的生成式擴(kuò)散模型應(yīng)用于相機(jī)圖像信號(hào)處理(ISP)流程中,從圖像生成的源頭提升畫質(zhì)。DarkDiff的核心優(yōu)勢(shì)在于其介入時(shí)機(jī),它并非在成像完成后進(jìn)行AI修補(bǔ),而是在相機(jī)ISP處理原始傳感器數(shù)據(jù)的早期階段就已介入工作。
相機(jī)ISP負(fù)責(zé)白平衡、去馬賽克等基礎(chǔ)處理,生成線性RGB圖像后,DarkDiff隨即接手進(jìn)行降噪和細(xì)節(jié)生成。這種深度集成的方式,使AI能夠精準(zhǔn)理解照片在黑暗區(qū)域應(yīng)有的紋理細(xì)節(jié),而非簡(jiǎn)單地對(duì)像素進(jìn)行模糊處理。例如,在拍攝夜景時(shí),傳統(tǒng)算法可能會(huì)將暗部的細(xì)節(jié)模糊掉,而DarkDiff則能保留并增強(qiáng)這些細(xì)節(jié),使照片更加清晰自然。
生成式AI在圖像處理中常面臨“幻覺(jué)”問(wèn)題,即可能無(wú)中生有地生成物體,篡改畫面內(nèi)容。為防止此類情況發(fā)生,DarkDiff引入了“局部圖像塊注意力機(jī)制”。該機(jī)制強(qiáng)制模型關(guān)注圖像的局部結(jié)構(gòu),確保AI在增強(qiáng)細(xì)節(jié)的同時(shí),嚴(yán)格忠實(shí)于原始場(chǎng)景。研究人員還采用了“無(wú)分類器引導(dǎo)”技術(shù),通過(guò)調(diào)節(jié)引導(dǎo)強(qiáng)度,在圖像的平滑度與銳利度之間找到最佳平衡,避免生成偽影。
為驗(yàn)證DarkDiff的效果,研究人員使用索尼A7SII相機(jī)在極暗環(huán)境下拍攝測(cè)試樣本,曝光時(shí)間短至0.033秒。將DarkDiff處理后的圖像與使用三腳架長(zhǎng)曝光(時(shí)長(zhǎng)為測(cè)試圖300倍)拍攝的參考圖進(jìn)行對(duì)比,結(jié)果顯示,DarkDiff在色彩還原和細(xì)節(jié)清晰度上均優(yōu)于現(xiàn)有的Raw增強(qiáng)模型。例如,在拍攝星空時(shí),DarkDiff處理后的照片能夠更準(zhǔn)確地還原星星的顏色和位置,同時(shí)保留更多的細(xì)節(jié),如星云的紋理等。
盡管DarkDiff在技術(shù)上取得了顯著突破,但距離實(shí)際應(yīng)用仍有距離。研究人員表示,該技術(shù)的處理速度遠(yuǎn)慢于傳統(tǒng)算法,且巨大的算力需求若在手機(jī)本地運(yùn)行,將極快耗盡電池。因此,未來(lái)可能需要依托云端處理來(lái)實(shí)現(xiàn)其功能。模型在識(shí)別低光場(chǎng)景下的非英文文本時(shí)仍存在局限,這表明該技術(shù)還需進(jìn)一步優(yōu)化和完善。
目前,這項(xiàng)研究更多展示了蘋果在計(jì)算攝影領(lǐng)域的探索方向,短期內(nèi)未必會(huì)直接應(yīng)用于新款iPhone。然而,DarkDiff的出現(xiàn)無(wú)疑為極低光照環(huán)境下的拍攝技術(shù)帶來(lái)了新的可能性,未來(lái)有望推動(dòng)手機(jī)攝影技術(shù)的進(jìn)一步發(fā)展。










