蘋果最強夜拍技術曝光!利用AI從源頭提升畫質 告別油畫感
【財經中心╱台北報導】科技媒體9to5Mac報導,稱蘋果攜手普渡大學,為徹底解決極低光照環境下的拍攝難題,聯合開發一項名為DarkDiff的全新AI技術。
報導指出,在極低光照的條件下,手機拍攝的照片往往充滿雜訊,為了遮蓋這些雜訊,傳統演算法通常會進行過度平滑處理,導致照片遺失細節,呈現出類似「油畫」的塗抹感。
蘋果與普渡大學的研究團隊為解決這問題,推出「DarkDiff」新型AI模式。該研究並未沿用傳統的後修圖思維,而是開創性地將預訓練的生成式擴散模型「重新指派」給相機的影像訊號處理(ISP)流程,從源頭提升畫質。
使用「無分類器引導」技術避免產生偽影
DarkDiff的核心創新在於介入時機,不同於在成像後才進行AI修補,DarkDiff在相機ISP處理原始感測器資料(Raw Data)的早期階段就已介入。
IT之家引述報導指出,ISP負責白平衡和去馬賽克等基礎處理,產生線性RGB影像後,DarkDiff隨即接手進行降噪和細節生成,這種深度集成,讓AI能夠理解照片在黑暗區域應有的紋理細節,而不是簡單地模糊畫素。
生成式AI常因「幻覺」問題而竄改畫面內容(如無中生有地生成物體),為防止此類情況,DarkDiff引入「局部影像區塊注意力機制」。此機制強制模型關注影像的局部結構,確保AI在增強細節的同時,嚴格忠於原始場景。此外,研究人員也使用「無分類器引導」技術,透過調節引導強度,在平滑度與銳利度之間找到最佳平衡,避免產生偽影。
DarkDiff距離量產仍有距離
研究人員為了驗證效果,使用SonyA7SII相機在極暗環境下拍攝測試樣本,曝光時間短至0.033秒。將DarkDiff處理後的影像與使用三腳架長曝光(長度為測試圖300倍)拍攝的參考圖進行對比,結果顯示DarkDiff 在色彩還原和細節清晰度上均優於現有的Raw增強模型。
儘管效果驚人,但DarkDiff距離量產仍有距離。研究人員坦言,該技術的處理速度遠慢於傳統演算法,且龐大的算力需求若在手機運行將極快耗盡電池,未來可能需要依賴雲端處理。
此外,模型在辨識低光場景下的非英文文本時仍存在局限,該研究目前更多展示蘋果在計算攝影領域的探索方向,短期內未必會直接裝載於新款iPhone。
