繼百度在CVPR 2019、CVPR 2020拿下三個圖像視頻領域競賽冠軍后，百度自研的“圖像超分辨技術”又一次在世界舞臺上“傲視群雄”。

近日，百度在國際視覺領域頂會ECCV 2020上展現了全球領先的AI技術實力，以自研的創新技術，百度包攬了AIM 2020 Real Image Super-Resolution Challenge全部3項冠軍。截至目前，百度自研的SA-NAS和GP-NAS等自動化深度學習技術已在CVPR2019，CVPR2020，ECCV2020 等多個頂會workshop上，累計奪得6項世界第一，提交專利申請超過200余項，并已開始應用于不同領域，展示了百度在AI圖像處理領域進軍的最新成果。

其中，SA-NAS搜索方法是百度首次把NAS技術應用于圖像降噪領域;GP-NAS搜索方法是百度首次把NAS技術應用于圖像超分領域。首次嘗試創新技術斬獲國際頂級大賽冠軍，這也是百度視覺AI技術實力經得起驗證、領先全球的最好證明。

百度視覺AI處理技術持續領先全球

此次百度包攬AIM 2020 Real Image Super-Resolution Challenge的3項冠軍，含金量如何?

從會議規格來看，ECCV是世界計算機視覺頂級會議之一，每兩年舉辦一場，與CVPR和ICCV并稱計算機視覺領域三大會議，由此可以看出本次ECCV大會中AIM 2020 workshop上舉辦的 Real Image Super-Resolution Challenge是國際頂級賽事，含金量極高。值得一提的是，此次競賽主要聚焦圖片和視頻處理技術，參賽者也在不斷挖掘相關領域的新趨勢和進展，在學術界和工業界都有非常大的影響力。

從技術要求來看，所謂的圖像超分辨技術指的是通過低分辨率圖像還原出高分辨率圖像，盡管很多模型在模擬數據集上會取得比較不錯的效果，但真實圖像的超分辨技術比模擬數據更具有挑戰性。所以此項賽事對于參賽者的技術能力要求極高。

近年來，隨著神經網絡架構搜索(NAS，Neural Architecture Search)技術發展，有學者將NAS應用到圖像超分領域，雖然在每秒浮點運算次數(Flops)和延時約束下，NAS模型取得了非常不錯的結果，但這些模型相比人工設計的不受Flops約束的當前最佳模型，仍存在一定的性能差距。

此次AIM 2020 Real Image Super-Resolution Challenge更側重于考核參賽者的當前最佳結果，百度自研的GP-NAS AutoDL技術，充分挖掘基于自研的多重殘差網絡在圖像超分的應用潛力，在真實圖像超分任務上取得當前最佳結果。

GP-NAS是百度自研的AutoDL算法，從貝葉斯角度來建模NAS，并為不同的搜索空間設計了定制化的高斯過程均值函數和核函數。基于GP-NAS的超參數，可高效率預測搜索空間中任意模型結構的性能，從而模型結構自動搜索問題被轉換為GP-NAS高斯過程的超參數估計問題。接下來，通過互信息最大化采樣算法，可有效采樣模型結構。根據采樣網絡的性能，有效地逐步更新GP-NAS超參數的后驗分布。基于估計出的GP-NAS超參數，最終可以預測出滿足特定延時約束的最優的模型結構。

(基于高斯過程的模型結構自動搜索GP-NAS的架構圖)

基于GP-NAS，百度自研了用于圖像恢復與增強的多重殘差網絡DRN。針對真實圖像超分的應用場景，該網絡利用殘差模塊內和模塊間的多重鏈接學習不同維度的特征，并設計了基于特征通道、殘差模塊數和模塊內卷積層數等超參的搜索空間。基于GP-NAS技術原理，可以預測搜索空間中任意模型結構的性能，并快速篩選多個模型結構差異化的多重殘差模型用于模型融合來達到最佳的圖像超分效果。

(百度自研的用于圖像恢復與增強的多重殘差網絡DRN的基本結構)

該模型在ECCV 2020 Real Image Super-Resolution Challenge的比賽結果，全部3項的PSNR和SSIM指標都排在第一位。

如此先進的視覺技術在生活中的應用效果如何?下圖為基于GP-NAS的多重殘差圖像超分模型與雙三次插值的效果對比圖，可以看到，百度自研的GP-NAS技術讓這個世界的美好更加清晰可見。

(GP-NAS圖像超分模型效果對比圖)

上述技術已經在實際場景中使用，智感超清等相關產品搭載該項技術，可對視頻場景級別的畫面復雜度進行智能分析，在視頻轉碼中涉及的超分辨重建，畫質增強等關鍵技術上發揮重要作用。配合百度研發的AI驅動內容自適應轉碼技術，動態分配最優編碼參數，在同等畫質下，碼率更低，智感超清技術節省帶寬成本和存儲成本30%+。目前，智感超清在好看視頻、全民小視頻、百度貼吧等已全量上線，每日進行上千萬轉碼任務，保證畫面質量的同時，大大降低平臺的帶寬成本。

百度

實際上，百度領先的視覺AI技術早已獲得世界認可。今年6月，在全球計算機視覺頂會CVPR 2020上，百度斬獲NTIRE(New Trends in Image Restoration and Enhancement)挑戰賽的真實圖像降噪賽道和視頻質量映射賽道的兩項冠軍。

真實圖像降噪賽道

圖像降噪作為計算機視覺熱門領域，在視頻監控、無人駕駛、移動可穿戴設備、遙感及醫學圖像分析等領域應用廣泛。對于NTIRE2020挑戰賽的真實圖像降噪賽道(Real Image Denoising rawRGB Track)，其首要目標是去除或糾正圖像上的噪聲信息，百度最終以第一的成績達成目標，奪得冠軍。

(百度拿下NTIRE2020挑戰賽真實圖像降噪賽道冠軍)

針對該項競賽，百度設計了多跳躍連接的密集殘差模塊學習不同分辨率下的特征表達，并通過創新性mosaic-stride模塊提升rawRGB的降噪能力，同時使用分布式SA-NAS搜索最優的模型結構;其中，SA-NAS搜索方法是百度首次把NAS技術應用于圖像降噪領域。

視頻質量映射賽道

視頻質量映射賽道(Video Quality Mapping—Track1: Supervised)關注圖片視頻底層視覺技術的關鍵問題。這一技術可有效提高視頻質量，提升用戶觀看體驗。百度憑借過硬的視覺技術和經驗積累，取得了該賽道的冠軍成績。

(百度拿下NTIRE2020挑戰賽視頻質量映射賽道冠軍)

針對該賽道的問題，百度通過把現有EDVR模型思路與CNN網絡結構DenseNet相結合，利用DenseNet提取視頻的圖片特征，融合CNN淺層與深層特征，從而實現更強的表達能力;EDVR模型則完成了視頻幀之間信息交換，對齊幀間信息，實現信息共享與互補。

而更早前的2019年，百度也曾在 NTIRE 競賽中的圖像超分辨項目中強勢奪冠。該比賽采用了全新拍攝的真實數據集(RealSR)，百度視覺團隊在 PSNR 和 SSIM 兩項指標上均名列第一，同時提出極具創新性的 CDSR 超分模型，通過級聯的方法逐步將圖像從模糊變清晰。

據介紹，NTIRE(New Trends in Image Restoration and Enhancement)和AIM (Advances in Image Manipulation)是近年來計算機圖像修復領域最具影響力的賽事，每年都會吸引大量的關注者和參賽者。而百度在這樣極具影響力的大賽中屢屢奪冠，顯示出百度大腦在視覺領域各個方向的長期積累、全面發力，更是百度大腦技術實力全球領先的強大佐證。此外，這些技術也已經應用于不同領域，幫助有智感超清需求的產品升級，為企業降本增效的同時，也能讓人們感受到人工智能技術帶來的紅利，體驗美好的人工智能時代。(一鳴)