對話AI修復師:如何「復刻」塵封21年的張國榮《熱·情》演唱會
《熱·情》超清修復版刷屏朋友圈
性感服裝、紅色高跟鞋、貼身熱舞...在2000年《熱·情》演唱會上,張國榮用前衛大膽的衣著和妖嬈的舞姿,突破傳統界限,締造了永恒經典。
2022年4月1日晚20點,張國榮《熱·情》演唱會超清修復版在線上首播。這張塵封21年的母帶,經過智能4K超清修復,讓千萬粉絲仿佛回到當年的紅館現場,重溫絕代風華。
這場跨越歲月重逢的背后,除了騰訊音樂娛樂集團與環球音樂集團旗下廠牌寶麗金唱片的合作外,還離不開騰訊云多媒體實驗室的數字影像修復技術支持。
一個月修復老片,「復刻」永恒經典
談到此次修復的契機,騰訊云多媒體實驗室總監李松南說:“其實,源于一個偶然的機會,我們與版權方——環球音樂旗下的寶麗金唱片接觸后,感到彼此非常契合,就很快就達成了合作意向,決定在4月1日這個特殊的日子,用特殊的AI畫質修復的方式,將張國榮這場經典演唱會重新帶給粉絲們。我們感到特別榮幸,非常有意義,也很有價值。”
三月初,騰訊云多媒體實驗室團隊拿到了演唱會的母帶,從拿到母帶到最終呈現直播,只花了差不多一個月時間。騰訊云多媒體實驗室專家研究員夏珍說,純算法耗費的時間其實并不算長,大約2天左右。如果傳統人工修復的話,則需要花費1、2月時間。
修復前后對比
談到老片修復后的效果,李松南認為:“雖然效果是主觀感受,因人而異,但此次修復后,整體畫面變得更清晰、更逼真。例如,臉部的輪廓、毛孔、胡須、眼神等細節都清晰可見。”原本母帶的分辨率較差,大概僅為720×480,修復后接近4K畫質,提升了約6倍。同時,優化了幀率,畫面的流暢度也有所提升,而且更具沉浸感。
夏珍提到了“修舊如舊”,為了保留整場演唱會的藝術效果,團隊嘗試了多種算法和效果的搭配,以達到平衡的目的。期間,團隊也遇到了一些bad case(壞案例),需要更精細的修復和多種算法的調整,但最終獲得了不錯的成效。
四大模塊解決四大難點
李松南總結了本次修復的四大技術難點。首先,時間跨度太大,母帶有劃痕和噪點等問題。修復引擎中有一個專門的“去劃痕”及“去噪點”的算法,針對難以修復的部分,在后期通過畫面修復技術,將這些問題逐一解決。
其次,數據量不足,需要在少量數據的情況下,盡可能提升算法的學習效果。李松南說,這是團隊第一次修復演唱會。此前修復主要的是老電影、老電視劇,所以演唱會相關的數據積累較少。所以,需要通過不斷優化算法,以加強深度學習效果。
然后,演唱會現場環境較復雜、多變,且場景較暗,細節也不夠豐富,還面臨運動場景、景深切換等較多等各種情況,對算法帶來更大的要求和挑戰。修復中,需要運用多種修復手段,并依據不同的場景,不斷嘗試適合的算法,提升效果,為以后的修復積累了寶貴的經驗。
最后,清晰度較差的部分難以精確建模,需要嘗試不同的算法、調整不同的參數,以達到更好的修復效果。
修復前后對比
李松南介紹道,目前老片修復分為物理修復和數字修復兩種。其中,物流修復主要是去除膠片雜質以及對變形進行修復,數字修復基于機器學習、深度學習等方法,無需人為介入,通過算法進行全自動的修復,以減少后續的人工成本。此次,騰訊云多媒體實驗室采用的就是一種數字修復的解決方案——“超清沉浸感修復引擎”。
該解決方案包括智能分析、畫質修復、畫質增強和智能編碼四大模塊。智能分析,就是分析視頻的質量和內容,通過算法評估,找出視頻中存在的失真和噪點,以便打開相應的畫質修復模塊;畫面修復,是利用多種人工智能修復算法針對老片中常見的豎線、雪花點、噪聲、壓縮失真、抖動等問題進行修復;畫質增強,是在現有的視頻基礎上進一步提高畫質,包括分辨率、幀率、動態范圍,甚至是沉浸式等方面;智能編碼,能夠在低帶寬的情況下,盡可能提高視頻的質量。所以,四大模塊其實就是數字修復過程中的四個關鍵流程,系統性地解決各種難題。
值得一提的是畫質修復中的“人臉修復”模塊。其基于自研的人臉修復模型,利用人臉檢測、人臉修復和融合模塊,將圖像修復遷移到視頻過程中加入幀間穩定性處理,解決人臉檢測穩定性,優化多角度人臉效果,解決視頻中動態人臉遇到的復雜場景問題。
夏珍以此次演唱會修復為例,由于燈光較多,顏色種類繁多、多變,一旦照射在人臉,算法就難以處理,為修復帶來了一定的麻煩。通過專用的人臉修復算法,經過不斷優化和調整,從而解決了這些難題,也為后期工作和優化提供了大量的寶貴經驗。
技術迭代帶來超清沉浸感
李松南強調,數字修復技術并不局限于老片修復。隨著終端設備的升級換代,目前認為品質尚可的視頻,幾年之后,可能為了適配新終端的更新換代,也需要畫質修復,屆時數字修復技術將發揮出作用。“隨著技術不斷迭代,如果我們過幾年再來修復這場《熱·情》演唱會的話,效果可能會更好。”他說道。
騰訊云多媒體實驗室專家研究員 夏珍
夏珍說,數字修復技術的迭代主要有兩個方向,即系統級別和算法級別。系統級別就是整個流程的相關技術迭代。他以智能分析為例,最初的解決方案中并未包含智能分析引擎,這是由于此前接觸的視頻種類不多的緣故。但加入該引擎后,智能分析的作用越來越重要,原因在于不同年代視頻的失真的類型強度都有較大的差別,需要進行分析后,才能作出正確的判斷。同時,目前智能分析模塊還必須不斷提升適應能力,以盡可能減少人力介入,以便適應更多不同類型的視頻。
同時,對于算法的優化、調整和整合,這也是系統級別技術迭代的重要方向之一。夏珍認為,視頻超分是一個典型的算法迭代的例子,從最傳統的降噪、背景增強到深度學習,再從人工邁向自動化,算法的不斷迭代,效果也隨之大大提升。
沉浸感官是另一個重要的方向。夏珍表示,無論是解碼還是視頻處理,以及AR/VR等應用場景,沉浸感官都是發展的重要方向。在視頻處理的過程中,往往采用提高分辨率、幀率、微深度來提升沉浸感。
修復過程
李松南介紹道,騰訊云多媒體實驗室設有沉浸式組,專注于類似全息視頻、VR360、自由視點、3D重建、六自由度等相關技術方向。視頻處理方面,還是聚焦在2D視頻的修復和增強。在原有分辨率和幀率上,盡可能在2D條件下,提升用戶的沉浸感。當然,未來也會在3D視頻、三自由度、六自由度、全息等各方面加大投入。同時,播放設備也會邁向VR等新興顯示設備發展,帶來更沉浸的視覺效果。
提到應用場景,他繼續說道,畫質修復技術將在廣電、傳媒等行業得到廣泛的應用。例如,視頻留存、重新上映以及適配現有4K/8K電視設備等,都離不開畫質修復技術所帶來的全新感官體驗。李松南說,未來,實驗室會將超清沉浸感的畫質修復技術,與更多合作伙伴展開合作,幫助更多經典影視劇、電影以及演唱會等珍貴歷史影像傳承下去。
助力文化傳承,踐行社會價值
李松南說,騰訊云多媒體實驗室為騰訊CSIG事業群旗下的多媒體通信和處理研發團隊,主要工作分為兩大部分。“首先是標準相關,即參與國內外多媒體相關的標準制定;其次是技術輸出,就是為騰訊內部其他產品部門提供相應的先進技術,例如目前騰訊云音視頻、媒體AI中臺、數據萬象等采用了實驗室的相關視頻處理技術。其中,畫質修復就是屬于視頻處理中的關鍵技術之一。”他說道。
關于投入的產出,李松南坦言,騰訊云多媒體實驗室只是一個技術部門,并不盈利,而只是將技術輸出給騰訊內部各個部門。從公司整體的角度出發,實驗室同樣帶來了一定的社會價值和收益。他透露:“公司非常支持這樣公益性的項目。雖然確實會投入一定的人力、算法等成本,但我們都覺得非常值得。”
此前,騰訊云多媒體實驗室深度參與了包括《康熙王朝》、《天下人家》等多部經典影視劇高清修復工作。李松南說,此次與寶麗金的合作,是為了表達對張國榮先生的緬懷,其中沒有任何的商業行為。雖然修復過程中的機器算法、bad case等都需要人工輔助調整,難免會帶來一定的基礎服務和人力成本的投入。“整個修復初衷是希望用我們的技術去踐行騰訊“可持續社會價值創新”的理念,并不涉及任何商業化行為,只是為了推動經典文化的傳承。”
最后,李松南直言,在此次張國榮《熱.情》演唱會修復過程中,接觸了不少相關機構和團隊,并收獲了一些新的合作意向,也探討了不少新的方向。“接下來,希望尋找出更多新的合作方式和方向。一方面,尋找一個既可良性地支撐算法投入,也能實現雙方共贏的商業模式;另一方面,結合可持續社會價值創新理念,以公益為目的,將助力具有社會價值的經典文化作品的傳承。”■
本文來自微信公眾號“福布斯”(ID:forbes_china),作者:Forbes China,36氪經授權發布。
標簽: