《好聲音》、《蒙面歌王》這些音樂比賽，大家應該已經耳熟能詳了，但你有看過用虛擬形象參加歌唱比賽的電視節目嗎？

近期，曾舉辦美版《蒙面歌王》的Fox電視臺，推出了一檔基于AR和虛擬人像技術的“真人歌唱比賽”：《Alter Ego》。與《蒙面歌王》相比，《Alter Ego》不需要真人上舞臺，選手在后臺可以自己獨立控制虛擬形象，最后獲勝的選手才會與評委見面。觀眾和評委都是通過屏幕觀看表演，舞臺上沒有人，只是通過AR將虛擬選手疊加在舞臺上。實際上，以虛擬形象舉辦演唱會是疫情期間興起的一種趨勢，不過現在看來虛擬形象與現場真人觀眾、評委結合，效果看起來更加逼真。

其形式類似于AR洛天依表演、英雄聯盟K/DA表演等等，觀眾只能跟隨現場直播攝像頭的角度查看AR，AR表演顯示在2D屏幕上。這與AR移動應用有所不同，觀眾不能通過移動手機來從多角度查看。

《Alter Ego》比此前大多數AR表演規模更大，時間更長，20名選手可分別在后臺通過全身和面部動捕技術，來控制舞臺上的AR來進行表演。在這個節目中，表演者可以扮成各種具有未來感的虛擬形象，比如藍色皮膚、粉色頭發等等，他們還可以做出摸頭發等逼真的動作。

簡單來講，線上觀眾看到的《Alter Ego》節目是提前錄制好的，但是在錄制現場，觀眾和評委看到的AR形象是實時渲染的，由后臺的選手用動捕控制。也就是說，我們在視頻中看到評委看向舞臺與選手對視，是因為評委在看舞臺上視線高度的屏幕。而舞臺上的主持人Rocsi Diaz，幾乎是唯一需要假裝和空氣說話的人，她表示：這就像是小時候跟想象中的朋友聊天一樣，很有趣。

虛擬演出背后采用的技術

據了解，《Alter Ego》在舞臺上配備了14臺攝像機，其中8臺采用了高端攝像頭追蹤技術。此外，攝影棚頂上設置了數千個紅外光反射的標記（2.54x2.54厘米的銀色方塊），幫助攝像頭定位。

代表選手的虛擬形象由Silver Spoon設計，是根據選手的喜好為他們量身定做的。去年，Silver Spoon曾為美國職棒大聯盟賽開發AR虛擬觀眾。除了Silver Spoon外，AR公司Lulu曾協助《Alter Ego》設計舞臺布局。

在選手表演過程中，現場的攝像機實時定位舞臺場景，并通過Unreal引擎在舞臺上實時渲染和疊加AR虛擬形象。

《Alter Ego》創意制作人Michael Zinman表示：5年前，制片公司還不能做出這種實時渲染的AR舞臺，這種技術從去年才開始初見成效，不過直到今年才達到優質效果。如果沒有使用實時AR，而是采用后期制作，那將需要6個月時間完成。而現在，只需要三個月。盡管如此，在開拍之前，我們用了至少一年時間去開發節目中使用的技術。

近年來，3D圖像渲染的質量在不斷提升，因此《Alter Ego》的團隊也利用最新的技術，為虛擬形象設計出更加逼真、自然的動態。比如：它們能夠捕捉并模擬選手哭泣的表情，而且身上的反光、陰影，以及地上的影子等效果可跟隨位置移動或光線變化而變化。

細節方面，選手在后臺會穿上全身動捕裝，面前還固定了用來追蹤面部表情的手機，因此全身動作幾乎都能模擬。因此，《Alter Ego》中虛擬形象的動作比以往技術看起來更有生命力，觀眾看起來不會很假。

在第一集中，有一個小細節，就是第二位選手胳膊上的文身是動態變化的，而這種效果是真人表演無法實現的。

與此同時，為了進一步提升AR與物理空間的融合，還需要避免真人伴奏、主持人與AR形象的位置關系。因為現有技術只能讓AR位于最前端，因此物理場景中的人、物體在視覺上看起來都在AR后面，如果與實際位置關系出現偏差，會容易失真。于是在拍攝時，需要注意不要將表演者移動時與鋼琴產生的重疊拍進去。此外，舞臺上加入煙霧特效時，可能也會出現視覺上的位置不匹配。

虛擬形象可以解決表演者們此前無法上臺表演的許多難題，比如：怯場、容貌/年齡焦慮、從演藝行業失業等等。Diaz表示：這種虛擬形象技術，將有望改變音樂表演行業。

大家對虛擬形象的看法

對于這種全新形式的表演，《Alter Ego》的評委、選手和觀眾紛紛表達了與以往不同的感受。

比如，60歲的Matthew Lord此前是茱莉亞歌劇中心的演員，后來他開始和樂隊進行全國巡演，直到疫情終止了他的唱歌生涯，他只能以為工廠開卡車維生。來到《Alter Ego》后，他可以更加自信的繼續唱歌，因為他不用因為自己的經歷、自己的年齡而自卑，可以扮演藍色的狼人來唱歌。他表示：我是光頭，但是虛擬形象讓我有了頭發，即使我上了年紀，也能和其他年輕選手比賽。

Yasmin Shawamreh認為自己比別的歌手胖，因此在音樂行業常常被拒絕。通過定制的虛擬形象，她覺得更能顯示出自己堅強的內心。

除此之外，參加表演的選手還包括擁有音樂夢的母親、想改變音樂類型的歌手等等。

而觀眾對這檔節目則褒貶不一，有的認為有趣、驚艷，有的認為虛擬形象不夠生動、效果低于預期，也有的人用搞笑的方式扮演節目選手。

虛擬偶像的興起

《Alter Ego》的目標是：不以形象外表為重點，尋找美國下一代音樂明星。《好聲音》系列節目最初的目標也是這樣，不過由于需要真人表演，最后的冠軍難免也會遇到音樂行業存在的一些高要求、偏見等等。

相比之下，《Alter Ego》的冠軍用虛擬形象就能表演，虛擬形象在觀眾腦海中的印象會更加深刻。

2016年就出現Lil Miquela等虛擬的平面網紅，在Instagram上已經獲得300萬粉絲。虛擬網紅受粉絲們喜歡的原因有很多，比如外表、聲音和性格可以比普通人更“完美化”，同時看起來足夠人性化，可以給粉絲帶來不遜于真人網紅的體驗。而在今年，說唱歌手Travis Scott在游戲《堡壘之夜》中的表演，最高峰時期吸引了1230萬人同時觀看。

這些例子說明，和真人表演相比，虛擬偶像、線上虛擬表演也同樣具有吸引力，而隨著《Alter Ego》在主流電視臺亮相，這種形式的表演在未來有望得到更多應用。

與此同時，以AR形式將真人搬上舞臺的應用也有望更加廣泛。演唱會設計師兼MR專家Cory Fitzgeral就看好AR表演的前景，并認為它的發展會比原先預期更快，可能會在幾個月內普及。

而Zinman則認為，未來人們會在AR眼鏡中觀看虛擬形象的表演，AR將成為虛擬演唱會的未來。或者，AR眼鏡可以為線下演唱會帶來基于AR的特效，豐富線下表演形式。

總之，《Alter Ego》才剛開播，節目最后選出的冠軍將如何繼續自己的虛擬演出事業，是值得關注的。

參考：

https://www.rollingstone.com/pro/features/alter-ego-singing-competition-augmented-reality-tv-show-virtual-avatars-1228045/ 

本文來自微信公眾號“青亭網”（ID:qingtinwang），編輯：Esther，36氪經授權發布。