近日，元宇宙界中又有新的活水涌入。在Meta舉辦的實驗室討論會上，Meta CEO小扎公布了自家元宇宙的多項新技術。

無論是資金還是技術，Meta都是構建元宇宙世界中跑在最前面的一位，從去年十月不惜將Facebook改為Meta，到旗幟鮮明的花費百億投入其中，一系列的砸錢收購，小扎行動派的作風頭鐵一股腦扎入元宇宙的深海，近日也取得了一系列的成果公開分享。

此次元宇宙中Meta實驗室的技術突破，會給行業帶來哪些啟示？作為行業的技術前驅者，小扎對自家的新技術評價是“勾勒出元宇宙的關鍵步驟，解鎖許多進步的是AI”。AI與元宇宙碰撞，給元宇宙世界帶來的影響又是什么呢？你是否心中也有許多問號？話不多說，進入正題，我們先從這些新技術的模樣談起。

AI引人遐想

在新技術公布前，有關Meta最火的消息是在二月初的財報。整個2021年度，Meta現實實驗室虧損了101.9億美元，2020年度的虧損為66.2億美元。

真金白銀的投入砸下去，雷聲大，雨點小。許多投資人與從業者從元宇宙的狂熱中清醒了一些，不過近日Meta在元宇宙中技術的突破，似乎又讓很多人對Meta有了點信心，也讓元宇宙的數字世界往前邁了一步。

Meta公布的新技術包括語音生成元宇宙場景的Builder Bot、超級AI助手CAIRaoke等。

1.語音生成場景的Builder Bot。在錄制的視頻中，我們可以看到小扎和一位同伴在虛擬的環境中，通過一系列的語音指令讓本來單調的虛擬背景中，增加云朵、樹木、小島、桌椅等虛擬物品，隨著語音指令的結束，一個相較豐富的虛擬場景建立了起來。不過現在的Builder Bot只是簡單的demo展示，更加復雜的3D環境的生成需要時間與更深的研究。

2.超級AI助手CAIRaoke。底層是一種自我監督端到端的神經網絡模型，這個模型可以理解與學習用戶的聲音與肢體語言，讓我們可以在虛擬數字世界中和語音助手的對話更加流暢自然。在視頻的演示中，AI助手可以與人交流的同時，關注到煮飯過程中的鹽量，并且及時的提醒用戶補充鹽的份量。目前，這一技術已經在其視頻通話potal設備中應用，未來也會集成在AR/VR產品中，增加與數字助手的交互。

3.通用機器翻譯工具。這是Meta正在開發的一項技術-通用的語音翻譯器，旨在提供所有語言的即時語音到語音的翻譯，而語言的種類涵蓋所有書面語言。這個通用的AI機器翻譯工具可以打通我們與信息、人的屏障，語言從此不再是限制我們獲取信息的障礙。

除此之外，Meta還公布了其他的一些AI工具，這些公布的最新AI技術和此前Meta公布的超級計算機等，未來的成熟轉化，給元宇宙帶來的影響令人遐想。

元宇宙作為下一個技術形態入口，與AI技術的耦合，我們可以明顯感受到對元宇宙世界生態內容的豐富。數字世界中的智能陪伴、智能交互、場景內容的生成與構建等，無不在訴說著AI各類智能工具對元宇宙世界的基建設施的智能改造，不僅僅是將大量的基礎設施與引導的工作包攬，為從業人員的減負，也給人類與機器的交流，用戶在生態內的體驗，提供不同于人類現實社會的價值。

我們看到，AI賦予的能力使得元宇宙世界的模態運轉加速，換句話說，元宇宙的世界構建也會朝著電影頭號玩家中的“綠洲”深入。

智能的“人”與“環境”

對于元宇宙世界來說，最本質的核心是交互，而讓交互有身臨其境的感受，需要元宇宙的沉浸式體驗。作為虛擬的平行世界，元宇宙需要包含現實世界擁有的所有元素。如果想要討論Meta此次的新技術為元宇宙帶來了什么，就需要回到元宇宙的基本要素中尋找答案。

行業對元宇宙的基本要素的共識基本就是以Roblox公司給出了元宇宙的八大要素為主，包含：身份、社交、沉浸感、低延遲、多元化、隨時、經濟系統、文明。

筆者認為Meta的技術突破為元宇宙帶來的變化，可以歸結為交互與沉浸體驗的豐富。

首先是沉浸式體驗，語音生成場景的Builder Bot，歸根結底是讓元宇宙朝著沉浸感更加智能化的方向發展。用語音生產場景，這種探索式的方式，顯示了AI可以在元宇宙創造復雜3D環境與新世界的潛力。

在建設多樣的沉浸式社交元宇宙路上，如果窮盡參與者的生產能力來進行場景內容構建，內容的生產仍舊是產能有限。如果轉化為AI技術的自動化構建，一些重復的素材與腳本設計等，簡單耗時的工作可以讓AI工具完成，元宇宙世界最核心的產品內容，就可以花更多的精力來打磨。

在交互感方面，包含著社交、低延時、多元化的要素需求。超級AI助手CAIRaoke與通用機器翻譯工具的未來形態，可以讓元宇宙中人與人、人與數字人的交互更加流暢。元宇宙中的“人”是基礎的組成單元，既包含著進入元宇宙的探索者們，也包含著元宇宙中的虛擬數字人。超級AI助手CAIRaoke可以理解與學習用戶的聲音，從而讓我們與生態中的各類數字人進行自然的交互。與此同時，通用機器翻譯工具可以即時翻譯不同民族的語言，讓進入元宇宙的各類背景用戶無障礙溝通。

超級AI助手CAIRaoke與通用機器翻譯工具的未來，可以掃平元宇宙中交互的語言障礙，讓數字世界的交互更加簡單歸一。

Builder Bot、 CAIRaoke、通用機器翻譯工具等AI技術的研發方向與未來形態，讓元宇宙中基本組成單元人與環境智能升級，這也讓元宇宙越來越接近理想的狀態，吸引更多的人進入元宇宙社交。當然，虛擬AI與現實AI技術的學習與進階會互相反哺，對于現實世界來說，也推進了創造性人工智能技術的前進。

元宇宙的生態籍由此會變得更加立體，我們知道內容是吸引人的關鍵，但人在數字世界的感受才是粘合與長存的基礎，而這個感受需要數字技術將我們的感官在虛擬世界中放大，真實的質化讓沉浸感升級。

捕捉現實世界：數字“通感”的步步進階

談論我們在數字世界的感官，引入通感的概念，可能會更加好理解。通感的本意指的是把不同感官如視覺、嗅覺、觸覺、聽覺等感覺互相溝通，互相轉化，借以讓人的感受更加立體豐富。那么，在元宇宙的世界，數字“通感”就是借由AI與機器讓肉身更加生動的體驗與探索虛擬世界，表達與傳遞情感的溫度。

數字的通感中語言是交互的底色，聽覺是語言交互的基礎，數字視覺（VR）與觸覺（傳感設備）則讓我們的肉身在虛擬世界有了真實的質感和觸動。聽覺設備與技術的進階，再與數字視覺（VR）與傳感器設備的耦合，驅動著元宇宙世界的真實感步步深入。

聽覺的AI技術主要以智能語音識別和智能語音合成為主，在前文的敘述中，我們了解到，在虛擬世界中，與語音技術集成的AI助手結合，無論是指令，還是常態的語音交互，AI語音技術的引入都會讓用戶體驗到機器與人的陪伴和歸屬感。虛擬世界的溫度，也因為語音技術的擬人更加自然，同時機器在交流溝通過程中的不斷學習，也會讓虛擬世界的數字人更加了解用戶的特性， AI助手成長為虛擬的密友只是時間問題。

元宇宙數字視覺方面的“通感”依賴AR/VR技術。其與AI的結合，也是未來AR/VR發展的重要一環。拿Meta旗下的Oculus舉例來說，Oculus是許多人選擇頭顯的首選，在Horizon Home的虛擬空間，可以用Oculus進行社交聚會，其中的手勢識別、桌面、鍵盤、沙發等物品的追蹤都離不開AI技術的加持。視覺的數字通感，讓AR與VR從虛擬世界的入口，再到AI交互體驗的智能升階，由實入虛，由虛到智。

數字觸覺的通感則來自于一些搭載AI技術的傳感器設備。例如Meta發布過的可穿戴手套和智能手腕設備，這些設備可以對手部手勢與腕部的動態追蹤，感知環境。通過對手腕的肌電圖信號分析，系統可以理解微小的手指運動，進而轉換為數字命令發送到設備上，實現數字交互與控制。觸覺手套則通過氣動裝置和觸覺渲染系統來模擬真實的觸感。觸覺渲染系統需要構建相應的軟件和算法來建模，根據手的位置、對虛擬環境物品的重量、紋理、硬度等理解分析，然后向手套的氣動裝置發送正確的指令，來呈現真實物理世界的觸感。

數字的視覺、聽覺、觸覺在AI技術的加持下，破開了虛擬世界的次元壁，我們在元宇宙中的分身虛擬人，可以在數字空間中感受到虛擬世界物質的“實感”，與信息碰撞，在虛擬世界中成長。

元宇宙基礎設施的完善，是一個任重道遠的過程，依賴通用智能技術的持續進步，在建設元宇宙的路上，AI的應用是讓元宇宙更富沉浸感、更具多元化的關鍵。這也是吸引無數用戶進入與常駐元宇宙平臺的有效方式。

在傳統的互聯網中，我們的體驗歸根結底是作為旁觀者的身份進行信息的傳遞與交互。元宇宙中，使用AI不僅可以為元宇宙創造廣泛且豐富的環境與內容，AI加持下的數字通感讓用戶可以在虛擬空間中，感官被開啟并放大，并以擁有通感的虛擬人身份作為參與者身處其中，我們可以丟掉肉身的各種限制去互動、探索與分享。

數字通感與元宇宙的契合，AI是連通的橋梁，不可或缺，為億萬用戶構筑出人機共生共融的新未來。

本文來自微信公眾號 “腦極體”（ID：unity007），作者：燕良，36氪經授權發布。