最近，韓國最大的漫畫平臺網站Naver webtoon（?????）推出了一個新工具WebtoonMe，可以將自拍照或者視頻轉換為韓式網絡漫畫的風格。

此處先上一波效果：

項目一經推出，就在Reddit上引發了熱議，不到一天時間就收獲了超1700個支持。

一方面是韓國美少女自帶流量，另一方面則是將照片轉換為漫畫后，畫面還有很大的提升空間。

首先，漫畫人物的眼球不會動，也不會眨眼，瞇眼等動作，就顯得不是特別「真實」。

還有的網友指出，「恐怖谷理論」的假設場景在這里特別明顯。

恐怖谷理論（Uncanny Valley）于1970年由日本機器人專家森政弘提出，簡單來說就是，由于機器人和人類在外表、動作上都會十分相似，所以人類對機器人天然的就是正面情感；但是當機器人真實到一定地步的時候，哪怕有一點點與人類不同的地方，都會顯得十分刺眼，讓機器人顯得僵硬恐怖，使人有面對僵尸的感覺。

而生成的網絡漫畫人物有著呆板的眼睛，「心靈的窗戶」被關上了，自然顯得十分詭異。

不會開發AI的漫畫家不是好煉丹師

2018年，36歲的人氣網絡漫畫作家河一權就利用AI技術在Naver Webtoon上發表新概念漫畫 《邂逅》（Met），發布第二天的累計瀏覽量就突破了4000萬。

通過將讀者的形象融入網絡漫畫中，讀者可以和漫畫中的人物在學校環境中進行眼神交流、直接交談和發展情緒的故事，因為讀者通過與作品進行互動來推進劇情，所以這類漫畫也稱為互動網絡漫畫（interactive Webtoon）。

Met也是業界首部互動網絡漫畫。

這類漫畫特別受歡迎，許多人非常喜歡這種沉浸式故事參與感，而非簡單地閱讀作者給出的故事。

受到Met的啟發，這次推出的WebtoonMe項目則將轉換技術更進一步，在保留人物照片特點的同時生成網絡漫畫風格圖片。

當你想到「將照片變成漫畫的技術」時，最好奇的是什么？三次元的人臉是如何變成二次元的？

在好奇心的驅使下，團隊經過無數次的試驗，基于深度學習的人臉轉換技術終于開始有了一下眉目。

然而，想要把背景也換成「二次元」風格時，卻遇到了一個意想不到的問題，直接使用之前的技術會導致生成的結果非常地不自然。

在分析數據時，團隊得出一個結論：漫畫數據集中的物體具有獨特的「風格」屬性，這與通常用于深度學習研究的自然照片數據集不同。

此外，與換臉不同，照片中的各種對象（如臉部、身體部位、背景等）也都需要不同的「風格」，，而團隊最開始卻沒有意識到這一點。

于是，團隊決定深入了解網絡漫畫的創作過程，從而了解不同的作品是如何將不同的物體風格化的。

在采訪了幾位創作者之后，團隊了解到：「前景（包括人臉）」和「背景」是用不同的工具創建的。

首先，需要建立一個由人臉、身體、物體和背景等各種「零部件」組成的網絡漫畫數據集，然后再創建各種深度學習模型來減少前景和背景之間的風格差異。最后，應用幾種模仿不同創作者的修飾技術的后期處理算法，從而更自然地提高結果的質量。

從AI上色到AI換臉

作為網絡漫畫行業的領軍者，韓國國內第一大漫畫平臺Naver Webtoon此前一直致力于開發新的內容IP，例如大火的偶像劇《我的ID是江南美人》即出自此平臺。

隨著AI技術的實用性越來越強，Webtoon AI團隊利用深度學習技術開發了幾個項目，不僅能提高網絡漫畫讀者的閱讀體驗，同時也能幫助創作者進行創作。

2021年10月27日，Naver Webtoon宣布推出Webtoon AI Painter的測試服務，能夠幫助創作者對草圖進行著色。

AI算法首先會對圖片進行區域分割，當創作者選擇一種顏色并觸摸相應區域時即可對該區域進行自動上色。與現有的手動著色不同，AI著色只需幾次觸摸即可完成全圖著色，能夠極大提升網絡漫畫創作者的著色時間，從而提高創作效率。

Webtoon AI Painter的開發歷時3年，主要技術還是深度學習模型，使用了大約 30 萬個數據來學習圖像中每個區域的特征和各種著色風格，例如人的面部、身體和背景。該上色技術的模型相關工作還發表在了WACV 2022上。

除此之外，Webtoon AI Painter還通過應用圖層分離的PSD（Photoshop文件格式）存儲功能和原創分辨率維護技術，為創作者的后期編輯工作提供了更好的技術服務。

布局美女元宇宙

在完全虛擬的元宇宙世界中，用戶需要一個虛擬分身，基于自拍照生成的虛擬分身能夠更好地同時保留真實感和虛擬感。

2018年8月，Naver Z公司推出元宇宙虛擬時尚社交平臺Zepeto，用戶可以在軟件里自由打造個人數字形象，主打的就是一個「時尚」！

用戶需要先在平臺上「捏臉」，按照自己的喜好捏出臉型和五官；然后在平臺上用虛擬貨幣購買時尚服裝和飾品等，裝扮自己的虛擬形象；還可以購買解鎖不同的姿勢、動作，選擇不同的照相背景跟朋友合照；同時，用戶也可自己在Zepeto平臺上制作內容，并賺取收益。

用戶還可以在Zepeto內上傳自拍，然后將其轉換成社交平臺內的3D虛擬化身。

除了虛擬人物之外，Zepeto還打造了一個虛擬游戲世界，用戶可以操作自己的虛擬人物在世界里行動。平臺設置的社交場景豐富多樣，有鬼屋、教室、學校、著名景點等，用戶可以在參加派對、露營或者甚至朋友的虛擬婚禮等。

Zepeto跟時尚娛樂領域緊密合作，常邀請著名時尚品牌在平臺上發布虛擬服裝飾品，也跟k-pop娛樂公司聯手推出活動。

去年2月，Gucci在Zepeto上發布了模仿意大利總部的虛擬「Gucci別墅」，并推出NFT時尚單品。用戶可以用虛擬形象試穿或購買Gucci發布的虛擬服飾，還可打卡漫游「Gucci別墅」。

除此之外，D&G、Dior、Nike等著名品牌也已入駐該平臺。全球流行的k-pop組合Blackpink、 ITZY 和 SF9也在Zepeto上舉辦過虛擬活動，發布k-pop相關內容。

品牌入駐的確為Zepeto帶來了可觀的收入。目前，已經有上百家公司和150萬工作室創作者在Zepeto平臺上推廣自己的虛擬產品，還有5000萬工作室的虛擬設計品正在出售。

2021年，該公司的月收入徘徊在211.7萬美元至279.4萬美元之間，比2020年同期增長了約70%，這些增長大多來自于跟Gucci、Dior、三星、現代等著名品牌的廣告合作。

Naver Z的首席戰略官Ruby Lee透露，Zepeto的月活躍用戶從去年5月的1000萬增長到今年1月的2000萬。Zepeto擁有2.9億注冊用戶，在過去的18個月內幾乎翻了一番。并且在其虛擬世界中，平均用戶會話時間可以達到約30分鐘。

雖然相比游戲類頭部元宇宙平臺Roblox日活用戶已超4700萬的數據，Zepeto在整個元宇宙領域還遠不算第一梯隊的體量。

但當下的元宇宙平臺大多仍然以成年男性用戶為主，作為全球最大的虛擬時尚平臺，Zepeto吸引了大量青少年女性用戶，在元宇宙領域打出了充分的差異化效果。

Zepeto有超過2.4億用戶，其中90%來自韓國以外，80%是青少年，70%用戶是女性。

2021年末，Naver Z公司旗下元宇宙虛擬社交平臺Zepeto宣布獲得2235億韓元（約合1.89億美元）的B輪融資，其中日本軟銀集團旗下愿景基金2號（Vision Fund 2）領投金額高達1.5億美元。

軟銀的立場是十分支持元宇宙的發展的，所以獲得軟銀的投資，一定程度上可以說明Zepeto的價值，軟銀投資的管理合伙人Greg Moon曾表示，相信元宇宙有可能成為互聯網的下一次進化。

其他投資者還包括韓國金融公司Mirae Asset、網絡漫畫出版商Naver Webtoon以及K-pop機構JYP、YG娛樂和HYBE的資金。

同月Naver Z還獲得了韓國游戲公司Krafton（絕地求生 PUBG的開發者）的50億韓元（420萬美元）投資。

在元宇宙概念大火的今天，仍然還有很多技術問題沒有完全得到解決，AI技術解決方案可以加快元宇宙開發的速度，反過來元宇宙獲得的投資也會加快AI技術的發展。

在科技洪流中，期待更美好的真實世界和虛擬世界。

參考資料：

https://webtoon.github.io/WebtoonMe/en

https://www.reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/

https://m.jiemian.com/article/6893200.html

https://weixinso.com/article/jbzehb03.html

本文來自微信公眾號“新智元”（ID:AI_era），作者：新智元，36氪經授權發布。