編輯導語：數(shù)字化時代，你是否會有科幻作品中的虛擬人的想象，作者從八個方面分析了虛擬人的發(fā)展和未來的趨勢，我們一起來看下吧。

創(chuàng)造栩栩如生、真情實感的數(shù)字化人類，既是《銀翼殺手》等科幻作品的想象，也是數(shù)字內(nèi)容創(chuàng)作的不懈追求。近年，“造人”緊隨“造車”成為業(yè)界高度關(guān)注的話題，不僅有虛擬偶像、MMD（MikuMikuDance，虛擬角色跳舞）等文化現(xiàn)象大流行，更在AI加持下為數(shù)字人類初步賦予自主智能。

在可見的未來里，我們是否能輕松擁有自己在賽博空間中的“復制體”——虛擬人呢？

《銀翼殺手2049》中的虛擬人

一、虛擬人與數(shù)字人、虛擬偶像

虛擬人與數(shù)字人兩個概念多數(shù)時候可以通用，相比之下，虛擬人更側(cè)重其在外觀、智能等方面與人的相似性，在難辨真假的同時可以進行交互。

籠統(tǒng)地說，通過3D圖像軟件或其它模擬仿真工具***，以數(shù)據(jù)形式存在的人與類人角色，都可以算作數(shù)字人（digitalhumans），游戲和影視中也可叫做數(shù)字角色（digitalcharacter）。

虛擬偶像，則是從應用場景出發(fā)的一種稱謂，無論2D、3D或怎樣的表現(xiàn)形式，只要以滿足用戶對成長、美好的向往為出發(fā)點進行公開活動，都可劃分到偶像范疇。虛擬人可以被打造為虛擬偶像，同樣也可以成為虛擬演員、虛擬作家等等。

按照美術(shù)風格，可以大體劃分為高保真風格、寫實風格與卡通渲染。其中寫實-卡通是一種譜系而非存在涇渭分明的界線，而卡通風格也可進一步細分，比如美式卡通、韓系風格、二次元風格等。

除風格及場景外，虛擬角色還可以按照***主體、方式、驅(qū)動方式進行分類。

藝術(shù)家從創(chuàng)意想象出發(fā)，經(jīng)過2D原畫-3D建模-綁定-動畫等流程***出的，屬于PGC類型；一般用戶基于平臺工具，將自己的照片、視頻上傳后自動化生成，或組合已有的面部特征、修改參數(shù)進行“捏人”的，屬于UGC類型。

讓角色動起來的方式也很多樣。

可以手動調(diào)整動畫的關(guān)鍵幀，再平滑模擬出過渡幀，實現(xiàn)角色動畫；或像MMD那樣，導入預先***好的動畫方案，讓角色模型舞動起來；還可以通過面部、身體動作捕捉，將真實運動映射到虛擬角色的身體，部分虛擬主播、虛擬偶像就采用這種方案。二、學界：發(fā)展數(shù)十年的前沿交叉領域

早在20世紀70年代，對虛擬人的研究就已經(jīng)在學術(shù)界起步。虛擬人(virtualhuman或computersynthesizedcharacters)指人在計算機生成空間（虛擬環(huán)境）中的幾何特性與行為特性的表示。

人是一個復雜體，不同的學科領域，對抽象和模擬人類的側(cè)重點也不同。

比如體育、軍事等，關(guān)注虛擬人運動和行為的模擬仿真；醫(yī)療領域著重對數(shù)字化的人體結(jié)構(gòu)進行重建和分析；圖形學、影視的課題則是如何讓虛擬人的外形達到真實人類的高度還原。

因此，虛擬人已逐步發(fā)展為涉及計算機圖形學、運動學和動力學、多功能感知、人工智能和虛擬現(xiàn)實等多個學科的前沿交叉領域。

隨著人工智能研究深入，如何讓虛擬人具有一定程度的自主感知能力、邏輯推理、語言甚至情感，成為了學界和產(chǎn)業(yè)界共同關(guān)心的前沿陣地。

醫(yī)學意義的虛擬人，顯然不是我們要討論的……

三、業(yè)界：高保真、智能化、工具化是焦點

泛互聯(lián)網(wǎng)產(chǎn)業(yè)中所談及的虛擬人技術(shù)與案例，大體有風格化-高保真、離線渲染-實時驅(qū)動兩種發(fā)展維度：

風格化以打造時尚、美麗、萌系等有視覺吸引力的形象為要點，高保真則一般擁有現(xiàn)實中的原型；

離線渲染方式呈現(xiàn)的是預***的圖片、視頻，而實時驅(qū)動則能夠跟隨真人的動作、語音文字等信息進行現(xiàn)場“表演”。

英雄聯(lián)盟中的卡通風格角色Seraphine，以推特賬號分享自己的“照片”

本文集中關(guān)注的方向是高保真、可實時驅(qū)動的虛擬人，有以下三個重要的技術(shù)方向：高保真、智能化、工具化。我們距離超級數(shù)字場景中千人千面的數(shù)字化存在，又有力地前進了一步。

在視覺表現(xiàn)層面，做出從外形、表情到動作都1：1還原真實人的高保真虛擬人（DigitalDoubles），如數(shù)字奧巴馬；運用人工智能，使虛擬人初具智能和情感表達，如微軟小冰；開發(fā)更輕量、便捷的工具，讓藝術(shù)家和普通用戶都能快速生產(chǎn)高品質(zhì)美術(shù)資產(chǎn)，或自己的數(shù)字孿生體，如Epic的metahumancreator。

為什么要首先瞄準這些方向？

首先，做1：1還原的虛擬人存在很多技術(shù)難點，值得挑戰(zhàn)。

人類視覺對同類的形象、特別是對面部高度敏感，在似像非像的階段，很容易跌入“恐怖谷”。所謂畫鬼容易畫人難。

因此，***風格化的虛擬角色成為另一種選擇，卡通形象做出夸張化的動作表情并不會嚇到觀眾，還為藝術(shù)創(chuàng)作留下很大空間。影視等非實時渲染領域，也探索出數(shù)字化復制、合成真實人類外形的技術(shù)，正向?qū)崟r渲染的游戲、***會議等領域進行遷移。

即使突破了靜態(tài)下擬真的瓶頸，如何讓虛擬人自然地動起來，更是一大難題。

人類能從對方的表情、肢體中讀取豐富的非語言信息，反過來說，虛擬人表情和動作中些微的不自然都能被察覺到。簡單一個皺眉，牽動骨骼肌肉皮膚一系列變化。如果用手工的方式調(diào)整，工作量極其巨大。

AI在此有不可替代的價值——通過合理架構(gòu)，利用人類動作和表情數(shù)據(jù)集，AI能以人類為藍本來學習，甚至學到被人類忽略的微妙細節(jié)，比如辨別目標是否在說謊。

未來在類似頭號玩家的數(shù)字場景中，每個用戶都需要自己的虛擬形象，***世界中大量的非用戶角色（NPC）也需要做到千人千面。

影視級***的流程和效率顯然不適用。因此，需要為藝術(shù)家、一般創(chuàng)作者和普通人，提供符合各自能力和需求的***工具與素材。

要做到這些方向，需要基礎學科的支撐，需要一系列精密硬件、技術(shù)、算法和軟件的相互配合，更需要跨界的力量。

四、從很像到很真：影視級照片建模技術(shù)

***實時渲染、高保真、可交互的數(shù)字人類，需要影視、游戲兩個領域技術(shù)的取長補短。影視很真實但不實時，游戲正好相反。

影視領域的成熟技術(shù)lightstage光場攝影，率先解決了“真實度”這一難題。

通過傳統(tǒng)流程***出的游戲角色，仍與真人在細節(jié)上有一定差距。

角色***遵循一條由虛向?qū)嵉穆窂剑话懔鞒虨?D原畫設計-3D建模-貼圖-骨骼綁定-動畫***。因顯卡運算能力和引擎渲染能力不斷攀升，寫實風格的角色效果正不斷向影視級靠近：角色可使用的面數(shù)不斷增加，材質(zhì)提升，細節(jié)完善，這從《古墓麗影》系列主角勞拉的形象變化可見一斑。

歷代勞拉，越發(fā)真實

影視領域則選擇由實向虛，高保真數(shù)字模型***與后期處理能力結(jié)合，誕生出讓人瞠目結(jié)舌的特效成果。

電影《本杰明巴頓奇事》講述了主角返老還童的一生，將布拉·德皮特的面部模型與不同體型的演員合成，演繹角色從老年至嬰兒的形象變化。

這也是在電影中實現(xiàn)的第一個照片級真實數(shù)字主角（thefirstphotorealdigitalmaincharacterinafilm——PaulDebevec）。

皮特本人與使用面部合成技術(shù)后的形象

關(guān)鍵技術(shù)支撐，來自南加州大學教授PaulDebevec自2000年啟動的lightstage光場攝影項目研究。

這屬于photogrammetry范疇，使用單個場景拍攝的多張不同角度照片來重建3D空間中的CG模型。回憶下《***帝國》中的子彈時間特效，現(xiàn)場有多臺攝像機，用不同角度的影像重建出可360°旋轉(zhuǎn)的場景。

lightstage正是通過構(gòu)造相機陣列，以多角度、高精度照片，既還原拍攝人物的三維結(jié)構(gòu)，也獲取面部的反射信息，從而能在不同環(huán)境光下重構(gòu)人臉模型光效。

lightstage在不斷迭代中解決了技術(shù)和工程難點，包括高精度皮膚紋理合成、光照與環(huán)境隨時統(tǒng)一、更準確快速的采集過程。

lightstage5，《本杰明巴頓奇事》《蜘蛛俠3》《阿凡達》等均使用過

以下是PaulDebevec團隊在SIGGRAPH2008發(fā)布的DigitalEmily，你能分辨出哪一個是真人，哪一個是虛擬人嗎？

左邊是虛擬人

來自影視的照相建模、高精度3D掃描、面部和動作捕捉相關(guān)技術(shù)，已經(jīng)應用到游戲的實時渲染領域，為表現(xiàn)力帶來飛躍。如何進一步滿足虛擬人實時交互的需求呢，比如，讓演員的表情與虛擬人達成“神同步”？多個技術(shù)團隊展開了探索。

五、從形似到有神：AI助力多樣化人物驅(qū)動

為了讓虛擬人和我們自然地交流互動，騰訊NExTStudios與AILab在虛擬人Siren（演員實時表情動作驅(qū)動）-SirenAI（語音文字驅(qū)動）-MattAI（更真實情感表達）項目歷程中，逐步探索“秀外慧中”的全方位能力。

2017年啟動的虛擬人Siren項目，目標正是Crossingtheboundary：

跨越影視和實時渲染邊界，***可實時交互的數(shù)字人物；在高保真角色基礎上，進一步增加高精度的實時動作捕捉與渲染。

2018年5月，Siren驚艷亮相，激起了人們對虛擬人技術(shù)的無限暢想。

Siren的特性是實時表情動作驅(qū)動，涉及多方向的技術(shù)突破，在多國企業(yè)協(xié)同合作下完成：

美國的Epic發(fā)起和協(xié)調(diào)項目，以Unreal引擎整合模型、貼圖、動作等數(shù)據(jù)資源；塞爾維亞的3Lateral***高精度人物模型，同時建立綁定，為演員和虛擬人的同步搭建轉(zhuǎn)換橋梁；英國的CubicMotion，負責實時的表情捕捉；NExT作為項目所有者，提供基于Unreal引擎的高質(zhì)量的人物渲染，也積極參與研發(fā)的全過程。

Siren亮相2018年GDC，演員是姜冰潔小姐姐

技術(shù)的進步為Siren賦予了逼真的3D形象，我們能否進而為她賦予精致的“靈魂”呢？

2018年下半年的SirenAI項目，旨在讓虛擬人不止步于“提線木偶”，將智能音箱、語音助手與人自主交互的能力賦予Siren，讓她獨立做到能聽、會說。

這涉及多個AI研究和工程領域，包括語音識別（ASR）、自然語言處理（NLP），語音合成（TTS），語音驅(qū)動面部動畫（ADFA）。難點集中在最后一步，核心是利用AI訓練出語音/文字和面部模型肌肉控制間的對應關(guān)系，然后進入渲染引擎、驅(qū)動虛擬人。

原理展示

2019年，NExT自主***了男性虛擬人Matt，自主完成一整套高保真虛擬人的研發(fā)流程，并結(jié)合騰訊AILab能力，探索語音自驅(qū)動且能表達情緒的虛擬人技術(shù)，將語音、情感、生動的面部表情緊密關(guān)聯(lián)起來。相關(guān)研究在2019年的SIGGRAPH頂級會議上展示。

為此，團隊建立了一套精確的面部動捕流程，以不同情感下的動作捕捉，來訓練語音驅(qū)動模型，最終構(gòu)造了一個長約20個小時、13339條語句的，包含語音、面部運動和身體運動的多模態(tài)訓練數(shù)據(jù)集。

在SirenAI基礎上，增加情感維度數(shù)據(jù)，讓Matt擁有微笑、蹙眉等微表情，多了更自然的“人情味”。

Matt的官方靚照

六、從PGC到UGC：工具化支持高效創(chuàng)作

從0開始***虛擬人，需要較長周期，耗費較高成本。例如Siren項目從啟動采集到能夠自然地活動，就用了接近半年時間。

在積累了一定數(shù)量人臉數(shù)據(jù)和素材的基礎上，更高效的工具應運而生，既滿足游戲***流程中藝術(shù)家創(chuàng)造多樣化角色的需求，也讓普通人能夠便捷生成屬于自己的虛擬形象。

較為有代表性的是騰訊NExTStudios的xFaceBuilder?與Epic的MetahumanCreator。

xFaceBuilder?是一套面向***開發(fā)者的全流程管線，能夠敏捷生產(chǎn)適用多種終端設備的數(shù)字人臉。

平臺基于自建的高保真人臉庫xFaceDepot，提供影視級人臉建模、綁定、動畫生產(chǎn)管線。

針對手機、PC、主機等不同的平臺和美術(shù)需求，提供了靈活的配置方式，已支持騰訊游戲的多款研發(fā)中游戲內(nèi)容。

平臺還結(jié)合AILab技術(shù)，支持單張/多張照片AI捏臉。綁定好的模型可通過三種方式動起來：大型項目、復雜動作使用Dynamixyz光學動捕。

如果需求不復雜，甚至可以直接打開最新款iPhone后置攝像頭，基于AppleARKit的輕量級面部動捕，以及更輕量級的語音驅(qū)動面部動畫生成。

NExTStudios和新華社聯(lián)合打造的數(shù)字記者小諍

近期，AILab的相關(guān)研究又取得了進一步的進展：僅需一段手機***視頻，就能在30秒內(nèi)合成一個高擬真度的3D虛擬人。

視頻輸入到AI模型后，只需30秒處理時間就能生成一個高擬真度的虛擬人，不僅臉型和五官形狀非常貼合，而且具有毛孔、唇紋、毛發(fā)級別的細節(jié)。再借助虛幻4引擎等基于物理的渲染引擎（PBR），可以得到真實感很強的虛擬人。

相關(guān)研究發(fā)表在了計算機圖形學頂級期刊ACMTransactionsonGraphics。

***快速生成虛擬人的流程及效果

2021年初Epic公布的MetahumanCreator工具，讓零基礎用戶也能“捏人成功”。產(chǎn)品基于預先***的高品質(zhì)人臉素材庫，允許用戶以自動混合、手動調(diào)節(jié)的方式快速生成虛擬人。

Siren項目后，Epic收購了3Lateral公司，得到多年積累的大量真人掃描高精度數(shù)字資產(chǎn)。

主要特性首先是高效的模版混合技術(shù)，可以融合多張基礎臉后快速得到一個全新面孔，且栩栩如生，擁有細膩的微表情動畫；二是云端渲染，使用者無須擁有高端顯卡，本地操作通過網(wǎng)絡傳輸?shù)皆贫耍秩竞髠骰匾曨l流，使***過程做到輕量、優(yōu)質(zhì)、便捷。

但這種方式也有局限性，利用已有人臉數(shù)據(jù)意味著無法隨心所欲地創(chuàng)造角色。因此，工具定位在零基礎操作、高品質(zhì)、快生產(chǎn)，小團隊可以直接生成自己的作品主角，大幅提升美術(shù)效果、節(jié)約創(chuàng)作成本；大公司則可以批量***3A級游戲中的NPC。

MetahumanCreator***界面

七、虛擬人可以做什么？

虛擬主播的風靡，證明風格化的虛擬角色在商業(yè)層面充滿可能性。那高保真風格的虛擬人又適用于怎樣的場景呢？

真實系虛擬偶像盡管當下二次元風格的虛擬主播更為主流，但真實系偶像的潛力同樣不可小覷。當虛擬人的***精度、動作自然度跨越恐怖谷，自然也有望跨入優(yōu)質(zhì)偶像的行列，并有更廣的應用場景。

韓國藝術(shù)家金賢日（Hyeong-ilKim）創(chuàng)立的SUA項目正是以打造真實人類形象的虛擬偶像為目標。SUA由CG技術(shù)***，在Unity引擎中實時渲染。雖然外形精度不及掃描真人模型后***的效果，但也足夠擬真。

如果使用最新款支持面部捕捉的iPhone，小姐姐會模仿你做出扭頭、撅嘴、轉(zhuǎn)動眼睛的動作，十分流暢。SUA擁有自己的Twitter，不定期更新自己的日常活動。金賢日正在“培養(yǎng)”SUA的各種才藝技能，讓她“出道”后可以應對各種各樣的場景任務，如模特、演員、歌手等。虛擬人SUA用iPhone12mini實時跟蹤的效果

在數(shù)字影片中擔任演員使用游戲引擎***寫實風格的影像短片已并非難事，但“虛擬演員”，也就是高質(zhì)量的人形美術(shù)資產(chǎn)，在數(shù)量和質(zhì)量上都不易達到影視***的需求。在虛擬人***逐步成熟后，這一問題得到了初步解決。

在2021年Epic官方及合作伙伴發(fā)起的短片競賽中，科幻題材實時渲染短片《K.I.T》就使用了多個虛擬人作為主要演員，以精良***斬獲多個傳統(tǒng)電影獎項。短片中“出演”的角色包括Renderpeople、3DPeople中的數(shù)字人物角色，及從Eisko官網(wǎng)下載的免費高保真虛擬人Demo——露易絲（Louise）。

作者布蘭登·希爾（BrandonHill）是一位并就讀于查普曼大學道奇電影與媒體藝術(shù)學院的學生。

上圖：短片《K.I.T》中的露易絲下圖：露易絲照片（左）及渲染后的虛擬形象（右）

重現(xiàn)已故的人還原已故的名人、親人形象，雖存在一定倫理挑戰(zhàn)，但也是很多人的真實需求。

韓國MBC電視臺紀錄片頻道在2020年2月曾利用VR與虛擬人技術(shù)，讓一位母親與三年前因白血病去世的女兒實現(xiàn)“重逢”。母親戴上VR眼鏡后，可以通過觸覺手套感知孩子的頭發(fā)、握住女兒的手，在虛擬空間中與女兒共度生日。

她在“重新見到”女兒Nayeon時泣不成聲，接受采訪時表示，“可能這就是真實的天堂”。技術(shù)人員通過Nayeon生前的影像和對同齡孩子進行動作捕捉，合成了Nayeon的聲音、動作和面部表情。臺灣電視劇《想見你》中也設計了類似劇情。

三寸天堂

電影《速度與***7》拍攝中，主要演員之一保羅沃克意外去世。虛擬人特效技術(shù)復原了他本人形象，以特效完成了剩余鏡頭拍攝，并特意在片尾設計一段他駛上分岔路、與主角團及觀眾揮手道別的場景，讓影迷們積郁的悲傷得以釋放。

再見，保羅

八、發(fā)展趨勢：更自然、更跨界、更安全

使虛擬人表現(xiàn)更自然，驅(qū)動方式更多樣。

特別是面部表情、眼神、肌肉運動的細膩流暢，既需要更多的真實數(shù)據(jù)、更優(yōu)質(zhì)的算法，也需要生物學、圖形學、影視業(yè)的跨界支持。軀體動作的加強也是未來方向，個性化的動作組合能彰顯虛擬人迥異的性格，增加親和力和可信度，這對虛擬主持、主播、客服等需要和直面用戶的領域十分重要。

此外，從用遙感和按鍵來“操作”角色，到用實時動補、語音和文字帶動角色，未來還需要更直觀、適合每個人的驅(qū)動方式。

推動產(chǎn)學研多方合作，推進行業(yè)聯(lián)盟建設。

如數(shù)字人類聯(lián)盟DigitalHumanLeague(DHLforshort)就是由多個高校、產(chǎn)業(yè)、行業(yè)專家共同成立，并建立了Wikihuman網(wǎng)絡項目，提供來自DHL成員的博客文章、圖文視頻資料及聯(lián)盟成員可以公開的虛擬人項目文件。

例如南加州大學ICT視覺與圖形實驗室就在項目中分享了2015年成果——虛擬人Emily的原始數(shù)據(jù)、shader步驟、參考圖像和模型，使研究者能夠跟進與實踐。

加強對人臉數(shù)據(jù)、AI技術(shù)的合理使用，倡導“科技向善”。

盡管技術(shù)上已初步支持通過照片、視頻快速生成虛擬人，同時3D虛擬人因為與周圍環(huán)境融合效果差，較難偽造人臉識別結(jié)果。但我們也要在未來發(fā)展中，重視加強合理使用和風險防范。

例如，人臉合成應用初期發(fā)布時出現(xiàn)了一些濫用案例，包括合成惡意影像、偽造虛假錄像等。業(yè)界正在積極開發(fā)活體識別等技術(shù)，以便能盡早發(fā)現(xiàn)和清除網(wǎng)站中的偽造內(nèi)容。

騰訊研究院也在持續(xù)跟蹤“深度合成”方面的政策進展與技術(shù)應對方案。將相關(guān)技術(shù)部署到虛擬人應用中后，被合成虛擬人冒用身份的風險會顯著降低，視頻網(wǎng)站和社交網(wǎng)絡等內(nèi)容平臺也能快速高效地清理惡意合成的影像。

感謝騰訊NExTStudios顧煜、葛誠、姚安，騰訊AILab暴林超，廈門大學郭詩輝，騰訊研究院曹建峰等多位老師在本文寫作過程中給予的支持與幫助！

參考文獻：

騰訊NExTStudiosSIREN.https://www.nextstudios.com/cn/tech/siren.html騰訊AIlab虛擬人能力python代碼開源地址https://github.com/tencent-ailab/hifi3dface知乎專欄WangHawk《LightStage:無限真實的人臉三維掃描》https://zhuanlan.zhihu.com/p/163719726知乎問題《如何拍攝一部短片或者微電影？》中用戶“毀男孩的小圖紙”的回答：https://www.zhihu.com/question/25310626/answer/1932877078Eisko公司的虛擬人露易絲（Louise）https://www.eisko.com/services/digital-humansWikihuman項目網(wǎng)站http://www.wikihuman.org/南加州大學ICT實驗室官網(wǎng)https://vgl.ict.usc.edu/Data/DigitalEmily2/環(huán)球網(wǎng)，韓國母親通過VR技術(shù)與去世女兒重逢https://***art.huanqiu.com/article/3wzQ981IkgQ，2020-2-11基于Unity渲染的SUAhttps://zhuanlan.zhihu.com/p/345423886

作者：胡璇，騰訊研究院數(shù)字內(nèi)容中心高級研究員；公眾號：騰訊研究院（ID：cyberlawrc）

本文由@騰訊研究院原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議