推薦閱讀：

聚焦“數字主持人”|對話SMG虛擬新聞主播“申?雅”設計者與平臺方

聚焦“數字主持人”|對話浙江廣電數字主持人谷小雨的設計運營方

(資料圖片僅供參考)

虛擬數字人已在廣電視聽多領域嶄露頭角。扎實推進媒體深度融合，新賽道下，“數字主持人”應用場景還有哪些可能？又會為行業(yè)帶來怎樣的變革？

聚焦數字化轉型以及媒體智能化發(fā)展，推出特別策劃，聚焦“數字主持人”。本文通過詳解河北廣播電視臺（集團）“冀小佳”的形象設計、動作捕捉等，還原數字主持人的誕生全記錄。

河北廣播電視臺（集團）的電視制作中心于2022年4月開始啟動數字虛擬主播的研發(fā)任務，10月正式投入使用。

其間，河北廣電通過堅持自主研發(fā)，參考大量國內外其他平臺的節(jié)目形式及虛擬形象，完成了團隊由傳統(tǒng)電視包裝制作到數字人制作的業(yè)務轉型。

“卡通形象+寫實形象”的摸索

設計初期，團隊確定了卡通和寫實兩種風格，卡通風格主要以DAZ結合Zbrush和虛幻引擎來實現，寫實風格則借助于三維掃描技術及數字人創(chuàng)建器來實現。

團隊最先設計了“冀小佳”的卡通形象，服裝直接綁定身體，毛發(fā)為面片形式，設計人員為此出了大量的設計線稿和三視圖。

根據應用場景與角色定位，早期的主播形象整體風格偏年輕化、卡通化。

寫實形象主要采用三維掃描技術獲取面部模型，將模型在zbrush里做適當的雕刻處理，再進數字人創(chuàng)建器生成角色，角色服裝采用MD進行制作，毛發(fā)則使用xgen進行制作。

通過一系列摸索與調整，團隊產出了三個虛擬形象。第一個是已經投入使用的“冀小佳”，在10期《跟著鳥兒游河北》《臺媒體推介會》《深圳文博會宣傳片》中出鏡播報。

第二個角色為臺新聞主播李耀陽的數字形象，第三四為另外兩個備用虛擬主播。

團隊研究了基于Arkit的52個面部表情數據庫，在實踐中了解每個表情參數幅度對于面捕結果的影響，實現了任意風格角色面捕的可能性。

讓虛擬主播“動”起來

形象資產有了，如何讓主播動起來？團隊針對不同的應用場景確定了兩套制作流程：動捕驅動和傳統(tǒng)動作庫驅動。

動捕方面，運用青瞳的光學動捕設備結合無遠弗屆的慣性動捕手套，面部表情則采用蘋果端的livelinkface。

結合新聞播報本身主播動作較少的特性，團隊研發(fā)了動作庫制作的流程，前期采集一系列新聞播報常用的動作制作動作數據庫，后續(xù)只需要把每期播報的稿子線上發(fā)給主播中之人即可。

通過iPhone二次采集視頻畫面中的表情，從數據庫里加上適當的動作，同步好配音即完成節(jié)目的產出。利用這套線上制作流程，節(jié)省了協調團隊人員和調試設備的時間，更加機動靈活。

在產出了一系列的數字主播之后，團隊也開始著力打造虛擬偶像，面向短視頻平臺，定位較主流媒體主播形象更加輕松活潑。

團隊引入了更加高效的臉部修改技術，利用虛幻引擎變形插件及相關藍圖，實現虛擬角色面部的實時調整，并且結合中之人面部運動習慣時實訓練調試虛擬人五官的運動幅度。

為數字人選服裝

傳統(tǒng)角色動畫的服裝部分大多是三維軟件里做好動畫后導出fbx進MD，然后進行離線模擬，MD輸出abc文件再回套給三維軟件中的角色，制作流程復雜低效而且布料模擬極易出現問題。

針對服裝問題，團隊制訂了兩套方案。

一是利用MD制作服裝，直接將服裝綁定到角色。優(yōu)點是不用模擬，產出效率高，不會出現穿幫等問題，適合直播及對產出率要求高的欄目；缺點是缺乏布料的物理學特性，真實度打了折扣。

二是使用Epic官方推出的udraper插件，用MD制作好的服裝直接在虛幻引擎中用udraper賦予角色，布料可以時實模擬運動。優(yōu)點是布料更加真實自然；缺點是當服裝的層數多時容易發(fā)生問題，穿模、飛起等。

因此每個主播都有兩套服裝，一套綁定版，一套udraper版，這樣根據不同需求靈活切換。

數字人的制作除了以上技術上的要求之外，對于設計審美的要求同樣較高。

作為主流媒體的數字主播，僅僅是卡通形象顯然不夠嚴肅，團隊最終確定做一款寫實中帶有一些卡通或者可愛氣質的形象。通過不斷打磨，團隊在五官比例及位置上做了很多微妙調整，最終形成了一套角色設計理論。

技術與硬件的發(fā)展使數字形象制作的效率逐漸提升，數字形象有很多優(yōu)點，比如三維特效制作空間大、更加智能化、欄目制作產出時間地點更靈活。同時，其也存在一些不足，比如中之人不宜隨意更換，服裝替換成本較高，布料毛發(fā)等模擬技術不成熟等。

結合目前大火的ChatGpt，團隊正在研發(fā)數字角色的智能語音對話。具體流程是采用微軟的文字語音轉換技術，結合虛幻引擎及ChatGpt，將用戶語音轉換為文字輸入ChatGpt，再將ChatGpt返回的結果給到虛幻引擎，利用虛幻引擎的Metahuman SDK將文字語音轉換成角色表情動畫，實現真正的AI人機對話。

未來，數字角色應用與價值絕不止于視頻產品的產出，而是要結合AR、VR、 物聯網、區(qū)塊鏈等技術，真正實現 “元宇宙”概念，虛擬形象及虛擬資產會產生實際價值并滲透到社會的方方面面。

責任編輯：房家輝

關鍵詞：