数字人全集
Mixlab
請查閱 Mixlab·社群數字人討論合輯，文末附有合輯資料匯總～
數字人·專題分享合輯目錄
#01?數字人驅動方式?
離線式驅動
實時驅動
跨平臺數字人形象統一接入工具
#02?數字人虛擬偶像制作
虛擬偶像創作與運營指南
虛擬形象制作開發工具
#03?數字人實業應用場景
數字人 &?社交
數字人?&?文娛產業
數字人?&?情感陪伴
數字人?&?工業產品與場景
#04?數字人發展趨勢展望
發展路徑維度分析
數字人?& 精神外骨骼
數字人?& 精神陪伴
#01
數字人驅動方式
1.1 離線式驅動
Mixlab
如果你擁有了自己的數字人，會將如何使用ta？
小杜
我需要一位虛擬主播來播報我的推送文章～
最近正好嘗試了一種虛擬人的解決方案
shadow
小杜
厲害了，制作用到了什么技術？
TTS+一張圖片+一段驅動動作（first order motion）
shadow
小杜
查閱了下資料，這種驅動數字人屬于?First?order?motion?model
-?First Order Motion Model for Image Animation
# 功能?&?自評
無需對目標圖像進行任何加注或者信息預處理，就可依據動畫驅動數據源的動畫軌跡來生成動畫。
Our framework scores best on diverse benchmarks and on a variety of object?categories.
#項目 & 論文地址
aliaksandrsiarohin.github.io/first-order-model-website
github.com/AliaksandrSiarohin/first-order-model
-?TTS 技術
Test-To-Speech?使用語音 API 將書面文本轉換為具有多種聲音和語言的自然語音。用生成的語言與世界各地的客戶交談，創造更好的客戶體驗。?
#?vonage?專業文本轉語音工具
#?Synthesia?運用TTS +?first order motion 的數字人視頻生成工具
1.2 實時驅動
ML1726
上述案例多用于“離線式”的數字人應用場景。如果需要與數字人進行實時的交流溝通，有項目采用的是 ASR+TTS+Audio2face 方案。
ASR 自動語音識別 + TTS 文本轉語音 +Voice2Face 語音控制驅動模型（聲音數據對應的標簽是模型動畫的 blendshape 權重）
小杜
可以上手體驗下開源項目，自己制作數字人
-?FACEGOOD
FACEGOOD?將音頻轉換為混合權重（blendshape 權重），并在 UE 項目中驅動數字人小美。FACEGOOD為小美打造的Test部分和UE項目不提供商業用途，僅供測試使用。
#項目地址
github.com/FACEGOOD/Voice2Face
1.3 跨平臺數字人形象統一接入工具
ML1593
舉手🙋?♂?，現在比較困擾的問題是通用元宇宙身份解決方案。將一個通用的虛擬形象遷入多個平臺有什么簡單快捷的方法嗎？
或許從攝像頭這塊接入是最便捷的方法？這類數字人算是元宇宙的初級分身了。
shadow
- Snap Camera
Snap Camera?可調用用戶設備的攝像頭，在任何平臺使用攝像頭輸出頭像或視頻時均可使用Snap Camera的濾鏡庫
小杜
試試用 Snap Camera 遷入 Vland 元宇宙空間
小杜
用攝像頭作為跨平臺通用形象接入的切入口還挺簡易高效的，只是效果渲染層面還有待提高哈，期待?攝像頭—完全體數字人化身?產品的出現。
#02
數字人虛擬偶像制作
2.1?虛擬偶像創作與運營指南
Mixlab
要創造一位虛擬偶像，可以從哪些方面考慮ta的形象要素？
小杜
無論虛擬還是現實，成為偶像都無法避開三個關鍵 “指標”——
1.靚麗（吸引人）的外表
2.獨特的才藝
3.魅力個性。
而虛擬偶像，ta的 “功能性” 要更強，粉絲們可以通過更多的技術手段、通道來與虛擬偶像進行互動。
共享共創，是虛擬偶像的優獨特勢——粉絲們擁有更大的對于偶像的期待決定權；同時，虛擬偶像也能擁有千人千面的形象管理系統來滿足不同粉絲群體的期待要求。由粉絲塑造偶像的多重可能，這是與真實偶像以個人魅力引領粉絲追隨的模式大不相同的。
Mixlab
現有的虛擬偶像主要有哪些類別？
知識庫
從身份定位上看，虛擬偶像可分為：虛擬藝人偶像、真實藝人（工作人員）數字分身
——以是否在真實世界存在人物原型來區分；
從技術實現與視覺表現類別上看，虛擬偶像包括
1.IP運營為主的二次元虛擬偶像
2.超寫實虛擬偶像
3.完全算法驅動的人工智能虛擬偶像（完全擺脫人類控制）
——以是否有人類運營團隊進行管理（虛擬偶像智能程度）以及2D/3D視覺效果加以區分。
小杜
ibrand?Talk 16期詳細談到了虛擬人的形象管理系統
Mixlab
要塑造一位虛擬偶像，而不是虛擬產品，如何體現ta的生命力呢？
ML322
我覺得可以從偶像IP價值與粉絲情感需求兩個方面來思考虛擬偶像的生命力。虛擬偶像IP的底層價值是通過打賞等粉絲情緒價值行為進而創造經濟價值來維系團隊運作，這也是IP生存的基本條件。通過新V聯動組團出道、開展有個人特色的公開活動以及有一定品質保障和風格的切片短視頻宣發等等方式保證IP價值持續保值、不斷升值。
虛擬偶像的高位價值大小與粉絲群體的精神娛樂需求滿足程度緊密聯系，也是虛擬偶像生命力的核心。我最近親身體驗了虛擬偶像?天倉五Alice?的運營內容。該虛擬偶像運營結合電競（打游戲）和歌回（唱歌）優勢，平衡兼顧了男女粉絲群體的娛樂需求，諸如投票等公開活動帶給了粉絲養成系的情感滿足感，匿名提問箱等多渠道曝光豐富了與DD（粉絲術語-喜歡多個虛擬主播，愛好廣泛的粉絲）的互動頻率和方式，大幅增強了偶像IP生命力。
VUP（b站虛擬主播）虛擬偶像?天倉五Alice
小杜
虛擬偶像發展史：TA們到底如何成功？萬字復盤
這篇推文詳細介紹了虛擬偶像的發展史～
元宇宙記者又來活兒了，去報道下虛擬偶像的制作工具？
shadow
小杜
先總結下虛擬偶像 “造星” 指南
A.人設形象塑造
1.靚麗（吸引人）的外表
2.獨特的才藝
3.魅力個性
4.共享共創
B.形象類別
1.虛擬藝人偶像
2.真實藝人數字分身 or
1.IP運營為主的二次元虛擬偶像
2.超寫實虛擬偶像
3.完全算法驅動的人工智能虛擬偶像（完全擺脫人類控制）
C.偶像生命力
1.偶像IP價值
2.粉絲情感需求滿足
考察虛擬偶像制作工具可從形象類別入手，分二次元/超寫實/算法驅動，三類創作工具進行總結。
2.2?虛擬形象制作開發工具
2.2.1?二次元虛擬偶像開發工具
?-?Live2D
Live2D 是一種生成 2D 動畫的技術，角色通常是動漫風格。該技術使用基于插圖的連續分層，不需要逐幀動畫或 3D 模型，使角色可以在保持原始插圖的同時以低成本進行運動動作。
- Vroid?Studio
Vroid?studio?支持用戶簡單快捷創建虛擬人物，功能包括捏臉系統、身體塑造系統與服飾設計系統
小杜
Live2D?偏向于原畫稿件的動畫生成設計；Vroid Studio?偏向于二次元虛擬形象設計。Live2D?是b站?VUP（b站虛擬偶像）熱門的創作工具，對 “造星“ 感興趣的同學推薦上手嘗試下哦～
2.2.2 超寫實虛擬形象開發工具
- Avatary
Avatary 是 FACEGOOD 推出的一款集表情建模，綁定，面部捕捉及驅動的全流程軟件，能幫用戶高效地解決人臉表情的采集—、解析、驅動及快速綁定等問題，應用于虛擬偶像和虛擬直播等新興的領域。?
- MetaHuman Creator
MetaHuman Creator 是一款基于云服務的應用，能幫助任何人在幾分鐘內創建照片級逼真的數字人類。MetaHuman 包含完整的綁定，可在虛幻引擎項目中用于制作動畫。
小杜
兩款超寫實數字人創作工具都非常地驚艷，可以支持低成本快速高效地創建超寫實數字人。對超寫實虛擬偶像直播、游戲等領域感性興趣的同學強烈推薦上手體驗。
2.2.3智能驅動虛擬形象開發工具
- UneeQ Creator
UneeQ Creator 支持用戶在幾分鐘內設計、開發和部署定制化、人工智能驅動的數字人類。用戶可以非常容易地利用現有數據制作聊天機器人或應用程序，使各類數字人應用場景的部署與用戶體驗更為人性化。
- Pinscreen
Pinscreen 運用AI 面部合成技術 (paGAN) 與包括語音識別和語音合成的 NLP 等技術，為用戶提供包括虛擬助手制作、人工智能換臉與形象生成、動作捕捉等多功能的 AI數字人制作工具。
小杜
UneeQ?Creator?更側重終于智能驅動數字人與用戶的對話交流與用戶體驗細節，并通過AI 動畫系統擴展到全身交互，數字人還能夠通過視覺、語氣和空間意識進行更為生動的交流。Pinscreen?相對而言功能更加廣泛，玩法較為多樣。但是相較于完全脫離人工控制的完全智能體還是有很大的差距。或許將來的某個時間點，愛因斯坦會通過數字分身的形象?“完全復活” 與世人再次進行智識層面的交流。
#03
數字人實業應用場景
Mixlab
虛擬數字人與實業應用場景有哪些結合可能？
ML1680
虛擬人日記/虛擬人手表
虛擬人夜店/虛擬人樂隊
虛擬人名片/虛擬人簡歷
虛擬人彩鈴/虛擬人病歷
虛擬人相親/虛擬人陪伴
......
知識庫
來一個調研，尋找下數字虛擬人在日常生活與實業應用場景中有哪些優秀的產品與解決方案？
小杜
我先做一下歸納總結～
1.數字人 &?社交
2.數字人?&?文娛產業
3.數字人?&?情感陪伴
4.數字人?&?工業產品與場景
......持續探索中～
3.1 數字人?& 社交
名片、簡歷等物件與各類社交活動都需要充分展現個人的亮點信息。數字人作為現實用戶的虛擬化身可更生動與多感知通道地傳遞個人信息，提升社交體驗，“提亮” 個人特色。
-Linktree
Linktree 是一家數字身份管理服務商，主要為社交媒體用戶提供數字身份展示工具，并通過URL分享到各平臺，形成用戶的數字名片。用戶可以通過 Linktree 更新其視頻、電商、博客等多網站的地址，也會生成專屬鏈接，類似數字名片，用于用戶的數字身份展示。Linktree 已獲得4500萬美元B輪融資 。
Linktree 支持用戶的跨平臺使用?，可以在任何應用平臺上對接用戶的社交受眾。
Linktree 可視為最新視頻、文章、食譜、旅游、商店、網站、社交帖子的啟動板——無論用戶在哪里在線都可以迅速啟用所需功能。
Mixlab
關于數字名片，有沒有優秀的 3D 展方案？
-MindAR
MindAR 是一個網絡增強現實庫。突出特點包括：
1.支持圖像跟蹤和人臉跟蹤。對于位置或基準標記跟蹤；
2.用純 javascript 編寫，從底層計算機視覺引擎到前端的端到端；
3.利用 gpu（通過 webgl）和 web worker 來提高性能；
4.開發人員友好，易于設置。使用 AFRAME 擴展，只需 10 行代碼即可創建應用程序。
項目地址：
https://github.com/hiukim/mind-ar-js
小杜
光有名片展示還不夠，有效社交要參加正式活動才算數～
-?Vland 元宇宙數字分身相親活動
當代青年對于「社會關系」的處理往往極度敏感，Mixlab 社區五年來各種線上線下活動小計有幾百場，線下的「社恐」們線上轉身變「社牛」，Vland 虛擬社交的流行，也就順理成章。?
3.2 數字人?& 文娛產業
虛擬主播、偶像用數字虛擬人作為傳播媒介可以增強其趣味性與用戶吸引力，提升傳播效益。包括線下娛樂消費場所，如酒吧、夜店等等 “氛圍感” 需求強烈的場景，數字人的介入也可以營造獨特豐富的 “氛圍”，獲得更高的流量。
- 修狗夜店
b站 up 用 Unity 開發的虛擬蹦迪夜店。用戶可以 “cheers”?狗狗的數字人分身在虛擬夜店中參與各式蹦迪活動。直播間的巔峰人氣能夠達到60萬，吸引了王者榮耀、永劫無間等大流量游戲的青睞。
-?國內首個虛擬 DJ-Purple
摩登天空與萬像文化旗下虛擬音樂藝人廠牌 NO PROBLEM 正式簽約由次世文化推出的虛擬 DJ-Purple。
3.3 數字人?& 情感陪伴
除卻專注于 “高科技 & 高性能” 的技術路線，數字人還可以在情感陪伴需求層面上走上另一條應用產出方案。日記手帳、虛擬陪伴等偏?“交心” 的情感溝通場景，數字人也可以為用戶提供情感上的支持。
- Replika
Replika 是一個 AI 陪伴產品，可以通過對話幫助用戶獲得情感支持，尤其對孤獨、抑郁或缺乏社交聯系的人特別有幫助。Replika 試圖通過談論人們的日常、興趣和生活來鼓勵和支持人們。目前有 1000 萬注冊用戶，每周向 Replika 發送超過 1 億條消息。
Replika 支持以不同的方式處理對話，可以理解和回復短信或通過語音與人交流。用戶可以向 Replika 發送照片或在增強現實中與其交談并進行體驗反饋。
3.4?數字人?& 工業產品與場景
數字虛擬人在社會身份與生命實體上是 “虛” 的，但這不意味著數字人無法脫離 “屏幕” 載體與用戶進行互動。數字人展示產品正在從“屏幕”擴展到豐富的實體展現形式。
除卻數字人展覽互動產品，在工業應用級別的場景中，數字人也在發揮功效。如運用整合虛擬與現實的數字人體建模來進行產品開發早期的物理人體工效學評估、職業技能教學與實操模擬等，都是數字人與工業應用場景結合中應用價值非常高的案例。
-Gatebox
Gatebox 是一款支持用戶與虛擬角色一起 “生活、交流與互動” 的通信與展示設備。
-?工業應用場景
Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review?該論文綜述了虛擬現實技術與數字人體模型在工業產品開發中的應用，包括人體工效學研究、行業研究與輔助接入設備系統的介紹。
數字人在航空航天與建筑行業研究中的應用。
數字人應用于人體工學分析
數字人接入操作設備系統
論文地址：
https://www.mdpi.com/2076-3417/12/3/1084
#04
數字人發展趨勢展望
4.1?發展路徑維度分析
Mixlab
虛擬數字人有哪些發展路線？如何理清發展趨勢？
隨著計算機圖形學與深度學習等基礎技術的發展，虛擬數字人的 “形象” 特征與 “智能程度” 會愈加支持 “超寫實” 風格與更 “聰慧” 功能的實現。
小杜
工具、技術始終服務于內容產出，夠用、用好就行。“超寫實” 不一定在任何應用情景中都比 “二次元”?好，同樣虛擬數字人的智能程度也并非越高越好，這取決于用戶是否感覺 “舒適”。單純用數字人形象與智能化程度發展來分析未來趨勢還是不妥的。
知識庫
以?“工具” 與 “情感” 兩條應用路線為參考分析數字人發展趨勢或許更為合理？兩個方向都是以“技術”為基點，但發展為不同的應用路線。
精神外骨骼數字人是人類感知與運動的外部衍生，作為真人實體的映射。如人體運動與設備操作映射于行業相關研究的數字人，或人體生理數據映射于數字人用于醫療實驗與藥物預測以及日常生活中所需的自我信息介紹展示等。情感陪伴數字人是人類情感需求的內部補充，作為被愛、被傾訴與共同陪伴的情感寄托對象，如虛擬好友、虛擬陪護以及虛擬偶像所包含的陪伴屬性等。
小杜
以論文?Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review?為分析視角探索數字人“精神外骨骼” 的發展方向；以產品?Replika?為典型案例探索數字人 “情感陪伴” 的實現方案。
4.2 數字發展趨勢—精神外骨骼
- Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review?
小杜
我提取了24頁論文的關鍵信息點，請查閱濃縮信息12條～
# 摘要 & 關鍵信息點
1.該研究分析了虛擬現實和數字人體建模在工業產品開發過程中用于物理人體工程學評估的應用。
2.大量研究集中在汽車和航空行業。
3.虛擬現實市場預計將從2021的63億美元增長到2028的840億9000萬美元。
4.隨著低成本設備（如無標記運動捕捉）的出現，越來越多的組織在不充分了解其整體性能和缺點的情況下，將虛擬現實技術用于制造業的人體工程學評估。
5.2020年，研究人員、開發人員和數字人體建模行業利益相關者將虛擬現實評為數字人體建模和仿真研究及應用趨勢中最常被引用的技術。
6.與虛擬現實和數字人體建模相關的專利申請呈指數級增長的趨勢還將持續20年。
7.虛擬現實與數字人體建模常被應用于 a.能源工業 b.航空航天工業 c.建筑業 d.工業廠房 e.汽車工業 f.未定行業。
8.本文總結了虛擬數字人應用于產業所用的硬件、設備、裝置和儀器。
9.?本文總結了虛擬數字人應用于產業所用的軟件、編輯器、工具、框架和引擎。
10.本文展示了一項使用 Unity 游戲引擎的研究的硬件和軟件架構（軟硬件結合）。
11.總結綜述每篇引文中提到的方法、硬件和軟件。
12.本篇綜述涉及目前的虛擬現實與數字人體模型在工業產品開發中的應用領域、方法、使用的硬件和軟件等各方相關的最新進展、挑戰和機遇。
論文地址：
https://www.mdpi.com/2076-3417/12/3/1084
小杜
以本篇綜述為數字人趨勢分析切入視角再次精煉概括—
1.虛擬現實技術與數字人體建模技術應用市場規模長時間持續擴大中，上升勢頭猛烈。
2.虛擬數字人正在應用于各行各業中，有成為通用工具的潛質，Field Unspecified 正在持續開拓中。
3.軟硬件結合、虛實端結合的行業大趨勢應用于虛擬數字人同樣適用。精神外骨骼數字人應用開發可參考本文所列舉的軟硬件開發工具與代表案例。
---
接下來探索技術的情感路線～
4.3 數字人發展趨勢—精神陪伴
- Replika
特色 & 優勢
1.支持用戶與數字人以文本、語音、圖片與VR模式多維度溝通交流。
2.詳盡的用戶與數字人交流評估系統。
3.多種綜合的算法模型保證用戶舒適的交流體驗。
4.支持數字人進行圖像消息的理解與回復。
- 數字人多維交流系統
Replika 支持以不同的方式處理對話，可以理解和回復短信或通過語音與人交流。用戶可以向 Replika 發送照片或在增強現實中與其交談并進行體驗反饋。
- 數字人交流情感反饋系統
Replika 會詢問用戶三個感受選項——更好、相同或更差來判斷對話服務是否對人們有所幫助。Replika?會通過這些用戶的反饋，計算出積極對話與負面會話的指標比例，并作為參考對后續對話服務進行修正。
用戶還可以對每個 Replika 的消息進行反饋。如果他們喜歡，他們可以投票贊成，如果他們認為反應不好，可以投票反對。
更具體的反饋包括單擊贊成和反對選擇外的四個額外反應。Replika?通過這種方式了解用戶喜歡或不喜歡某些回復的原因，從而進一步了解人們通過與 Replika 交談的感受。
- 智能架構
當用戶發送消息時，Replika?會結合有關的用戶配置文件、當前對話上下文和最后用戶響應的所有數據，然后將它們發送到對話引擎。智能架構由負責文本、圖像的理解、對話生成響應等組件組成。
檢索對話模型
GPT-3對話生成模型
Reranking 重新排序模型
圖像理解模型
小杜
以?Replika?為例總結技術的情感陪伴路線—
1.NLP 自然語義算法類應用于文本與圖像對話理解、生成；
2.多維通道的數字人交互體驗；
3.情感計算與用戶情感度量方法。
知識庫
虛擬數字人是由計算機圖形學、深度學習等技術手段為創造基礎，在非物理現實空間的 “比特” 信息世界中擁有多重人類特征的產物。技術做為虛擬數字人的根基，發展的趨勢之一——成為人類精神外骨骼。同時，虛擬數字人包含 “人” 的特征屬性，那么另外一條發展路線便是內化為人類的精神陪伴支撐。前者代表數字人 “工具” 層面的發展趨勢，后者體現 “情感” 層面的發展趨勢。
數字人專題完結～
shadow
opus
歡迎加入社群，探索 數字人 的多樣玩法～
備注：數字人
[ 元宇宙創作者指南?]?
[ 元宇宙資源清單?]
github.com/shadowcz007/awesome-metaverse
數字人專題總輯篇資料匯總
# 創作工具
Vonage?專業文本轉語音工具
Synthesia 文本轉數字人視頻生成工具
Live2D 生成2D動畫創作工具
Vroid?Studio ?二次元形象創作工具
Avatary 超寫實數字人創作工具
MetaHuman Creator 超寫實數字人創作工具
UneeQ Creator 智能驅動數字人創作工具
Pinscreen?智能驅動數字人創作工具
#?開源項目地址
First Order Motion Model
https://github.com/AliaksandrSiarohin/first-order-
model
Voice2Face
https://github.com/FACEGOOD/Voice2Face
MindAR
https://github.com/hiukim/mind-ar-js
#? 論文地址
?First Order Motion Model for Image Animation
aliaksandrsiarohin.github.io/first-order-model-website
Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review
https://www.mdpi.com/2076-3417/12/3/1084
#? 產品 & 案例
Snape Camera?攝像頭濾鏡庫
Linktree?數字身份管理服務商與展示工具
修狗夜店?虛擬蹦迪夜店
DJ-Purple?虛擬DJ
Replika AI陪伴產品
Gatebox 虛擬數字人展示互動產品
#? 公眾號推文鏈接
元宇宙記者前線報道#數字人·潮牌元宇宙
Decentraland元宇宙時裝周，穿戴式NFT的興起
字節投資首位情感連接的數字人？數字人構建方法和元宇宙身份系統
融資1350萬美元，待開啟的元宇宙·數字人
虛擬偶像發展史：TA們到底如何成功？萬字復盤
數字人1024
"復活"愛因斯坦
1 分鐘搭建元宇宙 ，帶你穿越次元大冒險
#? 社區活動推薦
Mix宇宙小酒館展覽地址：
https://beta.vland.live/app/scene?eventId=61eec7e0f20ef01f63b7539a
總結
- 上一篇： java 拒绝连接_java.net.C
- 下一篇： 模糊神经网络2--基于ANFIS的混沌时