数字人全集
Mixlab
請查閱 Mixlab·社群數(shù)字人討論合輯，文末附有合輯資料匯總～
數(shù)字人·專題分享合輯目錄
#01?數(shù)字人驅(qū)動方式?
離線式驅(qū)動
實(shí)時驅(qū)動
跨平臺數(shù)字人形象統(tǒng)一接入工具
#02?數(shù)字人虛擬偶像制作
虛擬偶像創(chuàng)作與運(yùn)營指南
虛擬形象制作開發(fā)工具
#03?數(shù)字人實(shí)業(yè)應(yīng)用場景
數(shù)字人 &?社交
數(shù)字人?&?文娛產(chǎn)業(yè)
數(shù)字人?&?情感陪伴
數(shù)字人?&?工業(yè)產(chǎn)品與場景
#04?數(shù)字人發(fā)展趨勢展望
發(fā)展路徑維度分析
數(shù)字人?& 精神外骨骼
數(shù)字人?& 精神陪伴
#01
數(shù)字人驅(qū)動方式
1.1 離線式驅(qū)動
Mixlab
如果你擁有了自己的數(shù)字人，會將如何使用ta？
小杜
我需要一位虛擬主播來播報我的推送文章～
最近正好嘗試了一種虛擬人的解決方案
shadow
小杜
厲害了，制作用到了什么技術(shù)？
TTS+一張圖片+一段驅(qū)動動作（first order motion）
shadow
小杜
查閱了下資料，這種驅(qū)動數(shù)字人屬于?First?order?motion?model
-?First Order Motion Model for Image Animation
# 功能?&?自評
無需對目標(biāo)圖像進(jìn)行任何加注或者信息預(yù)處理，就可依據(jù)動畫驅(qū)動數(shù)據(jù)源的動畫軌跡來生成動畫。
Our framework scores best on diverse benchmarks and on a variety of object?categories.
#項目 & 論文地址
aliaksandrsiarohin.github.io/first-order-model-website
github.com/AliaksandrSiarohin/first-order-model
-?TTS 技術(shù)
Test-To-Speech?使用語音 API 將書面文本轉(zhuǎn)換為具有多種聲音和語言的自然語音。用生成的語言與世界各地的客戶交談，創(chuàng)造更好的客戶體驗(yàn)。?
#?vonage?專業(yè)文本轉(zhuǎn)語音工具
#?Synthesia?運(yùn)用TTS +?first order motion 的數(shù)字人視頻生成工具
1.2 實(shí)時驅(qū)動
ML1726
上述案例多用于“離線式”的數(shù)字人應(yīng)用場景。如果需要與數(shù)字人進(jìn)行實(shí)時的交流溝通，有項目采用的是 ASR+TTS+Audio2face 方案。
ASR 自動語音識別 + TTS 文本轉(zhuǎn)語音 +Voice2Face 語音控制驅(qū)動模型（聲音數(shù)據(jù)對應(yīng)的標(biāo)簽是模型動畫的 blendshape 權(quán)重）
小杜
可以上手體驗(yàn)下開源項目，自己制作數(shù)字人
-?FACEGOOD
FACEGOOD?將音頻轉(zhuǎn)換為混合權(quán)重（blendshape 權(quán)重），并在 UE 項目中驅(qū)動數(shù)字人小美。FACEGOOD為小美打造的Test部分和UE項目不提供商業(yè)用途，僅供測試使用。
#項目地址
github.com/FACEGOOD/Voice2Face
1.3 跨平臺數(shù)字人形象統(tǒng)一接入工具
ML1593
舉手🙋?♂?，現(xiàn)在比較困擾的問題是通用元宇宙身份解決方案。將一個通用的虛擬形象遷入多個平臺有什么簡單快捷的方法嗎？
或許從攝像頭這塊接入是最便捷的方法？這類數(shù)字人算是元宇宙的初級分身了。
shadow
- Snap Camera
Snap Camera?可調(diào)用用戶設(shè)備的攝像頭，在任何平臺使用攝像頭輸出頭像或視頻時均可使用Snap Camera的濾鏡庫
小杜
試試用 Snap Camera 遷入 Vland 元宇宙空間
小杜
用攝像頭作為跨平臺通用形象接入的切入口還挺簡易高效的，只是效果渲染層面還有待提高哈，期待?攝像頭—完全體數(shù)字人化身?產(chǎn)品的出現(xiàn)。
#02
數(shù)字人虛擬偶像制作
2.1?虛擬偶像創(chuàng)作與運(yùn)營指南
Mixlab
要創(chuàng)造一位虛擬偶像，可以從哪些方面考慮ta的形象要素？
小杜
無論虛擬還是現(xiàn)實(shí)，成為偶像都無法避開三個關(guān)鍵 “指標(biāo)”——
1.靚麗（吸引人）的外表
2.獨(dú)特的才藝
3.魅力個性。
而虛擬偶像，ta的 “功能性” 要更強(qiáng)，粉絲們可以通過更多的技術(shù)手段、通道來與虛擬偶像進(jìn)行互動。
共享共創(chuàng)，是虛擬偶像的優(yōu)獨(dú)特勢——粉絲們擁有更大的對于偶像的期待決定權(quán)；同時，虛擬偶像也能擁有千人千面的形象管理系統(tǒng)來滿足不同粉絲群體的期待要求。由粉絲塑造偶像的多重可能，這是與真實(shí)偶像以個人魅力引領(lǐng)粉絲追隨的模式大不相同的。
Mixlab
現(xiàn)有的虛擬偶像主要有哪些類別？
知識庫
從身份定位上看，虛擬偶像可分為：虛擬藝人偶像、真實(shí)藝人（工作人員）數(shù)字分身
——以是否在真實(shí)世界存在人物原型來區(qū)分；
從技術(shù)實(shí)現(xiàn)與視覺表現(xiàn)類別上看，虛擬偶像包括
1.IP運(yùn)營為主的二次元虛擬偶像
2.超寫實(shí)虛擬偶像
3.完全算法驅(qū)動的人工智能虛擬偶像（完全擺脫人類控制）
——以是否有人類運(yùn)營團(tuán)隊進(jìn)行管理（虛擬偶像智能程度）以及2D/3D視覺效果加以區(qū)分。
小杜
ibrand?Talk 16期詳細(xì)談到了虛擬人的形象管理系統(tǒng)
Mixlab
要塑造一位虛擬偶像，而不是虛擬產(chǎn)品，如何體現(xiàn)ta的生命力呢？
ML322
我覺得可以從偶像IP價值與粉絲情感需求兩個方面來思考虛擬偶像的生命力。虛擬偶像IP的底層價值是通過打賞等粉絲情緒價值行為進(jìn)而創(chuàng)造經(jīng)濟(jì)價值來維系團(tuán)隊運(yùn)作，這也是IP生存的基本條件。通過新V聯(lián)動組團(tuán)出道、開展有個人特色的公開活動以及有一定品質(zhì)保障和風(fēng)格的切片短視頻宣發(fā)等等方式保證IP價值持續(xù)保值、不斷升值。
虛擬偶像的高位價值大小與粉絲群體的精神娛樂需求滿足程度緊密聯(lián)系，也是虛擬偶像生命力的核心。我最近親身體驗(yàn)了虛擬偶像?天倉五Alice?的運(yùn)營內(nèi)容。該虛擬偶像運(yùn)營結(jié)合電競（打游戲）和歌回（唱歌）優(yōu)勢，平衡兼顧了男女粉絲群體的娛樂需求，諸如投票等公開活動帶給了粉絲養(yǎng)成系的情感滿足感，匿名提問箱等多渠道曝光豐富了與DD（粉絲術(shù)語-喜歡多個虛擬主播，愛好廣泛的粉絲）的互動頻率和方式，大幅增強(qiáng)了偶像IP生命力。
VUP（b站虛擬主播）虛擬偶像?天倉五Alice
小杜
虛擬偶像發(fā)展史：TA們到底如何成功？萬字復(fù)盤
這篇推文詳細(xì)介紹了虛擬偶像的發(fā)展史～
元宇宙記者又來活兒了，去報道下虛擬偶像的制作工具？
shadow
小杜
先總結(jié)下虛擬偶像 “造星” 指南
A.人設(shè)形象塑造
1.靚麗（吸引人）的外表
2.獨(dú)特的才藝
3.魅力個性
4.共享共創(chuàng)
B.形象類別
1.虛擬藝人偶像
2.真實(shí)藝人數(shù)字分身 or
1.IP運(yùn)營為主的二次元虛擬偶像
2.超寫實(shí)虛擬偶像
3.完全算法驅(qū)動的人工智能虛擬偶像（完全擺脫人類控制）
C.偶像生命力
1.偶像IP價值
2.粉絲情感需求滿足
考察虛擬偶像制作工具可從形象類別入手，分二次元/超寫實(shí)/算法驅(qū)動，三類創(chuàng)作工具進(jìn)行總結(jié)。
2.2?虛擬形象制作開發(fā)工具
2.2.1?二次元虛擬偶像開發(fā)工具
?-?Live2D
Live2D 是一種生成 2D 動畫的技術(shù)，角色通常是動漫風(fēng)格。該技術(shù)使用基于插圖的連續(xù)分層，不需要逐幀動畫或 3D 模型，使角色可以在保持原始插圖的同時以低成本進(jìn)行運(yùn)動動作。
- Vroid?Studio
Vroid?studio?支持用戶簡單快捷創(chuàng)建虛擬人物，功能包括捏臉系統(tǒng)、身體塑造系統(tǒng)與服飾設(shè)計系統(tǒng)
小杜
Live2D?偏向于原畫稿件的動畫生成設(shè)計；Vroid Studio?偏向于二次元虛擬形象設(shè)計。Live2D?是b站?VUP（b站虛擬偶像）熱門的創(chuàng)作工具，對 “造星“ 感興趣的同學(xué)推薦上手嘗試下哦～
2.2.2 超寫實(shí)虛擬形象開發(fā)工具
- Avatary
Avatary 是 FACEGOOD 推出的一款集表情建模，綁定，面部捕捉及驅(qū)動的全流程軟件，能幫用戶高效地解決人臉表情的采集—、解析、驅(qū)動及快速綁定等問題，應(yīng)用于虛擬偶像和虛擬直播等新興的領(lǐng)域。?
- MetaHuman Creator
MetaHuman Creator 是一款基于云服務(wù)的應(yīng)用，能幫助任何人在幾分鐘內(nèi)創(chuàng)建照片級逼真的數(shù)字人類。MetaHuman 包含完整的綁定，可在虛幻引擎項目中用于制作動畫。
小杜
兩款超寫實(shí)數(shù)字人創(chuàng)作工具都非常地驚艷，可以支持低成本快速高效地創(chuàng)建超寫實(shí)數(shù)字人。對超寫實(shí)虛擬偶像直播、游戲等領(lǐng)域感性興趣的同學(xué)強(qiáng)烈推薦上手體驗(yàn)。
2.2.3智能驅(qū)動虛擬形象開發(fā)工具
- UneeQ Creator
UneeQ Creator 支持用戶在幾分鐘內(nèi)設(shè)計、開發(fā)和部署定制化、人工智能驅(qū)動的數(shù)字人類。用戶可以非常容易地利用現(xiàn)有數(shù)據(jù)制作聊天機(jī)器人或應(yīng)用程序，使各類數(shù)字人應(yīng)用場景的部署與用戶體驗(yàn)更為人性化。
- Pinscreen
Pinscreen 運(yùn)用AI 面部合成技術(shù) (paGAN) 與包括語音識別和語音合成的 NLP 等技術(shù)，為用戶提供包括虛擬助手制作、人工智能換臉與形象生成、動作捕捉等多功能的 AI數(shù)字人制作工具。
小杜
UneeQ?Creator?更側(cè)重終于智能驅(qū)動數(shù)字人與用戶的對話交流與用戶體驗(yàn)細(xì)節(jié)，并通過AI 動畫系統(tǒng)擴(kuò)展到全身交互，數(shù)字人還能夠通過視覺、語氣和空間意識進(jìn)行更為生動的交流。Pinscreen?相對而言功能更加廣泛，玩法較為多樣。但是相較于完全脫離人工控制的完全智能體還是有很大的差距。或許將來的某個時間點(diǎn)，愛因斯坦會通過數(shù)字分身的形象?“完全復(fù)活” 與世人再次進(jìn)行智識層面的交流。
#03
數(shù)字人實(shí)業(yè)應(yīng)用場景
Mixlab
虛擬數(shù)字人與實(shí)業(yè)應(yīng)用場景有哪些結(jié)合可能？
ML1680
虛擬人日記/虛擬人手表
虛擬人夜店/虛擬人樂隊
虛擬人名片/虛擬人簡歷
虛擬人彩鈴/虛擬人病歷
虛擬人相親/虛擬人陪伴
......
知識庫
來一個調(diào)研，尋找下數(shù)字虛擬人在日常生活與實(shí)業(yè)應(yīng)用場景中有哪些優(yōu)秀的產(chǎn)品與解決方案？
小杜
我先做一下歸納總結(jié)～
1.數(shù)字人 &?社交
2.數(shù)字人?&?文娛產(chǎn)業(yè)
3.數(shù)字人?&?情感陪伴
4.數(shù)字人?&?工業(yè)產(chǎn)品與場景
......持續(xù)探索中～
3.1 數(shù)字人?& 社交
名片、簡歷等物件與各類社交活動都需要充分展現(xiàn)個人的亮點(diǎn)信息。數(shù)字人作為現(xiàn)實(shí)用戶的虛擬化身可更生動與多感知通道地傳遞個人信息，提升社交體驗(yàn)，“提亮” 個人特色。
-Linktree
Linktree 是一家數(shù)字身份管理服務(wù)商，主要為社交媒體用戶提供數(shù)字身份展示工具，并通過URL分享到各平臺，形成用戶的數(shù)字名片。用戶可以通過 Linktree 更新其視頻、電商、博客等多網(wǎng)站的地址，也會生成專屬鏈接，類似數(shù)字名片，用于用戶的數(shù)字身份展示。Linktree 已獲得4500萬美元B輪融資 。
Linktree 支持用戶的跨平臺使用?，可以在任何應(yīng)用平臺上對接用戶的社交受眾。
Linktree 可視為最新視頻、文章、食譜、旅游、商店、網(wǎng)站、社交帖子的啟動板——無論用戶在哪里在線都可以迅速啟用所需功能。
Mixlab
關(guān)于數(shù)字名片，有沒有優(yōu)秀的 3D 展方案？
-MindAR
MindAR 是一個網(wǎng)絡(luò)增強(qiáng)現(xiàn)實(shí)庫。突出特點(diǎn)包括：
1.支持圖像跟蹤和人臉跟蹤。對于位置或基準(zhǔn)標(biāo)記跟蹤；
2.用純 javascript 編寫，從底層計算機(jī)視覺引擎到前端的端到端；
3.利用 gpu（通過 webgl）和 web worker 來提高性能；
4.開發(fā)人員友好，易于設(shè)置。使用 AFRAME 擴(kuò)展，只需 10 行代碼即可創(chuàng)建應(yīng)用程序。
項目地址：
https://github.com/hiukim/mind-ar-js
小杜
光有名片展示還不夠，有效社交要參加正式活動才算數(shù)～
-?Vland 元宇宙數(shù)字分身相親活動
當(dāng)代青年對于「社會關(guān)系」的處理往往極度敏感，Mixlab 社區(qū)五年來各種線上線下活動小計有幾百場，線下的「社恐」們線上轉(zhuǎn)身變「社牛」，Vland 虛擬社交的流行，也就順理成章。?
3.2 數(shù)字人?& 文娛產(chǎn)業(yè)
虛擬主播、偶像用數(shù)字虛擬人作為傳播媒介可以增強(qiáng)其趣味性與用戶吸引力，提升傳播效益。包括線下娛樂消費(fèi)場所，如酒吧、夜店等等 “氛圍感” 需求強(qiáng)烈的場景，數(shù)字人的介入也可以營造獨(dú)特豐富的 “氛圍”，獲得更高的流量。
- 修狗夜店
b站 up 用 Unity 開發(fā)的虛擬蹦迪夜店。用戶可以 “cheers”?狗狗的數(shù)字人分身在虛擬夜店中參與各式蹦迪活動。直播間的巔峰人氣能夠達(dá)到60萬，吸引了王者榮耀、永劫無間等大流量游戲的青睞。
-?國內(nèi)首個虛擬 DJ-Purple
摩登天空與萬像文化旗下虛擬音樂藝人廠牌 NO PROBLEM 正式簽約由次世文化推出的虛擬 DJ-Purple。
3.3 數(shù)字人?& 情感陪伴
除卻專注于 “高科技 & 高性能” 的技術(shù)路線，數(shù)字人還可以在情感陪伴需求層面上走上另一條應(yīng)用產(chǎn)出方案。日記手帳、虛擬陪伴等偏?“交心” 的情感溝通場景，數(shù)字人也可以為用戶提供情感上的支持。
- Replika
Replika 是一個 AI 陪伴產(chǎn)品，可以通過對話幫助用戶獲得情感支持，尤其對孤獨(dú)、抑郁或缺乏社交聯(lián)系的人特別有幫助。Replika 試圖通過談?wù)撊藗兊娜粘！⑴d趣和生活來鼓勵和支持人們。目前有 1000 萬注冊用戶，每周向 Replika 發(fā)送超過 1 億條消息。
Replika 支持以不同的方式處理對話，可以理解和回復(fù)短信或通過語音與人交流。用戶可以向 Replika 發(fā)送照片或在增強(qiáng)現(xiàn)實(shí)中與其交談并進(jìn)行體驗(yàn)反饋。
3.4?數(shù)字人?& 工業(yè)產(chǎn)品與場景
數(shù)字虛擬人在社會身份與生命實(shí)體上是 “虛” 的，但這不意味著數(shù)字人無法脫離 “屏幕” 載體與用戶進(jìn)行互動。數(shù)字人展示產(chǎn)品正在從“屏幕”擴(kuò)展到豐富的實(shí)體展現(xiàn)形式。
除卻數(shù)字人展覽互動產(chǎn)品，在工業(yè)應(yīng)用級別的場景中，數(shù)字人也在發(fā)揮功效。如運(yùn)用整合虛擬與現(xiàn)實(shí)的數(shù)字人體建模來進(jìn)行產(chǎn)品開發(fā)早期的物理人體工效學(xué)評估、職業(yè)技能教學(xué)與實(shí)操模擬等，都是數(shù)字人與工業(yè)應(yīng)用場景結(jié)合中應(yīng)用價值非常高的案例。
-Gatebox
Gatebox 是一款支持用戶與虛擬角色一起 “生活、交流與互動” 的通信與展示設(shè)備。
-?工業(yè)應(yīng)用場景
Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review?該論文綜述了虛擬現(xiàn)實(shí)技術(shù)與數(shù)字人體模型在工業(yè)產(chǎn)品開發(fā)中的應(yīng)用，包括人體工效學(xué)研究、行業(yè)研究與輔助接入設(shè)備系統(tǒng)的介紹。
數(shù)字人在航空航天與建筑行業(yè)研究中的應(yīng)用。
數(shù)字人應(yīng)用于人體工學(xué)分析
數(shù)字人接入操作設(shè)備系統(tǒng)
論文地址：
https://www.mdpi.com/2076-3417/12/3/1084
#04
數(shù)字人發(fā)展趨勢展望
4.1?發(fā)展路徑維度分析
Mixlab
虛擬數(shù)字人有哪些發(fā)展路線？如何理清發(fā)展趨勢？
隨著計算機(jī)圖形學(xué)與深度學(xué)習(xí)等基礎(chǔ)技術(shù)的發(fā)展，虛擬數(shù)字人的 “形象” 特征與 “智能程度” 會愈加支持 “超寫實(shí)” 風(fēng)格與更 “聰慧” 功能的實(shí)現(xiàn)。
小杜
工具、技術(shù)始終服務(wù)于內(nèi)容產(chǎn)出，夠用、用好就行。“超寫實(shí)” 不一定在任何應(yīng)用情景中都比 “二次元”?好，同樣虛擬數(shù)字人的智能程度也并非越高越好，這取決于用戶是否感覺 “舒適”。單純用數(shù)字人形象與智能化程度發(fā)展來分析未來趨勢還是不妥的。
知識庫
以?“工具” 與 “情感” 兩條應(yīng)用路線為參考分析數(shù)字人發(fā)展趨勢或許更為合理？兩個方向都是以“技術(shù)”為基點(diǎn)，但發(fā)展為不同的應(yīng)用路線。
精神外骨骼數(shù)字人是人類感知與運(yùn)動的外部衍生，作為真人實(shí)體的映射。如人體運(yùn)動與設(shè)備操作映射于行業(yè)相關(guān)研究的數(shù)字人，或人體生理數(shù)據(jù)映射于數(shù)字人用于醫(yī)療實(shí)驗(yàn)與藥物預(yù)測以及日常生活中所需的自我信息介紹展示等。情感陪伴數(shù)字人是人類情感需求的內(nèi)部補(bǔ)充，作為被愛、被傾訴與共同陪伴的情感寄托對象，如虛擬好友、虛擬陪護(hù)以及虛擬偶像所包含的陪伴屬性等。
小杜
以論文?Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review?為分析視角探索數(shù)字人“精神外骨骼” 的發(fā)展方向；以產(chǎn)品?Replika?為典型案例探索數(shù)字人 “情感陪伴” 的實(shí)現(xiàn)方案。
4.2 數(shù)字發(fā)展趨勢—精神外骨骼
- Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review?
小杜
我提取了24頁論文的關(guān)鍵信息點(diǎn)，請查閱濃縮信息12條～
# 摘要 & 關(guān)鍵信息點(diǎn)
1.該研究分析了虛擬現(xiàn)實(shí)和數(shù)字人體建模在工業(yè)產(chǎn)品開發(fā)過程中用于物理人體工程學(xué)評估的應(yīng)用。
2.大量研究集中在汽車和航空行業(yè)。
3.虛擬現(xiàn)實(shí)市場預(yù)計將從2021的63億美元增長到2028的840億9000萬美元。
4.隨著低成本設(shè)備（如無標(biāo)記運(yùn)動捕捉）的出現(xiàn)，越來越多的組織在不充分了解其整體性能和缺點(diǎn)的情況下，將虛擬現(xiàn)實(shí)技術(shù)用于制造業(yè)的人體工程學(xué)評估。
5.2020年，研究人員、開發(fā)人員和數(shù)字人體建模行業(yè)利益相關(guān)者將虛擬現(xiàn)實(shí)評為數(shù)字人體建模和仿真研究及應(yīng)用趨勢中最常被引用的技術(shù)。
6.與虛擬現(xiàn)實(shí)和數(shù)字人體建模相關(guān)的專利申請呈指數(shù)級增長的趨勢還將持續(xù)20年。
7.虛擬現(xiàn)實(shí)與數(shù)字人體建模常被應(yīng)用于 a.能源工業(yè) b.航空航天工業(yè) c.建筑業(yè) d.工業(yè)廠房 e.汽車工業(yè) f.未定行業(yè)。
8.本文總結(jié)了虛擬數(shù)字人應(yīng)用于產(chǎn)業(yè)所用的硬件、設(shè)備、裝置和儀器。
9.?本文總結(jié)了虛擬數(shù)字人應(yīng)用于產(chǎn)業(yè)所用的軟件、編輯器、工具、框架和引擎。
10.本文展示了一項使用 Unity 游戲引擎的研究的硬件和軟件架構(gòu)（軟硬件結(jié)合）。
11.總結(jié)綜述每篇引文中提到的方法、硬件和軟件。
12.本篇綜述涉及目前的虛擬現(xiàn)實(shí)與數(shù)字人體模型在工業(yè)產(chǎn)品開發(fā)中的應(yīng)用領(lǐng)域、方法、使用的硬件和軟件等各方相關(guān)的最新進(jìn)展、挑戰(zhàn)和機(jī)遇。
論文地址：
https://www.mdpi.com/2076-3417/12/3/1084
小杜
以本篇綜述為數(shù)字人趨勢分析切入視角再次精煉概括—
1.虛擬現(xiàn)實(shí)技術(shù)與數(shù)字人體建模技術(shù)應(yīng)用市場規(guī)模長時間持續(xù)擴(kuò)大中，上升勢頭猛烈。
2.虛擬數(shù)字人正在應(yīng)用于各行各業(yè)中，有成為通用工具的潛質(zhì)，Field Unspecified 正在持續(xù)開拓中。
3.軟硬件結(jié)合、虛實(shí)端結(jié)合的行業(yè)大趨勢應(yīng)用于虛擬數(shù)字人同樣適用。精神外骨骼數(shù)字人應(yīng)用開發(fā)可參考本文所列舉的軟硬件開發(fā)工具與代表案例。
---
接下來探索技術(shù)的情感路線～
4.3 數(shù)字人發(fā)展趨勢—精神陪伴
- Replika
特色 & 優(yōu)勢
1.支持用戶與數(shù)字人以文本、語音、圖片與VR模式多維度溝通交流。
2.詳盡的用戶與數(shù)字人交流評估系統(tǒng)。
3.多種綜合的算法模型保證用戶舒適的交流體驗(yàn)。
4.支持?jǐn)?shù)字人進(jìn)行圖像消息的理解與回復(fù)。
- 數(shù)字人多維交流系統(tǒng)
Replika 支持以不同的方式處理對話，可以理解和回復(fù)短信或通過語音與人交流。用戶可以向 Replika 發(fā)送照片或在增強(qiáng)現(xiàn)實(shí)中與其交談并進(jìn)行體驗(yàn)反饋。
- 數(shù)字人交流情感反饋系統(tǒng)
Replika 會詢問用戶三個感受選項——更好、相同或更差來判斷對話服務(wù)是否對人們有所幫助。Replika?會通過這些用戶的反饋，計算出積極對話與負(fù)面會話的指標(biāo)比例，并作為參考對后續(xù)對話服務(wù)進(jìn)行修正。
用戶還可以對每個 Replika 的消息進(jìn)行反饋。如果他們喜歡，他們可以投票贊成，如果他們認(rèn)為反應(yīng)不好，可以投票反對。
更具體的反饋包括單擊贊成和反對選擇外的四個額外反應(yīng)。Replika?通過這種方式了解用戶喜歡或不喜歡某些回復(fù)的原因，從而進(jìn)一步了解人們通過與 Replika 交談的感受。
- 智能架構(gòu)
當(dāng)用戶發(fā)送消息時，Replika?會結(jié)合有關(guān)的用戶配置文件、當(dāng)前對話上下文和最后用戶響應(yīng)的所有數(shù)據(jù)，然后將它們發(fā)送到對話引擎。智能架構(gòu)由負(fù)責(zé)文本、圖像的理解、對話生成響應(yīng)等組件組成。
檢索對話模型
GPT-3對話生成模型
Reranking 重新排序模型
圖像理解模型
小杜
以?Replika?為例總結(jié)技術(shù)的情感陪伴路線—
1.NLP 自然語義算法類應(yīng)用于文本與圖像對話理解、生成；
2.多維通道的數(shù)字人交互體驗(yàn)；
3.情感計算與用戶情感度量方法。
知識庫
虛擬數(shù)字人是由計算機(jī)圖形學(xué)、深度學(xué)習(xí)等技術(shù)手段為創(chuàng)造基礎(chǔ)，在非物理現(xiàn)實(shí)空間的 “比特” 信息世界中擁有多重人類特征的產(chǎn)物。技術(shù)做為虛擬數(shù)字人的根基，發(fā)展的趨勢之一——成為人類精神外骨骼。同時，虛擬數(shù)字人包含 “人” 的特征屬性，那么另外一條發(fā)展路線便是內(nèi)化為人類的精神陪伴支撐。前者代表數(shù)字人 “工具” 層面的發(fā)展趨勢，后者體現(xiàn) “情感” 層面的發(fā)展趨勢。
數(shù)字人專題完結(jié)～
shadow
opus
歡迎加入社群，探索 數(shù)字人 的多樣玩法～
備注：數(shù)字人
[ 元宇宙創(chuàng)作者指南?]?
[ 元宇宙資源清單?]
github.com/shadowcz007/awesome-metaverse
數(shù)字人專題總輯篇資料匯總
# 創(chuàng)作工具
Vonage?專業(yè)文本轉(zhuǎn)語音工具
Synthesia 文本轉(zhuǎn)數(shù)字人視頻生成工具
Live2D 生成2D動畫創(chuàng)作工具
Vroid?Studio ?二次元形象創(chuàng)作工具
Avatary 超寫實(shí)數(shù)字人創(chuàng)作工具
MetaHuman Creator 超寫實(shí)數(shù)字人創(chuàng)作工具
UneeQ Creator 智能驅(qū)動數(shù)字人創(chuàng)作工具
Pinscreen?智能驅(qū)動數(shù)字人創(chuàng)作工具
#?開源項目地址
First Order Motion Model
https://github.com/AliaksandrSiarohin/first-order-
model
Voice2Face
https://github.com/FACEGOOD/Voice2Face
MindAR
https://github.com/hiukim/mind-ar-js
#? 論文地址
?First Order Motion Model for Image Animation
aliaksandrsiarohin.github.io/first-order-model-website
Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review
https://www.mdpi.com/2076-3417/12/3/1084
#? 產(chǎn)品 & 案例
Snape Camera?攝像頭濾鏡庫
Linktree?數(shù)字身份管理服務(wù)商與展示工具
修狗夜店?虛擬蹦迪夜店
DJ-Purple?虛擬DJ
Replika AI陪伴產(chǎn)品
Gatebox 虛擬數(shù)字人展示互動產(chǎn)品
#? 公眾號推文鏈接
元宇宙記者前線報道#數(shù)字人·潮牌元宇宙
Decentraland元宇宙時裝周，穿戴式NFT的興起
字節(jié)投資首位情感連接的數(shù)字人？數(shù)字人構(gòu)建方法和元宇宙身份系統(tǒng)
融資1350萬美元，待開啟的元宇宙·數(shù)字人
虛擬偶像發(fā)展史：TA們到底如何成功？萬字復(fù)盤
數(shù)字人1024
"復(fù)活"愛因斯坦
1 分鐘搭建元宇宙 ，帶你穿越次元大冒險
#? 社區(qū)活動推薦
Mix宇宙小酒館展覽地址：
https://beta.vland.live/app/scene?eventId=61eec7e0f20ef01f63b7539a
總結(jié)
- 上一篇： java 拒绝连接_java.net.C
- 下一篇： 模糊神经网络2--基于ANFIS的混沌时