蕾師師 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

只需要輸入一段語音，代碼會自動生成與之相對的動畫唇形。

還是毫無違和感的那種。

這是一個在GitHub上擁有501星的開源項目，叫做Rhubarb Lip Sync。

它既可以是Windows和OS X命令行工具，也可以作為軟件的插件使用，能夠根據語音記錄自動創建2D嘴型動畫。

它可以用于計算機游戲、動畫卡通中的角色，或者用于其他需要基于現有錄音、對嘴部進行動畫處理的的影視項目。

那么，它是怎么實現如此效果的呢？

運作原理

首先，了解一下動畫人物說話的六種嘴型。?

??上述六種嘴型是由漢娜·巴貝拉(Hanna-Barbera)發明，已經成為2D動畫嘴型的制作標準，被迪士尼和華納兄弟等影視公司在多部影視作品采用。

??大多數的發音，都可以用這六種嘴型表示出來。

因此，Rhubarb Lip Sync工作的步驟如下：

• 輸入一段語音

• Lip Sync識別這段語音

• 使用六個基本嘴形和最多三個擴展嘴形與語音匹配

• 輸出一個固定格式的文件

假如我說個奇怪的方言，它也能輸出相應的嘴型動畫嗎？

當然不是。

目前，Rhubarb Lip Sync只提供了兩個語音識別系統：

• PocketSphinx：只能識別英語，準確率更高。

• Phonetic ：能識別所有語言，因為它是依據個人的聲音和音節判別的，但準確率不如前者。

那么，這個小工具可以跟哪些視頻軟件融合使用呢？

可適用于多款軟件

Adobe After Effects

可以在下載Rhubarb Lip Sync，并且安裝到AE上，可以直接在AE上運行這個軟件。

Moho and OpenToonz

Rhubarb Lip Sync能夠生成.dat文件，這種文件可以被Moho and OpenToonz識別，并導入使用。

Spine by Esoteric Software

Rhubarb Lip Syn for Spine是一個圖形工具，可讓導入Spine項目，執行自動唇形同步，然后將結果重新導入Spine。

Vegas Pro by Magix

Rhubarb Lip Syn 還附帶了兩個用于Vegas Pro(以前稱為Sony Vegas)的插件腳本，可直接在Vegas中使用。

趕快把這個小工具推薦給你喜歡做視頻的朋友吧~

源代碼地址：https://github.com/DanielSWolf/rhubarb-lip-sync最新版本的下載地址：https://github.com/DanielSWolf/rhubarb-lip-sync/releaseshttps://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adochttps://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc

— 完 —

本文系網易新聞?網易號特色內容激勵計劃簽約賬號【量子位】原創內容，未經賬號授權，禁止隨意轉載。

AI落地最佳參考！

2020中國人工智能年度評選結果揭曉

12月16日，量子位MEET 2021智能未來大會現場，50大領航企業、10大明星創業公司、30大商業領軍人物、10大最佳產品、10大最佳解決方案、5大社會責任榜樣、5大最佳技術社區等年度獎項悉數頒出。點擊圖片查看完整榜單：

量子位?QbitAI · 頭條號簽約作者

?'?' ? 追蹤AI技術和產品新動態

一鍵三連「分享」、「點贊」和「在看」

科技前沿進展日日相見~

總結

以上是生活随笔為你收集整理的语音识别插件_2D动画唇动合成，根据语音自动生成动画人物口型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。