轉載自：騰訊AI實驗室

5月21日，騰訊 AI Lab 虛擬人艾靈再秀出新技能，首次展示AI作詩、AI書法等國風才藝，并與青年歌手白舉綱跨次元合作，共同演唱國風新歌《百川千仞》。

AI“艾靈”誕生于團隊的實驗性、探索性技術項目“多模態虛擬人”。機器學習、計算機視覺、自然語言處理等多種核心AI能力融合，讓艾靈能“歌”善“言”，飽讀“詩書”。

此次最新發布的艾靈寫詩技能，來自于文本創作模型 SongNet，針對任意關鍵詞，艾靈都能快速“作出”藏頭、藏中的詩詞。而依托騰訊 AI Lab 的前沿圖像生成技術，艾靈得以拜顏真卿、柳宗元、米芾、蘇軾等中國書法大家為師，運用最新的圖像生成對抗網絡，“寫下”神形兼備的書法字體。在2021年春節，她運用這項技能為上千萬人寫下寓意美滿的春聯。

?

目前，團隊已經通過公開論文發表了 DurIAN 和 SongNet 的核心技術細節，SongNet 代碼也已開源。未來，騰訊 AI Lab 將把該項技術能力開放給業界，共同探索AI數字人與數字內容生成和教育等現實場景的結合，攜手更多創作者一起傳承中華優秀文化。

誰是“艾靈”

傳統虛擬偶像一般是通過對真人演員的“動作捕捉+配音”來實現的，但讓艾靈這樣的 AI 虛擬人能夠動起來、與真人對話，技術難度更大、也對技術的協同性提出了更高的要求。

艾靈背后由一套騰訊 AI Lab 自研的復雜系統支撐，系統首先要從文本中提取不同信息，包括動作、表情、情感、重音位置、和激動程度等；之后，這些信息被輸入到模型中，生成動作和表情，再同步生成語音、口型和表情參數，最終才有了艾靈自然生動的表現。

騰訊“多模態虛擬人”項目希望把計算機視覺、語音/歌聲合成和轉換、圖像/視頻合成和遷移、自然語言理解等多模態的AI能力和技術融為一體，生成清晰、流暢、高質的可交互內容，推進AI在虛擬偶像、虛擬助理、在線教育、數字內容生成等領域的應用。

相較于傳統方法，應用多模態合成技術打造的虛擬人，無論是在自然度、魯棒性、可控性、泛化能力以及實時性等方面都取得了更好的效果。

深度學習：秒學才藝的魔法

艾靈所具備的唱歌、表情、作詞、書法等多項才藝，均來自于對海量數據的深度學習，這幫助她快速掌握更多技能，向全能 AI 不斷接近。

“氣貫長虹”、“充滿未來之感”的歌聲，來源于騰訊 AI Lab 研發的 DurIAN 聲學模型。不同于其他虛擬歌姬的“機器合成+人工調教”模式，給艾靈輸入一段曲譜，無需人工調教，她就可以合成非常自然和擬真的歌聲。

首先，研究者以音素為基本發音單元將任意歌曲描述為一連串音素的序列；然后通過分析歌譜，從文字、旋律、節奏等多個維度分別提取和預測詞曲中每個音素的發音、時長、停頓、音高、風格和演唱技巧等特征；最后使用由真人（中國網絡聲優龜娘）演唱的歌聲訓練得到的深度神經網絡聲學模型和聲碼器模型，合成出與真人聲線高度相似歌聲音頻。

艾靈為嘉賓們寫藏頭詩的能力，來自文本創作模型 SongNet。模型的基本骨架是一個自回歸語言模型，騰訊 AI Lab 研究員針對格式、韻律、句子完整性設計了特殊的符號來進行標識和建模。詞粒度和句粒度的掩碼訓練策略可以增強模型給定上下文補全缺失內容的能力。借助于經典的預訓練和精調模式，可以進一步提升模型生成詩詞的質量。

艾靈根據嘉賓出題作藏頭詩

書法則是艾靈最近掌握的新技能。騰訊 AI Lab 依托前沿的圖像生成技術，通過訓練AI書法學習模型，模仿書法的形體及神韻。實驗室投入了大量精力，運用最新的AI圖像生成對抗網絡，同時訓練了兩個“學徒”——AI 書法學徒和 AI 鑒定學徒來幫助艾靈學習。

首先，AI書法學徒通過提取字形結構等基本信息，捕捉并融入書法的風格韻味；而書法鑒定學徒則學習成為一個書法鑒定師，在對字帖真跡和AI模擬生成的字體進行比較分析之后，反饋兩者的差別及“AI模擬字”的不完善之處，從而進一步鞭策書法學徒完善模仿能力。

用AI探索“科技+文化”的未來

“我是一個喜歡中國文化的國風AI……目前還在努力學習，立志點亮更多技能，成為全能AI，把中華文明的美好傳遞給更多觀眾！”正如艾靈的自我介紹，騰訊 AI Lab 打造“AI艾靈”，正是希望用科技與二次元的結合，做好傳統文化的“傳承者”，讓更多青年人愛上中華文化。

騰訊 AI Lab 研究員表示，隨著不斷學習，后續艾靈還將學會很多新技能，比如在唱歌方面，團隊正在努力讓艾靈掌握不同的腔調，還可以學習傳統戲曲、不同方言等更多歌唱方式。

重磅！DLer-CVPR2021論文分享交流群已成立！

大家好，這是CVPR2021論文分享群里，群里會第一時間發布CVPR2021的論文解讀和交流分享會，主要設計方向有：圖像分類、Transformer、目標檢測、目標跟蹤、點云與語義分割、GAN、超分辨率、人臉檢測與識別、動作行為與時空運動、模型壓縮和量化剪枝、遷移學習、人體姿態估計等內容。

進群請備注：研究方向+學校/公司+昵稱（如圖像分類+上交+小明）

?????長按識別，邀請您進群！

總結

以上是生活随笔為你收集整理的从唱歌到作诗书法，腾讯AI Lab虚拟人艾灵技能再进化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。