日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

从Satin到Lyra 为何微软、谷歌都盯向音频编解码器?

發布時間:2024/4/11 编程问答 66 豆豆
生活随笔 收集整理的這篇文章主要介紹了 从Satin到Lyra 为何微软、谷歌都盯向音频编解码器? 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

回顧今年的2月份,可以說是音頻編解碼器最為熱鬧的一個月。先是微軟宣布推出最新款由AI支持的音頻編解碼器——Satin。僅一周后,谷歌推出了用于語音壓縮的新型超低比特率音頻編解碼器——Lyra,并且Android版本已開源。在此,也非常感謝來自國內音頻領域的知名業內人士對本文發表評論及審校。

整理 /?LiveVideoStack

不難發現,硅谷大佬們對音頻編解碼器的深度研發進度已提上日程,對未來可應用的場景讓人們充滿期待。值得注意的是這兩款音頻編解碼器都是基于AI的語音編碼,但它們又有各自不同的特點。

Satin:用于實時通信的AI音頻編解碼器?

作為一款由人工智能驅動的音頻編解碼器,Satin可以在網速6kbps時提供超寬頻段的語音,17kbps時提供全頻段的立體聲音樂,網速越高,質量越高。Satin旨在高丟包率下也提供良好的音頻質量。此外,在冗余算法的改進下,可以應對突發丟包情況,提供更好的保護。以下是經過改進的彈性算法和Satin編解碼器的最終效果:

SILK@6kbps,突發數據包丟失(附加6kbps的冗余)

Satin@6kbps,突發數據包丟失,改進的冗余算法(附加6kbps的冗余)

相對于Silk推出的超寬帶語音,12kHz的頻率,以24kHz的采樣率(在人類聲音超過12kHz的頻率時,能量會迅速下降);Satin重新定義了超寬帶,以覆蓋16kHz的頻率,采樣率在32kHz,以提供更高的清晰度和穩定性,而其高效的壓縮功能則可以實現6 kbps的超寬帶語音。

/ t /一詞在“ suit”一詞中的頻率分量。除了4 kHz的窄帶截止甚至8 kHz的寬帶截止以外,還有大量的能量。將能量保留在較高的頻譜分量中會導致聲音聽起來更加自然。

以下分別為在6kbps下,Silk窄帶和Satin超寬帶的音頻示例(建議使用耳機試聽):

為了保證在6kbps超寬帶下的語音質量,Satin使用對語音產生、建模和心理聲學的深度理解來提取和編碼信號的稀疏表達。為了進一步降低所需的比特率,Satin只在較低的頻帶中編碼和傳輸某些參數。在解碼器上,Satin使用深層神經網絡從接收到的低頻帶參數以及通過導線發送的最少量輔助信息中估計高頻帶參數。

雖然這種方法解決了在超低比特率下對使用超寬帶語音的最大挑戰,但也帶來了計算復雜度的新挑戰。對此,微軟將重心放在對算法優化和循環向量化等技術上,使計算復雜度降低40%,并保障能夠在所有用戶的設備上運行。


除此之外,微軟還關注到了關于Satin的丟包數據恢復能力。對此,Satin對每個數據包進行獨立編碼,因此丟失一個數據包的效果不會影響后續數據包的質量。編解碼器還被設計為有助于在內部參數域中隱藏高質量的丟包。這些功能可幫助Satin無縫處理隨機丟失,一次丟失一個或兩個數據包。

目前,Satin已被用于所有Teams和Skype兩方通話,并將很快用于Teams會議。目前,它以6-36 kbps的比特率范圍在寬帶語音模式下運行,并且在不久的將來將擴展為以48 kHz的最大采樣率支持全頻帶立體聲音樂。

?Lyra:一款用于語音壓縮的新型超低比特率編解碼器?

Lyra是由谷歌團隊研發并已開源了Android版本。它所擁有的能力在于能在3kbps網絡帶寬下為用戶提供自然清晰的語音聊天,以及僅90ms延遲的情況下在從高端云服務器到中端智能手機的任何設備上運行。(有關Lyra的詳細介紹請瀏覽:在3kbps的帶寬下還能清晰地語音聊天?)

對比Satin & Lyra:雖然這兩個音頻編解碼器都能夠在低比特率下進行操作,并通過AI提供動力,但它們有很大的不同。Lyra僅專注于窄帶,而Satin則致力于超寬帶。

另外,國內音頻領域的知名業內人士指出:“在AI Codec領域中,有兩種方式。一種是 end to end 也就是全AI,所以Lyra屬于全AI結構。而另一種是hybird結構,就是只有部分模塊才使用AI,因此Satin是hybird結構。那么之所以現在才使用AI與音頻編解碼器結合,是因為在相同碼率下,使用AI能夠大幅提升音頻質量。”

相關鏈接:

https://mp.weixin.qq.com/s/Y1wceNAuMO7X8Vq3NiJ_GQ

https://techcommunity.microsoft.com/t5/microsoft-teams-blog/satin-microsoft-s-latest-ai-powered-audio-codec-for-real-time/ba-p/2141382

https://bloggeek.me/lyra-satin-webrtc-voice-codecs/

編輯:Teresa Li

講師招募?LiveVideoStackCon 2021 北京站

LiveVideoStackCon 2021 北京站(9月3-4日)正在面向社會公開招募講師,歡迎通過?speaker@livevideostack.com?提交個人及議題資料,無論你的公司大小,title高低,老鳥還是菜鳥,只要你的內容對技術人有幫助,其他都是次要的,我們將會在24小時內給予反饋。

總結

以上是生活随笔為你收集整理的从Satin到Lyra 为何微软、谷歌都盯向音频编解码器?的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

主站蜘蛛池模板: 精品亚洲在线 | а√天堂资源官网在线资源 | 女人叫床高潮娇喘声录音mp3 | 伊人av综合网| 色狠狠久久av大岛优香 | 蜜臀久久精品久久久久久酒店 | 成人精品在线播放 | 免费人成视频在线播放 | 久久性感美女视频 | 人人看人人射 | 青青草97国产精品免费观看 | 农村寡妇一区二区三区 | 91丨porny| 亚洲国产视频一区二区三区 | 你懂的在线观看网站 | 在线美女av | 在线免费观看黄视频 | 苏晴忘穿内裤坐公交车被揉到视频 | 国产午夜精品一区二区三区 | 中文字幕在线视频免费播放 | 亚洲图片 自拍偷拍 | 成人午夜在线观看视频 | 中国丰满老妇xxxxx交性 | 日本免费一区二区三区视频 | 欧美又粗又深又猛又爽啪啪九色 | 免费在线观看污 | 欧美性bbw | 九九热免费在线 | 亚洲天堂伊人网 | 最好看的2019年中文在线观看 | 欧美.com| 99在线成人精品视频 | 狼人伊人av | 中文字幕在线日韩 | 五月深爱网 | 亚洲AV无码精品一区二区三区 | 亚洲二区在线观看 | 国产一级片免费播放 | av黄色网 | 国产欧美三区 | 国产精品视频不卡 | 91网站在线免费观看 | 久久精品中文 | 毛片一级视频 | 91av毛片 | 国产精品成人一区二区三区 | 妖精视频一区二区 | 久久国产成人精品av | 7777奇米影视 | 日韩插| 亚洲女优视频 | 四虎成人精品永久免费av九九 | 国产精品视频在 | 人人妻人人做人人爽 | а√在线中文网新版地址在线 | 爱情岛av| 99精品无码一区二区 | 黄色资源在线播放 | 日本免费一区二区三区四区五六区 | 亚洲欧美视频 | 激情视频网址 | 国产在线观看中文字幕 | 99爱精品 | 国产成人8x视频一区二区 | 毛片直接看| 中文字幕观看av | 青青在线观看视频 | 成人国产片女人爽到高潮 | 日本精品视频一区二区 | 欧美在线色图 | 欧美一级二级三级 | 亚洲中文字幕无码爆乳av | 91桃色免费视频 | 精品免费一区二区 | 欧美午夜理伦三级在线观看 | 激情狠狠 | 亚洲性欧美色 | 妹子色综合| 亚洲色图p | 亚洲小说区图片区 | 丰满大乳少妇在线观看网站 | 在线看欧美 | 午夜精品美女久久久久av福利 | 快色视频在线观看 | 亚洲国产999 | 久草福利| 久久精品国产亚洲AV高清综合 | 国产精品久久久久久久久久久新郎 | 99自拍视频 | 好吊色免费视频 | 色姑娘av| 午夜三级视频 | 美女隐私免费看 | 黄色av软件 | 爆乳2把你榨干哦ova在线观看 | 国产三级理论 | 免费黄色美女网站 | 黄网站在线观 | 国产美女视频91 |