每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨。

新聞投稿：contribute@livevideostack.com。

小提示：鏈接跳轉(zhuǎn)僅支持公眾號(hào)相關(guān)鏈接

穩(wěn)健、可靠全真即時(shí)通信網(wǎng)的架構(gòu)與應(yīng)用
支撐全真互聯(lián)網(wǎng)的基礎(chǔ)網(wǎng)絡(luò)包括實(shí)時(shí)音視頻通信網(wǎng)絡(luò)、即時(shí)通信網(wǎng)絡(luò)和流媒體分發(fā)網(wǎng)絡(luò)。隨著社會(huì)的進(jìn)步，人們對(duì)低延時(shí)即時(shí)通信的需求越來(lái)越高。本次LiveVideoStackCon 2021上海站大會(huì)邀請(qǐng)到了負(fù)責(zé)騰訊云千億級(jí)底層通信網(wǎng)絡(luò)的劉然，他為我們分享了穩(wěn)健、可靠的全真即時(shí)通信網(wǎng)的架構(gòu)與應(yīng)用實(shí)踐。

如何利用 AWS WebSocket API 進(jìn)行無(wú)服務(wù)器 Serverless WebRTC 信令
在本文中，Edward展示了他們?nèi)绾卫脽o(wú)服務(wù)器架構(gòu)來(lái)設(shè)置其WebRTC信號(hào)。他們使用AWS的API網(wǎng)關(guān)WebSocket API終止WebSocket并調(diào)用AWS無(wú)服務(wù)器Lambda函數(shù)。

https://webrtchacks.com/leverage-aws-websocket-api-for-webrtc-signaling/

詳解 WebRTC 高音質(zhì)低延時(shí)的背后 — AGC（自動(dòng)增益控制）
本文將結(jié)合實(shí)例全面解析 WebRTC AGC 的基本框架，一起探索其基本原理、模式的差異、存在的問(wèn)題以及優(yōu)化方向。

MPEG-DASH視頻流——完全指南
MPEG-DASH是最流行的視頻流協(xié)議之一，被廣泛用于通過(guò)視頻點(diǎn)播或直播來(lái)把媒體分發(fā)到各種終端用戶(hù)設(shè)備，包括智能手機(jī)、平板電腦、智能電視、游戲機(jī)等等。這篇文章將介紹MPEG-DASH的基本原理、它的歷史、最重要的特點(diǎn)等等。

網(wǎng)易云信視頻引擎技術(shù)
視頻引擎的應(yīng)用場(chǎng)景多為需要低延遲的實(shí)時(shí)通訊場(chǎng)景，比如視頻會(huì)議和娛樂(lè)直播。本次分享我們邀請(qǐng)到了網(wǎng)易云信的工程師韓慶瑞老師，為我們分享網(wǎng)易云信視頻引擎技術(shù)的特點(diǎn)和落地方案。

通過(guò)透視式顯示設(shè)備和光學(xué)設(shè)備進(jìn)行視覺(jué)增強(qiáng)
本文來(lái)自O(shè)SA的Imaging and Applied Optics Congress 2020， 講者是來(lái)自東京工業(yè)大學(xué)的助理教授Yuta Itoh，演講主題是關(guān)于通過(guò)透視式顯示設(shè)備和光學(xué)設(shè)備進(jìn)行視覺(jué)增強(qiáng)。

2021 最新視頻防抖論文+開(kāi)源代碼匯總
今年三篇關(guān)于視頻防抖的文章，這三篇文章分布采用了不同的方法來(lái)解決視頻抖動(dòng)的問(wèn)題。
1、基于深度的三維視頻穩(wěn)定學(xué)習(xí)方法Deep3D穩(wěn)定器
2、融合運(yùn)動(dòng)傳感器數(shù)據(jù)和光流，實(shí)現(xiàn)在線(xiàn)視頻穩(wěn)定
3、融合視頻中多個(gè)相鄰幀的信息，來(lái)呈現(xiàn)無(wú)需裁剪的完整穩(wěn)定視頻

喜馬拉雅：基于 WeNet 和 gRPC 的語(yǔ)音識(shí)別微服務(wù)架構(gòu)的設(shè)計(jì)和應(yīng)用
近日，喜馬拉雅語(yǔ)音團(tuán)隊(duì)在wenet中增加了基于gRPC的流式語(yǔ)音識(shí)別的支持。本文由喜馬拉雅語(yǔ)音團(tuán)隊(duì)撰寫(xiě)，介紹wenet中的gRPC的設(shè)計(jì)和實(shí)現(xiàn)，并介紹喜馬拉雅基于wenet和gRPC的語(yǔ)音識(shí)別微服務(wù)架構(gòu)的設(shè)計(jì)和應(yīng)用。

Vonage 提高了現(xiàn)場(chǎng)互動(dòng)的視頻質(zhì)量?
回想我們一年前的狀況真是不可思議。COVID-19挑戰(zhàn)了我們，改變了我們的工作，生活和彼此聯(lián)系的方式。視頻通信爆炸式增長(zhǎng)以幫助我們適應(yīng)新的生活方式—去年2月至4月之間，Vonage視頻平臺(tái)上的視頻分鐘數(shù)增加了707％，而視頻總分鐘數(shù)仍然很高，2020年7月的使用率比2020年2月的使用率達(dá)到501％。

https://www.vonage.com/about-us/vonage-stories/video-quality-webrtc-live-interactions-post-covid1/

如果讓AI根據(jù)文字畫(huà)「抽象畫(huà)」，那得成什么樣？｜DeepMind新算法

根據(jù)文字生成圖片，AI早就會(huì)了。而如今，和以往的“寫(xiě)實(shí)派”不同，AI要開(kāi)始進(jìn)軍“抽象派”藝術(shù)了！

這些行業(yè)，將率先落地AI芯片
廣義上，所有面向AI應(yīng)用的芯片都可以稱(chēng)為AI芯片。目前一般認(rèn)為是針對(duì)AI算法做了特殊加速設(shè)計(jì)的芯片。現(xiàn)階段，這些人工智能算法一般以深度學(xué)習(xí)算法為主，也可以包括其他淺層機(jī)器學(xué)習(xí)算法。

性能優(yōu)化：SRS為何能做到同類(lèi)的三倍
性能無(wú)疑是服務(wù)器的核心能力，幾乎每個(gè)開(kāi)源服務(wù)器的介紹都是”高性能XXX服務(wù)器“。視頻服務(wù)器由于業(yè)務(wù)的超復(fù)雜度，特別是WebRTC服務(wù)器，要做到高性能是非常有挑戰(zhàn)的難點(diǎn)。

Google新作 | 詳細(xì)解讀 Transformer那些有趣的特性（建議全文背誦）
本文發(fā)現(xiàn)了Transformer的一些重要特性，如Transformer對(duì)嚴(yán)重的遮擋，擾動(dòng)和域偏移具有很高的魯棒性、與CNN相比，ViT更符合人類(lèi)視覺(jué)系統(tǒng)，泛化性更強(qiáng)，等等…代碼即將開(kāi)源！

實(shí)操教程｜使用圖像分割來(lái)做缺陷檢測(cè)的一個(gè)例子
什么是物體檢測(cè)？給定一張圖像，我們?nèi)祟?lèi)可以識(shí)別圖像中的物體。例如，我們可以檢測(cè)圖像中是否有汽車(chē)，樹(shù)木，人等。如果我們可以分析圖像并檢測(cè)物體，我們可以教機(jī)器做同樣的事情嗎?答案是肯定的。隨著深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的興起，我們可以實(shí)現(xiàn)目標(biāo)檢測(cè)的自動(dòng)化。

微軟MR設(shè)計(jì)師：如何用視覺(jué)模擬彌補(bǔ)AR交互缺乏的體感反饋？
近期，為了進(jìn)一步優(yōu)化AR虛實(shí)融合的效果，微軟MR設(shè)計(jì)師Oscar Salandin開(kāi)發(fā)了一種逼真的物理模擬AR demo。據(jù)悉，該應(yīng)用基于物理交互模擬和AR，乍一看只是一個(gè)可以自由交互的AR立方體，但它的獨(dú)特之處在于，可通過(guò)基于視覺(jué)的反饋來(lái)增強(qiáng)AR的逼真感，盡管沒(méi)有體感反饋，也能給體驗(yàn)者帶來(lái)足夠虛實(shí)結(jié)合的感受。

綜述：基于點(diǎn)云的自動(dòng)駕駛3D目標(biāo)檢測(cè)和分類(lèi)方法

本文基于現(xiàn)有的自動(dòng)駕駛中利用3D點(diǎn)云數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)的文獻(xiàn),從數(shù)據(jù)特征提取和目標(biāo)檢測(cè)模型等方面對(duì)不同技術(shù)進(jìn)行比較。

無(wú)人駕駛“解救”礦山之困

當(dāng)社會(huì)還在熱議老齡化社會(huì)可能帶來(lái)的變化時(shí)，一些行業(yè)已經(jīng)為這個(gè)問(wèn)題焦頭爛額了許久。作為礦山智能化體系中重要組成部分的無(wú)人駕駛，得益于此前多年的技術(shù)積累，更容易快速落地，形成智慧礦山的標(biāo)桿項(xiàng)目。

調(diào)查報(bào)告：全美成年人中有23%用過(guò)VR，Quest使用率占總體24%
自2012到2014年掀起一波VR風(fēng)口，至今已經(jīng)過(guò)去7年以上的時(shí)間。隨著前幾年VR一體機(jī)誕生，VR硬件和內(nèi)容市場(chǎng)得到了肉眼可見(jiàn)的發(fā)展和推動(dòng)。那么時(shí)至今日，已經(jīng)有多少人用上了VR？VR在普通消費(fèi)群體的滲透率到底有多少？又有哪些難點(diǎn)阻止更多人接受VR呢？為了解答上述問(wèn)題，Thrive Analytics和ARtillery Intelligence合作發(fā)布全新的VR用戶(hù)行為調(diào)查報(bào)告，報(bào)告中對(duì)4.6萬(wàn)美國(guó)成年人進(jìn)行調(diào)查，結(jié)果發(fā)現(xiàn)……

廣播IP轉(zhuǎn)型報(bào)告：2021年廣播公司面臨的最大挑戰(zhàn)
在第一份關(guān)于IP和云應(yīng)用狀況的報(bào)告中，當(dāng)Haivision在2019年著手調(diào)查廣播公司時(shí)，我們很好奇是什么讓業(yè)內(nèi)人士夜不能寐，并要求受訪(fǎng)者按重要性排序他們的答案。我們想深入挖掘，真正了解我們的廣播客戶(hù)面臨的最大挑戰(zhàn)和障礙是什么。去年底，當(dāng)我們第二次進(jìn)行這項(xiàng)調(diào)查時(shí)，我們問(wèn)了同樣的問(wèn)題，看看這些挑戰(zhàn)有什么變化。

活動(dòng)推薦

#?火山引擎 “全擎而進(jìn)” 品牌發(fā)布會(huì)

2021年6月10日，火山引擎“全擎而進(jìn)”品牌發(fā)布會(huì)將在北京舉行，首次對(duì)外展示企業(yè)服務(wù)產(chǎn)品和行業(yè)增長(zhǎng)案例，揭秘字節(jié)跳動(dòng) 9 年增長(zhǎng)背后的技術(shù)原力，這也是火山引擎自去年對(duì)外服務(wù)以來(lái)的首個(gè)對(duì)外大會(huì)。整場(chǎng)活動(dòng)以線(xiàn)下參會(huì)、線(xiàn)上直播兩種方式進(jìn)行。線(xiàn)下展區(qū)則被打造成了“增長(zhǎng)引擎艙”，為來(lái)賓提供沉浸式商業(yè)體驗(yàn)，更有代入感地體驗(yàn)火山引擎產(chǎn)品技術(shù)帶來(lái)的增長(zhǎng)成效。

https://www.livevideostack.cn/news/tech-for-growth-0610/

#?多媒體技術(shù)PI 第三期——網(wǎng)絡(luò)傳輸線(xiàn)上圓桌

掃描上方海報(bào)二維碼，關(guān)注 LiveVideoStack 視頻號(hào)預(yù)約 5月29日 上午10:30?的線(xiàn)上 /網(wǎng)絡(luò)傳輸/?主題圓桌直播你將看到WebRTC中的TURN的應(yīng)用、WebRTC網(wǎng)絡(luò)安全傳輸、實(shí)時(shí)流媒體傳輸技術(shù)在直播場(chǎng)景應(yīng)用實(shí)踐，以及如何提升直播體驗(yàn)和技術(shù)應(yīng)用背后的思考。

#?LiveVideoStackCon 2021?北京站大會(huì)門(mén)票7折優(yōu)惠倒計(jì)時(shí)

LiveVideoStackCon 2021 北京站（9月3-4日），將以“新技術(shù)，新機(jī)會(huì)”為主題，聚焦行業(yè)最新技術(shù)探索與應(yīng)用實(shí)踐，在這里不僅可以了解到業(yè)內(nèi)頂尖技術(shù)人、leader的技術(shù)探索、創(chuàng)新思考與思維碰撞，此外還可以看到多媒體生態(tài)內(nèi)部頂級(jí)玩家、大廠(chǎng)針對(duì)行業(yè)趨勢(shì)、存在挑戰(zhàn)，以及未來(lái)前景的全面解讀。

*LiveVideoStackCon 2021 北京站 ?大會(huì)門(mén)票7折優(yōu)惠截止 —?5月30日

https://bj2021.livevideostack.com/

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 | 197的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。