每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨和新聞投稿：contribute@livevideostack.com。

架構(gòu)

日均超30億分鐘！騰訊實(shí)時(shí)音視頻技術(shù)低延時(shí)的秘密

TRTC通過全平臺覆蓋的 SDK 及云 REST API 的方式，在騰訊云上向開發(fā)者提供開放服務(wù)，致力于幫助開發(fā)者快速搭建低成本、低延時(shí)、高品質(zhì)的音視頻互動(dòng)解決方案。本文從網(wǎng)絡(luò)層、設(shè)備端與服務(wù)端三個(gè)層面詳細(xì)解析TRTC低延時(shí)技術(shù)實(shí)現(xiàn)，感興趣的小伙伴點(diǎn)擊查看詳細(xì)信息。（https://wj.qq.com/s2/5772278/50db/）

https://mp.weixin.qq.com/s/gV7ucyLhr78Ts2MmvBEQgQ

URTC萬人直播互動(dòng)實(shí)踐之路
本文由UCloud RTC首席架構(gòu)師 王立飛的線上分享內(nèi)容整理而成。詳細(xì)介紹了URTC萬人直播互動(dòng)的架構(gòu)設(shè)計(jì)與難點(diǎn)，在研發(fā)、業(yè)務(wù)應(yīng)用和產(chǎn)品迭代過程中的架構(gòu)演進(jìn)與考量標(biāo)準(zhǔn)。

https://mp.weixin.qq.com/s/l9rmV0fNm2UKRcFB-1tPxw

WebRTC 和 WASM 如何為 Web 應(yīng)用程序打開新機(jī)遇

WASM 簡要介紹。

https://blog.rtcweb.in/how-webrtc-and-wasm-are-opening-new-opportunities-for-web-apps/

360視頻云Web前端HEVC播放器實(shí)踐剖析

360視頻云前端團(tuán)隊(duì)圍繞HEVC前端播放及解密實(shí)現(xiàn)了一套基于WebAssembly、WebWorker的通用模塊化Web播放器，在LiveVideoStackCon2019深圳的演講中360奇舞團(tuán)Web前端技術(shù)經(jīng)理胡尊杰對其架構(gòu)設(shè)計(jì)、核心原理，具體痛點(diǎn)問題的解決方式進(jìn)行了詳細(xì)剖析。

https://mp.weixin.qq.com/s/IlKIS7nSyoV6J784ua_Ygw

傳輸網(wǎng)絡(luò)

如何提升OTT的用戶體驗(yàn)

本文來自SMPTE 2019，演講者Thierry Fautier是Harmonic的視頻戰(zhàn)略副總裁。視頻的主題是如何提升OTT的用戶體驗(yàn)。

https://mp.weixin.qq.com/s/mpqJJZaA0utJj_pPt24OBw

5G要拋棄TCP/IP？

對于更高級的5G服務(wù)，TCP/IP被認(rèn)為不是最佳的。

https://mp.weixin.qq.com/s/LVRLdA-A2E2U3D8QZzFi9Q

編解碼

SVT-AV1:開源編解碼最新進(jìn)展

SVT-AV1是開源的AV1編解碼器實(shí)現(xiàn)，托管在GitHub上[1]。如我們先前的文章所述[2]，英特爾和Netflix自2018年8月以來一直在就SVT-AV1編解碼器框架進(jìn)行合作。團(tuán)隊(duì)一直密切合作進(jìn)行SVT-AV1的開發(fā)、交流架構(gòu)決策；實(shí)施新工具并改善壓縮效率。自從項(xiàng)目開源后更多技術(shù)合作伙伴和開源社區(qū)為SVT-AV1做出非常多的貢獻(xiàn)。此篇技術(shù)博客中，我們將繼續(xù)報(bào)告SVT-AV1項(xiàng)目的當(dāng)前狀態(tài)以及編解碼器的特性與性能。

https://mp.weixin.qq.com/s/dgNbjwHxy4ns0FNP9j2_Cw

用JPEG-XS和ST2110創(chuàng)建帶寬有效的工作流

本篇是來自intoPIX的視頻專家Jean-Baptiste Lorent帶來的演講，主題是“用JPEG-XS和ST2110創(chuàng)建帶寬有效的工作流”，由他撰寫的白皮書“SMPTE 2019:Creating Bandwidth-Efficient Workflows with JPEG XS and SMPTE ST 2110”。

https://mp.weixin.qq.com/s/MaQSn5j_iOrFgElA4GBZjQ

音視頻的采集、編碼、封包成 mp4 輸出

使用 Android Camera API 完成音視頻的采集、編碼、封包成 mp4 輸出

基于android.hardware.Camera，創(chuàng)建一個(gè)橫屏應(yīng)用，實(shí)時(shí)預(yù)覽攝像頭圖像，實(shí)現(xiàn)錄像并輸出MP4的功能。

https://juejin.im/post/5e873d0be51d4546fa451cd2

視頻技術(shù)

下一代視頻協(xié)作解決方案

來自SignalWire的視頻支持。從公告中無法得知這是 MCU 還是 SFU。

https://signalwire.com/blogs/product/next-generation-video-collaboration-solutions

宣布使用 Twilio 視頻錄制提高靈活性和控制力

Twilio 添加了 composition API 以及外部 S3存儲。

https://www.twilio.com/blog/video-recording-compositions-encryption-storage-ga

iOS中使用OpenGL 實(shí)現(xiàn)增高功能

通過滑塊來編輯區(qū)域的增高或者縮短。

https://mp.weixin.qq.com/s/HSwuPxa0SgiuqcFSSgW0_g

Facebook GDC多人VR游戲開發(fā)研討會(huì)

前不久，受疫情影響Facebook原定于GDC期間舉行的開發(fā)者論壇也改為線上，包含三場視頻直播研討會(huì)，涉及了VR最佳案例、多人VR游戲、Oculus平臺開發(fā)介紹三個(gè)主題。其中，在多人VR游戲開發(fā)和未來環(huán)節(jié)，Oculus產(chǎn)品經(jīng)理Mike Howard與內(nèi)容部經(jīng)理Bruce Wooden激烈地探討了Oculus為了推動(dòng)VR多人游戲發(fā)展所做的努力，以及對未來的預(yù)期。

https://mp.weixin.qq.com/s/QG3VT1L3lrTTpq1VMwzyTw

Y combinator初創(chuàng)加速器2020冬季團(tuán)隊(duì)大賞——最好與最壞的時(shí)代

受新冠疫情的影響，初創(chuàng)企業(yè)加速器Y Combinator將自己的demo day轉(zhuǎn)移到了線上。今年公開的初創(chuàng)團(tuán)隊(duì)一共有168組，其數(shù)量之多，以至于TechCrunch要用四篇長文報(bào)道才將他們?nèi)拷榻B完。

https://mp.weixin.qq.com/s/_jt2pLQiHq5nkcZVBFIqOw

Google Duo采用WaveNetEQ填補(bǔ)語音間隙

在線語音通話已經(jīng)成為人們?nèi)粘Ｉ畹囊徊糠?#xff0c;但數(shù)據(jù)包常以錯(cuò)誤的順序或錯(cuò)誤的時(shí)間到達(dá)另一端，有時(shí)個(gè)別數(shù)據(jù)包甚至可能會(huì)完全丟失。這不僅導(dǎo)致通話質(zhì)量降低，而且是音頻和視頻傳輸都普遍存在的問題。

https://mp.weixin.qq.com/s/l0gzRRKSrJ2wo14xFIcKzg

8K及以上:多少K才算太多?

去年，8K風(fēng)靡一時(shí)。在CES、NAB和IBC貿(mào)易展覽上，很多產(chǎn)品和討論都與即將到來的8K革命有關(guān)。這是一個(gè)建立在技術(shù)進(jìn)步和渴望，邁入下一個(gè)大事件基礎(chǔ)上的行業(yè)的重要組成部分。也就是在今年，CES展出了三星、LG、夏普等品牌的8K顯示屏，8K已經(jīng)成為這家電視供應(yīng)商的最新旗艦產(chǎn)品。

https://mp.weixin.qq.com/s/ene-x7JDCTXEslwr63oKaw

AI智能

使用樹莓派構(gòu)建面部識別客戶端

GetUserMedia + Vision + ML. 瀏覽器中實(shí)現(xiàn)和體驗(yàn)

https://medium.com/swlh/building-a-facial-recognition-lock-client-with-raspberry-pi-ad06319be88f

智能推薦算法在直播場景中的應(yīng)用

隨著移動(dòng)互聯(lián)網(wǎng)泛娛樂化行業(yè)的發(fā)展，直播與短視頻越來越深入人們的生活，人們對于直播與短視頻的質(zhì)量要求也越來越高。是否能夠匹配用戶的興趣，滿足用戶的需求，已經(jīng)成為決定平臺增長的關(guān)鍵因素。

https://mp.weixin.qq.com/s/R7b34jnzE7VKa6RtgDXb6Q

圖像

RANet : 分辨率自適應(yīng)網(wǎng)絡(luò)效果和性能的best trade-off | CVPR 2020

深度CNN帶來了性能提升的同時(shí)也帶來了過高的計(jì)算量，許多研究放在了如何進(jìn)行網(wǎng)絡(luò)加速上面，其中比較直接的是根據(jù)樣本難易程度進(jìn)行自動(dòng)調(diào)整的自適應(yīng)網(wǎng)絡(luò)。基于對自適應(yīng)網(wǎng)絡(luò)的研究，論文提出了自適應(yīng)網(wǎng)絡(luò)RANet(Resolution Adaptive Network)，思想如圖1所示，網(wǎng)絡(luò)包含多個(gè)不同輸入分辨率和深度子網(wǎng)，樣本先從最小的子網(wǎng)開始識別，若結(jié)果滿足條件則退出，否則繼續(xù)使用更大的子網(wǎng)進(jìn)行識別，子網(wǎng)的特征不是獨(dú)有的，下一級別的子網(wǎng)會(huì)融合上一級別的子網(wǎng)特征，從實(shí)驗(yàn)來看，論文在效果和性能上取得了很不錯(cuò)的trade-off。

https://mp.weixin.qq.com/s/3DSJUy7fUpJL924H1TrZhA

濾鏡算法介紹

隨著計(jì)算機(jī)硬件性能發(fā)展和圖像處理算法的不斷進(jìn)步，數(shù)字圖像處理技術(shù)的應(yīng)用越來越廣泛。在移動(dòng)互聯(lián)網(wǎng)時(shí)代，手機(jī)和攝像設(shè)備的完美結(jié)合實(shí)現(xiàn)了對圖像的強(qiáng)力支持。在此背景下，誕生了眾多的優(yōu)秀的移動(dòng)端圖像編輯軟件和圖像社交軟件。圖像特效濾鏡是這些軟件的核心功能之一，使得用戶只要通過點(diǎn)擊手機(jī)屏幕就能夠獲得攝像師修圖之后的圖片效果。

https://mp.weixin.qq.com/s/9xQ1HyvZZ1VFd4uImOIWvQ

使用色差指標(biāo)評估HDR和WCG圖像質(zhì)量

本文來自SMPTE2019的演講，演講者是來自Dolby Laboratories Inc的Jaclyn Pytlarz。演講主題是使用色差指標(biāo)評估HDR和WCG圖像質(zhì)量。

https://mp.weixin.qq.com/s/aT1LaoMA4hGnRZAGfVaXlQ

未來的電影該如何保存和存檔

本文是來自SMPTE 2019的演講，演講者是來自CBC的媒體制作設(shè)計(jì)師Pierre Hugues Routhier，演講題目是“How Will We Archive and Preserve the Movies of Tomorrow”。

https://mp.weixin.qq.com/s/_7iC574M9vfqkeugogidmQ

資源推薦

國產(chǎn)開源流媒體SRS4.0對視頻監(jiān)控GB28181的支持

本篇文章是第一篇介紹SRS的文章，后續(xù)應(yīng)該還會(huì)有一些測試和使用經(jīng)驗(yàn)的文章，同時(shí)可能會(huì)有一些源碼閱讀筆記。本篇文章主要是介紹下國產(chǎn)開源流媒體SRS涉及的入門資料，SRS前期對標(biāo)的nginx-rtmp-module，是國內(nèi)第一款真正開源的流媒體服務(wù)，應(yīng)用在直播和RTC領(lǐng)域。但是成立同學(xué)志存高遠(yuǎn)，不僅僅局限于某一個(gè)行業(yè)，近期WebRTC、SRT、GB28181支持的都很快，希望大家都能參與進(jìn)來，支持國產(chǎn)開源流媒體發(fā)展壯大。

https://mp.weixin.qq.com/s/VIPSPaBB5suUk7_I2oOkMw

活動(dòng)推薦

5G 時(shí)代VR + 8K 直播 刷新視界的認(rèn)識

未來5G帶來的高速率、低延遲、廣連接網(wǎng)絡(luò)環(huán)境，有望給虛擬現(xiàn)實(shí)產(chǎn)業(yè)帶來強(qiáng)大的支撐作用。金山云做為視頻行業(yè)領(lǐng)先的服務(wù)提供商，持續(xù)在VR領(lǐng)域投入資源，在高清直播領(lǐng)域首先進(jìn)行商業(yè)化落地。計(jì)劃4月16日聯(lián)合LiveVideoStack線上隆重發(fā)布《VR + 8K 直播商業(yè)化解決方案》，并對核心關(guān)鍵技術(shù)進(jìn)行解讀。

預(yù)約觀看直播：http://mudu.tv/watch/5448453

點(diǎn)擊“閱讀原文”可查看更多詳細(xì)信息，請大家科學(xué)上網(wǎng)。

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 | 139的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。