音视频技术开发周刊 | 139
每周一期,縱覽音視頻技術(shù)領(lǐng)域的干貨和新聞投稿:contribute@livevideostack.com。
架構(gòu)
日均超30億分鐘!騰訊實(shí)時(shí)音視頻技術(shù)低延時(shí)的秘密
TRTC通過全平臺覆蓋的 SDK 及云 REST API 的方式,在騰訊云上向開發(fā)者提供開放服務(wù),致力于幫助開發(fā)者快速搭建低成本、低延時(shí)、高品質(zhì)的音視頻互動(dòng)解決方案。本文從網(wǎng)絡(luò)層、設(shè)備端與服務(wù)端三個(gè)層面詳細(xì)解析TRTC低延時(shí)技術(shù)實(shí)現(xiàn),感興趣的小伙伴點(diǎn)擊查看詳細(xì)信息。(https://wj.qq.com/s2/5772278/50db/)
https://mp.weixin.qq.com/s/gV7ucyLhr78Ts2MmvBEQgQ
URTC萬人直播互動(dòng)實(shí)踐之路
本文由UCloud RTC首席架構(gòu)師 王立飛的線上分享內(nèi)容整理而成。詳細(xì)介紹了URTC萬人直播互動(dòng)的架構(gòu)設(shè)計(jì)與難點(diǎn),在研發(fā)、業(yè)務(wù)應(yīng)用和產(chǎn)品迭代過程中的架構(gòu)演進(jìn)與考量標(biāo)準(zhǔn)。
https://mp.weixin.qq.com/s/l9rmV0fNm2UKRcFB-1tPxw
WebRTC 和 WASM 如何為 Web 應(yīng)用程序打開新機(jī)遇
WASM 簡要介紹。
https://blog.rtcweb.in/how-webrtc-and-wasm-are-opening-new-opportunities-for-web-apps/
360視頻云Web前端HEVC播放器實(shí)踐剖析
360視頻云前端團(tuán)隊(duì)圍繞HEVC前端播放及解密實(shí)現(xiàn)了一套基于WebAssembly、WebWorker的通用模塊化Web播放器,在LiveVideoStackCon2019深圳的演講中360奇舞團(tuán)Web前端技術(shù)經(jīng)理胡尊杰對其架構(gòu)設(shè)計(jì)、核心原理,具體痛點(diǎn)問題的解決方式進(jìn)行了詳細(xì)剖析。
https://mp.weixin.qq.com/s/IlKIS7nSyoV6J784ua_Ygw
傳輸網(wǎng)絡(luò)
如何提升OTT的用戶體驗(yàn)
本文來自SMPTE 2019,演講者Thierry Fautier是Harmonic的視頻戰(zhàn)略副總裁。視頻的主題是如何提升OTT的用戶體驗(yàn)。
https://mp.weixin.qq.com/s/mpqJJZaA0utJj_pPt24OBw
5G要拋棄TCP/IP?
對于更高級的5G服務(wù),TCP/IP被認(rèn)為不是最佳的。
https://mp.weixin.qq.com/s/LVRLdA-A2E2U3D8QZzFi9Q
編解碼
SVT-AV1:開源編解碼最新進(jìn)展
SVT-AV1是開源的AV1編解碼器實(shí)現(xiàn),托管在GitHub上[1]。如我們先前的文章所述[2],英特爾和Netflix自2018年8月以來一直在就SVT-AV1編解碼器框架進(jìn)行合作。團(tuán)隊(duì)一直密切合作進(jìn)行SVT-AV1的開發(fā)、交流架構(gòu)決策;實(shí)施新工具并改善壓縮效率。自從項(xiàng)目開源后更多技術(shù)合作伙伴和開源社區(qū)為SVT-AV1做出非常多的貢獻(xiàn)。此篇技術(shù)博客中,我們將繼續(xù)報(bào)告SVT-AV1項(xiàng)目的當(dāng)前狀態(tài)以及編解碼器的特性與性能。
https://mp.weixin.qq.com/s/dgNbjwHxy4ns0FNP9j2_Cw
用JPEG-XS和ST2110創(chuàng)建帶寬有效的工作流
本篇是來自intoPIX的視頻專家Jean-Baptiste Lorent帶來的演講,主題是“用JPEG-XS和ST2110創(chuàng)建帶寬有效的工作流”,由他撰寫的白皮書“SMPTE 2019:Creating Bandwidth-Efficient Workflows with JPEG XS and SMPTE ST 2110”。
https://mp.weixin.qq.com/s/MaQSn5j_iOrFgElA4GBZjQ
音視頻的采集、編碼、封包成 mp4 輸出
使用 Android Camera API 完成音視頻的采集、編碼、封包成 mp4 輸出
基于android.hardware.Camera,創(chuàng)建一個(gè)橫屏應(yīng)用,實(shí)時(shí)預(yù)覽攝像頭圖像,實(shí)現(xiàn)錄像并輸出MP4的功能。
https://juejin.im/post/5e873d0be51d4546fa451cd2
視頻技術(shù)
下一代視頻協(xié)作解決方案
來自SignalWire的視頻支持。從公告中無法得知這是 MCU 還是 SFU。
https://signalwire.com/blogs/product/next-generation-video-collaboration-solutions
宣布使用 Twilio 視頻錄制提高靈活性和控制力
Twilio 添加了 composition API 以及外部 S3存儲。
https://www.twilio.com/blog/video-recording-compositions-encryption-storage-ga
iOS中使用OpenGL 實(shí)現(xiàn)增高功能
通過滑塊來編輯區(qū)域的增高或者縮短。
https://mp.weixin.qq.com/s/HSwuPxa0SgiuqcFSSgW0_g
Facebook GDC多人VR游戲開發(fā)研討會(huì)
前不久,受疫情影響Facebook原定于GDC期間舉行的開發(fā)者論壇也改為線上,包含三場視頻直播研討會(huì),涉及了VR最佳案例、多人VR游戲、Oculus平臺開發(fā)介紹三個(gè)主題。其中,在多人VR游戲開發(fā)和未來環(huán)節(jié),Oculus產(chǎn)品經(jīng)理Mike Howard與內(nèi)容部經(jīng)理Bruce Wooden激烈地探討了Oculus為了推動(dòng)VR多人游戲發(fā)展所做的努力,以及對未來的預(yù)期。
https://mp.weixin.qq.com/s/QG3VT1L3lrTTpq1VMwzyTw
Y combinator初創(chuàng)加速器2020冬季團(tuán)隊(duì)大賞——最好與最壞的時(shí)代
受新冠疫情的影響,初創(chuàng)企業(yè)加速器Y Combinator將自己的demo day轉(zhuǎn)移到了線上。今年公開的初創(chuàng)團(tuán)隊(duì)一共有168組,其數(shù)量之多,以至于TechCrunch要用四篇長文報(bào)道才將他們?nèi)拷榻B完。
https://mp.weixin.qq.com/s/_jt2pLQiHq5nkcZVBFIqOw
Google Duo采用WaveNetEQ填補(bǔ)語音間隙
在線語音通話已經(jīng)成為人們?nèi)粘I畹囊徊糠?#xff0c;但數(shù)據(jù)包常以錯(cuò)誤的順序或錯(cuò)誤的時(shí)間到達(dá)另一端,有時(shí)個(gè)別數(shù)據(jù)包甚至可能會(huì)完全丟失。這不僅導(dǎo)致通話質(zhì)量降低,而且是音頻和視頻傳輸都普遍存在的問題。
https://mp.weixin.qq.com/s/l0gzRRKSrJ2wo14xFIcKzg
8K及以上:多少K才算太多?
去年,8K風(fēng)靡一時(shí)。在CES、NAB和IBC貿(mào)易展覽上,很多產(chǎn)品和討論都與即將到來的8K革命有關(guān)。這是一個(gè)建立在技術(shù)進(jìn)步和渴望,邁入下一個(gè)大事件基礎(chǔ)上的行業(yè)的重要組成部分。也就是在今年,CES展出了三星、LG、夏普等品牌的8K顯示屏,8K已經(jīng)成為這家電視供應(yīng)商的最新旗艦產(chǎn)品。
https://mp.weixin.qq.com/s/ene-x7JDCTXEslwr63oKaw
AI智能
使用樹莓派構(gòu)建面部識別客戶端
GetUserMedia + Vision + ML. 瀏覽器中實(shí)現(xiàn)和體驗(yàn)
https://medium.com/swlh/building-a-facial-recognition-lock-client-with-raspberry-pi-ad06319be88f
智能推薦算法在直播場景中的應(yīng)用
隨著移動(dòng)互聯(lián)網(wǎng)泛娛樂化行業(yè)的發(fā)展,直播與短視頻越來越深入人們的生活,人們對于直播與短視頻的質(zhì)量要求也越來越高。是否能夠匹配用戶的興趣,滿足用戶的需求,已經(jīng)成為決定平臺增長的關(guān)鍵因素。
https://mp.weixin.qq.com/s/R7b34jnzE7VKa6RtgDXb6Q
圖像
RANet : 分辨率自適應(yīng)網(wǎng)絡(luò)效果和性能的best trade-off | CVPR 2020
深度CNN帶來了性能提升的同時(shí)也帶來了過高的計(jì)算量,許多研究放在了如何進(jìn)行網(wǎng)絡(luò)加速上面,其中比較直接的是根據(jù)樣本難易程度進(jìn)行自動(dòng)調(diào)整的自適應(yīng)網(wǎng)絡(luò)。基于對自適應(yīng)網(wǎng)絡(luò)的研究,論文提出了自適應(yīng)網(wǎng)絡(luò)RANet(Resolution Adaptive Network),思想如圖1所示,網(wǎng)絡(luò)包含多個(gè)不同輸入分辨率和深度子網(wǎng),樣本先從最小的子網(wǎng)開始識別,若結(jié)果滿足條件則退出,否則繼續(xù)使用更大的子網(wǎng)進(jìn)行識別,子網(wǎng)的特征不是獨(dú)有的,下一級別的子網(wǎng)會(huì)融合上一級別的子網(wǎng)特征,從實(shí)驗(yàn)來看,論文在效果和性能上取得了很不錯(cuò)的trade-off。
https://mp.weixin.qq.com/s/3DSJUy7fUpJL924H1TrZhA
濾鏡算法介紹
隨著計(jì)算機(jī)硬件性能發(fā)展和圖像處理算法的不斷進(jìn)步,數(shù)字圖像處理技術(shù)的應(yīng)用越來越廣泛。在移動(dòng)互聯(lián)網(wǎng)時(shí)代,手機(jī)和攝像設(shè)備的完美結(jié)合實(shí)現(xiàn)了對圖像的強(qiáng)力支持。在此背景下,誕生了眾多的優(yōu)秀的移動(dòng)端圖像編輯軟件和圖像社交軟件。圖像特效濾鏡是這些軟件的核心功能之一,使得用戶只要通過點(diǎn)擊手機(jī)屏幕就能夠獲得攝像師修圖之后的圖片效果。
https://mp.weixin.qq.com/s/9xQ1HyvZZ1VFd4uImOIWvQ
使用色差指標(biāo)評估HDR和WCG圖像質(zhì)量
本文來自SMPTE2019的演講,演講者是來自Dolby Laboratories Inc的Jaclyn Pytlarz。演講主題是使用色差指標(biāo)評估HDR和WCG圖像質(zhì)量。
https://mp.weixin.qq.com/s/aT1LaoMA4hGnRZAGfVaXlQ
未來的電影該如何保存和存檔
本文是來自SMPTE 2019的演講,演講者是來自CBC的媒體制作設(shè)計(jì)師Pierre Hugues Routhier,演講題目是“How Will We Archive and Preserve the Movies of Tomorrow”。
https://mp.weixin.qq.com/s/_7iC574M9vfqkeugogidmQ
資源推薦
國產(chǎn)開源流媒體SRS4.0對視頻監(jiān)控GB28181的支持
本篇文章是第一篇介紹SRS的文章,后續(xù)應(yīng)該還會(huì)有一些測試和使用經(jīng)驗(yàn)的文章,同時(shí)可能會(huì)有一些源碼閱讀筆記。本篇文章主要是介紹下國產(chǎn)開源流媒體SRS涉及的入門資料,SRS前期對標(biāo)的nginx-rtmp-module,是國內(nèi)第一款真正開源的流媒體服務(wù),應(yīng)用在直播和RTC領(lǐng)域。但是成立同學(xué)志存高遠(yuǎn),不僅僅局限于某一個(gè)行業(yè),近期WebRTC、SRT、GB28181支持的都很快,希望大家都能參與進(jìn)來,支持國產(chǎn)開源流媒體發(fā)展壯大。
https://mp.weixin.qq.com/s/VIPSPaBB5suUk7_I2oOkMw
活動(dòng)推薦
5G 時(shí)代VR + 8K 直播 刷新視界的認(rèn)識
未來5G帶來的高速率、低延遲、廣連接網(wǎng)絡(luò)環(huán)境,有望給虛擬現(xiàn)實(shí)產(chǎn)業(yè)帶來強(qiáng)大的支撐作用。金山云做為視頻行業(yè)領(lǐng)先的服務(wù)提供商,持續(xù)在VR領(lǐng)域投入資源,在高清直播領(lǐng)域首先進(jìn)行商業(yè)化落地。計(jì)劃4月16日聯(lián)合LiveVideoStack線上隆重發(fā)布《VR + 8K 直播商業(yè)化解決方案》,并對核心關(guān)鍵技術(shù)進(jìn)行解讀。
預(yù)約觀看直播:http://mudu.tv/watch/5448453
點(diǎn)擊“閱讀原文”可查看更多詳細(xì)信息,請大家科學(xué)上網(wǎng)。
總結(jié)
以上是生活随笔為你收集整理的音视频技术开发周刊 | 139的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: LiveVideoStack线上分享第五
- 下一篇: 疫情伤了谁?反正不是这8大直播行业