每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨。

新聞投稿：contribute@livevideostack.com。

架構(gòu)

WebRTC 1.0 標(biāo)準(zhǔn)中更新了 Candidate 篩選優(yōu)先級(jí)內(nèi)容

WebRTC 1.0：瀏覽器之間的實(shí)時(shí)通信

https://www.w3.org/blog/news/archives/8666

NAT traversal 如何工作的？

在我們的文章中，我們涵蓋了關(guān)于Tailscale如何工作的很多內(nèi)容。然而，我們忽略了如何通過NATs(網(wǎng)絡(luò)地址轉(zhuǎn)換器)直接連接你的設(shè)備，不管它們之間有什么障礙。讓我們現(xiàn)在談?wù)勥@個(gè)!

https://tailscale.com/blog/how-nat-traversal-works/

使用WebRTC開發(fā)Android Messenger：第1部分

這是一個(gè)由三部分組成的系列文章，內(nèi)容涉及：利用WebRTC中的BUG和利用Messenger應(yīng)用程序。本系列文章重點(diǎn)闡述了當(dāng)應(yīng)用程序不能應(yīng)用于WebRTC補(bǔ)丁程序以及通信和安全問題通知中斷時(shí)可能出問題的方面。

https://googleprojectzero.blogspot.com/2020/08/exploiting-android-messengers-part-1.html

傳輸網(wǎng)絡(luò)

徹底弄懂TCP協(xié)議：從三次握手說起

說到 TCP 協(xié)議，相信大家都比較熟悉了，對(duì)于 TCP 協(xié)議總能說個(gè)一二三來，但是 TCP 協(xié)議又是一個(gè)非常復(fù)雜的協(xié)議，其中有不少細(xì)節(jié)點(diǎn)讓人頭疼點(diǎn)。本文就是來說說這些頭疼點(diǎn)的，淺談一些 TCP 的疑難雜癥。

https://mp.weixin.qq.com/s/6LiZGMt2KRiIoMaLwx-lkQ

基于云的遠(yuǎn)程辦公

本文來自SMPTE2020的演講，作者是Grass Valley產(chǎn)品行銷副總裁Boromy Ung。此次演講的主題是：基于云的遠(yuǎn)程辦公。

https://mp.weixin.qq.com/s/4hgkFTlTOyNxOOYift75lA

SRT協(xié)議概述

本文來自SVA 2020，主講人是來自Haivision的Maxim Sharabayko，他向我們介紹了有關(guān)的SRT協(xié)議的許多內(nèi)容。SRT能夠讓有損視頻傳輸網(wǎng)絡(luò)的性能表現(xiàn)看起來像無損視頻傳輸，正是這種能力使得其越來越廣為人知，這一點(diǎn)從SRT聯(lián)盟的成員公司目前已經(jīng)超過400個(gè)就可以證明。

https://mp.weixin.qq.com/s/xFMYU3YgNh51BPKnmKZdMg

編解碼

FFmpeg 播放器實(shí)現(xiàn)音視頻同步的三種方式

播放器對(duì)音頻和視頻的播放沒有絕對(duì)的靜態(tài)的同步，只有相對(duì)的動(dòng)態(tài)的同步，實(shí)際上音視頻同步就是一個(gè)“你追我趕”的過程。

音視頻的同步方式有 3 種，即：音視頻分別向系統(tǒng)時(shí)鐘同步、音頻向視頻同步及視頻向音頻同步。

https://mp.weixin.qq.com/s/RRZAAUV8OZ0ksyhFPJnGEw

淺析FFmpeg及SDL視頻流播放存儲(chǔ)技術(shù)

本文闡述FFmpeg與SDL的常用函數(shù)及各結(jié)構(gòu)體間的關(guān)系，并給出視頻流播放存儲(chǔ)的實(shí)現(xiàn)過程。在實(shí)際應(yīng)用中，可以根據(jù)支持的不同種傳輸協(xié)議、 媒體容器格式和音視頻編解碼標(biāo)準(zhǔn)，調(diào)整碼率、幀數(shù)，實(shí)現(xiàn)不同需求的實(shí)時(shí)視頻流播放存儲(chǔ)，提高在不同情況下的媒體流播放效果。

https://mp.weixin.qq.com/s/ujBwUNHXegREKMehQtCk5g

GeForce RTX 30系列GPU：通過AV1解碼迎來視頻內(nèi)容的新時(shí)代

視頻占世界互聯(lián)網(wǎng)流量的60％以上。隨著世界變得更加數(shù)字化，尋找有效的視頻傳輸方式比以往任何時(shí)候都更為重要。

https://www.nvidia.com/en-us/geforce/news/rtx-30-series-av1-decoding/

人物專訪

當(dāng)AI成為基礎(chǔ)資源，360OS 發(fā)力在線教育的重心——專訪360OS張焰

2020年疫情爆發(fā)，在疫情期間幫助行業(yè)降本增效，正成為一門大的學(xué)問和生意，其中AI在多行業(yè)應(yīng)用中展現(xiàn)了前所未有的能量。360OS AI視覺在線上教育領(lǐng)域的突飛崛起，使得行業(yè)將眼光注入到這支AI新生力量中。為此，我們采訪了360OS AI影像事業(yè)部研發(fā)總監(jiān)張焰，一起探尋AI在線上教育應(yīng)用中的中國式突圍。

https://mp.weixin.qq.com/s/fHYcsld3ZgyY_uCk2mxjSw

音視頻技術(shù)

RED：通過數(shù)據(jù)冗余提高音頻質(zhì)量

WebRTC 中的音頻前向糾錯(cuò)替代方案。

https://webrtchacks.com/red-improving-audio-quality-with-redundancy/

AI加持的豎屏沉浸播放新體驗(yàn)

本文由愛奇藝劉小輝在LiveVideoStackCon 2020 線上峰會(huì)的演講內(nèi)容整理而成，內(nèi)容主要講述通過AI智能的視頻畫面主體識(shí)別能力和字幕識(shí)別能力，實(shí)現(xiàn)在手機(jī)端豎屏全屏觀看橫拍視頻的新體驗(yàn)，給用戶提供沉浸視界新體驗(yàn)。

https://mp.weixin.qq.com/s/xgfhi-6y8Mh-DTk1Bdn8FQ

At home production

本文來自VIDOVATION的線上會(huì)議，參與會(huì)議的主要成員有來自MediaKind的Matthew Goldman，VidOvation的Jim Jachetta，VISTA WorldLink的Josh Liemer和Matrox Video的Dan Maloney。在這次會(huì)議主要介紹了At home production這一直播新技術(shù)。

https://mp.weixin.qq.com/s/yhMbWVYkU-6cgDotdv9kiA

AI智能

亞馬遜團(tuán)隊(duì)在 Interspeech 2020 深度降噪挑戰(zhàn)賽中獲得第一名

什么時(shí)候可以 WebAssembly 形式發(fā)布出來？

https://www.amazon.science/blog/amazon-team-takes-first-place-in-interspeech-2020-deep-noise-suppression-challenge

深度學(xué)習(xí)對(duì)機(jī)器視覺的影響

本文結(jié)合了embeded vision 2019中FLIR的演講PPT和威視康電子報(bào)中的內(nèi)容，匯總一下當(dāng)前深度學(xué)習(xí)對(duì)機(jī)器視覺制造的影響。

https://mp.weixin.qq.com/s/nAxbljcLeGWsPK6ITunzTA

Keras vs PyTorch vs Caffe：CNN實(shí)現(xiàn)對(duì)比

在本文中，我們將構(gòu)建相同的深度學(xué)習(xí)框架，即在Keras、PyTorch和Caffe中對(duì)同一數(shù)據(jù)集進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)圖像分類，并對(duì)所有這些方法的實(shí)現(xiàn)進(jìn)行比較。最后，我們將看到PyTorch構(gòu)建的CNN模型如何優(yōu)于內(nèi)置Keras和Caffe的同行。

https://juejin.im/post/6865636168354725895

圖像處理

圖像質(zhì)量評(píng)價(jià)：IQA介紹

圖像質(zhì)量評(píng)價(jià)(Image quality assessment,IQA)目的在于使用計(jì)算模型來衡量圖像質(zhì)量使結(jié)果與主觀質(zhì)量保持一致（即主觀質(zhì)量好的圖像其IQA評(píng)分也應(yīng)該越高）。隨著數(shù)字圖像和傳輸技術(shù)的快速增長(zhǎng)，IQA在圖像獲取、傳輸、壓縮、恢復(fù)、增強(qiáng)等領(lǐng)域也變得更加重要。

https://mp.weixin.qq.com/s/F9b7qMAX0aKLvdQIKpTVWw

虛擬現(xiàn)實(shí)革命前夕：第四次工業(yè)革命的鑰匙之一 ——VR&AR深度行業(yè)研究報(bào)告

VR最大的價(jià)值在于，在遙遠(yuǎn)的未來可以創(chuàng)造一個(gè)虛擬世界；AR最大的價(jià)值，作為一種工具改造人類生活的方方面面。

https://mp.weixin.qq.com/s/yUZE79XCWf_3PkNXuZooIA

資訊速覽

• RingByName 宣布免費(fèi)視頻會(huì)議和遠(yuǎn)程協(xié)作

• Zoom 出品家用智能顯示屏

活動(dòng)推薦

【線上分享】 Xilinx U30 視頻轉(zhuǎn)碼 + AI 的應(yīng)用

9月10日晚19:30，我們邀請(qǐng)到賽靈思數(shù)據(jù)中心業(yè)務(wù)拓展經(jīng)理梁曉明、視頻技術(shù)專家曹洪以及Aupera CTO周正寧，帶來Xilinx 新推出的Alveo U30介紹，分享視頻轉(zhuǎn)碼的難點(diǎn)與瓶頸，并詳細(xì)解析賽靈思在視頻轉(zhuǎn)碼與AI深度結(jié)合實(shí)踐。

Xilinx U30是一款基于PCIe的小尺寸媒體加速卡，可為實(shí)時(shí)流媒體視頻服務(wù)提供商、OEM廠商以及內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）提供高密度的實(shí)時(shí)轉(zhuǎn)碼及視頻實(shí)時(shí)分析解決方案。

點(diǎn)擊【閱讀原文】或掃碼、訪問鏈接預(yù)約報(bào)名：

http://livevideostack.mikecrm.com/izFf2o5

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 | 160的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。