每周一期，縱覽音視頻技術領域的干貨和新聞投稿：contribute@livevideostack.com。

架構

基于 TCP 的服務器 WebRTC 通道質量指示器

看看 WebRTC 在 TCP 上是如何工作的吧。

WebRTC連接：一些關于NAT穿越的簡要原理

或許你在前一段時間聽聞IPv4地址枯竭的新聞，IPv4地址只有32位長，理論最多42.9億條。大概在94年時候，提出了IP網(wǎng)絡地址轉換NAT 的RFC規(guī)范，作為一個臨時方案來解決IPv4地址枯竭的問題。這個方案就是要把IP地址重用。在邊緣網(wǎng)絡引入NAT設備，由它來負責維護本地服務IP和端口的映射到公網(wǎng)IP和端口。NAT內部的本地IP地址空間可以被許多不同的子網(wǎng)絡重用，從而解決地址耗盡的問題。

如何構建一個 AR 增強現(xiàn)實遠程援助應用程序

大多數(shù)遠程協(xié)助都是通過基于音頻或文本的聊天完成的。這些解決方案對于可能難以描述問題或難以理解與故障排除相關的新概念和術語的用戶而言，可能會遇到麻煩。幸運的是，技術已經(jīng)達到可以使用“視頻聊天”和“增強現(xiàn)實”輕松解決此問題的地步。在本指南中，我們將逐步介紹構建一個利用ARKit和視頻聊天來創(chuàng)建交互式體驗的iOS應用所需的所有步驟。

WebRTC電話會議可能會出現(xiàn)什么問題

電話會議總是很復雜，WebRTC的加入可能會使它們變得更簡單，但也確實帶來了一系列的麻煩。

傳輸網(wǎng)絡

網(wǎng)絡傳輸協(xié)議kcp原理解析

KCP是一個快速可靠協(xié)議，能以比 TCP浪費10%-20%的帶寬的代價，換取平均延遲降低 30%-40%，且最大延遲降低三倍的傳輸效果。純算法實現(xiàn)，并不負責底層協(xié)議（如UDP）的收發(fā)，需要使用者自己定義下層數(shù)據(jù)包的發(fā)送方式，以 callback的方式提供給 KCP。連時鐘都需要外部傳遞進來，內部不會有任何一次系統(tǒng)調用。

通過QUIC 0-RTT建立更快的連接

本文主要探討TLS協(xié)議，看看它如何允許客戶機開始發(fā)送HTTP要求，并且無需等待TLS握手完成即可減少延遲、建立更快的連接。此外，之中會有一些風險如通過API端點發(fā)送HTTP請求間的bank API重放攻擊、Cloudware如何拒絕0-RTT請求并通過加密保護連接網(wǎng)絡。感謝學而思網(wǎng)校架構師劉連響對本文的技術審校。

編解碼

將視頻編碼工具用到WebP圖片中

本文是來自Alliance for Open Media Research Symposium2019的演講，作者是來自Google的Pascal Massimino。他帶來的演講主題是：如何利用現(xiàn)有的視頻編碼工具，構建一個更優(yōu)質的新型圖片格式。

神經(jīng)網(wǎng)絡媒體壓縮的機遇

本文是來自AOMedia Symposium 2019的演講，講者是來自于Google公司的George Toderici。本次演講主要講述了使用神經(jīng)網(wǎng)絡做壓縮的終極目標，現(xiàn)有SoTA神經(jīng)壓縮模型的綜述，以及未來的機遇。

Android音視頻硬編碼：生成一個MP4

本文將結合前面系列文中介紹的MediaCodec、OpenGL、EGL、FBO、MediaMuxer等知識，實現(xiàn)對一個視頻的解碼，編輯，編碼，最后保存為新視頻的流程。

視頻技術

視頻云下半場 向前走還是向“厚”走？

從2016年至今，流量的增長基本進入到了平穩(wěn)期，此時，面向產(chǎn)業(yè)界和開發(fā)者，我們如何提供更多、更新的能力給到他們，提升平臺的用戶體驗？本文來自騰訊云視頻業(yè)務產(chǎn)品總監(jiān)黃斌在LiveVideoStackCon 2019深圳站上的精彩分享，希望和業(yè)界一起探討視頻云下半場的方向與定位，也希望與產(chǎn)業(yè)界同仁一道，共建更好的大視頻生態(tài)。

Dana & AudioServer - 轉錄

多年來，我們一直在要求Asterisk中的一項新功能，該功能使我們能夠以一種可用的形式從Asterisk中獲取原始音頻流，從而使我們能夠將語音與文本引擎，機器人平臺等集成在一起，這成為了可能在Asterisk 16.6版中。

福克斯體育 1 臺啟用視頻呼叫中心擴容了包括 The Herd with Colin Cowherd 在內的熱門節(jié)目的覆蓋范圍

喜歡它全面使用視頻服務的方式，而不僅僅是他們自己實現(xiàn)了 WebRTC。

Demuxed 2019 演講視頻選

WebRTC/傳統(tǒng)的內容分銷

• 第一場演講的演講者是來自Comcast的Bryan Meissner。

  演講者首先介紹了WebRTC，WebRTC是用于低延遲流傳輸?shù)某錾珔f(xié)議，但是僅支持少數(shù)編碼器。

  以安全攝像機為例，它出現(xiàn)在H.264之前，因此他們提出了一種與WebRTC對等的支持H.264內容的方式。

• 第二場演講的演講者是來自Google的Ty Bekiares，演講者首先介紹了傳統(tǒng)的內容分銷模式，然后介紹了他們提出的邊緣轉碼模型，并陳述了邊緣轉碼的優(yōu)缺點。

  接著講了他們在ffmepg和QuickSync上做的一些測試。

  然后詳細介紹了基于最小可接受質量的視頻質量指標，最后介紹了一些仍需考慮的問題。

CMAF and DASH-IF/日本字幕/MPEG-5第2部分LCEVC的編解碼過程

• 第一場演講的演講者是來自Unified Streaming的Rufael Mekuria，演講者首先闡明了提出DASH-IF實時攝取協(xié)議的原因，然后介紹了它的兩個接口：

  CMAF攝取和DASH/HLS攝取，并介紹了該協(xié)議的一些好處。

  最后，詳細介紹了他們提供的CMAF開源實現(xiàn)，并介紹了下一步的工作。

• 第二場演講的演講者是來自Brightcove的Gary Katsevman，演講主題是”，演講者首先對字幕的使用情況做了簡要說明，然后對日本的字幕做了詳細的闡述，共介紹了日本字幕的5個特點，以及諸如IMSC和WebVTT這些字幕標準對這些功能的支持。

• 第三場演講的演講者是來自V-Nova的Guido Meardi，演講者首先解釋了低復雜度視頻編碼標準的必要性，然后講解了MPEG-5第2部分LCEVC的編解碼過程，然后對比了LCEVC和x264，x265在一些測試序列上的性能，最后介紹了LCEVC的下一步的工作。

AI智能

SDR2HDR及視頻增強的AI技術研究

宋利教授從超高清及SDR2HDR概要、視頻增強AI技術發(fā)展和HDR視頻的主客觀評價三個方面講解了SDR2HDR及視頻增強的AI技術研究。

北理工&阿里文娛：結合常識與推理，更好地理解視頻并生成描述

人工智能頂級會議 AAAI 2020 將于 2 月 7 日-2 月 12 日在美國紐約舉辦，不久之前，AAAI 2020 公布論文介紹結果：今年最終收到 8800 篇提交論文，評審了 7737 篇，接收 1591 篇，接收率 20.6%。本文對北京理工大學、阿里文娛摩酷實驗室合作的論文《Joint Commonsense and Relation Reasoning for Image and Video Captioning》進行解讀。

圖像

感知優(yōu)化深度圖像壓縮

本文是來自alliance for open media research symposium2019的演講，作者是來自于UT Austin的PhD，Li-Heng Chen。本次演講主要講述如何在感知上優(yōu)化深度圖像壓縮。

通過替代文本描述使LinkedIn媒體更具包容性

作為我們?yōu)槿騿T工的每一位成員提供經(jīng)濟機會的愿景的一部分，LinkedIn為會員們創(chuàng)造了一個獨特的環(huán)境，使會員們可以聯(lián)網(wǎng)、學習、共享知識，并找到工作。在很多方面，LinkedInfeed已經(jīng)成為這項工作的核心，它是我們在網(wǎng)站上分享信息和參與對話的卓越方式。除了文本之外，富媒體也已經(jīng)成為了feed的重要組成部分。

資源推薦

純前端實現(xiàn)人臉識別自動佩戴圣誕帽

Tensorflow.js 是Google 推出的第一個基于 TensorFlow 的前端深度學習框架。它允許你在瀏覽器上訓練模型，或以推斷模式運行預訓練的模型。TensorFlow.js 不僅可以提供低級的機器學習構建模塊，還可以提供高級的類似 Keras 的 API 來構建神經(jīng)網(wǎng)絡。

點擊“閱讀原文”可查看更多詳細信息，請大家科學上網(wǎng)。

總結

以上是生活随笔為你收集整理的音视频技术开发周刊（第126期）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。