音视频技术开发周刊 | 143
每周一期，縱覽音視頻技術領域的干貨和新聞投稿：contribute@livevideostack.com。
架構
PSA: WebRTC M83 版本發布
Insertable streams 等更多的視頻編碼器的控制，以及在這個版本中的更多內容。
https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!msg/discuss-webrtc/EieMDYtQ9sg/7po9fl8_AgAJ
傳輸網絡
低延遲互動式直播
本篇是來自nanocosmos的CEO Oliver Lietz帶來的演講，主題是：“低延遲互動式直播”。
Oliver首先提到，當前的直播行業的趨勢是以更強的觀眾互動性為中心的，包括任意設備的接入、移動性、Web應用、交互性等。互動性的直播應用場景有直播帶貨、拍賣、體育直播、游戲等。
接下來又詳細舉例了視頻會議廣播、圓桌論壇、公共事務中的公民參與、在線拍賣銷售、直播體育競猜等應用場景，這些場景均要求極低的延遲、觀眾數量的高可擴展性、以及觀眾的互動性。
隨后，Oliver講述了nanoCosmos的的解決方案，nanoStream云結合H5Live播放器的解決方案可以達到全球的1秒屏到屏的延遲，具備ABR功能與直播后臺數據分析。
https://mp.weixin.qq.com/s/J55dUWVjjt-Q3MyU6zZS9w
Carbyne：通過交互式視頻為911提供未來的發展方向
使用 Wowza 的 WebRTC 服務以低延遲串流緊急視頻。
https://www.wowza.com/blog/carbyne-future-911-interactive-video?
編解碼
下一代壓縮技術：JPEG XS、HEVC、SMPTE VC-6等
隨著體育直播視頻的傳輸速度持續增長，以及業界推出新的高帶寬UHD和HDR服務，壓縮標準也在繼續發展。隨著業界尋求降低延遲和復雜度的同時提高分辨率和質量，該領域的專家們將圍繞著下一代壓縮技術，包括JPEG XS、HEVC、SMPTE VC-6等，分析面臨的挑戰和機遇。
https://mp.weixin.qq.com/s/nQCXjvF4PalLUzCiPYOiaA
基于神經網絡的圖像編碼
基于神經網絡的圖像編碼器，主流方法主要包含兩種，一種是以hyper-scale VAE[1-4]為代表的端到端的神經網絡編碼器，另一種則是以post-filter結合傳統編碼器[5-12]為代表的基于傳統的方法。目前來看，端到端的神經網絡編碼器在SSIM指標上表現的更好，而結合神經網絡的傳統編碼器在PSNR指標上表現的更好。本文重點以PSNR指標進行展開，介紹基于傳統編碼器的圖像壓縮以及如何提升其編碼效率。主要包含兩個部分，后處理濾波和色彩空間轉換。
https://mp.weixin.qq.com/s/GDtrW9nUNCw6aCCWEVAVpw
Android使用OpenGL渲染ffmpeg解碼的YUV數據
學習一下如何將YUV轉換RGB的功能轉換到GPU中去執行，減少CPU的計算工作量，達到性能優化的目的。解決方案是使用OpenGL渲染，將YUV轉換RGB的功能交由著色器去處理。
https://mp.weixin.qq.com/s/yzNMXrdElyAsZbYZoEeLwg
MPEG最新的視頻編碼標準——LCEVC
本篇來自SMWest2019的演講，題目是“LCEVC: The Latest MPEG Standard ”。演講者是來自V-Nova的CEO以及聯合創始人Guido Meardi，他的演講詳細介紹了MPEG的最新協議LCEVC的過程與LCEVC編碼的增強效果。
https://mp.weixin.qq.com/s/ug_6WptUWhe4lpUylSfGbg
制作域的數字媒體格式和編碼器簡介
你是否曾為各式各樣的視頻文件格式所煩惱？或者抱怨“我明明只要一個QuickTime視頻文件啊”？本文將對數字媒體的格式和編碼器進行一個簡單的介紹，希望能對你有所幫助。
數字媒體文件由格式封裝、數據和元數據組成。格式封裝定義了文件的類型，如.mpeg、.mov、.mp4、.mp4、.mxf等。可以把封裝理解為一盤錄像帶，它標明了哪個播放器應該與該文件兼容，就像VHS卡帶需要一個VHS播放器一樣。數據是指包含在該封裝中的音頻/視頻內容。元數據是一些關于數據的信息，如日期/時間戳、顏色配置文件等。
https://mp.weixin.qq.com/s/A3hWBZVLblWcoOOfF5QruQ
WebRTC 編解碼器大戰又來了
AV1 vs HEVC
https://bloggeek.me/av1-vs-hevc-webrtc-codec/
視頻技術
萬物皆可“小程序”——遲到的iOS 14之猜想
這是一篇沒能趕上熱點的文章，但好在對技術的討論總是多多益善，不分冷熱。
https://mp.weixin.qq.com/s/3j9tZj3_uMPJijAaGtN1pg
遠方的掌聲
在線會議,應該有人讓????????或????聊天導致鼓掌的聲音和視頻笑了。觀眾感覺就像一個缺失的部分，使得會議如此特別。(拍手笑的次數越多，拍手笑的次數就越多)
https://www.kryogenix.org/days/2020/04/27/remote-applause/
ffmpeg音視頻同步的幾種策略
本文就來分析一下如何解決音視頻同步的問題。如果簡單的按照音頻的采樣率與視頻的幀率去播放，由于機器運行速度，解碼效率等種種造成時間差異的因素影響，很難同步，音視頻時間差將會呈現線性增長。
https://mp.weixin.qq.com/s/ExAQbfngdQtAPmR02M_HAA
5G廣播現狀與概況
本視頻來自于IEEE BTS的網絡研討會，演講者是來自于瓦倫西亞理工大學的Dr. David Gomez-Barquero，演講的主題是5G現狀與概述: 從基于LTE的地面廣播到5G的本地多播/廣播支持。
https://mp.weixin.qq.com/s/OZ9FPEjM2cBcMTHwM41KSg
電影的未來
本文是來自The Hacking XR Speaker Series的演講，演講者是Doug Trumbull。演講主題是電影的未來。
在這次演講中，Doug展示了許多他過去的照片，播放了許多的紀錄短片，講述了他過去的種種故事經歷和成就，輔助講解他和電影相關的經歷，以此為例子深刻闡述了電影、全景電影、電影院、屏幕等的發展歷程和部分制作細節。他也介紹了他的作品Silent Running、Brainstorm的內容和拍攝過程。
https://mp.weixin.qq.com/s/FKsj1oJGMJBPkURgjsWY-g
使用設施即代碼和公有云賦能媒體創作平臺
本文是來自SMPTE 2019的演講，講者是來自于 NBCUniversal 公司的 Kevin Fornito和Chris Zembower，演講題目是“Using Infrastructure-As-Code & the Public Cloud to Power On-air Media Creation Platforms”。
https://mp.weixin.qq.com/s/sOML5CAYKZ69x2FHOSJJJA
AI智能
摳圖劇“一毛特效”不忍直視，以假亂真才是AI視頻摳圖的真水平
粗制濫造的摳圖影視劇畫面簡直令人“窒息”，真正的摳圖技術應該是什么樣的？
https://mp.weixin.qq.com/s/h-wzxtKobKvgV1scuCBJ_g
圖像
Sony第四代全局快門圖像傳感器
Sony2019年發布了第四代全局快門圖像傳感器Sony’s Pregius S。這篇文章帶大家一起看看Sony新一代全局快門傳感器做了哪些技術升級。并且捎帶復習一下全局圖像傳感器技術。
https://mp.weixin.qq.com/s/mkZUtI8QkH0Ou0jpumxNhA
ΔEITP 現在是ITU-R BT.2124：業界準備好從ΔE2000向前發展了嗎？
本文來自SMPTE 2019的一篇演講，演講者是來自Potrait Displays的Catherine Meininger和Tyler Pruitt，標題是“ΔEITP is Now ITU-R BT.2124-Is the Industry Ready to Move on From ΔE2000？”。
https://mp.weixin.qq.com/s/p-DAI2qU6WLBKScwg7ZjqQ
資源推薦
Springer面向公眾開放電子書籍，附65本數學、編程、機器學習、深度學習、數據挖掘、數據科學等書籍鏈接及打包下載
施普林格（Springer）是世界著名的科技期刊、圖書出版公司，這次疫情期間面向公眾免費開放了一批社科人文，自然科學等領域的正版電子書籍（據說是400多本），towardsdatascience 上有學者將其中65本機器學習和數據科學以及統計相關的免費教材下載鏈接整理了出來，我試了一下，無需注冊，可以直接下載相關的PDF書籍，相當方便。
https://mp.weixin.qq.com/s/IikLlZIPAlcHMN4nc7wPcg
點擊“閱讀原文”可查看更多詳細信息，請大家科學上網。
總結
以上是生活随笔為你收集整理的音视频技术开发周刊 | 143的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Game as a Service ——
- 下一篇： 堡垒之夜一年内增1亿玩家、YouTube