音视频技术开发周刊 82期
『音視頻技術開發周刊』由LiveVideoStack團隊出品,專注在音視頻技術領域,縱覽相關技術領域的干貨和新聞投稿,每周一期。點擊『閱讀原文』,瀏覽第82期內容,祝您閱讀愉快。
架構
基于Licode的WebRTC全球分布式架構
隨著在線教育行業的興起, 許多人把目光投向了國外市場,而如何搭建全球化的音視頻網絡就成為了其中的關鍵問題。百家云研發工程師陳聰詳細介紹了如何利用Licode 開源服務器搭建全球分布式架構以解決常見的教育場景的問題。本文來自陳聰在LiveVideoStackCon 2018上的演講,由LiveVideoStack整理而成。
實時音視頻通信(RTC)和低延時直播調研
調研的數據很多都是一線最新的數據,是各大云廠商及大客戶正在做、準備做或者已經完成的的項目,各大公司架構設計部分盡可能給大家展示各個公司最新的架構,但是由于資料有限,數據更新不及時,可能會有偏差。
ffplayer 原理、架構及代碼分析——音視頻同步與幀率控制
音視頻同步是一個播放器要處理的基本問題,音視頻同步的好壞直接影響到播放效果。解碼后的音頻片段和視頻片段,都分別帶有 pts 時間戳信息。回放時需要做的,就是盡量保證 apts(音頻時間戳)和 vpts(視頻時間戳),之間的差值是最小的。
播放器技術分享(5):延時優化
本篇是系列文章的第五篇,主要聊一聊如何優化播放延時。由于播放的延時,是需要從 “視頻的生產 -> 分發 -> 播放” 各個環節聯合優化的,并不是單一靠播放器就可以搞定的,因此,本文會更多地介紹一些整體上的延時原因和優化思路,而不是單講播放器本身如何解決延時問題。
音頻/視頻技術
帶著問題,再讀ijkplayer源碼
問題:主流程上的區別;緩沖區的設計;內存管理的邏輯;音視頻播放方式;音視頻同步;seek的問題:緩沖區flush、播放時間顯示、k幀間距大時定位不準問題…
計算機視覺如何“看”體育比賽
從簡單的運動視頻分類,到識別體育視頻中的比賽事件,再到利用視頻分析技術自動生成比賽解說,計算機視覺在體育賽事分析中已經有了長足的發展,并且在這方面的應用和研究領域還在不斷擴寬。
基于遞階遞歸神經網絡的音頻超分辨率
本工作提出了一種用于音頻超分辨率的遞歸模型,該模型的任務是推斷低分辨率錄音的高分辨率版本。鑒于缺乏基線方法和最合適的深度學習方法的模糊性,我們將重點放在遞歸神經網絡上。我們提出了一種分層遞歸神經網絡(Hrnn),它使用基于回歸的損失和感知損失相結合的損失函數進行訓練。
編解碼
新一代視頻編碼標準:VVC、AVS3
本文來自北京大學信息科學技術學院教授馬思偉在LiveVideoStackCon 2018大會上的演講,詳細介紹了最新一代VVC和AVS3視頻編碼標準進展,包括關鍵技術特色以及未來的應用展望。
姜健:VP9可適性視頻編碼(SVC)新特性
與VP8相比,VP9進行了大量的設計改進以盡可能的獲得更高的視頻編碼質量。Google軟件工程師 姜健詳細介紹了VP9可適性視頻編碼(SVC)中多種新功能的實現與相應API。本文來自姜健在LiveVideoStack 線上交流分享,并由LiveVideoStack整理而成。
百度媒體云智能編碼技術實踐
隨著視頻行業的蓬勃發展,提升視頻質量,降低帶寬成本成為各平臺的首要挑戰目標。本文來自百度云資深工程師邢懷飛在LiveVideoStackCon 2018大會的精彩分享。在分享中其對百度云智能編碼技術進行了深入介紹,并結合具體實踐進一步介紹AI技術在云轉碼中的應用探索。
MPEG視頻編碼增強方案初探
MPEG的初步方案是開發由兩個流定義的數據流結構,一個是可由硬件解碼器解碼的基本流,另一個用于更高處理能力的軟件處理的增強流。
WebRTC Native 源碼導讀(十五):RTP H.264 封裝與解封裝
之前我在為 janus-pp-rec 增加視頻旋正功能一文中簡單介紹了一點 RTP 協議的內容,重點關注的是視頻方向的 RTP header extension,這次我們更深入的了解一下 RTP 協議的內容,看看 H.264 視頻數據是如何封裝和解封裝的。
Android音視頻(四)MediaCodec編解碼AAC
MediaCodec類可以訪問底層媒體編解碼框架(StageFright 或 OpenMAX),即編解碼組件,它是Android基本的多媒體支持基礎架構的一部分,通常和MediaExtractor、MediaSync、MediaMuxer、MediaCrypto、MediaDrm、Image、Surface和AudioTrack一起使用。
AI智能
Pixel 3 的最佳照片功能
最佳照片是最近隨 Pixel 3 推出的一項新功能,可以在您按下快門按鈕時自動幫您精準捕捉珍貴瞬間。最佳照片功能采用計算機視覺技術,可以實時保存并分析按下設備快門鍵前后的圖像幀,向您推薦多張高質量 HDR+ 備選照片。
何愷明組又出神作!最新論文提出全景分割新方法
FAIR何愷明團隊最新論文提出“全景FPN”,聚焦于圖像的全景分割任務,將分別用于語義分割和實例分割的FCN和Mask R-CNN結合起來,設計了Panoptic FPN。該方法可能成為全景分割研究的強大基線。
效果驚人:上古卷軸III等經典游戲也能使用超分辨率GAN重制了
圖像超分辨率是指從觀測到的低分辨率圖像重建出相應的高分辨率圖像,這種重建不僅指令圖像變得清晰銳利,同時還表示模型需要利用圖像的高級語義信息重建出丟失的信息。因此這實際上是一個比較困難的任務,不過目前基于卷積神經網絡或生成對抗網絡的方法還是有比較好的效果。
CES2019第二天AR/VR匯總:現代展示全息AR導航,LetinAR亮相80°FOV AR模組
CES 2019消費電子展正式進入第二天,除了一些大的或直接和VR/AR相關的展臺外,也有不少展臺紛紛將VR與之案例相結合進行展示,這在近一年的展會中經常見到。
圖像
iOS 圖片壓縮方法
本文介紹了兩種圖片壓縮方法:壓縮圖片質量(Quality),壓縮圖片尺寸(Size)。如果要保證圖片清晰度,建議選擇壓縮圖片質量。如果要使圖片一定小于指定大小,壓縮圖片尺寸可以滿足。
總結
以上是生活随笔為你收集整理的音视频技术开发周刊 82期的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: LiveVideoStack线上交流分享
- 下一篇: 基于WebRTC的互动直播实践