音视频技术开发周刊 | 224
每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨。
新聞投稿：contribute@livevideostack.com。
高性能且靈活的 iOS 視頻剪輯與特效開源框架 – VideoLab
隨著移動(dòng)互聯(lián)網(wǎng)時(shí)代的到來，短視頻成為了最流行的內(nèi)容載體，而內(nèi)容的產(chǎn)生離不開視頻剪輯與特效創(chuàng)作工具。本次LiveVideoStackCon 2021 音視頻技術(shù)大會(huì) 北京站，我們邀請(qǐng)到了RingCentral Video 移動(dòng)端架構(gòu)師——阮景雄，他向我們分享了AVFoundation視頻剪輯框架，以及VideoLab框架的設(shè)計(jì)與實(shí)現(xiàn)。
挑戰(zhàn)與機(jī)遇并存，阿里云面向下一代的音視頻引擎和傳輸網(wǎng)絡(luò)架構(gòu)
阿里云下一代音視頻引擎的設(shè)計(jì)和落地，將從微內(nèi)核架構(gòu)的設(shè)計(jì)、媒體引擎的構(gòu)建、算法的插件化管理，新引擎在核心指標(biāo)上的優(yōu)勢(shì)等方面入手。在LiveVideoStackCon 2021北京峰會(huì)，阿里云智能視頻云高級(jí)技術(shù)專家陳虓將，講述了阿里云在包大小、內(nèi)存、CPU，以及直播、會(huì)議、點(diǎn)播一體化SDK對(duì)人效的提升實(shí)踐，同時(shí)從阿里云服務(wù)端GRTN網(wǎng)絡(luò)的整體架構(gòu)和核心技術(shù)點(diǎn)出發(fā)，透傳了阿里云視頻云團(tuán)隊(duì)最新的算法創(chuàng)新思考。
視頻編碼器的智能化——AI輔助編解碼的ASIC解決方案
在此次LiveVideoStackCon 2021 音視頻技術(shù)大會(huì) 北京站，來自镕銘半導(dǎo)體的劉迅思詳細(xì)列舉了目前常用的AI輔助編解碼的方法，論述如何在硬件和軟件層面將AI結(jié)合編解碼的實(shí)踐，探索新的標(biāo)準(zhǔn)和新一代編碼器結(jié)合AI應(yīng)該如何設(shè)計(jì)。
華為云媒體質(zhì)量管理最新實(shí)踐——“視鏡”
對(duì)全球不可靠的互聯(lián)網(wǎng)絡(luò)和大容量分布式系統(tǒng)的挑戰(zhàn)，如何以用戶為中心，從可用變得更好用，追求更流暢、更清晰、更快、更省的極致用戶音視頻體驗(yàn)？LiveVideoStacCon 2021 北京站邀請(qǐng)到華為云媒體服務(wù)資深研發(fā)專家——康永紅，為大家分享華為云媒體服務(wù)在追求極致用戶體驗(yàn)質(zhì)量道路上的沉淀成果——“視鏡”。
優(yōu)化 Dav1D
本次演講介紹了 AV1 的軟件解碼器 dav1d 的一些優(yōu)化進(jìn)展，關(guān)于特定編碼工具的解碼優(yōu)化、HDR/10bit 內(nèi)容的優(yōu)化、更好的多線程優(yōu)化。最后，在 Q&A 中提到，軟件解碼器基本上是啟動(dòng)生態(tài)系統(tǒng)，希望一年或兩年后，我們都將使用硬件解碼器。
淺析 MediaCodec 工作原理
MediaCodec類Android提供的用于訪問低層多媒體編/解碼器接口，它是Android低層多媒體架構(gòu)的一部分，通常與MediaExtractor、MediaMuxer、AudioTrack結(jié)合使用，能夠編解碼諸如H.264、H.265、AAC、3gp等常見的音視頻格式。
MediaCodec編碼OpenGL速度和清晰度均衡
在安卓平臺(tái)為了實(shí)現(xiàn)h264視頻編碼，我們通常可以使用libx264, ffmpeg等第三方視頻編碼庫，但是如果對(duì)編碼的速度有一定的要求，要實(shí)現(xiàn)實(shí)時(shí)甚至超實(shí)時(shí)的高速視頻編碼，我們并沒有太多選項(xiàng)，只能使用Android提供的MediaCodec硬編碼模塊。MediaCodec模塊在實(shí)際使用中會(huì)遇到很多問題，本文主要討論使用MediaCodec來對(duì)OpenGL渲染的畫面進(jìn)行編碼視頻時(shí)，如何達(dá)到速度快和畫面清晰的均衡。
WebRTC 系列之 GPU 方案的探索與落地
WebRTC（Web Real-Time Communication）是一個(gè)支持網(wǎng)頁瀏覽器進(jìn)行實(shí)時(shí)語音對(duì)話或視頻對(duì)話的 API。W3C 和 IETF 在2021年1月26日共同宣布 WebRTC 1.0 定稿，促使 WebRTC 從事實(shí)上的互聯(lián)網(wǎng)通信標(biāo)準(zhǔn)成為了官方標(biāo)準(zhǔn)，其在不同場景的應(yīng)用將得到更為廣泛的普及。WebRTC 提供了視頻會(huì)議的核心技術(shù)，包括音視頻的采集、編解碼、網(wǎng)絡(luò)傳輸、顯示等功能，并且還支持跨平臺(tái)：Windows，Mac，iOS，Android。本文主要介紹基于 WebRTC 的基礎(chǔ)搭建視頻前后處理框架，探索 GPU 方案與 RTC 場景的結(jié)合落地。
蘋果AR眼鏡密器疑曝光！索尼VR頭顯雙眼8K超高清，元宇宙「伴侶」震撼出場
日前，索尼在一場「科技日」活動(dòng)中展示了一款搭載單眼4K Micro-OLED顯示屏的VR頭顯原型。帶上這款頭顯，可以看到絲滑而且超高清的畫面。據(jù)索尼研發(fā)人員在Youtube視頻中介紹，此次亮相的VR原型頭戴設(shè)備使用遠(yuǎn)程高分辨率技術(shù)和低延時(shí)傳輸系統(tǒng)，實(shí)現(xiàn)現(xiàn)實(shí)與感官間的「無縫」視頻體驗(yàn)。另外，據(jù)蘋果分析師郭明錤透露，蘋果計(jì)劃2022年Q4發(fā)布旗下首款A(yù)R頭顯設(shè)備，搭載Sony索尼的4K Micro OLED顯示屏。根據(jù)預(yù)測，蘋果的AR頭戴設(shè)備將具備「Mac 級(jí)計(jì)算能力」、不受限制的操作的能力，支持廣泛的應(yīng)用程序，而非僅支持專有應(yīng)用。
計(jì)算機(jī)視覺中的傳統(tǒng)特征提取方法總結(jié)
本文對(duì)計(jì)算機(jī)視覺傳統(tǒng)方法中的一些特征提取方法進(jìn)行了總結(jié)，主要包括有：SIFT(尺度不變特征變換)、HOG(方向梯度直方圖)、SURF、ORB、LBP、HAAR
通過傳感器計(jì)算打造視覺雷達(dá)，下一代自動(dòng)駕駛系統(tǒng)的關(guān)鍵構(gòu)成
2021年10月25日，特斯拉市值站上萬億美金，成為美股第五家市值破萬億的企業(yè)，幾乎超過美股全部主要車企市值的總和。特斯拉在資本市場的成功，刺激著投資者的神經(jīng)，也促使市場再一次將視野聚焦在自動(dòng)駕駛領(lǐng)域，進(jìn)一步思考自動(dòng)駕駛技術(shù)路線的發(fā)展方向。本文希望從技術(shù)角度客觀分析和回答以下問題：自動(dòng)駕駛等級(jí)提升需要解決什么關(guān)鍵問題？怎樣的自動(dòng)駕駛方案更加具有實(shí)現(xiàn)大規(guī)模無人駕駛的可能性？自動(dòng)駕駛作為現(xiàn)實(shí)世界的AI問題，難點(diǎn)在哪里？以上問題促使我們理性客觀地思考該如何去實(shí)現(xiàn)自動(dòng)駕駛——這一承載了太多期望、不斷挑撥大眾神經(jīng)的技術(shù)生產(chǎn)力變革，從而推動(dòng)行業(yè)冷靜且務(wù)實(shí)地向前發(fā)展。
閱讀推薦
音視頻的發(fā)展
本次演講中，Andrew 借用了經(jīng)濟(jì)學(xué)上的康德拉季耶夫長波模型，回顧了專業(yè)視聽行業(yè)的發(fā)展過程。AIMS (Alliance for IP Media Solutions) 是一個(gè)開放的、非營利性的組織，致力于促進(jìn)采用一套通用的、無處不在的、基于標(biāo)準(zhǔn)的協(xié)議，以實(shí)現(xiàn)媒體、娛樂和專業(yè)視聽 (pro AV) 行業(yè)的 IP 互操作性。
從游戲機(jī)、計(jì)算機(jī)、智能手機(jī)的過去五十年 看VR和AR的未來五十年
本篇文章作者從元宇宙入手，揭示了元宇宙與AR/VR之間的關(guān)系，認(rèn)為元宇宙其實(shí)就是AR和VR的硬件發(fā)展，然后用戶通過這些硬件使用的軟件得到的體驗(yàn)就是元宇宙。作者認(rèn)為我們所進(jìn)入的新的50年會(huì)是一個(gè)三維世界，這是我top-down（自上而下）對(duì)這件事的理解，是50年對(duì)50年的事情。因此先從游戲機(jī)、計(jì)算機(jī)、智能手機(jī)的過去五十年講起，再來看VR和AR的未來五十年將會(huì)如何發(fā)展。
【報(bào)告】元宇宙系列白皮書——未來已來：全球XR產(chǎn)業(yè)洞察
Metaverse元宇宙創(chuàng)造了一個(gè)用戶與家人、朋友、寵物、喜愛的物品和體驗(yàn)都被虛擬連接的全新環(huán)境，是下一代社交世界的載體。Metaverse包含5G、AI、區(qū)塊鏈、內(nèi)容制作等多種元素，其核心是通過虛擬體驗(yàn)XR（Extended Reality，擴(kuò)展現(xiàn)實(shí)），XR技術(shù)及設(shè)備的持續(xù)迭代來不斷優(yōu)化用戶的數(shù)字化生活體驗(yàn)；基于 XR的數(shù)字化服務(wù)將圍繞各類場景不斷滲透，將為顛覆性沉浸式的元宇宙數(shù)字生活體驗(yàn)帶來突破，成為開啟元宇宙時(shí)代的重要載體。德勤中國科技、傳媒和電信行業(yè)推出元宇宙系列報(bào)告的第一篇《元宇宙系列白皮書—未來已來：全球XR產(chǎn)業(yè)洞察》，聚焦XR產(chǎn)業(yè)發(fā)展趨勢(shì)，從市場需求與發(fā)展的角度探討XR市場的投資潛力與投資機(jī)會(huì)。
活動(dòng)推薦
【城市沙龍】LiveVideoStack Meet|上海：流媒體無處不在
上海一直是國內(nèi)音視頻領(lǐng)域領(lǐng)跑城市之一，良好的發(fā)展環(huán)境給多媒體人才提供了優(yōu)質(zhì)平臺(tái)和展示機(jī)會(huì)。2021年已進(jìn)入倒計(jì)時(shí)，在多方共同努力下，我們將在12月18日落地上海，也感謝聲網(wǎng)提供場地支持。除老朋友外，本次LiveVideoStack Meet上海也邀請(qǐng)到新面孔與大家見面，分享內(nèi)容干貨滿滿，不容錯(cuò)過！
活動(dòng)時(shí)間：12月18日 14:00-17:15
活動(dòng)地址：上海市楊浦區(qū)淞滬路333號(hào)?創(chuàng)智天地3期12號(hào)樓6樓
報(bào)名地址：https://8392623630544.huodongxing.com/event/4626493248800
插圖源自Pexels
總結(jié)
以上是生活随笔為你收集整理的音视频技术开发周刊 | 224的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 对话Justin Uberti：RTC的
- 下一篇： 李松南：智能全真时代的多媒体技术——关于