音视频技术开发周刊 61期
『音視頻技術(shù)開發(fā)周刊』由LiveVideoStack團隊出品,專注在音視頻技術(shù)領(lǐng)域,縱覽相關(guān)技術(shù)領(lǐng)域的干貨和新聞投稿,每周一期。點擊『閱讀原文』,瀏覽第61期內(nèi)容,祝您閱讀愉快。
架構(gòu)
馬思偉:視頻領(lǐng)域是個海洋,可以游泳、沖浪、潛水和遠航
6月,在北京大學理科2號樓一間辦公室內(nèi)見到了北京大學信息科學技術(shù)學院教授馬思偉,并相約這次郵件采訪。作為國產(chǎn)編解碼器AVS視頻組的組長,馬思偉暢談了編碼器的格局,AVS的機會以及學習編解碼的經(jīng)驗及方法。
何亞明:Facebook的工具文化和多媒體QoE
本文來自 阿里巴巴 信息平臺資深技術(shù)專家 何亞明在LiveVideoStackCon 2018熱身分享,并由LiveVideoStack整理而成。在分享中,何亞明介紹了Facebook工程師團隊的特點與其常用的幾種開發(fā)工具,并對其開發(fā)流程與實際測試方法進行了總結(jié)。
百家云直播系統(tǒng)技術(shù)演進歷程
本文來自百家云技術(shù)總監(jiān)張弩在LiveVideoStackCon 2017大會上的分享,并由LiveVideoStack整理而成。張弩分別從服務(wù)器端與架構(gòu)端介紹了百家云的整體結(jié)構(gòu)演進,并對未來行業(yè)的發(fā)展方向進行了分析、展望。
王亞楠:基于強化學習的自動碼率調(diào)節(jié)
本文來自 愛奇藝 技術(shù)產(chǎn)品中心 資深工程師 王亞楠在LiveVideoStackCon 2018熱身分享,并由LiveVideoStack整理而成。在分享中,王亞楠分別介紹了自動碼率調(diào)節(jié)的實現(xiàn)過程、現(xiàn)行算法與評價標準,并重點介紹了基于強化學習的自動碼率調(diào)節(jié)算法的技術(shù)架構(gòu)與實現(xiàn)要點。
Envoy為什么能戰(zhàn)勝Ngnix——線程模型分析篇
隨著Service Mesh在最近一年的流行,Envoy 作為其中很關(guān)鍵的組件,也開始被廣大技術(shù)人員熟悉。作者是Envoy的開發(fā)者之一,本文詳細說明了Envoy的線程模型,對于理解Envoy如何工作非常有幫助。內(nèi)容較為深入,建議細細品讀。
基于用戶行為的視頻聚類方案
在個性化推薦系統(tǒng)中,通常是由挖掘物品屬性來理解用戶興趣,從而構(gòu)建推薦模型。從用戶行為去理解物品屬性往往做得比較簡單,通常只是一些簡單的標簽統(tǒng)計。為了深入到用戶行為去理解內(nèi)容,美拍利用用戶的點擊、播放行為對視頻的內(nèi)容進行聚類,一方面打破了從視覺角度去理解視頻內(nèi)容的限制,另一方面可以挖掘出非人工總結(jié)的分類知識,從而提升個性化推薦的效果。
微服務(wù)網(wǎng)關(guān)哪家強?一文看懂Zuul, Nginx, Spring Cloud, Linkerd性能差異
API Gateway是實現(xiàn)微服務(wù)重要的組件之一。面對諸多的開源API Gateway,如何進行選擇也是架構(gòu)師需要關(guān)注的焦點。本文作者對幾個較大的開源API Gateway進行了壓力測試,對于架構(gòu)師來說,相信可以提供不少幫助。
音頻/視頻技術(shù)
VMAF視頻質(zhì)量評估在視頻云轉(zhuǎn)碼中的應(yīng)用
VMAF 的全稱是:Visual Multimethod Assessment Fusion,視頻質(zhì)量多方法評價融合。這項技術(shù)是由美國Netflix公司開發(fā)的一套主觀視頻質(zhì)量評價體系。2016年1月,VMAF 正式開源;
MKV#文件格式簡析
可擴展二進制元語言(EBML)是任何類型數(shù)據(jù)的通用文件格式,旨在成為與XML等效的二進制文件。它提供了一個基本框架,用于將數(shù)據(jù)存儲在類似XML的標簽中。
MediaCodec+MediaExtractor+TextureView實現(xiàn)簡易視頻播放器
本文簡單介紹如何實現(xiàn)簡易視頻播放器,主要思路流程:MediaExtractor解封裝,拿到H264數(shù)據(jù)。 MediaCodec把數(shù)據(jù)解碼到Surface中。 TextureView展示Surface中的數(shù)據(jù)。
易用的Android音視頻高性能編碼庫HardwareVideoCodec
HardwareVideoCodec是個高性能、易用的Android音視頻編碼開源庫,支持多款濾鏡,支持RTMP直播推流,以及軟編和硬編。硬編性能較好,在高通630的中端機子上實測1080p、30fps毫無問題。軟編性能差一點,同樣的機子,軟編只能達到720p、24fps。硬編性能較好,軟編兼容性較好,這個需要根據(jù)的業(yè)務(wù)需求進行選擇。
編解碼
編碼服務(wù)正在步入云端
就像對于私有云和公有云的討論沒有終止的情況一樣,選擇私有或公有的編碼服務(wù)都有自己的理由。對于彈性有強烈需求的公司更傾向選擇公有編碼服務(wù),反之則更愿意選擇私有編碼服務(wù)。資深多媒體技術(shù)咨詢師Jan Ozer通過采訪了多家編碼服務(wù)商,對這一行業(yè)進行了解讀。LiveVideoStack對原文進行了摘譯。
iOS-視屏編碼
在iOS中編碼方式有兩種 : 硬編碼: 在iOS8.0之后,使用原生框架VideoToolBox&AudioToolbox對視屏和音頻進行硬編碼. 軟編碼: 使用CPU進行編碼,通常使用的框架為ffmpeg+x264.
HDR關(guān)鍵技術(shù):HEVC/H.265編碼優(yōu)化
與傳統(tǒng)標準動態(tài)范圍(SDR)視頻相比,高動態(tài)范圍(HDR)視頻由于比特深度的增加提供了更加豐富的亮區(qū)細節(jié)和暗區(qū)細節(jié)。最新的顯示技術(shù)通過清晰地再現(xiàn)HDR視頻內(nèi)容使得為用戶提供身臨其境的觀看體驗成為可能。面對目前日益增長的HDR視頻消費需求,研究現(xiàn)有的壓縮工具或引入新的技術(shù)來高效壓縮HDR視頻變得十分迫切。本文將介紹有關(guān)MPEG及VCEG針對HDR視頻壓縮的研究進展。
HDR關(guān)鍵技術(shù):HEVC/H.265編碼方案
前文我們對HEVC的HDR編碼優(yōu)化技術(shù)做了介紹,側(cè)重編碼性能的提升。本章主要闡述HEVC中HDR/WCG相關(guān)的整體編碼方案,包括不同應(yīng)用場景下的HEVC擴展編碼技術(shù)。
MKV 封裝格式筆記(一) Rew_
本文主要記錄AVS2向MKV提交過程中的學習內(nèi)容,主要包含:MKV格式介紹、MKV工作方式、MKV修改應(yīng)用。
AI智能
FPGA,你為什么這么牛?
FPGA 正是一種硬件可重構(gòu)的體系結(jié)構(gòu)。它的英文全稱是Field Programmable Gate Array,中文名是現(xiàn)場可編程門陣列。FPGA常年來被用作專用芯片(ASIC)的小批量替代品,然而近年來在微軟、百度等公司的數(shù)據(jù)中心大規(guī)模部署,以同時提供強大的計算能力和足夠的靈活性。
基于內(nèi)容的圖像檢索技術(shù)綜述-傳統(tǒng)經(jīng)典方法
圖片檢索就是拿一張待識別圖片,去從海量的圖片庫中找到和待識別圖片最相近的圖片。這種操作在以前依靠圖片名搜圖的時代是難以想象的,直到出現(xiàn)了CBIR(Content-based image retrieval)技術(shù),依靠圖片的內(nèi)容去搜圖。
GAN將一張臉生成72種表情(附PyTorch代碼)
隨著GAN的發(fā)展,單憑一張圖像就能自動將面部表情生成動畫已不是難事。但近期在Reddit和GitHub熱議的新款GANimation,卻將此技術(shù)提到新的高度。GANimation構(gòu)建了一種人臉解剖結(jié)構(gòu)(anatomically)上連續(xù)的面部表情合成方法,能夠在連續(xù)區(qū)域中呈現(xiàn)圖像,并能處理復(fù)雜背景和光照條件下的圖像。
NLP通用模型誕生?一個模型搞定十大自然語言常見任務(wù)
目前的NLP領(lǐng)域有一個問題:即使是再厲害的算法也只能針對特定的任務(wù),比如適用于機器翻譯的模型不一定可以拿來做情感分析或摘要。然而近日,Salesforce發(fā)布了一項新的研究成果:decaNLP——一個可以同時處理機器翻譯、問答、摘要、文本分類、情感分析等十項自然語言任務(wù)的通用模型。
【2018 AI全景報告】全球AI人才供需分布圖,可用AI專才僅3000
對AI技術(shù)應(yīng)用的擴展導(dǎo)致全球AI人才極度緊缺,中美在AI產(chǎn)業(yè)相關(guān)領(lǐng)域的人才和地盤之爭愈演愈烈,以半導(dǎo)體行業(yè)為焦點,兩國幾乎因此陷入貿(mào)易大戰(zhàn)。這份報告由劍橋大學兩位博士制作,從研究、人才、行業(yè)和政策等角度詳述2018年AI技術(shù)的應(yīng)用現(xiàn)狀和未來發(fā)展。
圖像
iOS 圖像處理系列 - 基于GPUImage的濾鏡實現(xiàn)及優(yōu)化
GPUImage作為一個開源的iOS GPU處理庫,提供了相當便捷的使用GPU來進行圖像處理的方法。對于圖像處理中,濾鏡效果是一種最普遍也最有效的圖像優(yōu)化方式。通過對圖像進行不同的濾鏡效果的處理,可以得到各種絢麗的圖片。
總結(jié)
以上是生活随笔為你收集整理的音视频技术开发周刊 61期的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 王荣刚:建立中国自主视频技术生态
- 下一篇: 不需要SFU实现WebRTC联播实践