『音視頻技術(shù)開發(fā)周刊』由LiveVideoStack團(tuán)隊(duì)出品，專注在音視頻技術(shù)領(lǐng)域，縱覽相關(guān)技術(shù)領(lǐng)域的干貨和新聞投稿，每周一期。點(diǎn)擊『閱讀原文』，瀏覽第64期內(nèi)容，祝您閱讀愉快。

架構(gòu)

劉歧：FFmpeg Filter深度應(yīng)用

本文來自O(shè)nVideo視頻創(chuàng)作云平臺聯(lián)合創(chuàng)始人劉歧在LiveVideoStackCon的講師熱身分享，劉歧分享了FFmpeg的基本原理、使用方法及開發(fā)方法。在10月19-20日的LiveVideoStackCon 2018上，劉歧還將分享如何通過FFmpeg實(shí)現(xiàn)視頻版權(quán)保護(hù)的方法。

快手QoE指標(biāo)設(shè)計(jì)的分析初探

全鏈路的數(shù)據(jù)收集，分析，才能精準(zhǔn)的定位問題，并制定方案改進(jìn)。本文來自快手流媒體大數(shù)據(jù)平臺架構(gòu)師羅喆在LiveVideoStackCon熱身分享上的分享，他會在10月19-20日的LiveVideoStackCon上分享更詳細(xì)和完整的內(nèi)容。

MacOS 下單步調(diào)試 WebRTC Android & iOS

本文詳細(xì)介紹了困擾廣大 WebRTC 安卓開發(fā)者的一項(xiàng)技術(shù)難題：如何在 Android Studio 里單步調(diào)試 WebRTC Android 的 Native 代碼。

張睿：OpenH264擁有產(chǎn)品級的魯棒性 歡迎contribute

張睿擁有超過20年多媒體領(lǐng)域研發(fā)經(jīng)驗(yàn)，是WebEx視頻會議系統(tǒng)的媒體架構(gòu)師，同時(shí)也是OpenH264的項(xiàng)目負(fù)責(zé)人，她在LiveVideoStack的采訪中表示，思科不僅貢獻(xiàn)了高魯棒性的代碼，還承擔(dān)了IP費(fèi)用，希望能與AV1一樣幫助多媒體生態(tài)健康發(fā)展。

Dweb：使用WebRTC / WebTorrent構(gòu)建彈性Web

本文來自WebTorrent的創(chuàng)始人、PeerCDN聯(lián)合創(chuàng)始人Feross Aboukhadijeh，他介紹了一種基于WebRTC通信的Web協(xié)議WebTorrent，通過WebTorrent可以節(jié)省服務(wù)器資源，降低成本。LiveVideoStack對原文進(jìn)行了摘譯。

RTSP協(xié)議轉(zhuǎn)換RTMP直播協(xié)議

RTSP協(xié)議也是廣泛使用的直播/點(diǎn)播流媒體協(xié)議，以前的項(xiàng)目里實(shí)現(xiàn)了一個(gè)RTSP協(xié)議轉(zhuǎn)換RTMP直播協(xié)議的程序，為的是可以接收遠(yuǎn)端設(shè)備或服務(wù)器的多路RTSP直播數(shù)據(jù)，實(shí)時(shí)轉(zhuǎn)換為RTMP直播協(xié)議，推送到NginxRtmp等RTMP服務(wù)器，可以在PC上實(shí)現(xiàn)flash觀看RTSP直播源（比如IPCAM）的需求，也能通過Nginx的HLS協(xié)議轉(zhuǎn)換，在手機(jī)上觀看。

萬萬沒想到-Flutter這樣外接紋理

本文以IOS端為范例介紹了Flutter外接紋理的基本原理，以及優(yōu)化策略。

FPGA在大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)

本文從以下幾個(gè)方面探討了FPGA在大數(shù)據(jù)時(shí)代的各種機(jī)遇和挑戰(zhàn)：1.英特爾“泛數(shù)據(jù)中心”業(yè)務(wù)及其潛在市場2.基于FPGA的智能網(wǎng)卡產(chǎn)品線的正式發(fā)布3.英特爾人工智能計(jì)算加速器產(chǎn)品系列的相關(guān)布局4.FPGA開發(fā)的痛點(diǎn)與潛在方案。

音頻/視頻技術(shù)

追根溯源解雜音之謎，臻于至善得完美音質(zhì)

本文介紹了針對雜音問題從背景分析，問題分解與切入到發(fā)現(xiàn)根源提出解決方案的完整處理流程。

WebRTC基于TransportCC和Trendline Filter的發(fā)送端碼率估計(jì)(Sendside-BWE)

本文基于WebRTC的M66版本和相關(guān)RFC，深度分析學(xué)習(xí)最新Sendside-BWE算法的實(shí)現(xiàn)。

IP現(xiàn)場直播場景下生產(chǎn)端延遲分析與設(shè)計(jì)

本文主要參考了Michael Cronk等人的文章“A Model for the Design of IP Based Live Production Systems with Low Latency”（NAB 2017），文章首先討論了現(xiàn)場生產(chǎn)制作中需要考慮的基本延遲要求，然后對基于IP接口的制作系統(tǒng)所存在的延遲量進(jìn)行了建模，最后提出了一種有效控制延遲的系統(tǒng)性方案，可以實(shí)現(xiàn)與SDI制作系統(tǒng)相同或更低的延遲。

視頻傳輸延遲分析及解決方案：CMAF、LHLS

本文詳細(xì)分析了造成視頻傳輸延遲的原因，介紹了兩個(gè)縮小延遲的解決方案：CMAF和LHLS，為提升直播觀看體驗(yàn)提供了思路。

編解碼

超高清內(nèi)容生產(chǎn)中的視頻編碼技術(shù)

本文主要參考Anaya等人的文章“HEVC Mezzanine Compression for UHD Transport over SDI and IP infrastructures”(SMPTE ATC’16)。文章重點(diǎn)分析了如何調(diào)整HEVC幀內(nèi)編碼結(jié)構(gòu)以滿足UHD-1 Mezzanine壓縮在質(zhì)量、延遲和復(fù)雜度方面的要求，還對無損、接近無損（4:1）和級聯(lián)這三種編碼模式進(jìn)行了測試，并將HEVC的編碼結(jié)果與JPEG 2000和SMPTE VC-2等視頻編解碼器的結(jié)果進(jìn)行了比較。

FFmpeg音視頻解碼

本文詳細(xì)介紹了FFmpeg解碼視頻的流程以及解碼用到的關(guān)鍵API和數(shù)據(jù)結(jié)構(gòu)。

音視頻基礎(chǔ)_Mpeg4封裝格式音視頻編碼格式

MPEG-4標(biāo)準(zhǔn)將眾多多媒體應(yīng)用集成于一個(gè)完整框架內(nèi)，旨在為多媒體通信及應(yīng)用環(huán)境提供標(biāo)準(zhǔn)算法及工具，從而建立起一種能被多媒體傳輸、存儲、檢索等應(yīng)用領(lǐng)域普遍采用的統(tǒng)一數(shù)據(jù)格式。

使用OpenGL實(shí)現(xiàn)視頻錄制

Mediacodec可以用來獲得安卓底層的多媒體編碼，可以用來編碼和解碼，它是安卓low-level多媒體基礎(chǔ)框架的重要組成部分。它經(jīng)常和 MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface, AudioTrack一起使用。?

AI智能

針對 3D 計(jì)算機(jī)視覺的簡介

隨著 AR / VR 技術(shù)和自動駕駛汽車技術(shù)的發(fā)展，3D 視覺問題變得越來越重要，它提供了比 2D 更豐富的信息。本文將介紹兩種用于 3D 場景分析的基本深度學(xué)習(xí)模型：VoxNet 和 PointNet。

TensorFlow 將發(fā)布v2.0 — TensorFlow 招牌特性回顧

TensorFlow 2.0要來了，伴隨著一些令人期待的改進(jìn)，但同時(shí)也帶來了版本上的一些不兼容。本文介紹TensorFlow 2.0即將帶來的一些變化，以及老版本TensorFlow中的一些招牌特性。

基于內(nèi)容的圖像檢索技術(shù)綜述-CNN方法

和SIFT等算法類似，CNN訓(xùn)練的模型同樣對縮放、平移、旋轉(zhuǎn)等畸變具有不變性，有著很強(qiáng)的泛化性。CNN的最大特點(diǎn)在于卷積的權(quán)值共享結(jié)構(gòu)，可以大幅減少神經(jīng)網(wǎng)絡(luò)的參數(shù)量，防止過擬合的同時(shí)又降低了神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度。

基于深度學(xué)習(xí)的目標(biāo)檢測算法綜述（二）

目標(biāo)檢測（Object Detection）是計(jì)算機(jī)視覺領(lǐng)域的基本任務(wù)之一，學(xué)術(shù)界已有將近二十年的研究歷史。近些年隨著深度學(xué)習(xí)技術(shù)的火熱發(fā)展，目標(biāo)檢測算法也從基于手工特征的傳統(tǒng)算法轉(zhuǎn)向了基于深度神經(jīng)網(wǎng)絡(luò)的檢測技術(shù)。

XNN：打開了自己黑箱的神經(jīng)網(wǎng)絡(luò)

本文介紹了一種旨在「打開」并解釋神經(jīng)網(wǎng)絡(luò)的新模型 XNN（可解釋神經(jīng)網(wǎng)路）。該網(wǎng)絡(luò)包含三個(gè)重要組成部分：投影層、子網(wǎng)絡(luò)、組合層。XNN 還可用于替代復(fù)雜模型，無論將 XNN 用作主要模型還是用于更復(fù)雜模型的替代模型，XNN 都可以直接解釋模型如何使用輸入特征進(jìn)行預(yù)測。

畫個(gè)草圖生成2K高清視頻，這份效果驚艷研究值得你跑一跑

在圖像到圖像合成的研究領(lǐng)域熱火朝天的當(dāng)下，英偉達(dá)又放大招，聯(lián)合 MIT CSAIL 開發(fā)出了直接視頻到視頻的轉(zhuǎn)換系統(tǒng)。該系統(tǒng)不僅能用語義分割掩碼視頻合成真實(shí)街景視頻，分辨率達(dá)到 2K；能用草圖視頻合成真實(shí)人物視頻；還能用姿態(tài)圖合成真人舞蹈視頻。更令人驚艷的是，在語義分割掩碼輸入下，換個(gè)掩碼顏色該系統(tǒng)就能直接將街景中的樹變成建筑！目前該項(xiàng)目已開源。

圖像

深度學(xué)習(xí)AI美顏系列----AI美甲算法揭秘(WANNA NAILS)

本文將給大家分享WANNA NAILS App中漂亮的美甲效果是如何實(shí)現(xiàn)的，對其背后的圖像算法技術(shù)做一個(gè)詳解。

HDR關(guān)鍵技術(shù)：光學(xué)、視覺與光電轉(zhuǎn)換曲線

本系列的前作當(dāng)中介紹了HDR技術(shù)的相關(guān)技術(shù)與標(biāo)準(zhǔn)，本文將從更基礎(chǔ)的知識點(diǎn)出發(fā)，重點(diǎn)介紹HDR技術(shù)的兩大關(guān)鍵基礎(chǔ)-亮度與顏色中的前者

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 64期的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。