『音視頻技術(shù)開(kāi)發(fā)周刊』由LiveVideoStack團(tuán)隊(duì)出品，專注在音視頻技術(shù)領(lǐng)域，縱覽相關(guān)技術(shù)領(lǐng)域的干貨和新聞投稿，每周一期。點(diǎn)擊『閱讀原文』，瀏覽第83期內(nèi)容，祝您閱讀愉快。

架構(gòu)

基于視頻流傳輸 — 在線教育白板技術(shù)

在線教育不同于線下教育， 內(nèi)容需要經(jīng)過(guò)電子白板展現(xiàn)給用戶，如何做出優(yōu)秀的在線教育白板成為研究的重點(diǎn)。本文來(lái)自學(xué)而思網(wǎng)校客戶端架構(gòu)負(fù)責(zé)人趙文杰在LiveVideoStackCon 2018大會(huì)上的分享，并由LiveVideoStack整理而成。

基于WebRTC的互動(dòng)直播實(shí)踐

互動(dòng)直播已經(jīng)逐漸成為直播的主要形式。映客直播資深音視頻工程師葉峰峰在LiveVideoStackCon 2018大會(huì)的演講中詳細(xì)介紹了INKE自研連麥整體設(shè)計(jì)思路、如何基于WebRTC搭建互動(dòng)直播SDK以及針對(duì)用戶體驗(yàn)進(jìn)行優(yōu)化。本文由LiveVideoStack整理而成。

熊謝剛：AI和5G讓容聯(lián)·云通訊彎道超車

經(jīng)過(guò)5年多的發(fā)展，容聯(lián)·云通訊已經(jīng)從通訊PaaS服務(wù)，演變成為融合通信運(yùn)營(yíng)商與互聯(lián)網(wǎng)音視頻能力的通訊云平臺(tái)。未來(lái)，容聯(lián)·云通訊還要在5G、AI和物聯(lián)網(wǎng)方面突破。日前，LiveVideoStack對(duì)容聯(lián)·云通訊CPO熊謝剛進(jìn)行了專訪，暢談了多媒體云服務(wù)的未來(lái)。

LinkedIn：用數(shù)據(jù)提高視頻性能

LinkedIn通過(guò)在視頻播放過(guò)程中收集的大量數(shù)據(jù)，對(duì)多種視頻指標(biāo)進(jìn)行實(shí)驗(yàn)以提高視頻性能，改善用戶體驗(yàn)。本文來(lái)自LinkedIn工程博客，LiveVideoStack對(duì)文章進(jìn)行了翻譯。

QUIC的那些事 | 幀類型及格式

QUIC的幀包是基于幀的。幀有1個(gè)字節(jié)的幀類型字段，類型字段后是與類型相關(guān)的幀頭信息。所有的幀都被包含在單個(gè)的QUIC包中，沒(méi)有幀可以跨越QUIC包的邊界。

移動(dòng)端IM/推送系統(tǒng)的協(xié)議選型：UDP還是TCP？

從PC時(shí)代的IM開(kāi)始，IM開(kāi)發(fā)者就在為數(shù)據(jù)傳輸協(xié)議的選型爭(zhēng)論不休（比如：《為什么QQ用的是UDP協(xié)議而不是TCP協(xié)議？》這樣的問(wèn)題，隔一段時(shí)間就能在社區(qū)里看到）。到了移動(dòng)互聯(lián)網(wǎng)時(shí)代，鑒于移動(dòng)網(wǎng)絡(luò)的不可靠性等特點(diǎn)，再加上手機(jī)的省電策略、流量壓縮等，為這個(gè)問(wèn)題的回答增了更多的不確定因素。

音頻/視頻技術(shù)

安卓音視頻播放-總體架構(gòu)

安卓上我們經(jīng)常會(huì)使用MediaPlayer這個(gè)類去播放音頻和視頻,這篇筆記便從MediaPlayer著手,一層層分析安卓的音視頻播放框架。

Stanford CS224n 第十二講：語(yǔ)音處理的端對(duì)端模型

本文是對(duì)端到端的語(yǔ)音處理方法的概述，主要內(nèi)容包括 1.傳統(tǒng)的語(yǔ)音識(shí)別系統(tǒng)；2. 使用端到端（end-to-end）系統(tǒng)的原因；3. Connectionist Temporal Classification（CTC）；4. Listen Attend and Spell（LAS）；5. LAS的一些改進(jìn)方法...

自適應(yīng)流媒體傳輸（五）——正確認(rèn)識(shí)碼率切換

在這篇文章中，我們來(lái)探討幾個(gè)問(wèn)題：什么時(shí)候需要進(jìn)行碼率切換，碼率切換的幅度應(yīng)該怎么設(shè)計(jì)，以及碼率切換會(huì)對(duì)觀眾的感知有什么影響。相信大家看完之后會(huì)對(duì)碼率切換有一個(gè)更加正確的認(rèn)識(shí)。

利用MediaMuxer從視頻中提取視頻音頻文件和合并視頻，音頻文件

前面利用MediaExtractor提取的AAC和H264文件不經(jīng)過(guò)處理沒(méi)辦法播放，這次利用MediaExtractor和MediaMuxer配合提取合并生成可以播放的文件，PS：AAC文件和.H264需要首先利用MediaMuxer生成MP4文件，才能進(jìn)行合并。

編解碼

Android音視頻學(xué)習(xí)： MediaCodec 硬編解碼

MediaCodec 是做硬件（GPU，充分利用GPU 的并行處理能力）編解碼的。（通常結(jié)合 MediaExtractor、MediaSync、MediaMuxer、MediaCrypto、MediaDrm、Image、Surface、AudioTrack 使用）

FFmpeg視頻解碼,保存原始YUV數(shù)據(jù)(使用最新FFmpeg4.1)

本文基于FFmpeg4.1，FFmpeg視頻解碼,保存原始YUV數(shù)據(jù)，沒(méi)有使用任何棄用的API。

自適應(yīng)流媒體傳輸（四）——深入理解MPD

在這篇文章中，我們從更細(xì)節(jié)的角度，深入來(lái)看一下DASH系統(tǒng)中的MPD結(jié)構(gòu)。

AI智能

6D目標(biāo)姿態(tài)估計(jì)，李飛飛夫婦等提出DenseFusion

根據(jù) RGB-D 圖像進(jìn)行 6D 目標(biāo)姿態(tài)估計(jì)的一個(gè)主要技術(shù)挑戰(zhàn)是如何充分利用兩個(gè)互補(bǔ)數(shù)據(jù)源——顏色和深度。為此，李飛飛夫婦等研究者提出了 DenseFusion——一種可單獨(dú)處理兩個(gè)數(shù)據(jù)源的異質(zhì)架構(gòu)。

Mars 算法實(shí)踐——人臉識(shí)別

Mars 是一個(gè)基于矩陣的統(tǒng)一分布式計(jì)算框架，在之前的文章中已經(jīng)介紹了 Mars 是什么， 以及 Mars 分布式執(zhí)行 ，而且 Mars 已經(jīng)在 GitHub 中開(kāi)源。當(dāng)你看完 Mars 的介紹可能會(huì)問(wèn)它能做什么，這幾乎取決于你想做什么，因?yàn)?Mars 作為底層運(yùn)算庫(kù)，實(shí)現(xiàn)了 numpy 70% 的常用接口。這篇文章將會(huì)介紹如何使用 Mars 完成你想做的事情。

一文帶你讀懂 WaveNet：谷歌助手的聲音合成器

機(jī)器合成擬人化語(yǔ)音（文語(yǔ)轉(zhuǎn)換）的想法已經(jīng)存在很長(zhǎng)時(shí)間了。在深度學(xué)習(xí)出現(xiàn)之前，存在兩種主流的建立語(yǔ)音合成系統(tǒng)的方式，即波音拼接合成和參數(shù)合成。

FaceBoxes—官方開(kāi)源CPU實(shí)時(shí)高精度人臉檢測(cè)器

FaceBoxes是中科院自動(dòng)化所在IJCB2017上提出的面向CPU實(shí)時(shí)的高精度人臉檢測(cè)算法，論文中指出其比大家所熟知的MTCNN在速度和精度上都更優(yōu)秀。

圖像

曠視等提出GIF2Video：首個(gè)深度學(xué)習(xí)GIF質(zhì)量提升方法

本文提出了 GIF2Video，首個(gè)基于深度學(xué)習(xí)提升自然場(chǎng)景下 GIF 成像質(zhì)量的方法，其主要任務(wù)有兩個(gè)：顏色反量化和幀插值。針對(duì)第一個(gè)任務(wù)，本文給出一個(gè)組合性網(wǎng)絡(luò)架構(gòu) CCDNet，并通過(guò)綜合損失函數(shù)訓(xùn)練它，顏色反量化被嵌入于 CCDNet 以指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)和推理。對(duì)于第二個(gè)任務(wù)，本文采用 SuperSlomo 進(jìn)行變長(zhǎng)多幀插值以提升輸入 GIF 的時(shí)序分辨率。

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 83期的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。