『音視頻技術(shù)開發(fā)周刊』由LiveVideoStack團(tuán)隊(duì)出品，專注在音視頻技術(shù)領(lǐng)域，縱覽相關(guān)技術(shù)領(lǐng)域的干貨和新聞投稿，每周一期。點(diǎn)擊『閱讀原文』，瀏覽第69期內(nèi)容，祝您閱讀愉快。

架構(gòu)

BBR如何讓Spotify流媒體更流暢？

本文來(lái)自數(shù)字音樂(lè)服務(wù)商Spotify的科技博客，文章闡述了通過(guò)BBR為用戶提供了更大的下載帶寬，BBR是由Google開發(fā)的TCP擁塞控制算法，它旨在加快互聯(lián)網(wǎng)數(shù)據(jù)傳輸速度。LiveVideoStack對(duì)原文進(jìn)行了摘譯。

Akamai首席架構(gòu)師Will：WebRTC、QUIC、DASH、AV1都前景可觀

William Robert Law是Akamai媒體業(yè)務(wù)群的首席架構(gòu)師，自從去年邀請(qǐng)他參加LiveVideoStackCon 2017后，我們就親切的稱他Will。在對(duì)他的郵件采訪中，他談到了中美科技工程師的對(duì)比，CDN產(chǎn)業(yè)對(duì)比，架構(gòu)師的職責(zé)，新技術(shù)的前景以及從4次創(chuàng)業(yè)過(guò)程中學(xué)到的經(jīng)驗(yàn)。在LiveVideoStackCon 2018上，Will將會(huì)分享剛剛結(jié)束的俄羅斯世界杯的支持經(jīng)歷，以及通過(guò)CMAF實(shí)現(xiàn)海量用戶、低延遲直播。

華人的戰(zhàn)場(chǎng)——MSU視頻編碼大賽

從HW265到騰訊香農(nóng)編碼器，從sz264/sz265到UCodec，當(dāng)然還有金山265，在MSU視頻編碼評(píng)測(cè)排名靠前的參賽者大部分來(lái)自本土公司或華人工程師的貢獻(xiàn)。LiveVideoStack試圖通過(guò)一系列采訪，解讀這一全球知名的視頻Codec評(píng)測(cè)。本文是系列文章的第一篇。

Bitmovin: 視頻開發(fā)者報(bào)告 2018

今年的視頻開發(fā)者報(bào)告（Video Developer Report）在發(fā)布前總共收到了來(lái)自6大洲67個(gè)國(guó)家的456份調(diào)研問(wèn)卷。該報(bào)告旨在對(duì)當(dāng)前工業(yè)界使用的視頻技術(shù)進(jìn)行較為全面的梳理，并對(duì)下一年的行業(yè)發(fā)展趨勢(shì)做出大致的預(yù)測(cè)。本文對(duì)該報(bào)告中的關(guān)鍵內(nèi)容進(jìn)行了整理。

Get a head start with QUIC

In this blog post, we will show you how you can unlock the cloudflare-quic.com achievement and be some of the first people in the world to perform a HTTP transaction over the global internet using QUIC. This will be a moment that you can tell your grandkids about - if they can stop laughing at your stories of cars with wheels and use of antiquated words like: “meme” and “phone”.

從零開始仿寫一個(gè)抖音App——日志和埋點(diǎn)以及后端初步架構(gòu)

日志在一個(gè)項(xiàng)目中起著非常重要的輔助作用，它可以讓開發(fā)人員方便的定位 bug。它可以在系統(tǒng)上線之后讓后臺(tái)監(jiān)控 app 的性能以及穩(wěn)定性。他還可以收集用戶的行為數(shù)據(jù)以方便對(duì)用戶的需求進(jìn)行分析。在這一節(jié)中我會(huì)分析5種不同的日志，并講解其中幾種日志的實(shí)現(xiàn)方式。

Enhancing the Netflix UI Experience with HDR

We’re excited to roll out experimental HDR images for the very first time to the Netflix app on the latest generation of game consoles. These are images that take advantage of a display’s HDR capabilities (just like HDR video) and not to be confused with HDR photos that your phone or camera might take by combining multiple exposures to generate a high-contrast scene.

朱曄的互聯(lián)網(wǎng)架構(gòu)實(shí)踐心得S1E7：三十種架構(gòu)設(shè)計(jì)模式（上）

設(shè)計(jì)模式是前人通過(guò)大量的實(shí)踐總結(jié)出來(lái)的一些經(jīng)驗(yàn)總結(jié)和最佳實(shí)踐。在經(jīng)過(guò)多年的軟件開發(fā)實(shí)踐之后，回過(guò)頭來(lái)去看23種設(shè)計(jì)模式你會(huì)發(fā)現(xiàn)很多平時(shí)寫代碼的套路和OO的套路和設(shè)計(jì)模式里總結(jié)的類似，這也說(shuō)明了你悟到的東西和別人悟到的一樣，經(jīng)過(guò)大量實(shí)踐總能趨向性得出一些最佳實(shí)踐的結(jié)論。

分布式 TensorFlow：Distribution Strategy API 丨Google 開發(fā)者大會(huì) 2018

2018 年 9 月 21 日 周玥楓（Google Brain 軟件工程師）帶來(lái)一場(chǎng)《分布式 TensorFlow：Distribution Strategy API》的演講，本文將對(duì)演講做一個(gè)回顧。

音頻/視頻技術(shù)

基于TCP的0.8s超低延時(shí)、150kb/s超弱網(wǎng)絡(luò)、低卡頓穩(wěn)定直播框架

本文介紹了一個(gè)在直播質(zhì)量上大幅超過(guò)各大平臺(tái)的直播框架，在低延時(shí)方面甚至超過(guò)普通的WebRTC+RTMP。在CPU效率和響應(yīng)速度上也是屈指可數(shù)的。基于跨平臺(tái)開發(fā)思想，目前只完成了iOS部分，后續(xù)完成所有之后考慮開源，在這之前歡迎測(cè)試。

EasyDarwin RTSPRequest請(qǐng)求相關(guān)代碼分析

在之前的博文中提到了RTSPSession中建立RTSPRequest和RTPSession以完成進(jìn)一步的視頻流構(gòu)建，本文主要分析其中RTSPRequest請(qǐng)求的相關(guān)代碼。RTSPRequest作為RTSP請(qǐng)求保存視頻流請(qǐng)求信息如請(qǐng)求方法，開始時(shí)間，結(jié)束時(shí)間，播放速度，傳輸方式等。

MediaPlayer 播放音頻與視頻

Android 多媒體中的——MediaPlayer 可以用來(lái)播放音頻和視頻，是 Androd 多媒體框架中的一個(gè)重要組件，通過(guò)該類，可以以最小的步驟來(lái)獲取，解碼 和播放音視頻。

使用 MediaExtractor 和 MediaMuxer API 解析和封裝 mp4 文件

一個(gè)音視頻文件是由音頻和視頻組成的，我們可以通過(guò)MediaExtractor、MediaMuxer把音頻或視頻給單獨(dú)抽取出來(lái)，抽取出來(lái)的音頻和視頻能單獨(dú)播放。

編解碼

iOS系統(tǒng)中H264硬解碼及顯示詳解

蘋果在iOS 8.0系統(tǒng)之前，沒(méi)有開放系統(tǒng)的硬件編碼解碼功能，不過(guò)Mac OS系統(tǒng)一直有，被稱為VideoToolBox的框架來(lái)處理硬件的編碼和解碼，終于在iOS 8.0后，蘋果將該框架引入iOS系統(tǒng)。

理解低延遲視頻編碼的正確姿勢(shì)

在視頻世界中，延遲是獲取視頻幀的瞬間與該幀顯示的瞬間之間的時(shí)間量。低延遲是任何與視頻內(nèi)容實(shí)時(shí)交互的系統(tǒng)的設(shè)計(jì)目標(biāo)，例如視頻會(huì)議或無(wú)人機(jī)駕駛。但是“低延遲”的含義可能會(huì)有所不同，實(shí)現(xiàn)低延遲的方法也并不相同。本文將定義和解釋視頻延遲的基礎(chǔ)知識(shí)，并討論如何正確選擇對(duì)延遲影響最大的視頻編碼技術(shù)。

HEVC 幀內(nèi)預(yù)測(cè)

幀內(nèi)預(yù)測(cè)使用TU塊。利用當(dāng)前圖片已經(jīng)編碼的像素進(jìn)行預(yù)測(cè)。幀內(nèi)預(yù)測(cè)可用塊大小為幀內(nèi)預(yù)測(cè)分成35種預(yù)測(cè)模式，其中33種角度預(yù)測(cè)（2-34），Planar預(yù)測(cè)（0）和DC預(yù)測(cè)（1）。支持塊大小從4x4到64x64。

OpenMAX數(shù)據(jù)流傳遞規(guī)則

在利用 OpenMax 編寫的程序框架中，就不可避免地會(huì)涉及到數(shù)據(jù)流的傳遞，因?yàn)檫@個(gè)框架就是為了數(shù)據(jù)流傳遞而服務(wù)的。在音視頻數(shù)據(jù)包的傳遞過(guò)程中需要遵循某種約束，比如數(shù)據(jù)包處理時(shí)間不能超過(guò)幀間隔等等。本文就討論一下在數(shù)據(jù)流傳遞過(guò)程中的一些約束性規(guī)則，主要就是時(shí)間約束規(guī)則。

ARM Linux平臺(tái)下FFmpeg的移植

一個(gè)視頻直播的項(xiàng)目，需要使用嵌入式Linux設(shè)備作為一個(gè)推流端，所以使用FFmpeg實(shí)現(xiàn)推流功能。libx264是一個(gè)自由的H.264編碼庫(kù)，是x264項(xiàng)目的一部分，使用廣泛，FFmpeg的H.264實(shí)現(xiàn)就是用的libx264。FFmpeg 中帶有264的解碼,沒(méi)有編碼,需要添加x264。

AI智能

淺談動(dòng)作識(shí)別TSN, TRN, ECO

動(dòng)作識(shí)別表面是簡(jiǎn)單的分類問(wèn)題，但從本質(zhì)上來(lái)說(shuō)，是視頻理解問(wèn)題，很多因素都會(huì)影響其中，比如不同類型視頻中空間時(shí)間信息權(quán)重不同？視頻長(zhǎng)短不一致？視頻中動(dòng)作持續(xù)的起始終止時(shí)間差異很大？視頻對(duì)應(yīng)的語(yǔ)義標(biāo)簽是否模糊？本文主要對(duì)比 video-level 動(dòng)作識(shí)別的經(jīng)典方法TSN，及其拓展變形版本的TRN和ECO。

為什么 AI 芯片時(shí)代必然到來(lái)——從TPU開始的幾十倍性能之旅

摩爾定律的終結(jié)將使服務(wù)于特定領(lǐng)域的架構(gòu)成為計(jì)算的未來(lái)。一個(gè)開創(chuàng)性的例子就是谷歌在 2015 年推出的張量處理單元（TPU），目前已經(jīng)在為超過(guò)十億人提供服務(wù)。TPU 使深度神經(jīng)網(wǎng)絡(luò)（DNN）的計(jì)算速度提高了 15-30 倍，能耗效率比類似技術(shù)下的當(dāng)代 CPU 和 GPU 高出了 30-80 倍。

伯克利最新研究：如何用目標(biāo)圖像進(jìn)行機(jī)器視覺(jué)強(qiáng)化學(xué)習(xí)？

深度強(qiáng)化學(xué)習(xí)結(jié)合了深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的優(yōu)勢(shì)，可以在復(fù)雜高維的狀態(tài)動(dòng)作空間中進(jìn)行端到端的感知決策。今天，來(lái)自 Berkeley 的兩位大佬給我們介紹了用想象的目標(biāo)進(jìn)行視覺(jué)強(qiáng)化學(xué)習(xí)，讓我們來(lái)看看有什么新穎之處。

目標(biāo)檢測(cè)架構(gòu)5年演進(jìn)全盤點(diǎn)：從R-CNN到RFBNet

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的基本且重要的問(wèn)題之一，而「一般目標(biāo)檢測(cè)」則更注重檢測(cè)種類廣泛的自然事物類別。近日，中國(guó)國(guó)防科技大學(xué)、芬蘭奧盧大學(xué)、澳大利亞悉尼大學(xué)、香港中文大學(xué)、加拿大滑鐵盧大學(xué)的研究者在 arXiv 發(fā)布了一篇綜述論文，對(duì)用于一般目標(biāo)檢測(cè)的深度學(xué)習(xí)技術(shù)進(jìn)行了全面系統(tǒng)的總結(jié)。

快手 AI 技術(shù)副總裁鄭文：快手在內(nèi)容生產(chǎn)&內(nèi)容理解上用到的 AI 技術(shù)

鄭文，清華大學(xué)軟件學(xué)院 2001 級(jí)校友，斯坦福大學(xué)計(jì)算機(jī)系博士，曾在硅谷多家知名大公司、創(chuàng)業(yè)企業(yè)從事計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)等方向的研究，現(xiàn)任快手 AI 技術(shù)副總裁，帶領(lǐng)快手在 AI、AR、CV、CG 等方向的前沿研究。

圖像

iOS 圖像渲染原理

通過(guò) 圖形渲染原理 一文，大致能夠了解圖形渲染過(guò)程中硬件相關(guān)的原理。本文將進(jìn)一步介紹 iOS 開發(fā)過(guò)程中圖形渲染原理。

圖像處理之空間濾波

空間濾波是指：鄰域中心從一個(gè)像素向另一個(gè)像素移動(dòng)，對(duì)鄰域中的像素應(yīng)用算子T，并在該位置（領(lǐng)域中心）產(chǎn)生輸出。典型地，該處理從輸入圖像的左上角開始，以水平掃描的方式逐像素處理。當(dāng)該鄰域的中心位于圖像的邊界上時(shí)部分鄰域?qū)⑽挥趫D像外部，此時(shí)，用T做計(jì)算時(shí)可以忽略外側(cè)鄰點(diǎn)，或者用0或其他指定的灰度值填充圖像的邊緣。

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 69期的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。