每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨和新聞投稿：contribute@livevideostack.com。

架構(gòu)

花椒敏感詞系統(tǒng)架構(gòu)詳細(xì)

直播系統(tǒng)主要是以?xún)?nèi)容為主，好的內(nèi)容可以吸引用戶(hù)來(lái)欣賞，也能為公司帶來(lái)可觀的收益，既然有傳播的入口，那么必然有負(fù)面內(nèi)容的出現(xiàn)，隨著平臺(tái)用戶(hù)量不斷擴(kuò)大，內(nèi)容的監(jiān)管也是必不可少的一個(gè)環(huán)節(jié)，比如國(guó)家監(jiān)管部門(mén)要求攔截詞語(yǔ)包括涉政、非法、宗教、暴恐、版權(quán)等，以及平臺(tái)自身需要攔截的詞語(yǔ)包括競(jìng)品挖人、低俗、廣告等垃圾詞，那么我們本章就從文本內(nèi)容的管控角度介紹下花椒敏感詞服務(wù)的定制和應(yīng)用。

https://mp.weixin.qq.com/s/GXVlcyGd9WsPGw0oSGmxgw

使用 serverless 技術(shù)構(gòu)建 Raspberry Pi 遠(yuǎn)傳機(jī)器人

如何使用 AWS Kinesis 視頻流與 WebRTC 。第一個(gè)關(guān)于這個(gè)技術(shù)話(huà)題的帖子。

https://idk.dev/building-a-raspberry-pi-telepresence-robot-using-serverless-part-2/

傳輸網(wǎng)絡(luò)

廣播的新概念：SRT——遠(yuǎn)程家庭工作流程的簡(jiǎn)單解決方案

本視頻演講來(lái)自Haivision SRT Tuesday Webinar系列，由Haivision產(chǎn)品營(yíng)銷(xiāo)副總裁Marcus Schioler、技術(shù)銷(xiāo)售Selwyn Jansl和Live X的制片人兼聯(lián)合創(chuàng)始人Corey Behnke共同完成。演講的主題是“SRT——遠(yuǎn)程家庭工作流程的簡(jiǎn)單解決方案”。

https://mp.weixin.qq.com/s/9mVvq2vHRxS6ALNPQyTOGw

QUIC能否代替TCP/IP

本文是來(lái)自SNIA on Networking Storage的演講，演講者是Tim Lustig和Lars Eggert，前者是Mellanox Technologies企業(yè)以太網(wǎng)營(yíng)銷(xiāo)總監(jiān)，后者是NetApp網(wǎng)絡(luò)技術(shù)總監(jiān)。演講主題是QUIC能否代替TCP/IP。

https://mp.weixin.qq.com/s/eivw3r67_XNjFCzmKQIh3g

低延遲直播流技術(shù)

本文來(lái)自Bitmovin NAB 2020 Tech Talk，演講者是來(lái)自Bitmovin的軟件工程師Jameson Steiner，演講的主題是低延遲直播流技術(shù)。

https://mp.weixin.qq.com/s/UMthlPancMBLFfrGlqYZsg

RIST和開(kāi)放廣播系統(tǒng)

RIST是一種流協(xié)議，它允許諸如互聯(lián)網(wǎng)之類(lèi)的有損網(wǎng)絡(luò)用于關(guān)鍵的流應(yīng)用。它稱(chēng)為可靠的Internet流傳輸，它使用ARQ（自適應(yīng)重復(fù)請(qǐng)求）重傳技術(shù)來(lái)請(qǐng)求網(wǎng)絡(luò)丟失的任何數(shù)據(jù)，從而為視頻分發(fā)創(chuàng)建可靠的路徑。

https://mp.weixin.qq.com/s/RZJF8nqYFXfl6I9-l4k4zw

視頻技術(shù)

Firefox中帶有AudioWorklet的高性能Web音頻

AudioWorklet于2018年首次引入網(wǎng)絡(luò)。從那以后，Mozilla一直在研究如何在WebAudio API中“不妥協(xié)”地實(shí)現(xiàn)這個(gè)特性。本周，Firefox 76發(fā)布了音頻工作包。我們已經(jīng)準(zhǔn)備好開(kāi)始彌合原生應(yīng)用程序中的音頻功能與web上的可用功能之間的差距。

https://hacks.mozilla.org/2020/05/high-performance-web-audio-with-audioworklet-in-firefox/

視頻圖像處理中的錯(cuò)幀同步是怎么實(shí)現(xiàn)的？

錯(cuò)幀同步，簡(jiǎn)單來(lái)說(shuō)就是把當(dāng)前的幾幀緩沖到子線(xiàn)程中處理，主線(xiàn)程直接返回子線(xiàn)程之前的處理結(jié)果，屬于典型的以空間換時(shí)間策略。

https://mp.weixin.qq.com/s/h0QWgAOX_a6tXGi871BMXA

構(gòu)建音視頻直播應(yīng)用需要考慮的12件事（翻譯）

打造一個(gè)流媒體平臺(tái)除了像一般后端服務(wù)要求那樣，比如性能、擴(kuò)展性、可維護(hù)性以及可測(cè)試性，還有其它音視頻技術(shù)方面的考慮。

https://mp.weixin.qq.com/s/HabAKIpW0ARM57ShSyh-SQ

構(gòu)建iOS Live Streaming App時(shí)要考慮的11件事

構(gòu)建iOS實(shí)時(shí)流應(yīng)用程序可能很繁瑣。在任何Web應(yīng)用程序所需的所有后端系統(tǒng)基礎(chǔ)結(jié)構(gòu)之上，還有本機(jī)應(yīng)用程序集成的其他注意事項(xiàng)。因此，一些實(shí)時(shí)流軟件公司提供了移動(dòng)SDK，以幫助簡(jiǎn)化此過(guò)程。

https://www.red5pro.com/blog/11-things-to-consider-when-building-an-ios-live-streaming-app/

視頻通話(huà)的發(fā)展方向是什么？

Google Meet 與 Zero 競(jìng)爭(zhēng)

https://www.nojitter.com/unified-communications-collaboration/google-meet-race-zero

如何在網(wǎng)絡(luò)視頻聊天中添加覆蓋層 overlay

收藏起來(lái)，以便日后使用。

https://www.twilio.com/blog/add-an-overlay-to-web-video-chat

人物專(zhuān)訪(fǎng)

云游戲之大冒險(xiǎn)：5G，等還是不等 | 專(zhuān)訪(fǎng)云格致力陳浩

Global Market Insights預(yù)測(cè)全球云游戲市場(chǎng)將從2018年的10億美元增長(zhǎng)到2025年的80億美元，復(fù)合年增長(zhǎng)率達(dá)到30％（不同的市場(chǎng)報(bào)告預(yù)測(cè)數(shù)據(jù)略有不同，但都肯定了云游戲市場(chǎng)迅速增長(zhǎng)的趨勢(shì)）。

https://mp.weixin.qq.com/s/bcxwiOY0DuxOpZyvN3qYBQ

云游戲之真心話(huà)：一切才剛剛開(kāi)始 | 對(duì)話(huà)南京大學(xué)副教授馬展

在此前的報(bào)道中，騰訊云高管也曾表示，騰訊將更多地依靠游戲內(nèi)廣告以及向游戲設(shè)計(jì)方出售數(shù)據(jù)等其他收入來(lái)源，而不會(huì)采用國(guó)外的訂閱制模式來(lái)獲利。騰訊當(dāng)然可以選擇這樣一條發(fā)展路徑，那么那些擁有有限IP的游戲制造商和小公司呢？

https://mp.weixin.qq.com/s/fHkfEwiPlb7dr-PNJCn7AA

端側(cè)AI：高隱私、高可靠的智能個(gè)性化服務(wù)

相較于云端AI需要用戶(hù)將數(shù)據(jù)發(fā)送到云端進(jìn)行處理，存在網(wǎng)絡(luò)穩(wěn)定性、隱私安全等問(wèn)題。隨著終端算力的提升，端側(cè)AI本地處理數(shù)據(jù)的高隱私性以及對(duì)用戶(hù)使用習(xí)慣的智能感知，將為用戶(hù)帶來(lái)更可靠的個(gè)性化優(yōu)質(zhì)服務(wù)。

https://mp.weixin.qq.com/s/eqdLwaj_TSnBgB3In2Aj1Q

AI智能

深度學(xué)習(xí)落地移動(dòng)端

Q音探歌是QQ音樂(lè)孵化的一款全新APP，主打高效、準(zhǔn)確的“聽(tīng)歌識(shí)曲”，“掃描識(shí)別MV”功能，這些服務(wù)的實(shí)現(xiàn)離不開(kāi)深度學(xué)習(xí)能力。把深度學(xué)習(xí)推斷帶到邊緣設(shè)備( inference on the edge )，可以減少計(jì)算時(shí)間，改善用戶(hù)體驗(yàn)，但是也面臨著種種挑戰(zhàn)。

https://mp.weixin.qq.com/s/vzDybxT20XDxDq-kWZhZuQ

CVPR 2020 Oral | 曠視研究院提出對(duì)抗攻擊新方法DaST：無(wú)需真實(shí)數(shù)據(jù)訓(xùn)練替身模型

曠視研究院提出一個(gè)無(wú)需數(shù)據(jù)訓(xùn)練替身模型實(shí)現(xiàn)黑盒對(duì)抗攻擊的方法，稱(chēng)之為DaST（Data-free Substitute Training），它利用生成對(duì)抗網(wǎng)絡(luò)GAN生成合成樣本，以訓(xùn)練替身模型，而合成樣本的標(biāo)簽來(lái)自目標(biāo)模型。

https://mp.weixin.qq.com/s/wLctKCYHgNqHKXQgLIBKfA

AI修復(fù)100年前晚清影像喜提熱搜，這兩大算法立功了

為了實(shí)現(xiàn)高清修復(fù)，Shiryaev 使用了兩種神經(jīng)網(wǎng)絡(luò)：Google 的 DAIN（深度感知視頻幀插值，Depth-Aware Video Frame Interpolation）和 Topaz Labs的 Gigapixel AI。其中，Gigapixel AI 用于將微弱分辨率的視頻一直擴(kuò)展到 4K，而 DAIN 用于創(chuàng)建和插入之前不存在的幀，從而將視頻的 FPS 增加到 60。

https://mp.weixin.qq.com/s/KE69qTH2ft9rltAGIk_dbA

圖像

摳圖專(zhuān)家要失業(yè)了？CV技術(shù)加持下的AR，實(shí)現(xiàn)隔空摳圖復(fù)制粘貼

利用這個(gè)技術(shù)只用一部手機(jī)就能將書(shū)上的圖片直接復(fù)制到電腦上，全程用不到10秒鐘。

https://www.leiphone.com/news/202005/uZrdIAgE0kMhcsgB.html

資源推薦

插幀算法 DAIN

我們提出了深度感知視頻幀插值(DAIN)模型，通過(guò)挖掘深度線(xiàn)索來(lái)顯式地檢測(cè)遮擋。我們開(kāi)發(fā)了一個(gè)深度感知的流投影層來(lái)合成中間流，該中間流最好是對(duì)距離較近的對(duì)象進(jìn)行采樣，而不是對(duì)距離較遠(yuǎn)的對(duì)象進(jìn)行采樣。我們的方法在Middlebury數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能。

https://github.com/baowenbo/DAIN

點(diǎn)擊“閱讀原文”可查看更多詳細(xì)信息，請(qǐng)大家科學(xué)上網(wǎng)。

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 | 144的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。