每周一期，縱覽音視頻技術領域的干貨和新聞投稿：contribute@livevideostack.com。

架構

花椒敏感詞系統架構詳細

直播系統主要是以內容為主，好的內容可以吸引用戶來欣賞，也能為公司帶來可觀的收益，既然有傳播的入口，那么必然有負面內容的出現，隨著平臺用戶量不斷擴大，內容的監管也是必不可少的一個環節，比如國家監管部門要求攔截詞語包括涉政、非法、宗教、暴恐、版權等，以及平臺自身需要攔截的詞語包括競品挖人、低俗、廣告等垃圾詞，那么我們本章就從文本內容的管控角度介紹下花椒敏感詞服務的定制和應用。

https://mp.weixin.qq.com/s/GXVlcyGd9WsPGw0oSGmxgw

使用 serverless 技術構建 Raspberry Pi 遠傳機器人

如何使用 AWS Kinesis 視頻流與 WebRTC 。第一個關于這個技術話題的帖子。

https://idk.dev/building-a-raspberry-pi-telepresence-robot-using-serverless-part-2/

傳輸網絡

廣播的新概念：SRT——遠程家庭工作流程的簡單解決方案

本視頻演講來自Haivision SRT Tuesday Webinar系列，由Haivision產品營銷副總裁Marcus Schioler、技術銷售Selwyn Jansl和Live X的制片人兼聯合創始人Corey Behnke共同完成。演講的主題是“SRT——遠程家庭工作流程的簡單解決方案”。

https://mp.weixin.qq.com/s/9mVvq2vHRxS6ALNPQyTOGw

QUIC能否代替TCP/IP

本文是來自SNIA on Networking Storage的演講，演講者是Tim Lustig和Lars Eggert，前者是Mellanox Technologies企業以太網營銷總監，后者是NetApp網絡技術總監。演講主題是QUIC能否代替TCP/IP。

https://mp.weixin.qq.com/s/eivw3r67_XNjFCzmKQIh3g

低延遲直播流技術

本文來自Bitmovin NAB 2020 Tech Talk，演講者是來自Bitmovin的軟件工程師Jameson Steiner，演講的主題是低延遲直播流技術。

https://mp.weixin.qq.com/s/UMthlPancMBLFfrGlqYZsg

RIST和開放廣播系統

RIST是一種流協議，它允許諸如互聯網之類的有損網絡用于關鍵的流應用。它稱為可靠的Internet流傳輸，它使用ARQ（自適應重復請求）重傳技術來請求網絡丟失的任何數據，從而為視頻分發創建可靠的路徑。

https://mp.weixin.qq.com/s/RZJF8nqYFXfl6I9-l4k4zw

視頻技術

Firefox中帶有AudioWorklet的高性能Web音頻

AudioWorklet于2018年首次引入網絡。從那以后，Mozilla一直在研究如何在WebAudio API中“不妥協”地實現這個特性。本周，Firefox 76發布了音頻工作包。我們已經準備好開始彌合原生應用程序中的音頻功能與web上的可用功能之間的差距。

https://hacks.mozilla.org/2020/05/high-performance-web-audio-with-audioworklet-in-firefox/

視頻圖像處理中的錯幀同步是怎么實現的？

錯幀同步，簡單來說就是把當前的幾幀緩沖到子線程中處理，主線程直接返回子線程之前的處理結果，屬于典型的以空間換時間策略。

https://mp.weixin.qq.com/s/h0QWgAOX_a6tXGi871BMXA

構建音視頻直播應用需要考慮的12件事（翻譯）

打造一個流媒體平臺除了像一般后端服務要求那樣，比如性能、擴展性、可維護性以及可測試性，還有其它音視頻技術方面的考慮。

https://mp.weixin.qq.com/s/HabAKIpW0ARM57ShSyh-SQ

構建iOS Live Streaming App時要考慮的11件事

構建iOS實時流應用程序可能很繁瑣。在任何Web應用程序所需的所有后端系統基礎結構之上，還有本機應用程序集成的其他注意事項。因此，一些實時流軟件公司提供了移動SDK，以幫助簡化此過程。

https://www.red5pro.com/blog/11-things-to-consider-when-building-an-ios-live-streaming-app/

視頻通話的發展方向是什么？

Google Meet 與 Zero 競爭

https://www.nojitter.com/unified-communications-collaboration/google-meet-race-zero

如何在網絡視頻聊天中添加覆蓋層 overlay

收藏起來，以便日后使用。

https://www.twilio.com/blog/add-an-overlay-to-web-video-chat

人物專訪

云游戲之大冒險：5G，等還是不等 | 專訪云格致力陳浩

Global Market Insights預測全球云游戲市場將從2018年的10億美元增長到2025年的80億美元，復合年增長率達到30％（不同的市場報告預測數據略有不同，但都肯定了云游戲市場迅速增長的趨勢）。

https://mp.weixin.qq.com/s/bcxwiOY0DuxOpZyvN3qYBQ

云游戲之真心話：一切才剛剛開始 | 對話南京大學副教授馬展

在此前的報道中，騰訊云高管也曾表示，騰訊將更多地依靠游戲內廣告以及向游戲設計方出售數據等其他收入來源，而不會采用國外的訂閱制模式來獲利。騰訊當然可以選擇這樣一條發展路徑，那么那些擁有有限IP的游戲制造商和小公司呢？

https://mp.weixin.qq.com/s/fHkfEwiPlb7dr-PNJCn7AA

端側AI：高隱私、高可靠的智能個性化服務

相較于云端AI需要用戶將數據發送到云端進行處理，存在網絡穩定性、隱私安全等問題。隨著終端算力的提升，端側AI本地處理數據的高隱私性以及對用戶使用習慣的智能感知，將為用戶帶來更可靠的個性化優質服務。

https://mp.weixin.qq.com/s/eqdLwaj_TSnBgB3In2Aj1Q

AI智能

深度學習落地移動端

Q音探歌是QQ音樂孵化的一款全新APP，主打高效、準確的“聽歌識曲”，“掃描識別MV”功能，這些服務的實現離不開深度學習能力。把深度學習推斷帶到邊緣設備( inference on the edge )，可以減少計算時間，改善用戶體驗，但是也面臨著種種挑戰。

https://mp.weixin.qq.com/s/vzDybxT20XDxDq-kWZhZuQ

CVPR 2020 Oral | 曠視研究院提出對抗攻擊新方法DaST：無需真實數據訓練替身模型

曠視研究院提出一個無需數據訓練替身模型實現黑盒對抗攻擊的方法，稱之為DaST（Data-free Substitute Training），它利用生成對抗網絡GAN生成合成樣本，以訓練替身模型，而合成樣本的標簽來自目標模型。

https://mp.weixin.qq.com/s/wLctKCYHgNqHKXQgLIBKfA

AI修復100年前晚清影像喜提熱搜，這兩大算法立功了

為了實現高清修復，Shiryaev 使用了兩種神經網絡：Google 的 DAIN（深度感知視頻幀插值，Depth-Aware Video Frame Interpolation）和 Topaz Labs的 Gigapixel AI。其中，Gigapixel AI 用于將微弱分辨率的視頻一直擴展到 4K，而 DAIN 用于創建和插入之前不存在的幀，從而將視頻的 FPS 增加到 60。

https://mp.weixin.qq.com/s/KE69qTH2ft9rltAGIk_dbA

圖像

摳圖專家要失業了？CV技術加持下的AR，實現隔空摳圖復制粘貼

利用這個技術只用一部手機就能將書上的圖片直接復制到電腦上，全程用不到10秒鐘。

https://www.leiphone.com/news/202005/uZrdIAgE0kMhcsgB.html

資源推薦

插幀算法 DAIN

我們提出了深度感知視頻幀插值(DAIN)模型，通過挖掘深度線索來顯式地檢測遮擋。我們開發了一個深度感知的流投影層來合成中間流，該中間流最好是對距離較近的對象進行采樣，而不是對距離較遠的對象進行采樣。我們的方法在Middlebury數據集上實現了最先進的性能。

https://github.com/baowenbo/DAIN

點擊“閱讀原文”可查看更多詳細信息，請大家科學上網。

總結

以上是生活随笔為你收集整理的音视频技术开发周刊 | 144的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。