聲網(wǎng)Agora Native SDK 3.4.0 本月已正式上線。新版本不僅增加了更豐富的實(shí)時(shí)美聲音效、屏幕共享、虛擬節(jié)拍器等功能，同時(shí)在 SDK 的穩(wěn)定性、兼容性及安全合規(guī)上做了大幅度升級，希望為 App 用戶帶來更順暢、舒適的互動(dòng)新體驗(yàn)。

3.4.0 版本更新了什么？

功能新增

1、音效文件播放進(jìn)度

在實(shí)時(shí)音視頻互動(dòng)過程中，當(dāng)我們希望可以更好地烘托氣氛、增添趣味性，通常會選擇播放音效（例如，在游戲中添加打斗聲，在唱歌時(shí)添加伴奏等）來進(jìn)行互動(dòng)。但有時(shí)候如果需在播放音效文件后調(diào)整播放位置，只單獨(dú)播放一個(gè)完整音軌中的某一段或者希望快速跳過某部分音頻內(nèi)容，3.4.0 版本中提供了控制音效文件的播放進(jìn)度。具體新增如下方法：

• playEffect3:通過 startPos參數(shù)，在播放音效文件時(shí)設(shè)置播放位置。

• setEffectPosition: 在播放音效文件后，設(shè)置音效文件的播放位置。

• getEffectDuration: 獲取本地音效文件的總時(shí)長。

• getEffectCurrentPosition: 獲取音效文件的播放進(jìn)度。

2、虛擬節(jié)拍器

為滿足在線音樂教學(xué)等場景對節(jié)拍器的需求，3.4.0 版本新增如下方法：

• startRhythmPlayer: 開啟虛擬節(jié)拍器。

• stopRhythmPlayer: 關(guān)閉虛擬節(jié)拍器。

• configRhythmPlayer: 在開啟虛擬節(jié)拍器后，重新配置虛擬節(jié)拍器。

功能優(yōu)化

1、弱網(wǎng)下的視頻流暢性與質(zhì)量平衡

在帶寬受限時(shí)，為了保證視頻的流暢性，通常視頻編碼會選擇優(yōu)先降低視頻幀率維持視頻質(zhì)量不變或者選擇降低視頻質(zhì)量保障視頻幀率。但在一對一通話、一對一教學(xué)或多人會議的場景中，畫質(zhì)與流暢性其實(shí)都很難割舍。因此，在 3.4.0 版本中我們對此對了優(yōu)化degradationPreference新增支持設(shè)為 AgoraDegradationBalanced，弱網(wǎng)下會降低視頻幀率和視頻質(zhì)量，以在流暢性和視頻質(zhì)量之間取得平衡。

2、原始視頻數(shù)據(jù)（C++）

為方便開發(fā)者獲取傳輸各階段的視頻原始數(shù)據(jù)，滿足更多場景需求，在 3.4.0 之前的版本中我們已經(jīng)支持 C++ 回調(diào) getRotationApplied 和 getMirrorApplied將原始視頻數(shù)據(jù)作旋轉(zhuǎn)、鏡像處理。為提升用戶體驗(yàn)，新版本將這些回調(diào)函數(shù)支持處理的視頻數(shù)據(jù)格式由 RGBA 拓展到 RGBA 和 YUV 420。

3、屏幕共享功能優(yōu)化

實(shí)時(shí)互動(dòng)場景中的屏幕共享是指將屏幕上的內(nèi)容分享，從而實(shí)現(xiàn)信息共享的一種技術(shù)。這樣的應(yīng)用在游戲直播、視頻會議或在線教育場景中都較為常見（文件、數(shù)據(jù)、網(wǎng)頁、課件、筆記等屏幕共享），用戶可以將自己移動(dòng)端或 PC 端的屏幕內(nèi)容共享給他人實(shí)時(shí)觀看。

新版本的 SDK 目前已支持屏幕區(qū)域共享、窗口區(qū)域共享、全屏共享、共享前置、窗口最小化回調(diào)等功能，同時(shí)還支持流暢性有先模式或清晰度優(yōu)先模式的選擇。在屏幕共享的可用性及體驗(yàn)感上都做了很大都提升。

4、客戶端錄音

為了便于用戶在錄音時(shí)可以更方便、靈活地設(shè)置錄音內(nèi)容，該版本新增startAudioRecordingWithConfig方法，通過startAudioRecordingWithConfig的config參數(shù)，用戶可自主選擇設(shè)置錄音音質(zhì)、內(nèi)容、采樣率及錄音文件的存儲路徑。

同時(shí)，該版本還新增了錯(cuò)誤碼 AgoraErrorCodeAlreadyInRecording(160)。如果在音樂文件播放完成前再次調(diào)用 startAudioRecordingWithConfig，SDK 會報(bào)告該錯(cuò)誤碼。

為什么是目前最“優(yōu)”版本？

Agora Native SDK 3.4.0 是一個(gè)功能更豐富、穩(wěn)定性更高的集大成版本。為了用戶在新版本中擁有更好的體驗(yàn)。我們從 3.0 SDK 到 3.4 SDK 的過程中做了諸多的優(yōu)化，在音頻處理、視頻處理、延時(shí)優(yōu)化、安全合規(guī)等方面都做了相應(yīng)的提升。因此，3.4 版本不僅新增和優(yōu)化了部分功能，同時(shí)也保留和優(yōu)化了之前版本中優(yōu)秀的功能與特性。

1、3A算法+AI 高效降噪

不管是在視頻面試還是視頻會議場景中，我們都曾遭遇過因?yàn)樵胍?、回聲?#xff0c;暫時(shí)中止雙方的互動(dòng)，或者重新加入視頻房間的情況。

通過聲網(wǎng)的 3A （AEC、ANC、AGC）算法，可實(shí)現(xiàn)智能適應(yīng)各類環(huán)境，全面消除回聲，并提供超一流的雙講表現(xiàn)；可在不損傷語音音質(zhì)的情況下，有效消除各類噪音；可實(shí)現(xiàn)音頻的自動(dòng)增益，即使在嘈雜環(huán)境下用戶也能有很好的實(shí)時(shí)互動(dòng)體驗(yàn)。

同時(shí)，聲網(wǎng) SDK 在降噪模塊的前端預(yù)置了信號分類模塊，能夠精確地檢測出信號的類型，并根據(jù)信號的類型調(diào)整降噪算法的類型及參數(shù)，常見的信號類型包括一般語音、清唱、音樂信號等。通過聲網(wǎng)的 AI 降噪算法，利用深度學(xué)習(xí)技術(shù)通過特征提取、神經(jīng)網(wǎng)絡(luò)以及增益調(diào)整對實(shí)時(shí)音頻進(jìn)行處理抑制噪聲，突破了傳統(tǒng)信號處理方案的性能瓶頸，從而為實(shí)時(shí)音視頻提供清晰語音環(huán)境?？蓪?shí)現(xiàn)良好降噪效果，解決了實(shí)現(xiàn)實(shí)時(shí)人聲和噪聲分離的同時(shí)保證人聲保真度的降噪難題。

想要詳細(xì)了解此部分內(nèi)容的小伙伴可參考「詳解低延時(shí)高音質(zhì)：回聲消除與降噪篇」

2、更豐富的美聲音效

實(shí)時(shí)音效是指為聲音增加某種特定的風(fēng)格，增強(qiáng)聲音的層次感和空間感。為提高用戶的音頻體驗(yàn)，我們將傳統(tǒng)專業(yè)聲卡、調(diào)音師、萬元級線下插件通過軟件算法的方式搬到線上，用戶無需再專門下載插件就可以使用美聲特效、虛擬立體聲、美化音色、自動(dòng)變聲等聲音特效，在提升用戶體驗(yàn)和場景娛樂性的同時(shí)極大的降低了使用門檻。

目前已實(shí)現(xiàn) 3種語聊美聲、6種歌唱美聲、8種音色變換、18種人聲音效、7種變聲音效、4種基礎(chǔ)變聲效果。

Demo試聽：https://www.agora.io/cn/audio-demo想了解實(shí)時(shí)美聲的原理，可閱讀我們往期的分享。接口具體使用方法，可以訪問聲網(wǎng)文檔中心，搜索并查看高階指南「變聲與混響」。

3、美顏優(yōu)化-兼具“自然”與“美”

在社交娛樂或教育場景中，用戶進(jìn)行視頻通話或直播時(shí)，常常希望向?qū)Ψ匠尸F(xiàn)良好的狀態(tài)和精神面貌。通過聚焦人像皮膚、頭發(fā)和背景等區(qū)域，幫助開發(fā)者輕松實(shí)現(xiàn)更真實(shí)、更“自然”的美白和紅潤效果，開發(fā)者們還可以通過調(diào)整參數(shù)來自定義美顏效果。

即便在極端暗光條件下，通過應(yīng)用聲網(wǎng)自研暗光增強(qiáng)算法，可自適應(yīng)調(diào)整光照過暗區(qū)域的亮度值，恢復(fù)和凸顯圖像的細(xì)節(jié)信息，提升視頻圖像的視覺效果，讓視頻畫面擁有更自然的優(yōu)質(zhì)畫質(zhì)。此功能適用于整體亮度偏低、背光、陰天、光照不均勻等場景。暗光增強(qiáng)目前支持 iOS 平臺，在使用效果和設(shè)備性能間做好平衡調(diào)優(yōu)，可在 iPhone 6s 機(jī)型及以上支持 720P@30fps 的實(shí)時(shí)處理。

4、80%抗丟包能力，SDK 崩潰率「萬分之一」

在實(shí)時(shí)數(shù)據(jù)傳輸質(zhì)量的優(yōu)化上，基于聲網(wǎng) SD-RTN? 的傳輸，在包到達(dá)率上，SD-RTN? 與專線已無差別，jitter 200ms 的到達(dá)率為 99.9%。穩(wěn)定性已達(dá)到專線水平。

同時(shí)，針對實(shí)時(shí)語音互動(dòng)中可能出現(xiàn)的弱網(wǎng)傳輸、丟包等情況，聲網(wǎng)Agora 擁有一套專業(yè)的抗弱網(wǎng)傳輸與抗丟包算法。在 SDK 迭代的過程中，我們也不斷地對其背后的抗弱網(wǎng)指標(biāo)進(jìn)行著優(yōu)化，目前視頻的抗弱網(wǎng)邊界已經(jīng)從原來的 60% 提升至 70%，音頻則已經(jīng)提升至 80%，在這樣的弱網(wǎng)環(huán)境下，仍可以保證音頻、視頻的流暢體驗(yàn)。同時(shí)，根據(jù)美洲，亞洲，東南亞，中東等地區(qū)用戶提供的數(shù)據(jù)顯示，SDK 首幀出圖、出聲時(shí)間也得到了全面的優(yōu)化，客戶閉環(huán)驗(yàn)證結(jié)果與實(shí)驗(yàn)室測試結(jié)果完全吻合。

5、安全合規(guī)

聲網(wǎng)遵循國際認(rèn)可的信息安全和隱私保護(hù)標(biāo)準(zhǔn)以及行業(yè)要求，致力于采用國際最佳實(shí)踐來建設(shè)隱私和安全管理體系。目前聲網(wǎng)已經(jīng)通過 ISO/IEC 27001、ISO/IEC ISO27017、ISO/IEC 27018 體系認(rèn)證，并獲得了由第三方專業(yè)機(jī)構(gòu)出具的SOC2 Type I服務(wù)鑒證報(bào)告，以此證明自身的隱私合規(guī)和安全管理能力。

關(guān)于此次新版本的更多特性與新增功能可能無法在此次的介紹中一一贅述，點(diǎn)擊【此處】在線獲取更多 SDK 相關(guān)資訊。

總結(jié)

以上是生活随笔為你收集整理的App 用户新体验——Agora Native SDK 3.4.0的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。