多媒體知識

文章目錄

• 多媒體知識
• • 音視頻編解碼
  • • 音頻編碼
    • 視頻編碼
    • 解碼
    • 編解碼關鍵
    • 什么是碼率？
    • • 碼率
      • 碼率計算公式
      • 幾點原則
    • 什么是幀率？
    • • 幀率
      • h264和h265是什么？
      • • 常見的編碼方式
        • h264
        • h265
        • h264和h265的區別
    • 直播和點播聯系與區別？
    • • 直播
      • 點播

• 音視頻編解碼

  • 音頻編碼

    • 自然界中的聲音非常復雜，波形極其復雜，通常我們采用的是脈沖代碼調制編碼，即PCM編碼。PCM通過抽樣、量化、編碼三個步驟將連續變化的模擬信號轉換為數字編碼。

    • 將音頻采樣數據(PCM等)壓縮成音頻碼流,從而降低音頻的數據量。音頻編碼也是互聯網視音頻技術中的一個重要技術，高效率的音頻在同等碼率下,可以獲得更好的音質。
      

    • 常見的音頻編碼格式有AAC、MP3、AC3

    • MP3：是一種音頻壓縮技術，它被設計用來大幅度地降低音頻數據量。將音樂以1:10 甚至1:12的壓縮率，壓縮成容量較小的文件，而對于大多數的用戶來說，重放的音質于最初不壓縮的音頻相比沒有明顯下降。 MP3的特點是，利用人耳對高頻信號不敏感的特性，將時域波形信號轉換成頻域信號，并劃分成多個頻段，對不同的頻段使用不同的壓縮率，對高頻信號使用大壓縮率（甚至忽略信號），對低頻信號使用小壓縮率，保證信號不失真。這樣一來就相當于拋棄人耳基本聽不到的高頻聲音，只保留能聽到的低頻部分，從而將聲音用1:10甚至1:12的壓縮率壓縮。（注：音頻分成多段，高頻大壓縮率，低頻小壓縮率）

    • AAC：一種專門為聲音數據設計的文件壓縮格式，與MP3不同，它采用了全新的算法進行編碼，更加高效，具有更高的”性價比“，在感覺聲音在沒有明顯降低的前提下，可使文件更加小巧。AAC的優點是，相對于MP3，AAC的音質更佳文件更小。AAC缺點是，AAC是屬于有損壓縮格式，與時下流行的APE、FLAC等無損壓縮格式相比音質存在本質上的差距。（注：比MP3更好的音質更小的文件，但是有損音質）

    • AC3：有損音頻編碼格式。被廣泛應用與5.1聲道。AC3普及程度很高，唱片、電影院。AC3提供的環繞聲系統由5個全頻域聲道和1個超低音聲道組成。（注：立體音效，但是有損音質）

  • 視頻編碼

    • 視頻編碼的主要作用是將視頻像素數據（RGB，YUV等）壓縮成為視頻碼流，從而降低視頻的數據量。如果視頻不經過壓縮編碼的話，體積通常是非常大的，一部電影可能就要上百G的空間。視頻編碼是視音頻技術中最重要的技術之一。視頻碼流的數據量占了視音頻總數據量的絕大部分。高效率的視頻編碼在同等的碼率下，可以獲得更高的視頻質量

    • 在視頻編解碼技術定義方面有兩大標準機構。一個是國際電信聯盟 (ITU) 針對多媒體通信制定的H.26x系列視頻編碼標準和G.7系列音頻編碼標準。其中包括 H.261、H.262、H.263 與 H.264；另一個是國際標準化組織 (ISO) 主要針對消費類應用，已經針對運動圖像壓縮定義了 MPEG 標準。MPEG 標準包括 MPEG1、MPEG2 與 MPEG4。1994年由MPEG和ITU合作制定的MPEG-2是第一代音視頻編解碼標準的代表，也是目前國際上最為通行的音視頻標準
      

  • 流程圖
    

  • 解碼

    • 就是將視頻/音頻壓縮編碼數據,解碼成為非壓縮的視頻/音頻原始數據。音頻的壓縮編碼標準包含AAC,MP3,AC-3等等,視頻的壓縮編碼標準則包含H.264,MPEG2,VC-1等等解碼是整個系統中最重要也是最復雜的一個環節.通過解碼,壓縮編碼的視頻數據輸出成為非壓縮的顏色數據,例如:YUV420P,RGB等等壓縮編碼的音頻數據輸出成為非壓縮的音頻抽樣數據,例如:PCM數據
    • 解碼🌰li zi：H264原始碼流–>NALU.
      • I幀: 保留了一張完整視頻幀. 解碼關鍵!
      • P幀: 先前參考幀.差異數據.解碼需要依賴于I幀
      • B幀: 雙向參考幀,解碼時既需要I幀,也需要P幀!
      • 如果H264碼流中I幀錯誤/丟失,就會導致錯誤傳遞,P/B幀單獨是完成不了解碼工作! 花屏的現象產生. VideoToolBox硬編碼編碼H264幀.I幀! 手動加入SPS/PPS. 解碼時: 需要使用SPS/PPS數據來對解碼器進行初始化!

  • 編解碼關鍵

    • 預測：通過幀內預測和幀間預測降低視頻圖像的空間冗余和時間冗余。
    • 變換：通過從時域到頻域的變換，去除相鄰數據之間的相關性，即去除空間冗余。
    • 量化：通過用更粗糙的數據表示精細的數據來降低編碼的數據量，或者通過去除人眼不敏感的信息來降低編碼數據量。
    • 掃描：將二維變換量化數據重新組織成一維的數據序列。
    • 熵編碼：根據待編碼數據的概率特性減少編碼冗余。

• 什么是碼率？

  • 碼率

    • 數據傳輸時單位時間傳送的數據位數，一般我們用的單位是kbps即千位每秒
    • 通俗一點的理解就是取樣率，單位時間內取樣率越大，精度就越高，處理出來的文件就越接近原始文件，但是文件體積與取樣率是成正比的，所以幾乎所有的編碼格式重視的都是如何用最低的碼率達到最少的失真，圍繞這個核心衍生出來的cbr（固定碼率）與vbr（可變碼率），都是在這方面做的文章，不過事情總不是絕對的，舉例來看，對于一個音頻，其碼率越高，被壓縮的比例越小，音質損失越小，與音源的音質越接近。
    • 注：碼率就是失真度，碼率越高越清晰，反之則畫面粗糙而多馬賽克。

  • 碼率計算公式

    • 基本的算法：

    • $碼率(kbps)= 文件大小(KB) * 8 / 時間(秒)$

    • 舉例，D5碟，容量4.3G，其中考慮到音頻的不同格式，算為600M，（故剩余容量為4.3*1024-600=3803.2M)，所以視頻文件應不大于3.7G，本例中取視頻文件的容量為3.446G，視頻長度100分鐘（6000秒）。

    • 計算結果：碼率約等于4818kbps(3.446 * 1024 * 1024 * 8 / 6000 = 4817.857)。

• 幾點原則

• a. 碼率和質量成正比，但是文件體積也和碼率成正比。這是要牢記的;
• b. 碼率超過一定數值，對圖像的質量沒有多大影響;
• c. 如果是1M的寬帶，在網上只能看不超過1024kbps的視頻，超過1024kbps的視頻只能等視頻緩沖才能順利觀看。

• 什么是幀率？

  • 幀率

    • 是指每秒鐘刷新的圖片的幀數，也可以理解為圖形處理器每秒鐘能夠刷新幾次。越高的幀速率可以得到更流暢、更逼真的動畫。每秒鐘幀數(FPS)越多，所顯示的動作就會越流暢。
    • 由于人類眼睛的特殊生理結構，如果所看畫面之幀率高于16的時候，就會認為是連貫的，此現象稱之為視覺停留。這也就是為什么電影膠片是一格一格拍攝出來，然后快速播放的。
    • 每秒的幀數(fps)或者說幀率表示圖形處理器處理場時每秒鐘能夠更新的次數。高的幀率可以得到更流暢、更逼真的動畫。一般來說30fps就是可以接受的，但是將性能提升至60fps則可以明顯提升交互感和逼真感，但是一般來說超過75fps一般就不容易察覺到有明顯的流暢度提升了。如果幀率超過屏幕刷新率只會浪費圖形處理的能力，因為監視器不能以這么快的速度更新，這樣超過刷新率的幀率就浪費掉了。

• h264和h265是什么？

  • 常見的編碼方式

    • H.26X 系列，由國際電傳視訊聯盟遠程通信標準化組織(ITU-T)主導
      • H.261，主要用于老的視頻會議和視頻電話系統。是第一個使用的數字視頻壓縮標準。實質上說，之后的所有的標準視頻編解碼器都是基于它設計的。
      • H.262，等同于 MPEG-2 第二部分，使用在 DVD、SVCD 和大多數數字視頻廣播系統和有線分布系統中。
      • H.263，主要用于視頻會議、視頻電話和網絡視頻相關產品。在對逐行掃描的視頻源進行壓縮的方面，H.263 比它之前的視頻編碼標準在性能上有了較大的提升，尤其是在低碼率端，它可以在保證一定質量的前提下大大的節約碼率。
      • H.264，等同于 MPEG-4 第十部分，也被稱為高級視頻編碼(Advanced Video Coding，簡稱 AVC)，是一種視頻壓縮標準，一種被廣泛使用的高精度視頻的錄制、壓縮和發布格式。該標準引入了一系列新的能夠大大提高壓縮性能的技術，并能夠同時在高碼率端和低碼率端大大超越以前的諸標準。
      • H.265，被稱為高效率視頻編碼(High Efficiency Video Coding，簡稱 HEVC)是一種視頻壓縮標準，是 H.264 的繼任者。HEVC 被認為不僅提升圖像質量，同時也能達到 H.264 兩倍的壓縮率（等同于同樣畫面質量下比特率減少了 50%），可支持 4K 分辨率甚至到超高畫質電視，最高分辨率可達到 8192×4320（8K 分辨率），這是目前發展的趨勢。

  • h264

    • 壓縮能力比H.263更強。高壓縮比、高圖像質量、良好的網絡適應性，在較低帶寬上提供高質量的圖像傳輸。是為新一代交互視頻通訊制定的標準。該標準也被稱為AVC(Advanced Video Coding)標準，是MPEG-4的第10部分

  • h265

    • 是繼H.264之后所制定的新的視頻編碼標準。新技術H.265旨在有限帶寬下傳輸更高質量的網絡視頻，僅需原先的一半帶寬即可播放相同質量的視頻。這也意味著，我們的智能手機、平板機等移動設備將能夠直接在線播放1080p的全高清視頻。H.265標準也同時支持4K(4096×2160)和8K(8192×4320)超高清視頻。

  • h264和h265的區別

    • H.265標準圍繞著現有的視頻編碼標準H.264，保留原來的某些技術，同時對一些相關的技術加以改進，h265相較于h264使用先進的技術用以改善碼流、編碼質量、延時和算法復雜度之間的關系，達到最優化設置。壓縮率：在同樣的圖像質量下，相比于h264，通過h265編碼的視頻大小減少了大約40%。傳輸碼率：h264可以在低于2兆每秒的速度下實現標清數字圖像傳送。而h265則可以在低于1.5兆每秒的速度下實現全高清視頻的傳輸。運算需求：由于h265比較h264壓縮率更高，編碼視頻更小，所以對機器的運算需求也要更大。

    • MPEG 系列，由國際標準組織機構(ISO)下屬的運動圖象專家組(MPEG)開發。

      • MPEG-1 第二部分，主要使用在 VCD 上，有些在線視頻也使用這種格式。該編解碼器的質量大致上和原有的 VHS 錄像帶相當。
      • MPEG-2 第二部分，等同于 H.262，使用在 DVD、SVCD 和大多數數字視頻廣播系統和有線分布系統中。
      • MPEG-4 第二部分，可以使用在網絡傳輸、廣播和媒體存儲上。比起 MPEG-2 第二部分和第一版的 H.263，它的壓縮性能有所提高。
      • MPEG-4 第十部分，等同于 H.264，是這兩個編碼組織合作誕生的標準。
      • 其他，AMV、AVS、Bink、CineForm 等等，這里就不做多的介紹了。

• 直播和點播聯系與區別？

  • 直播

  • 廣播電視詞典對直播界定為“廣播電視節目的后期(haobc)合成、播出同時進行的播出方式”。按播出場合可分為現場直播和播音室或演播室直播等形式。 電視現場直播為在現場隨著事件的發生、發展進程同時制作和播出電視節目的播出方式，是充分體現廣播電視媒介傳播優勢的播出方式。
    

直播一般流程：音視頻采集??視頻濾鏡??音視頻編碼??推流??流媒體服務器處理??拉流??音視頻解碼??音視頻播放

• 注：視頻內容是實時錄制的，與此同時，將音視頻以媒體“流”的形式推到服務器上。此時，一旦有觀眾收看該直播，服務器收到響應后，會將媒體流傳輸至播放器，實現視頻播放，客戶端通過支持流媒體協議的播放器實時播放同樣的內容，不可拖動進度。

  • 點播

  • 視頻點播是二十世紀90年代在國外發展起來的，英文稱為“Video on Demand”，所以也稱為“VOD”。顧名思義，就是根據觀眾的要求播放節目的視頻點播系統，把用戶所點擊或選擇的視頻內容，傳輸給所請求的用戶。視頻點播業務是近年來新興的傳媒方式，是計算機技術、網絡通信技術、多媒體技術、電視技術和數字壓縮技術等多領域融合的產物

• 注：視頻內容已經存放在服務器上（換句話說，我們能夠得到該視頻文件在服務器上的URL地址），我們可以選擇性地播放某個“大片”，服務端存放多個視頻文件，客戶端可通過網路點播客戶端任意觀看其中一個視頻，并可拖動進度進行觀看。

  • 聯系與區別：相同的是都是在服務器上存放視頻數據，區別是直播是實時錄制，并傳輸到服務器，通過流媒體實時播放，點播則是服務器提前存放視頻文件，用戶選擇內容，服務器傳輸相應內容，進行播放。

📝 參考與學習

• 各種音視頻編解碼學習詳解
• 音視頻編解碼標準簡介
• 音視頻學習從零到整（詳細且易懂）
• 音視頻基礎知識（易懂）
• 視頻編解碼之理論概述
• 視頻編解碼之編碼基礎
• 點播詳解
• 直播技術原理講解

總結

以上是生活随笔為你收集整理的必须要知道的多媒体知识-音视频编解码-h265、h264-直播-点播的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。