1. 前言

本文是音視頻工程師系列的第一篇文章。

學(xué)習(xí)音視頻的過程中發(fā)現(xiàn)，網(wǎng)絡(luò)上高質(zhì)量的音視頻技術(shù)博客不是很多。具有代表性的是

• 雷神的 雷霄驊的CSDN博客

因?yàn)楣P者是一名普通的軟件開發(fā)人員，一向不喜歡高高在上或者晦澀難懂的理論，我們向來喜歡通俗易懂的東西。我認(rèn)為知識的本身也應(yīng)該是通俗易懂的東西。知識用晦澀難懂的東西描述出來，是對人類進(jìn)步的阻礙，是知識壟斷。

音視頻的很多標(biāo)準(zhǔn)都是國外制定的，而且很多音視頻開發(fā)基礎(chǔ)庫也是國外的，國內(nèi)外技術(shù)差距是存在的。

筆者希望此系列教程能夠以工程實(shí)現(xiàn)為出發(fā)點(diǎn)和落腳點(diǎn)，簡化理論知識，化繁為簡地解析音視頻技術(shù)，為音視頻技術(shù)的發(fā)展，為各位讀者成長為音視頻工程師貢獻(xiàn)一點(diǎn)微不足道的力量。

2. 音視頻數(shù)據(jù)內(nèi)容信息分類

音視頻數(shù)據(jù)內(nèi)容從本質(zhì)上講，分為兩種：

音視頻數(shù)據(jù)：存儲音視頻本身想要傳達(dá)的信息，即聲音和圖像。

音視頻參數(shù)：存儲音視頻的控制參數(shù)。例如采樣率，幀率等信息，是處理音視頻數(shù)據(jù)時必不可少的信息。

3. 格式

封裝格式（容器）

音視頻內(nèi)容包含了音視頻數(shù)據(jù)和音視頻參數(shù)兩種信息，這兩種信息打包放在一個文件中采用的格式，就叫做封裝格式，也叫容器。個人覺得叫封裝格式更容易理解。

目前，人們已經(jīng)發(fā)明了很多種視頻文件格式。當(dāng)然發(fā)明這些格式并不是一拍大腿想起來的，而是在特定的使用場景下，對應(yīng)的視頻格式，可以更高效地存儲和處理音視頻數(shù)據(jù)。

由于封裝格式在開發(fā)中基本上都是由庫來處理，不需要我們自己封裝和解析，所以可以先不做細(xì)致了解。在初學(xué)階段的首要任務(wù)是把握音視頻的整體工作框架，某些技術(shù)細(xì)節(jié)可以先放一放，后面再研究。這也是筆者建議的學(xué)習(xí)方法：學(xué)習(xí)精力分配要遵循二八定律，大部分領(lǐng)域中，只有大約20%的知識最重要，在這20%上面我們要花80%的時間，剩下80%不是那么重要的，只需要花20%的時間即可。

編碼格式（壓縮）

不經(jīng)過壓縮的音視頻數(shù)據(jù)是很大的。例如：

1920x1080的RGB24圖像，1秒25幀，不壓縮，1小時的視頻總大小約為 1920 * 1080 * 3 * 25 * 60 * 60 = 521G。
這種情況下，500G的電腦硬盤，最多只能存1個小時的電影；刷小視頻會變得很卡；百度網(wǎng)盤128KB/s的速度下載一部電影需要一兩個月…

所以，音視頻 必須被壓縮后存儲或者傳輸。

采用某種編碼格式（即壓縮格式）對音視頻數(shù)據(jù)進(jìn)行壓縮，壓縮后的音視頻數(shù)據(jù)和音視頻參數(shù)一起按照某種封裝格式，被打包放入到音視頻文件中，這樣就生成了視頻文件。

4. 音視頻數(shù)據(jù)基本單位

4.1 采樣/抽樣

首先要明白采樣/抽樣的概念。
視頻采樣是指：以某一速度對物體連續(xù)拍照，不斷記錄物體在某一瞬間的畫面。
音頻采樣是指：以某一速度連續(xù)記錄聲音在某一瞬間的震動幅度。
采樣是對原事物的一種反映手段。對于采樣后的音視頻數(shù)據(jù)，計(jì)算機(jī)可以進(jìn)行播放和加工處理。

4.2 視頻幀

每一個時刻拍的那張照片，就叫視頻幀，它是視頻的基本數(shù)據(jù)單位。

4.3 PCM音頻采樣點(diǎn)

每一個時刻獲取到的聲音振幅，就叫PCM采樣點(diǎn)，它是音頻的基本數(shù)據(jù)單位。

了解這些基本夠用了，不需要深入地去研究過多的細(xì)節(jié)。最主要的是要了解，通過采樣可以將現(xiàn)實(shí)世界的事物反映到計(jì)算機(jī)中，變成可處理的數(shù)據(jù)。

5. 音視頻參數(shù)

既然音視頻數(shù)據(jù)是經(jīng)過采樣得到的，那么我們想要播放音視頻數(shù)據(jù)，就必須用到采樣過程中使用到的一些參數(shù)，這樣音視頻數(shù)據(jù)才能正確的反應(yīng)原事物的狀態(tài)。

5.1 音頻參數(shù)

5.1.1 基本參數(shù)

音頻有三個基本參數(shù)：

• 采樣位數(shù)：表示每個采樣使用多少個比特位來保存，一般為4、8、16、32位（bit）。采樣位數(shù)為8 bit時，每個采樣點(diǎn)可以表示256個不同的采樣值，而采樣位數(shù)為16 bit時，每個采樣點(diǎn)可以表示65536個不同的采樣值。采樣位數(shù)的大小影響聲音的質(zhì)量，采樣位數(shù)越多，量化后的波形越接近原始聲音，聲音的質(zhì)量越高，但是需要的存儲空間也越多；位數(shù)越少，聲音的質(zhì)量越低，需要的存儲空間越少。通常，CD音質(zhì)的采樣位數(shù)是16 bit，移動通信是8 bit。

• 采樣頻率（Sampling Rate）：表示一秒鐘采樣多少次，常用的采樣頻率有44100=44.1k，以及44800=44.8k。采樣頻率必須至少是人可以聽到的頻率的2倍，這是由奈奎斯特采樣定理得到的，采樣頻率再低的話，原聲音中的頻率就會丟失。奈奎斯特采樣定理是信號與系統(tǒng)這門課中的，不懂的話沒關(guān)系，不需要做過多了解。

• 聲道數(shù)：聲道數(shù)是指有多少個錄音麥克風(fēng)放在音源的周圍錄音。聲道間是獨(dú)立、同時進(jìn)行采樣的。大部分音樂是雙聲道的，播放時用耳機(jī)聽，會有一定的立體感。

上面三個是最基本的三個參數(shù)，只要知道了這三個參數(shù)，就可以將聲音記錄下來，而且可以播放出來。

這三個參數(shù)怎么記憶呢？按照從小到大、從少到多的邏輯記憶即可：

• 先從單個采樣點(diǎn)開始，存儲一個點(diǎn)所用位數(shù)叫采樣位數(shù)；
• 一秒鐘采樣得到的采樣點(diǎn)的個數(shù)叫采樣頻率；
• 同時進(jìn)行的采樣任務(wù)的個數(shù)叫聲道數(shù)。

5.1.2 網(wǎng)絡(luò)參數(shù)

為什么要說網(wǎng)絡(luò)參數(shù)呢，由于互聯(lián)網(wǎng)的發(fā)展，音視頻成為一種服務(wù)，逐漸出現(xiàn)在互聯(lián)網(wǎng)上。在線看電影，刷短視頻，上網(wǎng)課等等都已經(jīng)成為了一種新的生活方式。把音視頻搬到網(wǎng)絡(luò)上，必然會有一些和網(wǎng)絡(luò)相關(guān)的技術(shù)參數(shù)，來實(shí)現(xiàn)對音視頻服務(wù)的控制。有如下幾種：

• 碼率：單位是 比特每秒，英文是bps（bit per second）。此參數(shù)表示播放某音頻需要占用多少網(wǎng)絡(luò)帶寬。因?yàn)榇a率是網(wǎng)絡(luò)環(huán)境下的參數(shù)，所以要結(jié)合網(wǎng)絡(luò)來理解。網(wǎng)絡(luò)帶寬就是網(wǎng)絡(luò)速度，單位是bps。咱們家里辦的寬帶，一般都是百兆千兆的帶寬，聽著似乎很快，但是由于它的單位是bps，實(shí)際上轉(zhuǎn)換成字節(jié)（Byte），要除以8，百兆不過12.5MB/s，千兆不過125MB/s每秒。因?yàn)槲募且宰止?jié)為單位衡量的，所以這個速度實(shí)際上并不是像聽起來那么快。所以，碼率是衡量音頻在網(wǎng)絡(luò)上傳輸時，對網(wǎng)絡(luò)帶寬占用量的一個參數(shù)。當(dāng)網(wǎng)絡(luò)帶寬比較小時，可以選擇降低音視頻碼率，這可以通過降低音頻質(zhì)量來實(shí)現(xiàn)；當(dāng)網(wǎng)絡(luò)帶寬比較大時，可以選擇提高音頻碼率，傳輸更高質(zhì)量的音視頻。

5.2 視頻參數(shù)

5.2.1 基本參數(shù)

視頻有三個基本參數(shù)：

• 像素格式：像素用來保存某一點(diǎn)的顏色，這個顏色可以采用不同的格式存儲。常見的有RGB、YUV、HSV等。學(xué)習(xí)這些格式需要一定的數(shù)學(xué)運(yùn)算，我們后面將單獨(dú)寫一篇文章講解，并計(jì)劃寫一個工具來實(shí)現(xiàn)他們之間的轉(zhuǎn)換。
• 畫面分辨率：分辨率是指一幀畫面的長寬各有多少像素，一般的寫法是寬 * 高，如1920 * 1080。分辨率越高，畫面越細(xì)膩。
• 幀率：幀率是指1秒鐘播放的幀的個數(shù)，幀率越高，畫面越流暢，幀率越低，畫面越卡頓。

對視頻基本參數(shù)，也可以采用從小到大的邏輯記憶：

• 先從最基本的像素開始，存儲某顏色的格式叫像素格式。
• n個像素構(gòu)成一幀畫面，幀的長寬叫做分辨率。
• n個幀連續(xù)播放才能形成視頻，幀率是指1秒中播放的幀的個數(shù)。

5.2.2 網(wǎng)絡(luò)參數(shù)

視頻的網(wǎng)絡(luò)參數(shù)和音頻類似，主要有：

• 碼率：解釋同音頻的碼率。需要提及的是，視頻的碼率等級比音頻多一些，因?yàn)橐曨l的數(shù)據(jù)相對于音頻數(shù)據(jù)，大了不止一點(diǎn)點(diǎn)，所以視頻碼率等級分的也更多。

結(jié)語

本文主要是梳理了一下音視頻中的必須了解的基本知識。筆者本系列文章的定位是既要精簡又要通俗易懂。現(xiàn)代社會每個人都很忙，盡量降低學(xué)習(xí)成本，才是一個優(yōu)秀的教程應(yīng)該做的事情，而不是把簡單的東西用一些專業(yè)術(shù)語和公式把它復(fù)雜化。后面的文章會陸續(xù)在公眾號及網(wǎng)站更新，希望大家多多關(guān)注。

---

附錄及參考鏈接

• 雷神博客鏈接：視音頻數(shù)據(jù)處理入門：PCM音頻采樣數(shù)據(jù)處理
• PCM百度百科：https://baike.baidu.com/item/PCM/1568054
• 音頻基礎(chǔ)知識—PCM淺析：cloud.tencent.com/developer/article/1802685

---

本文原創(chuàng)發(fā)布于微信公眾號Qt未來工程師。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的音视频工程师（初步）（一）音视频的基本概念的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。