音视频是怎样实现传输的
音視頻傳輸時(shí)的基本步驟：
1.發(fā)起會(huì)話（Sip協(xié)議）
2.編碼（硬件編碼、軟件編碼）
3.傳輸（RTP）
4.解碼（硬件解碼、軟件解碼）
5結(jié)束會(huì)話（Sip協(xié)議）
視頻格式
視頻數(shù)據(jù)格式可以發(fā)展分為一個(gè)適合本地播放的本地影像視頻和適合在網(wǎng)絡(luò)中播放的網(wǎng)絡(luò)流媒體影像視頻兩大類。雖然后者在穩(wěn)定性和畫面質(zhì)量可能無法像播放本地視頻流那樣出眾，但網(wǎng)絡(luò)流媒體影像被廣泛用于制作點(diǎn)播、在線演示、遠(yuǎn)程教育，網(wǎng)絡(luò)視頻廣告等互聯(lián)網(wǎng)信息服務(wù)的視頻。
音頻格式
音頻格式是在計(jì)算機(jī)中播放或處理音頻文件，即對聲音文件進(jìn)行編號(hào)，模式轉(zhuǎn)換，此過程也由采樣和量化組成。
編碼
編解碼器是指一種裝置，或能夠?qū)⑿盘?hào)或數(shù)據(jù)流的程序。這里指的變換既包括將信號(hào)或者數(shù)據(jù)流進(jìn)行分析編碼或者可以提取方法得到發(fā)展一個(gè)編碼流的操作，也包括企業(yè)為了觀察能力或者自己處理從這個(gè)編碼流中恢復(fù)適合觀察或操作的形式的操作。編解碼器經(jīng)常用在網(wǎng)絡(luò)視頻會(huì)議和流媒體等應(yīng)用中，通常主要問題還是用在廣電媒體行業(yè)，作前端技術(shù)應(yīng)用。
視頻協(xié)議
目前主要的視頻壓縮協(xié)議有：h.261、h.263、h.264和mpeg-1、mpeg-2和mpeg-4。第一個(gè)視頻壓縮標(biāo)準(zhǔn)是h.261，它的算法現(xiàn)在來看非常的簡單，但是，它的很多對視頻進(jìn)行壓縮的思想，一直影響到現(xiàn)在最新的壓縮技術(shù)標(biāo)準(zhǔn)h.264。
音頻協(xié)議
這些協(xié)議的兩個(gè)主要特點(diǎn)，第一是更關(guān)注語音壓縮，畢竟，主要是聽人說話;音樂可能不是很好的壓縮;第二個(gè)是壓縮比比較大，比較低的比特率，壓縮比。723支持5.9k/s這樣的碼率，而且語音音質(zhì)還很不錯(cuò)。iso的音頻數(shù)據(jù)可能更為人需要熟知企業(yè)一些，最流行的就是mp3，它的全稱是mpeg-1 audio layer 3，意思是mpeg-1的音頻進(jìn)行第三層；另外，最新的音頻算法可以被稱為aac，它定義在mpeg-2或mpeg-4的音頻以及部分。它們是由質(zhì)量好，多通道，高精度采樣，采樣頻率高
解碼
硬件解碼：
視頻解碼分為軟解和硬解。
所謂的“軟解”是通過軟件用于CPU到視頻解碼過程；和“硬解”是指不依賴于CPU上，通過專用設(shè)備來完成一個(gè)獨(dú)立的視頻解碼器，視頻壓縮卡都被冠以“硬解”的稱號(hào)。現(xiàn)在可以實(shí)現(xiàn)網(wǎng)絡(luò)高清硬解不需要進(jìn)行額外的子卡，也不需要通過額外的投入，因?yàn)橛步獯a功能模塊被整合在了GPU內(nèi)部，而目前我國主流的顯卡都能得到支持硬解碼。
“硬解”其實(shí)更需要軟件的支持，只是基本的操作不需要CPU干預(yù)，從而節(jié)省大量的系統(tǒng)資源開銷。
GPU硬解碼高清視頻的優(yōu)勢：
1.不需要太好的CPU，單次檢查就足夠了，CPU方面節(jié)省了很多錢；
2.硬件解碼包括免費(fèi)的基本等價(jià)的，不到500元整合主板可以完美支持；
3.硬解碼讓CPU占用率以及超低，系統(tǒng)有能力可以在看HDTV的同時(shí)企業(yè)進(jìn)行一個(gè)多任務(wù)操作；
4.CPU需要竭盡全力解碼HDTV，但只花了0.1億晶體管的GPU解碼模塊完成的任務(wù)，更好地控制功耗；
GPU硬解碼高清視頻的劣勢：
1.起步發(fā)展較晚，軟件技術(shù)支持度無法與軟解相提并論；
2.面對雜亂的視頻編碼，打包格式，硬解碼無法實(shí)現(xiàn)完全兼容；
3.軟解擁有超大的屏幕輸出來補(bǔ)償和質(zhì)量增強(qiáng)技術(shù)，和硬件解決方案做得不夠；
4.硬解碼軟件進(jìn)行設(shè)置一個(gè)較為復(fù)雜，很多朋友根本不知道該如何通過正確選擇使用GPU硬件解碼。
幀
幀是從電影最小單位，相當(dāng)于上的畫面的每個(gè)小區(qū)透鏡的單圖像的屏幕圖像。
一幀：幀通常是每個(gè)GOP的第一幀(MPEG使用的視頻壓縮技術(shù))，它可以作為隨機(jī)訪問的參考點(diǎn)。I幀可以被視為一個(gè)壓縮圖像的產(chǎn)物。
P frame:前向預(yù)測進(jìn)行編碼幀又稱predictive-frame，通過充分將低于其他圖像數(shù)據(jù)序列中前面已編碼幀的時(shí)間以及冗余網(wǎng)絡(luò)信息來壓縮技術(shù)傳輸系統(tǒng)數(shù)據(jù)量的編碼實(shí)現(xiàn)圖像，也叫預(yù)測幀；
B幀：雙向預(yù)測編碼的幀的內(nèi)插，也稱為雙向內(nèi)插預(yù)測幀，考慮到前一幀編碼圖像序列源，所述源可以考慮的幀編碼信息到后面的圖像序列之間的時(shí)間冗余壓縮數(shù)據(jù)傳輸?shù)膱D象編碼，也稱為雙向預(yù)測幀的量。
分辨率
（1）物理空間分辨率，即手機(jī)進(jìn)行屏幕能顯示的像素?cái)?shù)，用WxH個(gè)像素可以表示。常見的手機(jī)屏幕分辨率是320x240，隨著大屏幕手機(jī)的普及，更高的分辨率也開始出現(xiàn)。
（2）視頻數(shù)據(jù)文件的分辨率，這個(gè)是指視頻進(jìn)行畫面的實(shí)際時(shí)間分辨率。在一般情況下，大部分手機(jī)不支持視頻解碼芯片比其屏幕的物理分辨率，一些能夠支持的視頻分辨率超出其物理屏幕，例如，雖然分辨率480x320的物理iphone的屏幕分辨率，但它支持640×480的視頻，這個(gè)時(shí)候打原始視頻畫面實(shí)際上是減少了。
碼率
通常使用多少Kbps或Mbps來表示。手機(jī)解碼芯片一般支持速率小于1Mbps。
文件大小=[速率]/[時(shí)間]；和比例，以質(zhì)量速率。
定碼率：無論對于畫面是靜態(tài)的還是動(dòng)態(tài)的，碼率控制不變，如動(dòng)態(tài)的碼率進(jìn)行不變，會(huì)出現(xiàn)一些畫面質(zhì)量差的情況。
VBR：具有不同程度的圖像的復(fù)雜度的不同而不同，所以編碼效率也比較高，快速運(yùn)動(dòng)圖像鑲嵌很少。
幀率
就是視頻畫面刷新的速度，作為參考，國內(nèi)電視機(jī)一般是25FPS，電影標(biāo)準(zhǔn)為24FPS。手機(jī)芯片，最高支持30FPS，早期型號(hào)最大只能15fps。
RGB和YUV
RGB是指藍(lán)色，應(yīng)用還是很廣的，比如顯示，文件格式中的像素值，bmp等；而yuv主要是指亮度和兩個(gè)色差信號(hào)，稱為亮度和色度它們可以相互變換，我們的視頻基本都是yuv格式。
碼流數(shù)
單流：來壓縮流格式CIF，CIF為352*288
雙碼流：采用中國一路高碼率的碼流用于本地高清存儲(chǔ)，一路低碼率的碼流用于通過網(wǎng)絡(luò)信息傳輸，同時(shí)可以兼顧本地?cái)?shù)據(jù)存儲(chǔ)和運(yùn)程網(wǎng)絡(luò)安全傳輸。
主碼流與子碼流
主碼流：用于本地存儲(chǔ)
子碼流：用于圖像在低帶寬網(wǎng)絡(luò)上傳輸
視頻源硬件接口
按要求輸出采集設(shè)備，設(shè)備采集視頻源對應(yīng)設(shè)備。
VGA接口：聯(lián)系人視頻接口15輸出舊電腦；經(jīng)受第一頻率模轉(zhuǎn)換和模數(shù)轉(zhuǎn)換，信號(hào)損失，顯示器是更為模糊。
DVI接口：可以進(jìn)行傳輸大分辨率的視頻數(shù)據(jù)信息，數(shù)字控制信號(hào)。DVI轉(zhuǎn)換而不發(fā)送計(jì)算機(jī)圖形卡和顯示器相連，所有沒有信號(hào)損失。
HDMI接口：可以進(jìn)行傳輸音頻數(shù)據(jù)信號(hào)，數(shù)字控制信號(hào)。可以通過同時(shí)將電腦教學(xué)視頻和音頻的信號(hào)傳遞給顯示器。
HD-SDI轉(zhuǎn)換器：HD-SDI轉(zhuǎn)HDMI轉(zhuǎn)換器是一種專用的單路高清數(shù)據(jù)自組分串行接口信號(hào)轉(zhuǎn)換為HDMI信號(hào)。
YPbPr接口：識(shí)別組件的接口，模擬系統(tǒng)。
視頻轉(zhuǎn)碼
視頻轉(zhuǎn)碼指的是代碼已經(jīng)壓縮編碼的視頻流至另一個(gè)的視頻流，以適應(yīng)不同的網(wǎng)絡(luò)帶寬，處理能力和不同的用戶需求不同的終端。
視頻流化
為了提取過程中，即的音頻和視頻幀流化的基本上，數(shù)據(jù)的每一幀中的文件偏移問題被計(jì)算。
視頻切片
把一個(gè)比較完整的大文件，轉(zhuǎn)碼后切成按固定工作時(shí)長的小文件，存儲(chǔ)下來，這樣用戶信息就可以通過實(shí)現(xiàn)企業(yè)就近下載，包括拖放等操作。
流媒體概念
流媒體包括廣義和狹義的含義：在廣義上的流媒體指的是音頻和視頻形式穩(wěn)定和連續(xù)的系列的流動(dòng)流的傳輸技術(shù)，方法和協(xié)議和重放的總稱，即，流媒體技術(shù)；狹義上的流是相對于傳統(tǒng)的下載——回放模式而言，是指從互聯(lián)網(wǎng)上獲取新的音頻和視頻等多媒體數(shù)據(jù)的方法，它可以支持多媒體數(shù)據(jù)流的實(shí)時(shí)播放的實(shí)時(shí)傳輸。
流媒體協(xié)議
RTP數(shù)據(jù)協(xié)議
實(shí)時(shí)傳輸協(xié)議是在因特網(wǎng)網(wǎng)絡(luò)協(xié)議多媒體數(shù)據(jù)流進(jìn)行處理，也能夠使用流網(wǎng)絡(luò)環(huán)境中的一個(gè)或許多來實(shí)現(xiàn)實(shí)媒體數(shù)據(jù)的傳輸-time。
RTP協(xié)議目的是提供實(shí)時(shí)數(shù)據(jù)端到端傳輸服務(wù)，因此，RTP的概念沒有連接，它可以在非取向連接或面向連接的頂部建造傳輸協(xié)議底層；RTP不依賴于特定的網(wǎng)絡(luò)地址格式，只需要對底層傳輸協(xié)議和鏈段的支撐框架就足夠了；RTP本身不提供任何額外的可靠性機(jī)制，這些必須使傳輸協(xié)議或應(yīng)用程序本身來保證。
RTCP控制協(xié)議
RTCP控制管理協(xié)議需要與RTP數(shù)據(jù)進(jìn)行協(xié)議可以一起配合使用，當(dāng)應(yīng)用系統(tǒng)程序啟動(dòng)建設(shè)一個(gè)RTP會(huì)話時(shí)將同時(shí)需要占用兩個(gè)端口，分別供RTP和RTCP使用。RTP本身并不能為按序傳輸數(shù)據(jù)包提供可靠的保證，也不提供流量控制和擁塞控制，這些都由RTCP來負(fù)責(zé)完成。RTP和RTCP通常將使用相同的分配機(jī)制，發(fā)送控制信息，以周期性地在會(huì)話中的所有成員，通過接收從中獲取相關(guān)信息的會(huì)話參與者的應(yīng)用程序數(shù)據(jù)，和網(wǎng)絡(luò)狀態(tài)，數(shù)據(jù)包丟失的概率反饋，因此能夠控制服務(wù)或網(wǎng)絡(luò)狀態(tài)診斷的質(zhì)量。
RTSP實(shí)時(shí)流協(xié)議
作為自己一個(gè)應(yīng)用層協(xié)議，RTSP提供了一個(gè)企業(yè)可供擴(kuò)展的框架，它的意義主要在于可以使得信息實(shí)時(shí)流媒體數(shù)據(jù)的受控和點(diǎn)播變得更加可能。總體而言，RTSP是用于控制具有實(shí)時(shí)特性的數(shù)據(jù)傳輸?shù)牧髅襟w該協(xié)議，但本身并不傳輸數(shù)據(jù)，但是必須依賴于由底層傳輸協(xié)議提供的某些服務(wù)。RTSP可以通過對流媒體發(fā)展提供一些諸如播放、暫停、快進(jìn)等操作，它負(fù)責(zé)定義一個(gè)具體的控制系統(tǒng)消息、操作方式方法、狀態(tài)碼等，此外還描述了與RTP間的交互技術(shù)操作。
SIP
1、SIP協(xié)議介紹
Internet的許多企業(yè)應(yīng)用都需要通過建立和管理作為一個(gè)會(huì)話，會(huì)話在這里的含義是在參與者發(fā)展之間的數(shù)據(jù)的交換。考慮到參與者的實(shí)際情況，這些應(yīng)用往往是非常復(fù)雜的：參與者
可能是在代理間移動(dòng)，他們自己可能可以有多個(gè)名字，他們通過中間的通訊可能是一個(gè)基于企業(yè)不同的媒介——有時(shí)候是多種媒介一起進(jìn)行交互。已經(jīng)為聲音、視頻或文本等實(shí)時(shí)多媒體會(huì)話數(shù)據(jù)創(chuàng)建了許多通信協(xié)議。這SIP，以及這些協(xié)議通過啟用Internet端點(diǎn)發(fā)現(xiàn)彼此并建立共享的會(huì)話描述。為了能夠進(jìn)行定位精確的會(huì)話參與者，并且也為了企業(yè)其他的目的，SIP允許創(chuàng)建一個(gè)基礎(chǔ)的network hosts，并且通過允許終端用戶信息注冊上去，發(fā)出會(huì)話邀請，或者發(fā)出一些其他國家請求。SIP是一種靈活的，多功能的工具，可用于創(chuàng)建，修改和終止的作品的獨(dú)立底層傳輸協(xié)議，并沒有對會(huì)話建立的類型依賴會(huì)話。
2、SIP協(xié)議功能概況
SIP是一個(gè)系統(tǒng)應(yīng)用層的控制管理協(xié)議，可以直接用來進(jìn)行建立、修改、和終止使用多媒體會(huì)話。SIP還可以邀請與會(huì)者參加已經(jīng)存在的會(huì)議，例如多方會(huì)議。媒體
可以在一個(gè)企業(yè)已經(jīng)發(fā)展存在的會(huì)話中方便的增加。SIP支持名稱映射和重定向服務(wù)，支持個(gè)人移動(dòng)性——無論用戶只需維持單一外部可視標(biāo)識(shí)符
他們的實(shí)際進(jìn)行網(wǎng)絡(luò)安全地點(diǎn)。SIP在建立和維持企業(yè)終止使用多媒體會(huì)話協(xié)議上，支持5個(gè)方面：
用戶位置：檢查最終用戶的位置以進(jìn)行通信。
用戶可用性：檢查用戶是否愿意參加會(huì)議。
用戶管理能力：檢查網(wǎng)絡(luò)媒體和媒體的參數(shù)。
在主叫方和被叫“振鈴”，建立會(huì)話參數(shù)：建立會(huì)話。
會(huì)話信息管理：包括發(fā)送和終止會(huì)話，修改會(huì)話參數(shù)，激活服務(wù)能力等等。
SIP不是一個(gè)垂直集成的通信系統(tǒng)。SIP是相當(dāng)更合適的構(gòu)件，它的一部分可以與其他IETF協(xié)議來建立一個(gè)完整的多媒體架構(gòu)。比如，這些技術(shù)架構(gòu)設(shè)計(jì)將會(huì)主要包含一個(gè)實(shí)時(shí)進(jìn)行數(shù)據(jù)信息傳輸網(wǎng)絡(luò)協(xié)議用來作為傳輸系統(tǒng)實(shí)時(shí)的數(shù)據(jù)分析并且可以提供QoS反饋，實(shí)時(shí)流協(xié)議用于管理控制流媒體的的傳輸，媒體網(wǎng)關(guān)內(nèi)部控制相關(guān)協(xié)議用來實(shí)現(xiàn)控制到公共服務(wù)電話交換網(wǎng)的網(wǎng)關(guān)，還有會(huì)話描述協(xié)議用于研究描述多媒體會(huì)話。因此，SIP應(yīng)該以提供完整的服務(wù)，最終用戶與其他協(xié)議的工作。雖然我國基本的SIP協(xié)議的功能組件并不依賴于這些網(wǎng)絡(luò)協(xié)議。
SIP不自行提供服務(wù)。但是，SIP提供了一個(gè)可以用來實(shí)現(xiàn)不同的服務(wù)奠定了基礎(chǔ)。比如，SIP可以進(jìn)行定位系統(tǒng)用戶和傳輸提供一個(gè)封裝好的對象到對方的當(dāng)前社會(huì)位置。如果通過描述SDP傳輸會(huì)話利用這個(gè)點(diǎn)的優(yōu)勢，立刻，對方的用戶代理可以得到會(huì)話的參數(shù)。如果需要用這個(gè)像傳輸進(jìn)行會(huì)話分析描述）一樣可以呼叫方的照片，一個(gè)”呼叫ID”服務(wù)很容易就建立了。正如這個(gè)簡單的例子所說明的，SIP可以提供許多不同的服務(wù)作為基礎(chǔ)。
SIP并不提供會(huì)議控制服務(wù)，并沒有規(guī)定會(huì)議是進(jìn)行管理。可以同時(shí)通過在SIP上建立以及其他的會(huì)議控制協(xié)議來發(fā)起一個(gè)重要會(huì)議。由于SIP會(huì)話有關(guān)各方在會(huì)議，所以會(huì)議可以是完全不同的網(wǎng)絡(luò)，SIP不能，也不會(huì)提供任何形式的網(wǎng)絡(luò)資源預(yù)留管理。
總結(jié)
以上是生活随笔為你收集整理的音视频是怎样实现传输的的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
