音视频是怎样实现传输的
音視頻傳輸時的基本步驟：
1.發起會話（Sip協議）
2.編碼（硬件編碼、軟件編碼）
3.傳輸（RTP）
4.解碼（硬件解碼、軟件解碼）
5結束會話（Sip協議）
視頻格式
視頻數據格式可以發展分為一個適合本地播放的本地影像視頻和適合在網絡中播放的網絡流媒體影像視頻兩大類。雖然后者在穩定性和畫面質量可能無法像播放本地視頻流那樣出眾，但網絡流媒體影像被廣泛用于制作點播、在線演示、遠程教育，網絡視頻廣告等互聯網信息服務的視頻。
音頻格式
音頻格式是在計算機中播放或處理音頻文件，即對聲音文件進行編號，模式轉換，此過程也由采樣和量化組成。
編碼
編解碼器是指一種裝置，或能夠將信號或數據流的程序。這里指的變換既包括將信號或者數據流進行分析編碼或者可以提取方法得到發展一個編碼流的操作，也包括企業為了觀察能力或者自己處理從這個編碼流中恢復適合觀察或操作的形式的操作。編解碼器經常用在網絡視頻會議和流媒體等應用中，通常主要問題還是用在廣電媒體行業，作前端技術應用。
視頻協議
目前主要的視頻壓縮協議有：h.261、h.263、h.264和mpeg-1、mpeg-2和mpeg-4。第一個視頻壓縮標準是h.261，它的算法現在來看非常的簡單，但是，它的很多對視頻進行壓縮的思想，一直影響到現在最新的壓縮技術標準h.264。
音頻協議
這些協議的兩個主要特點，第一是更關注語音壓縮，畢竟，主要是聽人說話;音樂可能不是很好的壓縮;第二個是壓縮比比較大，比較低的比特率，壓縮比。723支持5.9k/s這樣的碼率，而且語音音質還很不錯。iso的音頻數據可能更為人需要熟知企業一些，最流行的就是mp3，它的全稱是mpeg-1 audio layer 3，意思是mpeg-1的音頻進行第三層；另外，最新的音頻算法可以被稱為aac，它定義在mpeg-2或mpeg-4的音頻以及部分。它們是由質量好，多通道，高精度采樣，采樣頻率高
解碼
硬件解碼：
視頻解碼分為軟解和硬解。
所謂的“軟解”是通過軟件用于CPU到視頻解碼過程；和“硬解”是指不依賴于CPU上，通過專用設備來完成一個獨立的視頻解碼器，視頻壓縮卡都被冠以“硬解”的稱號。現在可以實現網絡高清硬解不需要進行額外的子卡，也不需要通過額外的投入，因為硬解碼功能模塊被整合在了GPU內部，而目前我國主流的顯卡都能得到支持硬解碼。
“硬解”其實更需要軟件的支持，只是基本的操作不需要CPU干預，從而節省大量的系統資源開銷。
GPU硬解碼高清視頻的優勢：
1.不需要太好的CPU，單次檢查就足夠了，CPU方面節省了很多錢；
2.硬件解碼包括免費的基本等價的，不到500元整合主板可以完美支持；
3.硬解碼讓CPU占用率以及超低，系統有能力可以在看HDTV的同時企業進行一個多任務操作；
4.CPU需要竭盡全力解碼HDTV，但只花了0.1億晶體管的GPU解碼模塊完成的任務，更好地控制功耗；
GPU硬解碼高清視頻的劣勢：
1.起步發展較晚，軟件技術支持度無法與軟解相提并論；
2.面對雜亂的視頻編碼，打包格式，硬解碼無法實現完全兼容；
3.軟解擁有超大的屏幕輸出來補償和質量增強技術，和硬件解決方案做得不夠；
4.硬解碼軟件進行設置一個較為復雜，很多朋友根本不知道該如何通過正確選擇使用GPU硬件解碼。
幀
幀是從電影最小單位，相當于上的畫面的每個小區透鏡的單圖像的屏幕圖像。
一幀：幀通常是每個GOP的第一幀(MPEG使用的視頻壓縮技術)，它可以作為隨機訪問的參考點。I幀可以被視為一個壓縮圖像的產物。
P frame:前向預測進行編碼幀又稱predictive-frame，通過充分將低于其他圖像數據序列中前面已編碼幀的時間以及冗余網絡信息來壓縮技術傳輸系統數據量的編碼實現圖像，也叫預測幀；
B幀：雙向預測編碼的幀的內插，也稱為雙向內插預測幀，考慮到前一幀編碼圖像序列源，所述源可以考慮的幀編碼信息到后面的圖像序列之間的時間冗余壓縮數據傳輸的圖象編碼，也稱為雙向預測幀的量。
分辨率
（1）物理空間分辨率，即手機進行屏幕能顯示的像素數，用WxH個像素可以表示。常見的手機屏幕分辨率是320x240，隨著大屏幕手機的普及，更高的分辨率也開始出現。
（2）視頻數據文件的分辨率，這個是指視頻進行畫面的實際時間分辨率。在一般情況下，大部分手機不支持視頻解碼芯片比其屏幕的物理分辨率，一些能夠支持的視頻分辨率超出其物理屏幕，例如，雖然分辨率480x320的物理iphone的屏幕分辨率，但它支持640×480的視頻，這個時候打原始視頻畫面實際上是減少了。
碼率
通常使用多少Kbps或Mbps來表示。手機解碼芯片一般支持速率小于1Mbps。
文件大小=[速率]/[時間]；和比例，以質量速率。
定碼率：無論對于畫面是靜態的還是動態的，碼率控制不變，如動態的碼率進行不變，會出現一些畫面質量差的情況。
VBR：具有不同程度的圖像的復雜度的不同而不同，所以編碼效率也比較高，快速運動圖像鑲嵌很少。
幀率
就是視頻畫面刷新的速度，作為參考，國內電視機一般是25FPS，電影標準為24FPS。手機芯片，最高支持30FPS，早期型號最大只能15fps。
RGB和YUV
RGB是指藍色，應用還是很廣的，比如顯示，文件格式中的像素值，bmp等；而yuv主要是指亮度和兩個色差信號，稱為亮度和色度它們可以相互變換，我們的視頻基本都是yuv格式。
碼流數
單流：來壓縮流格式CIF，CIF為352*288
雙碼流：采用中國一路高碼率的碼流用于本地高清存儲，一路低碼率的碼流用于通過網絡信息傳輸，同時可以兼顧本地數據存儲和運程網絡安全傳輸。
主碼流與子碼流
主碼流：用于本地存儲
子碼流：用于圖像在低帶寬網絡上傳輸
視頻源硬件接口
按要求輸出采集設備，設備采集視頻源對應設備。
VGA接口：聯系人視頻接口15輸出舊電腦；經受第一頻率模轉換和模數轉換，信號損失，顯示器是更為模糊。
DVI接口：可以進行傳輸大分辨率的視頻數據信息，數字控制信號。DVI轉換而不發送計算機圖形卡和顯示器相連，所有沒有信號損失。
HDMI接口：可以進行傳輸音頻數據信號，數字控制信號。可以通過同時將電腦教學視頻和音頻的信號傳遞給顯示器。
HD-SDI轉換器：HD-SDI轉HDMI轉換器是一種專用的單路高清數據自組分串行接口信號轉換為HDMI信號。
YPbPr接口：識別組件的接口，模擬系統。
視頻轉碼
視頻轉碼指的是代碼已經壓縮編碼的視頻流至另一個的視頻流，以適應不同的網絡帶寬，處理能力和不同的用戶需求不同的終端。
視頻流化
為了提取過程中，即的音頻和視頻幀流化的基本上，數據的每一幀中的文件偏移問題被計算。
視頻切片
把一個比較完整的大文件，轉碼后切成按固定工作時長的小文件，存儲下來，這樣用戶信息就可以通過實現企業就近下載，包括拖放等操作。
流媒體概念
流媒體包括廣義和狹義的含義：在廣義上的流媒體指的是音頻和視頻形式穩定和連續的系列的流動流的傳輸技術，方法和協議和重放的總稱，即，流媒體技術；狹義上的流是相對于傳統的下載——回放模式而言，是指從互聯網上獲取新的音頻和視頻等多媒體數據的方法，它可以支持多媒體數據流的實時播放的實時傳輸。
流媒體協議
RTP數據協議
實時傳輸協議是在因特網網絡協議多媒體數據流進行處理，也能夠使用流網絡環境中的一個或許多來實現實媒體數據的傳輸-time。
RTP協議目的是提供實時數據端到端傳輸服務，因此，RTP的概念沒有連接，它可以在非取向連接或面向連接的頂部建造傳輸協議底層；RTP不依賴于特定的網絡地址格式，只需要對底層傳輸協議和鏈段的支撐框架就足夠了；RTP本身不提供任何額外的可靠性機制，這些必須使傳輸協議或應用程序本身來保證。
RTCP控制協議
RTCP控制管理協議需要與RTP數據進行協議可以一起配合使用，當應用系統程序啟動建設一個RTP會話時將同時需要占用兩個端口，分別供RTP和RTCP使用。RTP本身并不能為按序傳輸數據包提供可靠的保證，也不提供流量控制和擁塞控制，這些都由RTCP來負責完成。RTP和RTCP通常將使用相同的分配機制，發送控制信息，以周期性地在會話中的所有成員，通過接收從中獲取相關信息的會話參與者的應用程序數據，和網絡狀態，數據包丟失的概率反饋，因此能夠控制服務或網絡狀態診斷的質量。
RTSP實時流協議
作為自己一個應用層協議，RTSP提供了一個企業可供擴展的框架，它的意義主要在于可以使得信息實時流媒體數據的受控和點播變得更加可能。總體而言，RTSP是用于控制具有實時特性的數據傳輸的流媒體該協議，但本身并不傳輸數據，但是必須依賴于由底層傳輸協議提供的某些服務。RTSP可以通過對流媒體發展提供一些諸如播放、暫停、快進等操作，它負責定義一個具體的控制系統消息、操作方式方法、狀態碼等，此外還描述了與RTP間的交互技術操作。
SIP
1、SIP協議介紹
Internet的許多企業應用都需要通過建立和管理作為一個會話，會話在這里的含義是在參與者發展之間的數據的交換。考慮到參與者的實際情況，這些應用往往是非常復雜的：參與者
可能是在代理間移動，他們自己可能可以有多個名字，他們通過中間的通訊可能是一個基于企業不同的媒介——有時候是多種媒介一起進行交互。已經為聲音、視頻或文本等實時多媒體會話數據創建了許多通信協議。這SIP，以及這些協議通過啟用Internet端點發現彼此并建立共享的會話描述。為了能夠進行定位精確的會話參與者，并且也為了企業其他的目的，SIP允許創建一個基礎的network hosts，并且通過允許終端用戶信息注冊上去，發出會話邀請，或者發出一些其他國家請求。SIP是一種靈活的，多功能的工具，可用于創建，修改和終止的作品的獨立底層傳輸協議，并沒有對會話建立的類型依賴會話。
2、SIP協議功能概況
SIP是一個系統應用層的控制管理協議，可以直接用來進行建立、修改、和終止使用多媒體會話。SIP還可以邀請與會者參加已經存在的會議，例如多方會議。媒體
可以在一個企業已經發展存在的會話中方便的增加。SIP支持名稱映射和重定向服務，支持個人移動性——無論用戶只需維持單一外部可視標識符
他們的實際進行網絡安全地點。SIP在建立和維持企業終止使用多媒體會話協議上，支持5個方面：
用戶位置：檢查最終用戶的位置以進行通信。
用戶可用性：檢查用戶是否愿意參加會議。
用戶管理能力：檢查網絡媒體和媒體的參數。
在主叫方和被叫“振鈴”，建立會話參數：建立會話。
會話信息管理：包括發送和終止會話，修改會話參數，激活服務能力等等。
SIP不是一個垂直集成的通信系統。SIP是相當更合適的構件，它的一部分可以與其他IETF協議來建立一個完整的多媒體架構。比如，這些技術架構設計將會主要包含一個實時進行數據信息傳輸網絡協議用來作為傳輸系統實時的數據分析并且可以提供QoS反饋，實時流協議用于管理控制流媒體的的傳輸，媒體網關內部控制相關協議用來實現控制到公共服務電話交換網的網關，還有會話描述協議用于研究描述多媒體會話。因此，SIP應該以提供完整的服務，最終用戶與其他協議的工作。雖然我國基本的SIP協議的功能組件并不依賴于這些網絡協議。
SIP不自行提供服務。但是，SIP提供了一個可以用來實現不同的服務奠定了基礎。比如，SIP可以進行定位系統用戶和傳輸提供一個封裝好的對象到對方的當前社會位置。如果通過描述SDP傳輸會話利用這個點的優勢，立刻，對方的用戶代理可以得到會話的參數。如果需要用這個像傳輸進行會話分析描述）一樣可以呼叫方的照片，一個”呼叫ID”服務很容易就建立了。正如這個簡單的例子所說明的，SIP可以提供許多不同的服務作為基礎。
SIP并不提供會議控制服務，并沒有規定會議是進行管理。可以同時通過在SIP上建立以及其他的會議控制協議來發起一個重要會議。由于SIP會話有關各方在會議，所以會議可以是完全不同的網絡，SIP不能，也不會提供任何形式的網絡資源預留管理。
總結
以上是生活随笔為你收集整理的音视频是怎样实现传输的的全部內容，希望文章能夠幫你解決所遇到的問題。
