C++音视频开发核心知识，小白入门必看基础知识
經常收到一些網友的來信或者留言，反饋如下這樣的困惑：
“我是一名應屆畢業生，該如何快速地成長起來”
“我只懂 C/C++，是學 Android 開發有前途，還是 iOS 開發有前途？”
“我是一名 Android/iOS 開發，已經可以獨立完成一個完整的 App 開發上線，該如何繼續提升？”
“我想從事音視頻開發，該如何入門？ 如何進階 ？”
很高興看到大家有這樣的問題，因為這也從側面反映了你是一個積極向上，想不斷努力來提升自己的人。
我就先從一個簡單的問題聊起，“到底 Android 開發有前途還是 iOS 開發有前途？”
其實這個問題跟 “PHP 是不是世界上最好的語言一樣”，只會引發爭論，卻沒有什么實際價值，在我看來，無論是 Windows、Linux、Android 還是 iOS 開發，都沒有什么優劣之分，它們其實都有著很多的共同點，那就是：
都是基于操作系統提供的 API 完成特定需求的實現
當然，也有些不同的地方，比如：
系統的 API 和特性不同
編程語言不同，Windows/Linux 以 C/C++ 為主，Android 以 Java 為主，iOS 以 Object C 為主
但無論什么平臺，他們的學習曲線其實是類似的，都要經歷差不多如下的環節：
學習對應平臺的編程語言，如：C/C++，Java，Object C，Javascript 等
熟悉對應平臺提供的 API，如：UI 庫，網絡，文件，數據庫， 圖片處理，多媒體處理 等等
掌握平臺相關的特性、框架和原理，如：Windows 的 WINSOCK，ODBC，WPF 等，Unix 的設計哲學，Android 的四大組件，iOS 的 MVC 模式等等
通過具體的項目，熟悉和練手，達到可完成任意功能的開發
當你已經走到第 4 步了后，往往就會感覺遇到了瓶頸，產生如文章開頭的問題，下一步何去何從 ？
其實我一直有一個觀點，就是：
“基于平臺的 API 做應用開發，并不是一個可以走得多遠的方向，真正有價值的地方在于與具體的業務方向結合”，比如：
- 網絡安全
- 音視頻
- 智能硬件
- 深度學習
- 大數據
- 其他（比如：金融、通信等）
在具體的業務領域，你可以慢慢沉淀下來，用自己的努力和時間換來對領域知識的深入理解和積累，逐漸從一個開發小白走向最懂這個行業的專家。
今天呢，我就主要跟大家分享下，如果你對音視頻這個領域感興趣，應該如何入門和提高 ？
2. 音視頻開發包括哪些內容
雖然一篇文章無法把音視頻開發的知識點都介紹清楚，但是大概的學習路線還是可以梳理一下的，我們先看看下面這張圖：
其實說白了，音視頻開發，就是要掌握圖像、音頻、視頻的基礎知識，并且學會如何對它們進行采集、渲染、處理、傳輸等一系列的開發和應用。
- 采集：它解決的是，數據從哪里來的問題
- 渲染：它解決的是，數據怎么展現的問題
- 處理：它解決的是，數據怎么加工的問題
- 傳輸：它解決的是，數據怎么共享的問題
每一個門類，都可以深挖，衍生出一個又一個充滿技術挑戰的話題，比如：如何更高效地渲染畫面、如何提高音視頻的壓縮比，如何優化弱網下的音視頻數據傳輸等等。
其實，音視頻開發的技術積累，也沒有那么難，帶著問題去 Google，帶著任務去實踐，一切都不是問題，我們就從上面說的 4 個方向，逐個探索一下，有哪些知識點，是要我們去了解和掌握的。
本文福利， 免費領取C++音視頻學習資料包、技術視頻/代碼，內容包括（音視頻開發，面試題，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，編解碼，推拉流，srs）↓↓↓↓↓↓見下面↓↓文章底部點擊免費領取↓↓
2.1 采集
采集，它解決的是，數據從哪里來的問題，那么，數據究竟從哪里來的呢 ？
其實無論在哪個平臺，圖像、視頻最初都是來自攝像頭，而音頻最初都是來自麥克風，因此，做音視頻采集，就要掌握如下的技術知識：
1. 系統的攝像頭采集接口是什么，怎么用 ？
比如：Windows：DirectShow，Linux：V4L2，Android：Camera，iOS：AVCaptureSession 等
2. 系統的攝像頭采集的參數怎么配置，都是什么含義 ？
比如：分辨率、幀率、預覽方向、對焦、閃光燈 等
3. 系統的攝像頭輸出的圖像/視頻數據，是什么格式，不同格式有什么區別 ？
比如：圖片：JPEG，視頻數據：NV21，NV12，I420 等
4. 系統的麥克風采集接口是什么，怎么用 ？
比如：Windows：DirectShow，Linux：ALSA & OSS，Android：AudioRecord，iOS：Audio Unit 等
5. 系統的麥克風采集參數怎么配置，都是什么含義 ？
比如：采樣率，通道號，位寬 等
6. 系統的麥克風輸出的音頻數據，是什么格式？
比如：PCM
2.2 渲染
渲染，它解決的是，數據怎么展現的問題，那么，數據究竟怎么展現呢 ？
其實無論在哪個平臺，圖像、視頻最終都是要繪制到視圖上面，而音頻最終都是要輸出到揚聲器，因此，做音視頻渲染，就要掌握如下的技術知識：
1. 系統提供了哪些 API 可以繪制一張圖片或者一幀 YUV 圖像數據的 ？
比如：
Windows：DirectDraw, Direct3D, GDI，OpenGL 等
Linux： GDI， OpenGL 等
Android：ImageView，SurfaceView，TextureView，OpenGL 等
iOS： CoreGraphics，OpenGL 等
2. 系統提供了哪些 API 可以播放一個 mp3 或者 pcm 數據 ？
比如：
Windows：DirectSound 等
Linux：ALSA & OSS 等
Android：AudioTrack 等
iOS： AudioQueue 等
2.3 處理
處理，它解決的是，數據怎么加工的問題，那么，數據究竟可以怎么加工呢 ？
首先，我們看看圖像/音視頻的數據可以做哪些加工 ？
其實無論在哪個平臺，圖像和音視頻的加工，除了系統的 API，大多數都會依賴一些跨平臺的第三方庫的，通過掌握這些第三方庫的原理和使用方法，基本上就可以滿足日常音視頻處理工作了，這些庫包括但不限于：
圖像處理：OpenGL，OpenCV，libyuv，ffmpeg 等
視頻編解碼：x264，OpenH264，ffmpeg 等
音頻處理：speexdsp，ffmpeg 等
音頻編解碼：libfaac，opus，speex，ffmpeg 等
因此，學習和掌握這些第三方庫的使用，非常有必要。
2.4 傳輸
傳輸，它解決的是，數據怎么共享的問題，那么，數據究竟怎么共享呢 ？
共享，最重要的一點，就是協議。
我覺得互聯網之所以能夠如此蓬勃地發展，將整個世界都緊密聯系在一起，其實是離不開 W3C 這個委員會的巨大貢獻的，因為無論什么數據，要想在不同的國家、不同設備之間互聯互通，離不開 “標準”，有了 “標準”，大家就能互相讀懂對方。
因此，研究音視頻傳輸，其實就是在研究協議，具體有哪些協議呢 ？
互聯網環境下的音視頻的傳輸，是一個非常有挑戰和價值的方向，為了解決弱網下的傳輸延時、卡頓，提高用戶體驗，整個業界都在不斷地進行著深入的探索和優化。
本文福利， 免費領取C++音視頻學習資料包、技術視頻/代碼，內容包括（音視頻開發，面試題，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，編解碼，推拉流，srs）↓↓↓↓↓↓見下面↓↓文章底部點擊免費領取↓↓
總結
以上是生活随笔為你收集整理的C++音视频开发核心知识，小白入门必看基础知识的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： WINDOWS系统文件的用途
- 下一篇： boost C++知识点（一）