本文承接上一篇《數字成像系統概述》，將繼續延伸數字成像系統的相關概念，但在延伸之前需要詳細了解作為整個系統輸入的Raw圖。

作者 | Tony

編輯 | 言有三

本篇文章主要詳細闡述Raw圖作為整個數字成像系統的輸入源到底是怎樣產生的，包括一些基本概念和知識，總結了工業界對于Raw的一些檢測手段以及檢測標準，最后從攝影學角度分析Raw圖作為攝影素材的優勢。

1 Raw圖的誕生及衍生的基本概念

玩過攝影的人對于Raw圖這種類型的數據格式應該不陌生。對于資深攝影玩家說，一般會采用Photoshop等軟件對Raw圖進行調色、降噪、構圖等處理，以期獲得更好的圖像效果質量。但是什么是Raw圖呢？

顧名思義，英文單詞Raw意思是原始的、未處理的，其表征了純粹的未處理的一堆數據，為何這里說是一堆數據而不是圖像呢？讀過上篇《數字成像系統概述》的朋友一定對于CMOS、CCD或者sensor等名詞有些印象，實際上Raw圖記錄的就是CMOS或者CCD圖像傳感器將捕捉到的光源（光子）信號轉化為數字信號的原始數據。

一個數字成像系統或者說數碼相機采用點陣形式來記錄光信號（光子）落到每個陣列“腔體”的大小，這里的腔體即像素，而這個點陣就是sensor，如下所示為一個比較形象的感光陣列(Sensor)接受光子示意圖：

其中黃色小圓球代表光子大小，下面為光電轉換矩陣。當按下拍照快門的那一刻，攝像頭的曝光就被鎖定，進入這個sensor的光子量的多少也就被鎖定了，通過統計進入sensor矩陣的光子多少就可以確定電信號強度。

此處需要引入一個衡量電信號強度大小的概念——“比特深度(bit depth)”，bit depth描述了傳感器硬件能處理數據的精細程度，越深的bit意味著更好的感光效應，即可以獲取更多的數據量，而又由于傳感器腔體（像素）接受的是電子的數量，意味著bit數據表示灰度值的大小。比如一個16bit的模組意味著65536的灰度范圍，8bit模組即表示2的8次冪即256，256這個數字在岡薩雷斯的《數字圖像處理》教材經常出現，就是這么得來的。而工業界描述一個模組感光性能的一個專用名詞是bits per pixel，也有bits per channel，但有時都混淆叫做bpp。這兩個是不同的概念，一個用來描述單像素點感光能力，后面的是表示三原色RGB單一通道的顏色表達能力，這是需要區分清楚的，總結有如下公式：

如下為單通道不同比特深度對應的顏色表征對比：

上圖為單通道24比特，下圖為單通道8比特。從上述圖像可以看出來更深的bit有著更強的顏色表征能力，所以說bit深度對于raw圖的大小是一個很重要的衡量指標，其甚至被應用在音頻領域表示音階的廣度，我們可以推斷出鋼琴的bit深度一定大于吉他，因為鋼琴所能表達的音域比較廣（此處如有不專業歡迎拍磚）。

回到Raw誕生上來，我們知道Raw是光電轉換的結果，其無非就是一個灰度信號記錄器。我們知道光由RGB三種基色組成，那么問題來了：怎樣區分每個像素對于每個顏色通道（R channel, G channel, B channel）獲取的量的多少？

為了獲取各通道顏色分量，可以考慮給每個像素上面疊放一個顏色過濾器，即每個像素可以讓相應的顏色分量通過，而丟棄掉不需要的顏色分量，如下圖所示：

但每個像素點需要對于丟棄的顏色分量進行“估計”，以完成單像素點全部顏色分量的構建，構建算法在后面會有介紹。

已有的典型顏色Pattern很多，如：RGBE filter，CYGM filter，Bayer filter等，其中工業界應用比較多的是Bayer濾波器。

典型的Bayer矩陣如下所示：

從上圖來看，綠色明顯多于紅色和藍色，這是因為BAYER矩陣實際上仿照了人眼對于綠色比較敏感的特點，綠色比紅色和藍色多會進一步降低噪聲并可以讓圖像有更好的細節呈現。與全色Sensor采集相比，BAYER矩陣這種排列模式，可以有效減少到全色Sensor的1/3，這樣大大減少了成本和面積。

關于視覺和顏色的關系讀者有興趣可以進一步Google深入學習[2]。將上述BAYER PATTER疊加到Sensor后的RAW圖如下所示：

一般BAYER格式分為GBRG、GRBG、BGGR、RGGB四種模式。如下所示：

上文提到采用Bayer Pattern之后，每個像素點需要對于丟棄的顏色分量進行“估計”，以完成單像素點全部RGB顏色分量的構建，關于構建的算法稱為Demosaicing算法。Demosaicing算法很多，但基本都是通過插值算法來實現每個像素點的RGB值計算。

Bayer格式插值有插值紅藍算法和插值綠值兩種。可以了解[1]的博客插值算法講解以及論文[2]的插值算法講解。需要提及的是，插值算法容易導致圖像出現失真，甚至出現摩爾紋。

上面字幕就是由于demosaicing’算法導致的Aliasing（混疊）和artifacts（偽像），這些現象直接在Raw層級就大大降低了圖像質量。故好的demosaicing’算法設計的目標是增加解析度、減少噪聲、顏色準確度高、并能減少摩爾紋。

2 工業界Raw圖檢測方式和標準

Raw圖的檢測實際上是對sensor的檢測。從上面分析我們看到RAW圖的誕生實際上是CMOS或CCD這些可以記錄光線的半導體產生的記錄數據。以CMOS為例，其主要是利用硅和鍺這兩種元素所做成的半導體，使其在CMOS上共存著帶N（帶–電）和P（帶+電）級的半導體，這就是典型的PN節，有興趣的同學可以去查閱工程光學方面的內容，這兩個互補效應所產生的電流即可被處理芯片紀錄和解讀成影像。如下為一個典型的CMOS物理結構圖像：

從物理結構圖發現，由于CMOS傳感器集成度高，光電傳感元件與電路之間距離很近，相互之間的光、電、磁干擾較為嚴重，導致產生的噪聲對圖象質量影響很大，同時由于各個模組廠工藝水平不一致，需要對于供應的攝像頭的Raw圖有一套驗收標準。

需要區分的是，Raw圖實際上分為兩大類即Sensor Raw和手機Raw，如下為兩種Raw圖的產生路徑：

上圖對于攝像頭單純的增加驅動點亮形成Sensor Raw，而下圖是將模組與手機主板組合在一起并驅動點亮形成手機Raw或者稱為整機Raw。兩種Raw圖實際上從產生機理來說都是一樣的，區別就在于影響因素的不同。Sensor Raw是單純的攝像頭形成的Raw圖，而從產品完整性角度來說，手機作為最終需要呈現給消費者的產品，需要考慮其他因素對于整體成像的影響，比如LENS、組裝方式、電源、射頻等對于圖像質量的影響，故一般來說都是對整機的Raw圖進行相應的測試，整機Raw測試總結如下表：

效果質量評測需要相應的測試設備，包括光源、圖卡以及測試軟件等裝備，同時需要制定各個公司自有的測試標準。光源一般采用愛色麗燈箱，愛色麗標準光源對色燈箱SpectraLight QC包括3種D光、熒光以及A光、H光等多種光源，是一款能在日光和其他照明條件下對大小物品進行精準色彩視覺評估的對色燈箱。除此之外，SpectraLight QC標準光源對色燈箱可幫助色彩作業人員減少因不良品和返工造成的人為錯誤和浪費，縮短上市時間，在提高整體產品質量等方面發揮重要作用。對于顏色、噪聲、亮度等不同的測試項，一般的測試圖卡選用愛色麗X-RITE ColorChecker Chart 24色卡等各種測試圖卡。

如下為部分需要的測試圖卡展示：

當對Raw圖進行了相應的測試后還需要對最后的成像JPG進行相應的測試，以便于遵循全流程的質量測試，其中包括：

解析力測試、SFR測試、色彩還原測試、Shading測試、白平衡測試、灰階測試、畸變測試，缺陷像素測試等等多項測試，最后需要將相應的測試圖片送入相應的測試軟件如Imatest等進行圖像質量分析，以滿足相應的交付要求。

所以工業界對于Raw圖的測試可以認為是對于整體圖像成像各個環節都進行了測試，包括RAW圖、JPG圖等，其工作量還是比較大的，相應的產生了硬件測試工程師這個崗位。

3 Raw在攝影中的優勢

現在手機攝像頭拍照不需要了解太多顏色知識、構圖理論、光圈知識等就可以拍出一副還不錯照片，但是如果說要隨手一拍就是大片則有點言過其實。畢竟傳統手機ISP PIPELINE有其固有的一些缺陷，這在下一篇文章會有分析與介紹。如果說一個人有處女座這種追求完美的情節，對于攝影領域無法回避的素材便是RAW圖。

前面已經說到Raw實際就是一個數據包，數據包本身不包含色彩、噪聲等信息，而唯一影響這堆數據的就是前期設置的感光度、光圈、曝光時間。換句話說，除曝光之外，一切都可以后期修飾。總結下來Raw格式有以下優勢：

1.沒有白平衡的前期干擾，對于色調和色溫等都是后期可以調的；

2.無損畫質，用盡了所有的數據空間。從前面的分析可見，RAW數據量非常大，其可以表示的色域也非常豐富，那么圖像就比較高清，層次是非常細膩；

3. 可輕微糾正曝光量。后期調整寬度比較大，可以做正負4倍的調整；

4.擴展最大色彩空間。Raw格式有目前最大的Photoshop 的RGB色彩空間，可以物盡其用；

5.可以解決照片色彩、構圖、紫邊、影調等常見問題且非常方便；

當然Raw圖由于數據量大，其存儲也不方便，且由于Raw只是一種數據記錄，不同相機產生的Raw文件是不同的，導致沒有一個通用軟件可以打開Raw文件，如果說要通過Raw圖生成具有藝術氣息的照片，則需要一定的技術和藝術功底，這也需要一定的磨練和浸泡才能成為真正的攝影大師。

4 小結

Raw圖是一種最原始的數據記錄格式。本文從Raw的生成、工業界Raw圖的檢測方式及標準，Raw圖在攝影學的優勢進行了比較詳細的介紹。值得一提的是目前業界以深度學習為代表的視覺研究甚至直接以Raw圖作為原始素材進行基于神經網絡的計算成像和計算攝影，故了解Raw圖是后續各種交叉性研究的基石。

[1]? https://www.cnblogs.com/qiqibaby/p/5267566.html

[2] Sony Corporation. Realization of natural color reproduction in Digital Still Cameras, closer to the

[3] Adaptive Homogeneity-Directed Demosaicing Algorithm - Hauptseminar im Sommersemester 2007 Medizinische Bildverarbeitung

[4]? ?https://www.xrite.cn/categories/light-booths/

總結

這篇文章對于Raw圖生成進行了詳細介紹，包括工業界目前比較成熟的Raw圖檢測方式和標準，并最后對Raw圖在攝影學上的優勢大致進行了介紹。希望對于讀者深入研究數字成像領域有所借鑒，下一期的任務將繼續延此路線進一步展開。

下期預告：raw圖到最后成像的前世今生

有三AI夏季劃

有三AI夏季劃進行中，歡迎了解并加入，系統性成長為中級CV算法工程師。

轉載文章請后臺聯系

侵權必究

往期精選

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【摄像头与成像】长文详解RAW图的来龙去脉的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。