做為拍照手機的核心模塊之一，camera sensor效果的調整，涉及到眾多的參數，如果對基本的光學原理及sensor軟/硬件對圖像處理的原理能有深入的理解和把握的話，對我們的工作將會起 到事半功倍的效果。否則，缺乏了理論的指導，只能是憑感覺和經驗去碰，往往無法準確的把握問題的關鍵，不能掌握sensor調試的核心技術，無法根本的解 決問題。所以，這里筆者結合自己出于對攝影的愛好所學習的一些圖像處理相關的原理，試圖通過分析一些與Sensor圖像處理相關的因素，和大家分享一下自己的一些理解，共同探討，共同學習進步。

ISP(Image Signal Processor)，即圖像信號處理器，用于處理圖像信號傳感器輸出的圖像信號。它在相機系統中占有核心主導的地位，是構成相機的重要設備。

主要內部構成

如下圖所示，ISP 內部包含 CPU、SUP IP、IF 等設備，事實上，可以認為 ISP 是一個 SOC，可以運行各種算法程序，實時處理圖像信號。

ISP 架構

1.CPU

CPU 即中央處理器，可以運行 AF、LSC 等各種圖像處理算法，控制外圍設備。現代的 ISP 內部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。

2.SUB IP

SUB IP 是各種功能模塊的通稱，對圖像進行各自專業的處理。常見的 SUB IP 如 DIS、CSC、VRA 等。

3.圖像傳輸接口

圖像傳輸接口主要分兩種，并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的簡稱，鑒于 MIPI CSI 的諸多優點，在手機相機領域，已經廣泛使用 MIPI-CSI 接口傳輸圖像數據和各種自定義數據。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 兩個接口。內置 ISP 一般只需要 MIPI-CSIS 接口。

4.通用外圍設備

通用外圍設備指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用于讀取 OTP 信息，控制 VCM等。對于外置 ISP，ISP 本身還是 I2C 從設備。AP 可以通過 I2C 控制 ISP 的工作模式，獲取其工作狀態等。

主要功能特性

ISP 作為圖像處理的核心器件，擁有十分重要的功能，下圖展示了 ISP 處理圖像數據的基本流程。

ISP 處理流程

下面針對 ISP 的主要功能特性進行下介紹。

1.DEMOSAIC

DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素點上覆蓋著 CFA，光線通過 CFA 后照射到像素上。CFA 由 R、G、B 三種顏色的遮光罩組成，每種遮光罩只允許一種顏色通過，因此每個像素輸出的信號只包含 R、G、B 三者 中的一種顏色信息。SENSOR 輸出的這種數據就是 BAYER 數據，即通常所說的 RAW 數據。顯而易見，RAW 數據所反映的顏色信息不是真實的顏色信息。DEMOSAIC 就是通過插值算法將將每個像素所代表的真實顏色計算出來。

2.FOCUS

根據光學知識，景物在傳感器上成像最清晰時處于合焦平面上。通過更改 LENS 的位置，使得景物在傳感器上清晰的成像，是 ISP FOCUS 功能所需要完成的任務。FOCUS 分為手動和自動兩種模式。ISP 可以運行 CONTRAST AF、PDAF、LASER AF 等算法實現自動對焦。

3.EXPOSURE

曝光。EXPOSURE 主要影響圖像的明暗程度。ISP 需要實現 AE 功能，通過控制曝光程度，使得圖像亮度適宜。

4.WB

白平衡。白平衡與色溫相關，用于衡量圖像的色彩真實性和準確性。ISP需要實現 AWB 功能，力求在各種復雜場景下都能精確的還原物體本來的顏色。

5.LSC

用于消除圖像周邊和圖片中心的不一致性，包含亮度和色度兩方面。ISP 需要借助 OTP 中的校準數據完成 LSC 功能。

6.GAMMA CORRECTION

伽瑪校正。傳感器對光線的響應和人眼對光線的響應是不同的。伽瑪校正就是使得圖像看起來符合人眼的特性。

7.CROP/RESIZE

圖像剪裁，即改變圖像的尺寸。可用于輸出不同分辨率的圖像。

8.VRA

視覺識別。用于識別特定的景物，例如人臉識別，車牌識別。ISP 通過各種 VRA 算法，準確的識別特定的景物。

9.DRC

動態范圍校正。動態范圍即圖像的明暗區間。DRC 可以使得暗處的景物不至于欠曝，而亮處的景物不至于過曝。ISP需要支持 DRC 功能。

10.CSC

顏色空間轉換。例如，ISP 會將 RGB 信號轉化為 YUV 信號輸出。

11.IS

圖像穩定。IS 的主要作用是使得圖像不要因為手持時輕微的抖動而模糊不清。IS 有很多種，例如 OIS、DIS、EIS。 ISP 可以實現 DIS 和 EIS。

事實上，ISP 除了上面提到的主要功能外，還需要支持 DENOISE、CONTRAST、SATURATION、SHARPNESS 等調整功能。

控制方式

這里所說的控制方式是 AP 對 ISP 的操控方式。

1.I2C/SPI

這一般是外置 ISP 的做法。SPI 一般用于下載固件、I2C 一般用于寄存器控制。在內核的 ISP 驅動中，外置 ISP 一般是實現為 I2C 設備，然后封裝成 V4L2-SUBDEV。

2.MEM MAP

這一般是內置 ISP 的做法。將 ISP 內部的寄存器地址空間映射到內核地址空間。

3.MEM SHARE

這也是內置 ISP 的做法。AP 這邊分配內存，然后將內存地址傳給 ISP，二者實際上共享同一塊內存。因此 AP 對這段共享內存的操作會實時反饋到 ISP 端。

ISP 架構方案

上文多次提到外置 ISP 和內置 ISP，這實際上是 ISP 的架構方案。

外置 ISP 架構

外置 ISP 架構是指在 AP 外部單獨布置 ISP 芯片用于圖像信號處理。外置 ISP 的架構圖一般如下所示：

外置 ISP 架構圖

外置 ISP 架構的優點主要有：

1.能夠提供更優秀的圖像質量

在激烈的市場競爭下，能夠存活到現在的外置 ISP 生產廠商在此領域一般都有很深的造詣，積累了豐富的影像質量調試經驗，能夠提供比內置 ISP 更優秀的性能和效果。因此，選用優質的外置 ISP 能提供專業而且優秀的圖像質量。

2.能夠支援更豐富的設計規劃

外置 ISP 的選型基本不受 AP 的影響，因此很多手機廠家(比如美圖秀秀手機、魅族、華為等)都是從從各個優秀 ISP芯片供應商的眾多產品中甄選最合適的器件，從而設計出更多優秀的產品。

3.能夠實現產品的差異化

內置 ISP 是封裝在 AP 內部的，是和 AP 緊密的聯系在一起，如果 AP 相同，那么 ISP 也就是一樣的。因此基于同樣AP 生產出來的手機，其 ISP 的性能也是一樣的，可供調教的條件也是固定的，這樣就不利于實現產品的差異化。而如果選擇外置 ISP，那么同一顆 AP，可以搭配不同型號的 ISP，這樣可以實現產品的差異化，為給用戶提供更豐富和優質的產品。

外置 ISP 架構的缺點主要有：

1.成本價格高

外置 ISP 需要單獨購買，其售價往往不菲，而且某些特殊功能還需要額外支付費用。使用外置 ISP，需要進行額外的原理圖設計和 LAYOUT，需要使用額外的元器件。

2.開發周期長

外置 ISP 驅動的設計需要多費精力和時間。使用外置 ISP 時，AP 供應商提供的 ISP 驅動就無法使用，需要額外設計編寫外置 ISP 驅動。另外，為了和 AP 進行完美的搭配，將效果最大化，也往往需要付出更多的調試精力。上文也提到，使用外置 ISP，需要進行額外的原理圖設計和 LAYOUT，需要使用額外的元器件，這也是需要花費時間進行處理的。

內置 ISP 架構

內置 ISP 架構是指在 AP 內部嵌入了 ISP IP，直接使用 AP 內部的 ISP 進行圖像信號處理。 內置 ISP 的架構圖一般如下所示：

內置 ISP 架構圖

內置 ISP 架構的優點主要有：

1.能降低成本價格

內置 ISP 內嵌在 AP 內部，因此無需像外置 ISP 一樣需要額外購買，且不占 PCB 空間，無需單獨為其設計外圍電路，這樣就能節省 BOM，降低成本。鑒于大多數用戶在選購手機時會將價格因素放在重要的位置，因此降低成本能有效的降低終端成品價格，有利于占領市場。

2.能提高產品的上市速度

內置 ISP 和 AP 緊密結合，無需進行原理圖設計和 LAYOUT 設計，因此可以減小開發周期，加快產品上市的速度。

3.能降低開發難度

如果使用內置 ISP，那么 AP 供應商能在前期提供相關資料，驅動開發人員可以有充足的時間熟悉相關資料，而且不會存在軟件版本適配問題，也不存在平臺架構兼容性問題。但是，如果使用外置 ISP，那么 ISP 供應商往往都不能提供針對某個平臺的代碼/資料，而且一般都存在軟件版本兼容問題，這就需要驅動開發人員付出額的經歷和時間。

使用內置 ISP 當然也有相應的不足之處，具體見上文的分析，這里就不贅述了。

事實上，鑒于 ISP 的重要性，為了推廣其 AP，提高其 AP 競爭力，現在 AP 內置的 ISP 也越來越強大，其性能足以滿足手機市場的需求。再加上其一系列優點，現在使用內置 ISP 方案的手機越來越多。

Camera效果問題評估

攝像頭效果評測都有哪些？

本文轉載自 光學日記 公眾號。

總結

以上是生活随笔為你收集整理的mipi和isp处理_ISP-摄像头的最强大脑- 图像质量及色彩科技知识分享平台 图像质量与色彩管理 - Powered by HDWiki!...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。