Itti算法
? ? Itti算法作為做早提出的視覺注意模型，主要思想是對輸入圖像首先進行多個特征通道和多尺度的分解（九層金字塔），再進行濾波得到特征圖，再對特征圖做融合計算得到最終的顯著圖。
??算法流程如下：
? （1）讀取圖像，I0為源圖像，經高斯濾波，1/2采樣到I1，一直1/2采樣直到I8，I8為I0的1/256.
? （2）提取特征，包括：R、G、B、Y四種顏色信息，0、45、90、135四個方向信息，亮度I共九種信息。
? （ 3）不同尺度間特征取差形成特征圖。2-5、2-6、3-6、3-7、4-7、4-8（共六種尺度差），取差信息：I，RG，BY，O（四個方向）共計42幅特征圖（取差：由于尺度不同，取差運算定義為：先進行插值使其具有相同大小，然后對應相減并取絕對值）
? （4）特征圖融合：先對特征進行歸一化處理，然后分別尺度間求和，包括Im（亮度和），Cm（RG、BY和），Om（四個方向和），求和與上面取差類似，先插值，后求和。
? （5）顯著圖S=1/3（Im+Cm+Om）
詳細的操作過程： ??（ 1）特征的提取： ? ? ? 先把輸入圖像表示成9層的高斯金字塔。其中第0層是輸入圖像， 1到8
層分別是用5×5的高斯濾波器對輸入圖像進行濾波和采樣形成的，大小分別的輸入圖像的1/2到
1/256.。然后對金字塔每一層分別提取各種特征:亮度 I 、紅色 R 、綠色G 、藍色 B 、黃色Y 、
方向，形成亮度金字塔、色度金字塔、和方向金字塔。亮度和顏色特征由如下公式得到：
? ? ?I = (r + g +b) / 3 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2.1.1)
? ? ?R = r ? (g +b) / 2 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??(2.1.2)
? ? ?G = g ? (r +b) / 2 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??(2.1.3)
? ? ?B = b ? (r + g) / 2 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2.1.4)
? ? ?Y = r + g ? 2(| r ? g | +b) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2.1.5)
其中r 、 g 、 b 分別是輸入圖像的紅、綠、藍三個分量。（負值設為0）。
o(σ ,θ ) 是對亮度特征 I 在尺度用方向的Gabor函數濾波得到的Gabor金字塔。其中：
σ ∈[0,1,2Λ ,8],θ ∈[00,450,900,1350 ] ，這樣就將特征表示成為9個金字塔：亮度1個，色度4
個（分別紅色、藍色、綠色、黃色），方向4個（分別是 00,450,900,1350 ）。上述四個色度特
征對黑色和白色的響應為零，對各自對應的飽和單色（紅色、藍色、綠色、黃色）有最大的響
應。
（2）不同尺度間特征取差形成特征圖 ? ? ?Itti算法為了模擬感受野的中心—外周拮抗的結構，對各種特征分別在特征金字塔的不同尺
度間作差。感受野中心對應于尺度c的特征圖像素點（c ∈{2,3,4} ），感受野周邊區域對應于尺
度s的特征圖像素點（s = c +δ ,δ ∈{3,4}）。而不同尺度特征圖的分辨率不同，需要通過插值使
兩幅圖像大小相同后，通過兩幅圖像之間點對點作差。這個過程用Θ 表示。得到的是中心（尺
度c）和外周（尺度s）的特征的對比表示中心和外周的局部方向特征的對比。
? ? ? ? ? ? ? ? ? I(c,s) =| I(c)ΘI(s) | ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??(2.1.6)
? ? ? ? ? ? ? ? ? RG(c,s) =| (R(c) ?G(c))Θ(G(s) ? R(s)) | ? ? ? ? ? ??(2.1.7)
? ? ? ? ? ? ? ? ? BY (c,s) =| (B(c) ?Y (c))Θ(Y (s) ? B(s)) | ? ? ? ? ?(2.1.8)
? ? ? ? ? ? ? ? ? O(c,s,θ ) =|O(c,θ )ΘO(s,θ ) | ? ? ? ? ? ? ? ? ? ??(2.1.9)
其中（ 2.1.6）式是亮度特征圖，表示亮度的對比。（ 2.1.7）和（ 2.1.8）式是顏色特征圖，表示視
皮層中顏色的雙拮抗反應。而（ 2.1.7）式是紅/綠特征圖，是中心的紅色對綠色的對比和外周的
綠色對紅色的對比之間的差，表示紅/綠和綠/紅雙拮抗反應。（ 2.1.8）式是藍/黃特征圖，是中心
的藍色對黃色的對比和外周黃色對藍色的對比之間的差， 表示藍/黃和黃/藍雙拮抗反應。 （ 2.1.9）
式是方向特征圖，是同一個方向θ 的特征在不同尺度作差得到的，表示中心和外周的局部方向
特征的對比。由于中心尺度 c 和外周尺度 s 之間有 6 種組合（ 2-5， 2-6， 3-6， 3-7， 4-7， 4-8），
所以四個式子都可以得到 6 個特征圖，共 42 個不同尺度的特征圖（分別是 6 個亮度特征圖， 12
個顏色特征圖， 24 個方向特征圖）
（3）顯著圖生成
? ? ?為了將上面生成的 42 個不同尺度和不同特征的特征圖進行融合， Itti
模型中提出了一個歸一化函數 N(?) 。首先對于每幅特征圖，將圖中的每個像素點的顯著值歸
一化到一個區間[0,M ] ，這樣是為了消除因為不同特征的顯著值分布的區間不同產生的影響；
其次尋找特征圖中的全局最大值M ，計算所有其他局部最大值的平均值m ；最后對特征圖中
的每個位置乘以 (M ? m) 2 。這樣就將每幅特征圖中潛在的顯著區域位置進行了放大，使得那
些位置的顯著值相對于背景更突出。
先對每個特征的不同尺度的特征圖進行歸一化處理，形成一幅該特征的綜合顯著圖，然后
再將不同特征的顯著圖進行歸一化處理獲得最好的視覺顯著圖 S，計算過程如下：
《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀
詳細的操作過程： ??（ 1）特征的提取： ? ? ? 先把輸入圖像表示成9層的高斯金字塔。其中第0層是輸入圖像， 1到8
層分別是用5×5的高斯濾波器對輸入圖像進行濾波和采樣形成的，大小分別的輸入圖像的1/2到
1/256.。然后對金字塔每一層分別提取各種特征:亮度 I 、紅色 R 、綠色G 、藍色 B 、黃色Y 、
方向，形成亮度金字塔、色度金字塔、和方向金字塔。亮度和顏色特征由如下公式得到：
? ? ?I = (r + g +b) / 3 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2.1.1)
? ? ?R = r ? (g +b) / 2 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??(2.1.2)
? ? ?G = g ? (r +b) / 2 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??(2.1.3)
? ? ?B = b ? (r + g) / 2 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2.1.4)
? ? ?Y = r + g ? 2(| r ? g | +b) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2.1.5)
其中r 、 g 、 b 分別是輸入圖像的紅、綠、藍三個分量。（負值設為0）。
o(σ ,θ ) 是對亮度特征 I 在尺度用方向的Gabor函數濾波得到的Gabor金字塔。其中：
σ ∈[0,1,2Λ ,8],θ ∈[00,450,900,1350 ] ，這樣就將特征表示成為9個金字塔：亮度1個，色度4
個（分別紅色、藍色、綠色、黃色），方向4個（分別是 00,450,900,1350 ）。上述四個色度特
征對黑色和白色的響應為零，對各自對應的飽和單色（紅色、藍色、綠色、黃色）有最大的響
應。
（2）不同尺度間特征取差形成特征圖 ? ? ?Itti算法為了模擬感受野的中心—外周拮抗的結構，對各種特征分別在特征金字塔的不同尺
度間作差。感受野中心對應于尺度c的特征圖像素點（c ∈{2,3,4} ），感受野周邊區域對應于尺
度s的特征圖像素點（s = c +δ ,δ ∈{3,4}）。而不同尺度特征圖的分辨率不同，需要通過插值使
兩幅圖像大小相同后，通過兩幅圖像之間點對點作差。這個過程用Θ 表示。得到的是中心（尺
度c）和外周（尺度s）的特征的對比表示中心和外周的局部方向特征的對比。
? ? ? ? ? ? ? ? ? I(c,s) =| I(c)ΘI(s) | ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??(2.1.6)
? ? ? ? ? ? ? ? ? RG(c,s) =| (R(c) ?G(c))Θ(G(s) ? R(s)) | ? ? ? ? ? ??(2.1.7)
? ? ? ? ? ? ? ? ? BY (c,s) =| (B(c) ?Y (c))Θ(Y (s) ? B(s)) | ? ? ? ? ?(2.1.8)
? ? ? ? ? ? ? ? ? O(c,s,θ ) =|O(c,θ )ΘO(s,θ ) | ? ? ? ? ? ? ? ? ? ??(2.1.9)
其中（ 2.1.6）式是亮度特征圖，表示亮度的對比。（ 2.1.7）和（ 2.1.8）式是顏色特征圖，表示視
皮層中顏色的雙拮抗反應。而（ 2.1.7）式是紅/綠特征圖，是中心的紅色對綠色的對比和外周的
綠色對紅色的對比之間的差，表示紅/綠和綠/紅雙拮抗反應。（ 2.1.8）式是藍/黃特征圖，是中心
的藍色對黃色的對比和外周黃色對藍色的對比之間的差， 表示藍/黃和黃/藍雙拮抗反應。 （ 2.1.9）
式是方向特征圖，是同一個方向θ 的特征在不同尺度作差得到的，表示中心和外周的局部方向
特征的對比。由于中心尺度 c 和外周尺度 s 之間有 6 種組合（ 2-5， 2-6， 3-6， 3-7， 4-7， 4-8），
所以四個式子都可以得到 6 個特征圖，共 42 個不同尺度的特征圖（分別是 6 個亮度特征圖， 12
個顏色特征圖， 24 個方向特征圖）
（3）顯著圖生成
? ? ?為了將上面生成的 42 個不同尺度和不同特征的特征圖進行融合， Itti
模型中提出了一個歸一化函數 N(?) 。首先對于每幅特征圖，將圖中的每個像素點的顯著值歸
一化到一個區間[0,M ] ，這樣是為了消除因為不同特征的顯著值分布的區間不同產生的影響；
其次尋找特征圖中的全局最大值M ，計算所有其他局部最大值的平均值m ；最后對特征圖中
的每個位置乘以 (M ? m) 2 。這樣就將每幅特征圖中潛在的顯著區域位置進行了放大，使得那
些位置的顯著值相對于背景更突出。
先對每個特征的不同尺度的特征圖進行歸一化處理，形成一幅該特征的綜合顯著圖，然后
再將不同特征的顯著圖進行歸一化處理獲得最好的視覺顯著圖 S，計算過程如下：
《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀
總結
