2.3.3 賦范空間

每個實數或復數，都有相對應的絕對值或者模，每一個n維矢量，也都可以定義其長度。如果把“長度”的概念推廣到一般抽象空間中的元素上，就可以得到范數這個概念。

本節完。

2.3.6 希爾伯特空間

定義：在由內積所定義的范數意義下完備的內積空間稱為希爾伯特（Hilbert）空間。
希爾伯特空間是一類性質非常好的線性賦范空間，在工程上有著非常廣泛的應用，而且在希爾伯特空間中最佳逼近問題可以得到比較完滿的解決。

傅立葉變換以高等數學（微積分）中的傅立葉級數為基礎發展而來，它是信號處理（特別是圖像處理）中非常重要的一種時頻變換手段，具有重要應用。在圖像編碼、壓縮、降噪、數字水印方面都有重要意義。此外，快速傅立葉變換算法還位列20世紀十大算法之列，它是“動態規劃”策略在算法設計中的杰出代表。本文將詳細介紹圖像中的傅立葉變換及其快速算法。對于傅立葉變換的數學原理還不是很理解的同學，建議參考本系列前面已經發布的傅立葉級數相關內容，爭取徹底搞懂相關數學原理。一知半解、不求甚解，都是自欺欺人的表現。

6.1.2 ? 數字圖像的傅立葉變換

為了在科學計算和數字信號處理等領域使用計算機進行傅立葉變換，必須將函數f(t)定義在離散點而非連續域內，且須滿足有限性或周期性條件。這種情況下，使用離散傅立葉變換。將連續函數f(t)等間隔采樣就得到一個離散序列f(x)，假設采樣N次，則這個離散序列可以表示為{f(0),f(1),f(2),...,f(N-1)}。如果令x為離散實變量，u為離散頻率變量，則一維離散傅立葉變換的正變換定義為

圖像的頻率是表征圖像中灰度變化劇烈程度的指標，是灰度在平面空間上的梯度。從傅立葉頻譜圖上看到的明暗不一的亮點，實際上圖像上某一點與鄰域點差異的強弱，即梯度的大小，也即該點的頻率的大小（可以這么理解，圖像中的低頻部分指低梯度的點，高頻部分相反）。通常，梯度大則該點的亮度強，否則該點亮度弱。這樣通過觀察傅立葉變換后的頻譜圖，也叫功率圖。在功率圖中我們可以看出圖像的能量分布，如果頻譜圖中暗的點數更多，那么實際圖像是比較柔和的（因為各點與鄰域差異都不大，梯度相對較小），反之，若頻譜圖中亮的點數多，那么實際圖像一定是尖銳的，邊界分明且邊界兩邊像素差異較大的。對頻譜移頻到原點以后，可以看出圖像的頻率分布是以原點為圓心，對稱分布的。變換最慢的頻率成分（u = v = 0）對應一幅圖像的平均灰度級。當從變換的原點移開時，低頻對應著圖像的慢變換分量，較高的頻率開始對應圖像中變化越來越快的灰度級。這些是物體的邊緣和由灰度級的突發改變（如噪聲）標志的圖像成分。通常在進行傅立葉變換之前用(-1)^(x+y)乘以輸入的圖像函數，這樣便可將傅立葉變換的原點(0,0)移到(M/2,N/2)上。

6.1.3? 快速傅立葉變換的算法

離散傅立葉變換（DFT）已經成為數字信號處理和圖像處理的一種重要手段，但是DFT的計算量太大，速度太慢，這令其實用性大打折扣。1965年，Cooley和Tukey提出了一種快速傅立葉變換算法（Fast Fourier Transform，FFT），極大地提供了傅立葉變換的速度。正是FFT的出現，才使得傅立葉變換得以廣泛地應用。

FFT并不是一種新的變換，它只是傅立葉變換算法實現過程的一種改進。FFT中比較常用的是蝶形算法。蝶形算法主要是利用傅立葉變換的可分性、對稱性和周期性來簡化DFT的運算量。下面就來介紹一下蝶形算法的基本思想。

由于二維離散傅立葉變換具有可分離性， 即它可由兩次一維離散傅立葉變換計算得到，因此僅研究一維離散傅立葉變換的快速算法即可。一維離散傅立葉變換的公式為

上述FFT是將f(x)序列按x的奇偶進行分組計算的，稱之為時間抽選FFT。如果將頻域序列的F(u)按u的奇偶進行分組計算，也可實現快速傅立葉計算，這稱為頻率抽選FFT。

通過對圖6-6的觀察可以發現，蝶形算法的頻率域是按照正常順序排列的，而空間域是按照一種叫做“碼位倒序”的方式排列的。這個倒序的過程可以采用下面的方法來實現：將十進制的數轉化成二進制，然后將二進制的序列倒序重排，最后再把顛倒順序后的二進制數轉換成十進制數。倒序重排的程序是一段經典程序，它以巧妙的構思、簡單的語句用完成了倒序重排的功能。表6-1給出了倒序重排的示例。

6.4.3 主成分變換的實現

本小節通過一個算例驗證一下之前的推導。在前面給出的例子中，各點在原始的

由于方程是齊次的，所以不獨立。因為系數矩陣有零行列式，所以方程有非無效解。從兩個方程的任何一個可見

現在考慮該結論該如何解釋。特征向量g1和g2是在原坐標系中用來定義主成分軸的向量，如圖6-20所示，其中，e1和e2分別是水平和垂直的方向向量。顯而易見，這些數據在新坐標系中是非相關的。該新坐標系是原坐標系的旋轉，出于這種原因，可以將主成分變換理解為旋轉變換（即使在高維空間上亦是如此）。

6.4.4 基于K-L變換的圖像壓縮

從圖像壓縮的角度出發，我們必然希望變換系數協方差矩陣Σx?中除對角線外的所有協方差均為零，成為對角線矩陣，即原來像素間的相關性經變換后全部解除，或者至少大部分協方差要等于或接近于零。為此，需要選擇適當的變換矩陣，它作用于Σx?后使其變成對角線型。通過前面的分析和推導，可知這樣的變換矩陣是存在的。如果用協方差矩陣Σx?的特征向量作變換的基向量，即由Σx?的特征向量作為正交變換的變換矩陣，就可以得到對角線型的變換域協方差矩陣Σy 。K-L變換就是采用這種矩陣進行變換的正交變換，它可以在變換域完全解除相關性，因此是理論上的最佳變換。同時，換一個角度也可以證明，K-L變換是均方誤差最小準則下的最佳變換，即當壓縮比確定的情況下，采用K-L變換后，重建圖像的均方誤差比采用任何其他正交變換的都小。

但是回顧之前進行的K-L變換，哪個步驟可以稱為圖像壓縮的切入點呢？一幅大小為M×N的圖像，它的協方差矩陣Σx大小為MN×MN。由上述K-L變換理論可知，對X進行K-L變換的變換矩陣就是Σx的特征向量矩陣，該矩陣大小亦為MN×MN，其大小遠遠大于原始圖像數據矩陣。而且要在解碼時恢復原圖像，不但需要變換后的系數矩陣Y，還需要知道逆變換矩陣（也就是變換矩陣的轉置）。如果不經過任何處理就這樣直接將K-L變換用于數字圖像的壓縮編碼，不但達不到任何數據壓縮的效果，還極大的增加了數據量。即使僅保留一個最大的特征值，變換矩陣中和該特征值對應的特征向量為M×N維，系數矩陣 Y 保留的元素為一個。要重建圖像數據，需要保留的元素個數為仍大于原矩陣，所以達不到壓縮的目的。另外，求一個矩陣的協方差矩陣和特征向量矩陣，都是非常復雜的運算過程，需要大量的計算。當X比較大時，運算時間的耗用可能是非常大的。有時甚至會出現因為過于復雜而導致Σx和變換矩陣無法求解的情況。

要解決上述問題，可以考慮將圖像分成若干個小塊，然后對每個小塊分別進行K-L變換（這與本章前面的處理方式基本保持一致）。這樣使得Σx和變換矩陣都比較小，計算機處理起來比較容易而且速度快。這里仍然將圖像劃分為多個不重疊的8×8小塊（當圖像垂直和水平方向的像素數不是8的倍數時補0，使之均為8的倍數）。然后再分別對每一個小塊執行K-L變換，變換矩陣的數目為K個，每個矩陣大小為64×64，僅變換矩陣就要記錄K×64×64個數據，還是遠遠大于原始數據的個數M×N。是否可以讓變換矩陣的數量變得少些，最好只保留一個變換矩陣。回憶前面做K-L變換的例子，變換矩陣的大小與輸入矩陣的維度有關，而與樣本數量無關，據此可以將每個8×8小塊變成一個行向量（也就是一個64維的數組），原圖中的每一個小方塊都是一個64維的樣本。所以最后只需要一個64×64的變換矩陣即可，它對于原圖像的任意一個數據塊都適用。這樣的處理方式并不是完全意義上的K-L 變換，因為采用分塊的處理方式，各個數據塊之間的相關性是沒有消除的。但實驗亦表明，這樣的K-L 變換雖然不能完全消除圖像各像素點之間的相關性，也能達到很好的去相關效果，在去相關性性能上優于離散余弦變換。

圖像數據經K-L變換后，得到的系數矩陣Y大部分系數都很小，接近于零。只有很少的幾個系數的數值比較大，這正是K-L變換所起到的去除像素間的相關性，把能量集中分布在較少的變換系數上的作用的結果。據此，在圖像數據壓縮時，系數矩陣Y保留M個分量，其余分量則舍去。在實際編程開發中，經K-L變換后的系數矩陣中的數值都是按從大到小的順序排列的，所以直接舍去后面的64M個分量即可。通過這一步的處理，便可動態地調節壓縮編碼系統的壓縮比和重建圖像的質量。解碼時，首先做K-L逆變換，然后將上述過程逆轉，可以得到重建后的圖像數據矩陣。

我們在MATLAB中編寫的示例程序演示了運用上述方法對圖像實施基于K-L變換的壓縮處理的過程。最后可以通過編程實現基于K-L變換的圖像壓縮算法并測試其壓縮效果，所得之測試結果如圖6-22所示。該程序驗證了三種不同的壓縮比，即舍去排序后的系數矩陣中的32/64（對應壓縮比50%）、48/64（對應壓縮比75%）以及56/64（對應壓縮比87.5%）。相關測試程序源碼讀者可以從本書的在線支持資源中下載得到。

最后需要補充說明的是盡管K-L變換可以將數據之間的相關性完全去除，所以理論上是一種最理想的數據壓縮方案，但它在實際應用過程中仍然受到很大局限。例如，它沒有快速算法，不同的圖像所對應的變換矩陣也不同，從這個角度來說，單純將K-L變換直接應用于圖像數據壓縮的理論價值要大于實際價值。它的存在意義，一方面是可以作為理論驗證的參考模板，另一方面就是需要對原始算法加以改進后再付諸應用。

6.4.2 主成分變換的推導

前面提到的一國經濟增長與城市化水平關系的問題是典型二維問題，而協方差也只能處理二維問題，那維數多了自然就需要計算多個協方差，所以自然會想到使用矩陣來組織這些數據。為了幫助讀者理解上面給出的協方差矩陣定義，在此舉一個簡單的三維的例子，假設數據集有 {x,y,z} 三個維度，則協方差矩陣為

可見，協方差矩陣是一個對稱的矩陣，而且對角線是各個維度上的方差。下面通過一個例子來嘗試演算協方差矩陣（很多數學軟件都為該操作提供了支持）。需要提醒讀者注意的是，協方差矩陣計算的是不同維度之間的協方差，而不是不同樣本之間的。例如有一個樣本容量為 9 的三維數據，如下

根據公式，計算協方差需要計算均值，那是按行計算均值還是按列呢，前面也特別強調了，協方差矩陣是計算不同維度間的協方差，要時刻牢記這一點。樣本矩陣的每行是一個樣本，每列為一個維度，所以要按列計算均值。經過計算，不難得到上述數據對應的協方差矩陣如下

眾所周知，為了描述一個點在直角坐標系中的位置，至少需要兩個分量。圖6-17所示是兩個二維數組，其中左圖顯示的各個點之間相關性微乎其微，而右圖所示的各個點之間則高度相關，顯然數據散布在一定角度內較為集中。對于右圖而言，只要知道某個點一維分量的大小就可以大致確定其位置，兩個分量中任一分量的增加或者減少都能引起另一分量相應的增減。相反，左圖中的情況卻不是這樣。

對之前給出的協方差矩陣定義式稍加改寫，以使其獲得計算上更為直觀的便利。則有在X矢量空間（或坐標系下），協方差矩陣Σx的無偏計算公式為

表6-2給出了對于圖6-17中左圖所示的6個樣本點的集合，以及經計算后求得的樣本集協方差矩陣和相關矩陣的結果。應當注意，協方差矩陣和相關矩陣二者都是沿對角線對稱的。從相關矩陣來看，各個數據分量間存在不相關關系的明顯事實就是協方差矩陣（以及相關矩陣）中非對角線元素都是零。

最終計算可得

1.1.3 函數的極限

本小節介紹兩個重要的函數極限，并討論它們的應用。

重要極限1：

此外，該重要極限的另一種形式也常常被用到，即

綜上，結論得證。
由此，也很容易推出如下結論，證明從略，有興趣的讀者可以自行嘗試推導

1.3.2 內積與外積

因為cos(π/2)=0。當然，這也是眾多教科書上介紹向量內積最開始時常常用到的一種定義方式。但必須明確，這種表示方式僅僅是一種非常狹隘的定義。如果從這個定義出發來介紹向量內積，其實是本末倒置的。因為對于高維向量而言，夾角的意義是不明確的。例如，在三維坐標空間中，再引入一維時間坐標，形成一個四維空間，那么時間向量與空間向量的夾角該如何解釋呢？所以讀者務必明確，首先應該是給出如本小節最開始時給出的內積定義，然后才能由此給出二維或三維空間下的夾角定義。在此基礎上，我們來證明余弦定律。

若根據a·b = |a||b|cosθ這個定義，因為0<=cosθ<=1，顯然柯西-施瓦茨不等式是成立的。但是這樣的證明方式同樣又犯了本末倒置的錯誤。柯西-施瓦茨不等式并沒有限定向量的維度，換言之它對于任意維度的向量都是成立的，這時夾角的定義是不明確的。正確的思路同樣應該從本小節最開始的定義出發來證明柯西-施瓦茨不等式，因為存在這樣一個不等式關系，然后我們才會想到內積與向量模的乘積之間存在一個介于0和1之間的系數，然后我們才用cosθ來表述這個系數，于是才會得到a·b = |a||b|cosθ這個表達式。下面就來證明柯西-施瓦茨不等式。

證明：

與內積類似，向量a,b的外積也可以狹義地定義為

1.4.5 ? 卷積定理及其證明

卷積定理是傅立葉變換滿足的一個重要性質。卷積定理指出，函數卷積的傅立葉變換是函數傅立葉變換的乘積。換言之，一個域中的卷積對應于另一個域中的乘積，例如，時域中的卷積對應于頻域中的乘積。

這一定理對拉普拉斯變換、Z變換等各種傅立葉變換的變體同樣成立。需要注意的是，以上寫法只對特定形式的變換正確，因為變換可能由其它方式正規化，從而使得上面的關系式中出現其它的常數因子。
下面我們來證明時域卷積定理，頻域卷積定理的證明與此類似，讀者可以自行證明。
證明：將卷積的定義

傅立葉變換的作用在頻域對信號進行分析，我們可以把時域的信號看做是若干正弦波的線性疊加，傅立葉變換的作用正是求得這些信號的幅值和相位。既然固定的時域信號是若干固定正弦信號的疊加，在不改變幅值的情況下，在時間軸上移動信號，也就相當于同時移動若干正弦信號，這些正弦信號的相位改變、但幅值不變，反映在頻域上就是傅立葉變換結果的模不變、而相位改變。所以，時移性質其實就表明當一個信號沿時間軸平移后，各頻率成份的大小不發生改變，但相位發生變化。
既然這里提到了傅立葉變換的性質，這里我們還將補充一些關于帕塞瓦爾定理的有關內容。該定理最早是由法國數學家帕塞瓦爾（Marc-Antoine Parseval）在1799年推導出的一個關于級數的理論，該定理隨后被應用于傅立葉級數。帕塞瓦爾定理的表述是這樣的：

綜上所述，原結論得證。
前面我們也介紹過復數形式的傅立葉級數，下面我們來推導與復數形式傅立葉變換相對應的帕塞瓦爾等式。這里再次給出傅立葉級數的復數形式表達式，具體推導過程請讀者參閱前文

帕塞瓦爾定理把一個信號的能量或功率的計算和頻譜函數或頻譜聯系起來了，它表明一個信號所含有的能量（功率）恒等于此信號在完備正交函數集中各分量能量（功率）之和。換言之，能量信號的總能量等于各個頻率分量單獨貢獻出來的能量的連續和；而周期性功率信號的平均功率等于各個頻率分量單獨貢獻出來的功率之和。

1.1.2 級數的斂散

關于上面這個級數斂散性的討論，在數學史上曾經是一個非常有名的問題。大數學家萊布尼茲曾經在惠更斯的指導下對級數的斂散性進行過研究。后來萊布尼茲的學生伯努利兄弟（雅各·伯努利和約翰·伯努利）從他們老師的某些研究成果出發，最終證明了調和級數的發散性，以及幾何級數的收斂性。但是幾何級數最終收斂到多少這個問題卻一直困擾著他們。最終，雅各布也不得不帶著幾分絕望的懇求宣告了他的失敗：“如果有人能夠發現并告知我們迄今為止尚未解出的難題的答案，我們將不勝感謝。”所幸的是，幾何級數到底等于多少這個難題最終被約翰·伯努利的學生歐拉所破解。歐拉使用了一種極其巧妙的方法得出

1.1 極限及其應用

極限的概念是微積分理論賴以建立的基礎。在研究極限的過程中，我們一方面會證明許多在圖像處理中將要用到的公式，另一方面還會得到所謂的自然常數（或稱納皮爾常數）。圖像處理技術中的很多地方都會遇到它，例如用來對圖像進行模糊降噪的高斯函數，以及泊松噪聲中都會有自然常數出現。而且在本文稍往后的內容還會講到歐拉公式，屆時自然常數還將會再次出現。

1.1.1 數列的極限

1.3.7 曲面積分

關于這部分內容的討論，既闡明了第二類曲面積分的實際意義，其實也明確了兩類曲面積分之間的關聯。需要說明的是，在后面的介紹中，我們將更多地采用通量這個提法來替代此前所用的流量。通量是更廣義的說法，如果考慮的向量場是流速場的話，那么通量就是流量，如果考慮的是電場或者磁場的話，那么通量就是電通量或者磁通量。

在泛函分析中，索伯列夫空間并不像 巴拿赫空間或者希爾伯特空間那么引入注意。但是在圖像處理中，索伯列夫空間在介紹BV空間（有界變差函數空間）時，會被提到。而BV函數空間對于理解TV算法（偏微分方程在圖像處理中的重要內容）至關重要！所以我特別在“圖像處理中的數學原理詳解”系列文章中留出一個小節來對索伯列夫空間進行必要的介紹。

2.3.7 索伯列夫空間

由廣義導數的定義可以看出，這種導數不是關于函數的個別點處局部性質反映，因為它是通過在整個區間上積分的極限來確定的，而積分是一種關于函數的整體性質的概念。但也應該指出，廣義導數其實是對通常意義下導數概念的推廣。如果函數本身是通常意義下可微的，則其導函數與廣義導數是一致的。

2.3.5 內積空間

? ? ? 前面我們已經討論過關于內積的話題，此處以公理化的形式給出內積的定義。

2.3.2 距離空間
? ? ? ? 盡管在線性空間上我們已經可以完成簡單的線性運算，但這仍然不能滿足我們的需求。為了保證數學刻畫的精確性，還必須引入距離的概念。本文最初是從極限開始講起的，它是因此微積分的必備要素之一，而極限的概念顯然也是基于距離上無限接近這樣一種角度來描述的。

? ? ? ?由此，在距離空間中，可以引入“任意逼近”的概念，即極限概念。一般來說，一個集合如果能夠在其中確切地引入任意逼近的概念，就稱之為“拓撲空間”。而距離空間是一種最常用的拓撲空間。

2.3? 泛函與抽象空間

牛頓說：“把簡單的問題看得復雜，可以發現新領域；把復雜的問題看得簡單，可以發現新規律。”而從歷史的角度來看，一個學科的發展也亦是如此。隨著學科的發展，最開始的一個主干方向會不斷衍生出各自相對獨立的分支，這也就是所謂“把簡單的問題看得復雜”的過程。然而，一旦學科發展到一定程度之后，某些分支學科又開始被抽象綜合起來，這也就是所謂“把復雜的問題看得簡單”的過程。例如，在很長一段時間里，物理學家們都把電和磁看成是兩種獨立的物理現象在研究，當學科研究積累到一定程度時，麥克斯韋就創立了電磁學從而完成了物理學中的一次大綜合。而在數學發展的歷史中，幾何與代數也曾經在很長的一段時間里是彼此獨立的。直到笛卡爾引入了直角坐標系的概念之后，人們才開始建立了一種代數與幾何之間的聯系，也就是所謂的解析幾何。泛函分析也是對以往許多數學問題或者領域進行高度抽象和綜合的結果，其主要研究對象之一是抽象空間。其實在學習線性代數的過程中，讀者已經建立了一種從矩陣到線性方程組之間的一種聯系。而在泛函分析中，實數系、矩陣、多項式以及函數族這些看似關聯不大的概念都可以抽成空間。由于泛函分析是一門比較晦澀抽象的學問，讀者應該注意聯系以往學習中比較熟悉的一些已知的、具體的概念，從而幫助自己理解那些全新的、抽象的概念。此外，需要說明的是本部分內容的重點在于有關定義或者概念的介紹，希望讀者能夠努力領會這些定義或者概念。

2.3.1 ?線性空間

總結

以上是生活随笔為你收集整理的图像处理中常用数学知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。