參考引用：A Story of Basis and Kernel 來源：http://songcy.net/

向量與內積

在一個

空間中，我們可以通過 個獨立向量的線性組合來表示這個空間里的任意向量。這些獨立的向量可以看作是空間里的一組基，基向量互相正交。比如 就是一組正交基向量（ 的第 個元素為 ，其余元素為 ）。

內積運算可以衡量兩個向量的相似度

如果

以及 ，那么這兩個向量的內積為

向量向函數的拓展

一個函數可以看作是無限維向量。

一個定義在區間

的函數 ，我們可以以 為間隔對函數進行采樣，從而將函數（由函數在不同點的取值組成）轉化為一個向量 ，當采樣間隔趨于零時，這一向量就會無限趨近于函數 （或者說可以用向量來表征函數）且此時向量的維度是無窮維的。

既然函數可以理解是一種特殊的向量，那么同樣可以近似定義函數的內積

因為向量的維度都是離散整數，而函數的維度是連續的，用了normalization這里采用

表示相鄰維度的差。

在向量空間中，我們可以用一組基向量來表示任意向量，函數空間也可以用一組基函數來表征其他函數。但是向量空間的基向量是有限的，函數空間的基函數可能是無限的。函數空間的基函數也是要求互相正交的，兩個函數的內積如果是零則表示兩個函數是正交的。

例子：Fourier Series

假設基函數為

， 為整數，且

定義在區間 。這些函數構造了一個函數空間，且任意定義在 上的函數可以表示為這些基函數的線性組合。可以證明任意兩個基函數是正交的

其中

，基函數的長度為 。

如果一個函數定義在此空間的區間

上，則可以表示為 ，對應某一個點 的函數值為

因為

所以這些系數可以計算得到

也就是傅里葉級數。

核方法

核方法的目的在于將一個

上的向量映射到另外一個特征空間上，比如一個更高維的空間。此時一些非線性問題可以轉化為線性問題。

特征分解

考慮一個實對稱矩陣

，存在實數 以及向量 使得

則稱

是矩陣 的一個特征值， 是對應的特征向量。如果 有兩個不同的特征值 以及對應的特征向量 ，那么可以證明 ，即兩個特征向量是正交的。

更一般的，對于矩陣

，我們可以找到 個特征值以及 個正交的特征向量。使得矩陣可以分解為

其中

為正交矩陣（ ）， 。如果我們將 按列向量展開描述 ，則

其中

為 空間的一組正交基。

核函數

因為函數

可以看作是一個無限維的向量，那么對于一個二元函數 ，我們可以將其看做是一個無限維矩陣。如果這個函數滿足 且

對于任意函數 均成立。

則

是對稱正定的，在這種情況下它是一個核函數。

類比于矩陣的特征分解，存在特征值

以及特征函數 使得

對于不同的特征值

以及對應的特征函數 有

因此有基函數的內積為零

，即基函數是正交的。

對于一個核函數（無窮維矩陣），有無限多的特征值

以及對應的基函數 ，類似于矩陣我們可以得到

對應核函數（無窮維矩陣）的某個元素有

這也就是Mercer定理。這里

。

再生核希爾伯特空間

將

看作是構成希爾伯特空間 的一組正交基，那么任意在這個空間的一個點（函數）可以表示為這組基的線性組合。需要注意 表示一個函數， 表示函數在 的取值。

，即

對于任意函數，我們可以將其看作是一個無限維向量（函數在每一個輸入

的取值），這個函數的向量表示為 。這么一個無窮維向量對應到空間的基表示為 （系數乘以基向量的形式），即對應的“點”（系數）為 。

此時核函數的一行

（固定 ）可以表示為系數乘以基的形式

上式可以對照矩陣分解來理解，矩陣中的某一行對應 的其中一行，所以第一個向量應該只取一個元素；回到這里也就是核函數的某一行對應的是 而不是 。

對應的是一個無窮維向量

那么根據內積的定義有

可以理解為內積轉化為無窮維向量對應元素相乘，再轉化為系數乘以基構成一個函數后再取某一個元素 ，也就是函數在 的取值。

同樣可以推導（無窮維向量的對應元素相乘）

這就是再生性質，因此

稱為再生核希爾伯特空間。

如果我們定義

為從 映射到希爾伯特空間后的無窮維向量，則

也就是人們常說的通過核函數，我們可以將一個向量映射到再生核希爾伯特空間中的一個無窮維向量（函數）。

進一步有

即兩個無窮維向量的內積等于核函數在點

的取值。因此我們并不需要知道這個映射是什么，這個特征空間在哪里，這個特征空間的基函數是什么。就可以求得無窮維空間上的內積。

這也被稱作核技巧。

總結

以上是生活随笔為你收集整理的再生希尔伯特空间_向量、函数向量、再生核希尔伯特空间、核技巧的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。