幫助你理解線性代數(shù)與機(jī)器學(xué)習(xí)緊密結(jié)合的核心內(nèi)容

下文節(jié)選自北大出版社《機(jī)器學(xué)習(xí)線性代數(shù)基礎(chǔ)》, [遇見(jiàn)]已獲授權(quán)許可. 這本書(shū)不同于傳統(tǒng)教材, 從新的角度來(lái)介紹線性代數(shù)的核心知識(shí), 講解也很棒, 又剛好參加參加了當(dāng)當(dāng)每滿100-50的活動(dòng), 感興趣的朋友可以關(guān)注下.?

傅里葉級(jí)數(shù)：從向量的角度看函數(shù)

本節(jié)將采用一種全新的視角去看待函數(shù)，把函數(shù)看作是無(wú)窮維向量空間中的一個(gè)向量。這樣，我們就能引入??維向量空間??中的許多運(yùn)算法則，其中一個(gè)重要的運(yùn)算就是向量的內(nèi)積。通過(guò)概念的類(lèi)比，對(duì)兩個(gè)函數(shù)的內(nèi)積運(yùn)算和正交性進(jìn)行定義，并參照向量中標(biāo)準(zhǔn)正交基的相關(guān)概念，引入通過(guò)一組正交基函數(shù)對(duì)一個(gè)連續(xù)函數(shù)進(jìn)行分解的方法。在這種思想方法的引領(lǐng)下，本節(jié)從向量的視角去介紹和講解函數(shù)的傅里葉分析方法，介紹由正余弦函數(shù)組成的正交函數(shù)基，以及周期函數(shù)的傅里葉級(jí)數(shù)求解方法，本節(jié)可以看作是線性代數(shù)理論和工具向函數(shù)空間的拓展，仔細(xì)分析會(huì)發(fā)現(xiàn)向量與函數(shù)的一些思想方法的共通之處。

1. 函數(shù)：無(wú)窮維向量

空間是整個(gè)線性代數(shù)理論與實(shí)踐的核心概念，下面先簡(jiǎn)要地回顧一下向量空間的有關(guān)概念。向量空間??由所有含有??個(gè)成分的列向量所構(gòu)成。例如，??空間中就包含了所有含有??個(gè)成分的列向量?， 因此??空間也稱為是??維空間，在這個(gè)向量空間??中，還定義了向量的加法、標(biāo)量乘法以及內(nèi)積等基本運(yùn)算法則。在這里需要說(shuō)明的是，我們一直所討論的向量空間??是一個(gè)有限維的空間，即向量中的成分個(gè)數(shù)是有限的。而接下來(lái)，我們會(huì)把思路進(jìn)一步的打開(kāi)，將空間的概念從狹義引申到廣義，去探討一下函數(shù)和向量之間的關(guān)聯(lián)。函數(shù)的概念相信讀者并不會(huì)感到陌生，函數(shù)反映的是自變量和因變量之間的一種映射關(guān)系，如果給定自變量元素?，對(duì)他施加映射規(guī)則?，就得到了因變量元素?，即我們所熟悉的表示方法：?。這種看待問(wèn)題的角度來(lái)源于函數(shù)的基本定義，但是從中我們似乎找不到函數(shù)和向量有什么關(guān)聯(lián)。這是因?yàn)閺慕馕鍪降慕嵌热タ创瘮?shù)，關(guān)注的是它的映射規(guī)則。如果從更直接的角度去看待呢？回顧一下繪制一條函數(shù)曲線的過(guò)程，我們會(huì)對(duì)應(yīng)地在坐標(biāo)系中對(duì)各個(gè)自變量的取值進(jìn)行描點(diǎn)，然后將這些點(diǎn)連接成函數(shù)曲線。我們會(huì)發(fā)現(xiàn)：如果自變量的取值越密集，那么所描繪出來(lái)的曲線就越趨近于原始的函數(shù)曲線，當(dāng)??的時(shí)候，通過(guò)描點(diǎn)法繪制出來(lái)的曲線就和真實(shí)的函數(shù)曲線無(wú)異了。此時(shí)，如果對(duì)函數(shù)曲線依照??的間隔進(jìn)行均勻采樣，如圖 7.1 所示，就能得到一組采樣值?，特別地，當(dāng)采樣間隔??的時(shí)候，這一組采樣值就能夠完全地代表這個(gè)函數(shù)了。

圖1. 對(duì)連續(xù)函數(shù)曲線按 的間隔均勻采樣?此時(shí)，如果利用向量工具對(duì)這一組函數(shù)值進(jìn)行表示，即表示為?，它就和函數(shù)很自然的對(duì)應(yīng)了起來(lái)，這是一種返璞歸真的思路和方法。并且最為重要的一點(diǎn)是，由于自變量??和??之間的間距?，因此采樣的個(gè)數(shù)，即向量中的成分個(gè)數(shù)是無(wú)限的，由此又可以說(shuō)：我們成功的把函數(shù)放到了一個(gè)無(wú)窮維的向量空間當(dāng)中去了。建立起了這種對(duì)應(yīng)關(guān)系后，就可以采用向量空間中介紹過(guò)的運(yùn)算法則和相關(guān)概念，來(lái)進(jìn)一步討論構(gòu)建在空間中的函數(shù)運(yùn)算性質(zhì)。

2. 尋找一組正交的基函數(shù)

一旦將函數(shù)看作是無(wú)窮維空間中的向量，那么自然而然的就可以將??維向量空間??中的內(nèi)積定義進(jìn)行遷移。向量的坐標(biāo)基于基底的選取，向量空間??中的任何一個(gè)??維向量??都可以寫(xiě)成??個(gè)基向量??線性組合的形式，即：??，并且這種表示方法是唯一的，我們?cè)诖嘶A(chǔ)上對(duì)向量進(jìn)行進(jìn)一步的變換和分析。如果從向量的角度去審視函數(shù)，我們能否將一個(gè)指定的函數(shù)??寫(xiě)成一組基函數(shù)的組合呢？答案是肯定的，并且正如同基向量的選取有很多種選擇一樣，基函數(shù)也有不同的多種選擇，那么什么樣的基函數(shù)才能稱得上是好的基函數(shù)呢？關(guān)于這一點(diǎn)，我們同樣去從向量空間中尋找答案。在向量空間中，標(biāo)準(zhǔn)正交向量滿足彼此無(wú)關(guān)，且同時(shí)滿足向量為單位長(zhǎng)度的特性，一般使用一組標(biāo)準(zhǔn)正交向量作為基向量，它們性質(zhì)優(yōu)越、操作簡(jiǎn)便。我們以此類(lèi)推，是否也應(yīng)該選取類(lèi)似性質(zhì)的一組函數(shù)作為??在無(wú)窮維向量空間中的基函數(shù)呢？答案是肯定的，下面就讓我們按照這個(gè)思路去尋找和討論。驗(yàn)證兩個(gè)向量是否滿足正交，需要進(jìn)行的是向量的內(nèi)積運(yùn)算，回顧一下兩個(gè)??維向量??和??進(jìn)行內(nèi)積運(yùn)算的運(yùn)算法則：???如果要滿足向量??和向量??之間彼此正交，則他們的內(nèi)積運(yùn)算結(jié)果必須為 0，即：。那么兩個(gè)函數(shù)??和??的內(nèi)積該如何進(jìn)行表示呢？很顯然，由于他們被表示成了向量，直觀上看函數(shù)的內(nèi)積表示形式同向量相比應(yīng)該是一樣的，但是在這里我們需要注意兩個(gè)要點(diǎn)：一方面是參與內(nèi)積運(yùn)算的兩個(gè)向量的維數(shù)都是無(wú)窮的；另一方面它們的采樣間隔都是趨近于 0。因此很自然，離散量的加和運(yùn)算演變成了連續(xù)量的積分運(yùn)算，兩個(gè)無(wú)窮維向量的內(nèi)積運(yùn)算本質(zhì)上就是兩個(gè)函數(shù)乘積的積分(這是微積分里的基本概念，相信讀者不會(huì)感到陌生)，因此，我們可以將函數(shù)??和??的內(nèi)積表示成：??如果積分運(yùn)算的結(jié)果為 0，則表示這兩個(gè)函數(shù)滿足彼此正交的關(guān)系，即有希望被我們選擇作為基函數(shù)。下面來(lái)看一個(gè)實(shí)際的例子，計(jì)算一下我們熟悉的正弦函數(shù)??和余弦函數(shù)??的內(nèi)積，由于他們都是周期為??函數(shù)，因此我們計(jì)算??范圍內(nèi)的積分結(jié)果：代碼如下：from sympy import integrate, cos, sinfrom sympy.abc import ximport numpy as npe = integrate(sin(x)*cos(x), (x, 0, 2*np.pi))print(e.evalf())br運(yùn)行結(jié)果：0從代碼的運(yùn)行結(jié)果中我們可以看到：積分運(yùn)算的結(jié)果為 0，即兩個(gè)函數(shù)的內(nèi)積為 0，說(shuō)明他們彼此之間是滿足正交的，這個(gè)結(jié)果正如我們所期待。但是，僅僅由正弦函數(shù)??和余弦函數(shù)??作為基函數(shù)是遠(yuǎn)遠(yuǎn)不夠的，因?yàn)閺幕蛄康南嚓P(guān)概念中我們知道，?維向量空間??中的任意一個(gè)向量都被表示為空間中??個(gè)基向量的線性組合形式，而我們將函數(shù)視作是無(wú)窮維的向量，因此通過(guò)類(lèi)比可知，我們需要的不是兩個(gè)基函數(shù)，而是一組滿足彼此之間兩兩正交的無(wú)窮序列作為基函數(shù)。正弦函數(shù)和余弦函數(shù)的正交性不僅僅局限在??和??這兩個(gè)函數(shù)，實(shí)質(zhì)上，下面這個(gè)正余弦函數(shù)的無(wú)窮序列兩兩之間都滿足正交性：??類(lèi)似地，這種無(wú)窮序列正是我們想要的，他是針對(duì)函數(shù)這個(gè)無(wú)窮維向量的一組好基。和 滿足正交性的推演過(guò)程并不難，也是通過(guò)驗(yàn)證二者的乘積在 取值范圍內(nèi)的積分是否為 0，具體的計(jì)算過(guò)程我們就不在這里展開(kāi)了，幾個(gè)實(shí)例演算代碼請(qǐng)見(jiàn)書(shū)中所示。通過(guò)程序的運(yùn)行結(jié)果，確實(shí)該序列中的函數(shù)兩兩之間滿足正交的關(guān)系。當(dāng)然了，滿足彼此正交的基函數(shù)不僅僅只有這一種。

3. 周期函數(shù)與傅里葉級(jí)數(shù)

函數(shù)可以分為周期函數(shù)和非周期函數(shù)兩個(gè)大類(lèi)，首先從周期函數(shù)入手去展開(kāi)討論，首先我們從一個(gè)指定周期為??的函數(shù)??開(kāi)始進(jìn)行分析，這是最基本、最典型的一種情況。有了這組由正余弦函數(shù)無(wú)窮序列所構(gòu)成的正交基函數(shù)，我們就可以按照之前的思路對(duì)函數(shù)??進(jìn)行處理，在無(wú)窮維的空間中，在正余弦函數(shù)所構(gòu)成的基上進(jìn)行函數(shù)展開(kāi)，將函數(shù)??寫(xiě)成他們的線性組合的形式：?接著把上面的式子寫(xiě)成展開(kāi)式的形式：?這種級(jí)數(shù)的展開(kāi)形式就是周期為??的函數(shù)??的傅里葉級(jí)數(shù)，這里有幾點(diǎn)需要注意一下：第一：從展開(kāi)式中我們可以看出，周期為??的函數(shù)??被表示成了正弦函數(shù)??和余弦函數(shù)??所構(gòu)成的基函數(shù)的線性組合，并且在通常的情況下，基函數(shù)的個(gè)數(shù)是無(wú)窮多個(gè)。第二：我們確實(shí)是實(shí)現(xiàn)了我們制定的重大目標(biāo)，這一組基函數(shù)是彼此正交的。第三：按照傅里葉級(jí)數(shù)對(duì)函數(shù) 進(jìn)行展開(kāi)的操作，其物理意義是非常重大的。如果我們把函數(shù)??的自變量??替換成?，可能大家會(huì)更加豁然開(kāi)朗。?，我們利用這個(gè)等式建立起了時(shí)域和頻域的橋梁，等式的左側(cè)是關(guān)于時(shí)間 的函數(shù)，而右側(cè)則是一系列不同頻率諧波的疊加，且這些諧波的頻率都是周期函數(shù)??頻率的整數(shù)倍。通過(guò)傅里葉級(jí)數(shù)，很巧妙的拿到了周期函數(shù)用不同頻率諧波疊加的表達(dá)方式，這樣就可以非常直觀的去除掉某個(gè)指定頻率的成分，這在信號(hào)處理的領(lǐng)域中是最為重要也最為基礎(chǔ)的概念。如果我們僅僅是去觀察時(shí)域中的函數(shù)曲線?，想要實(shí)現(xiàn)上述的濾波功能，看似是根本不可能的，而一旦通過(guò)傅里葉級(jí)數(shù)將時(shí)域函數(shù)??轉(zhuǎn)換到頻域當(dāng)中，這個(gè)濾波的過(guò)程就變得相當(dāng)簡(jiǎn)單了。關(guān)于傅里葉級(jí)數(shù)的應(yīng)用我們也就點(diǎn)到為止，如果讀者感興趣，可以去查閱信號(hào)處理的相關(guān)資料。更一般地，如果時(shí)域中的函數(shù)??是任意周期?，那么我們用于傅里葉級(jí)數(shù)展開(kāi)的基頻率就是?(在前面周期為??的例子中，基頻率就是?)，傅里葉級(jí)數(shù)中所有正余弦函數(shù)的頻率都是基頻率的整數(shù)倍，依次為：。最終，對(duì)于周期為??的時(shí)域函數(shù)?，對(duì)他的傅里葉級(jí)數(shù)進(jìn)行一般化的描述，就記作為：?

4. 傅里葉級(jí)數(shù)中的系數(shù)

通過(guò)??這個(gè)重要的式子，我們架起了時(shí)域和頻域之間的聯(lián)通橋梁，從一個(gè)隨著時(shí)間??不斷變化的函數(shù)曲線中提取出了他的頻譜。傅里葉級(jí)數(shù)中的??等稱之為傅里葉系數(shù)，它反映了各個(gè)用來(lái)疊加的諧波幅度，體現(xiàn)了各個(gè)頻率分量在總的信號(hào)中所占的分量。這種級(jí)數(shù)展開(kāi)的形式其實(shí)在我們這本書(shū)的介紹中前前后后已經(jīng)出現(xiàn)了好幾次，并且都是非常重要的關(guān)鍵點(diǎn)，本質(zhì)上都是將待處理的對(duì)象進(jìn)行分解，將其轉(zhuǎn)換到一組選定的正交基上，并且用一些指標(biāo)來(lái)衡量各個(gè)正交基所代表成分的重要性程度。我們一起來(lái)回憶一下前面出現(xiàn)過(guò)的幾種類(lèi)似情況：(1)在主成分分析的過(guò)程中，我們選取的正交基是數(shù)據(jù)協(xié)方差矩陣??的??個(gè)標(biāo)準(zhǔn)正交特征向量，我們利用特征向量所對(duì)應(yīng)的特征值來(lái)衡量他們的優(yōu)先順序；(2)在利用奇異值分解進(jìn)行數(shù)據(jù)壓縮的過(guò)程中，我們把待壓縮的數(shù)據(jù)矩陣寫(xiě)成??的形式，其中展開(kāi)式里每一個(gè)??相乘的結(jié)果都是一個(gè)等維的?形狀的矩陣，并且它們彼此之間都滿足相互正交的關(guān)系，前面的系數(shù)??則是各個(gè)對(duì)應(yīng)矩陣的權(quán)重值。??的不等關(guān)系則依序代表了各個(gè)矩陣片段“重要性”的程度；我們把待分析的對(duì)象分解到了一組基上，這些基的具體形態(tài)各異，它們可以是向量，可以是矩陣，也可以是函數(shù)，而這些基因?yàn)橄嗷フ欢舜藷o(wú)關(guān)，這些彼此無(wú)關(guān)的成分由于其擁有不同的權(quán)重，因此提供給了我們處理具體問(wèn)題的量化依據(jù)。正因?yàn)槿绱?#xff0c;求取傅里葉級(jí)數(shù)的系數(shù)就顯得非常重要，表面上看我們的已知信息并不多，而級(jí)數(shù)卻又是無(wú)窮級(jí)數(shù)，那么這應(yīng)該如何處理呢？實(shí)際上，只需要抓住各個(gè)基函數(shù)彼此之間滿足正交的特性就可以很容易的進(jìn)行處理了，傅里葉級(jí)數(shù)??中的各項(xiàng)除了與自身以外，與其他各項(xiàng)都保持正交，依據(jù)此項(xiàng)特性，對(duì)于任意系數(shù)??而言，我們有：同理，對(duì)于系數(shù) 而言同樣有：?這里的積分運(yùn)算并不太難，我們就不具體推演了，最后我們直接給出傅里葉級(jí)數(shù)系數(shù)的表達(dá)式：由此，我們就求得了傅里葉級(jí)數(shù)的各個(gè)系數(shù)。

5. 非周期函數(shù)與傅里葉變換

討論完了周期函數(shù)，再來(lái)介紹非周期函數(shù)的情況。在周期函數(shù)的傅里葉級(jí)數(shù)中與函數(shù)周期??密切相關(guān)的量就是基頻率?，基函數(shù)中任意一個(gè)正余弦函數(shù)的頻率都是他的整數(shù)倍，這個(gè)我們之前已經(jīng)講過(guò)，換句話說(shuō)，?表示的就是從時(shí)域轉(zhuǎn)換到頻域之后，頻譜中各相鄰頻率的間隔。而我們可以把非周期函數(shù)看做是周期??無(wú)窮大的周期函數(shù)，因此，頻率間隔?，譜線越來(lái)越密，最終由離散譜變成了連續(xù)譜。

6. 思維拓展分析

其實(shí)傅里葉分析的具體細(xì)節(jié)遠(yuǎn)遠(yuǎn)不止這些，想要更深入、更細(xì)致的掌握他還需要花些功夫，當(dāng)然這些細(xì)節(jié)并不是我們本書(shū)的核心重點(diǎn)。本節(jié)主要目的是對(duì)我們的思維進(jìn)行拓展，把線性代數(shù)的一些運(yùn)算方法和處理思想從傳統(tǒng)的向量空間拓展到無(wú)窮維的函數(shù)空間中去。通過(guò)把向量的內(nèi)積、正交等運(yùn)算概念進(jìn)行類(lèi)比引入，實(shí)現(xiàn)對(duì)正交的函數(shù)基的概念定義和方法運(yùn)用，巧妙的連接起時(shí)域和頻域，這非常有助于我們?nèi)ンw會(huì)向量與函數(shù)的共通之處。

向上滑動(dòng)閱覽簡(jiǎn)介及目錄?

本書(shū)以機(jī)器學(xué)習(xí)涉及的線性代數(shù)核心知識(shí)為重點(diǎn)，進(jìn)行新的嘗試和突破：從坐標(biāo)與變換、空間與映射、近似與擬合、相似與特征、降維與壓縮這5個(gè)維度，環(huán)環(huán)相扣地展開(kāi)線性代數(shù)與機(jī)器學(xué)習(xí)算法緊密結(jié)合的核心內(nèi)容。?

第1章 坐標(biāo)與變換：高樓平地起
1.1描述空間的工具：向量 2
1.2基底構(gòu)建一切，基底決定坐標(biāo) 13
1.3矩陣，讓向量動(dòng)起來(lái) 18
1.4矩陣乘向量的新視角：變換基底 27
　第2章 空間與映射：矩陣的靈魂
2.1矩陣：描述空間中的映射 34
2.2追因溯源：逆矩陣和逆映射 42
2.3向量空間和子空間 50
2.4老樹(shù)開(kāi)新花，道破方程組的解 55
　第3章 近似與擬合：真相*近處
3.1投影，尋找距離*近的向量 62
3.2深入剖析*小二乘法的本質(zhì) 69
3.3施密特正交化：尋找**投影基 74
　第4章 相似與特征：**觀察角
4.1相似變換：不同的視角，同一個(gè)變換 80
4.2對(duì)角化：尋找*簡(jiǎn)明的相似矩陣 85
4.3關(guān)鍵要素：特征向量與特征值 89
　第5章 降維與壓縮：抓住主成分
5.1*重要的矩陣：對(duì)稱矩陣 96
5.2數(shù)據(jù)分布的度量 100
5.3利用特征值分解(EVD)進(jìn)行主成分分析(PCA) 103
5.4更通用的利器：奇異值分解(SVD) 111
5.5利用奇異值分解進(jìn)行數(shù)據(jù)降維 116
　第6章 實(shí)踐與應(yīng)用：線代用起來(lái)
6.1SVD在推薦系統(tǒng)中的應(yīng)用 124
6.2利用SVD進(jìn)行彩色圖片壓縮 133
　第7章 函數(shù)與復(fù)數(shù)域：概念的延伸
7.1傅里葉級(jí)數(shù)：從向量的角度看函數(shù) 145
7.2復(fù)數(shù)域中的向量和矩陣 151

總結(jié)

以上是生活随笔為你收集整理的matlab求傅里叶级数展开式_傅里叶级数：从向量的角度看函数的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。