前言

小夕為什么要講線性代數(shù)呢？因?yàn)橛腥艘呀?jīng)做了機(jī)器學(xué)習(xí)一段時(shí)間了，竟然認(rèn)為矩陣就是用來(lái)存儲(chǔ)數(shù)據(jù)的。小夕表示非常震驚。

而深刻透徹的理解核函數(shù)、PCA、LSI、譜聚類(lèi)等以空間映射為理論核心的機(jī)器學(xué)習(xí)理論時(shí)，靠大學(xué)里教的那一套線性代數(shù)，很有可能是悲劇的（小夕所在的本科學(xué)校，數(shù)學(xué)專(zhuān)業(yè)全國(guó)top5，還是大牛的老師教的線性代數(shù)，然而小夕依然覺(jué)得學(xué)了假線性代數(shù)，心塞）

因此，在對(duì)國(guó)內(nèi)高等教育不信任的基礎(chǔ)上，小夕還是決定自己寫(xiě)文章講點(diǎn)線代，以免讓大家對(duì)以后小夕寫(xiě)的更高深的機(jī)器學(xué)習(xí)知識(shí)產(chǎn)生瓶頸式理解困難（雖然小夕的數(shù)學(xué)很渣很渣）。

?

但是注意，閱讀本系列文章，最好已經(jīng)有線性代數(shù)的基礎(chǔ)了，比如最起碼要知道矩陣看起來(lái)是什么樣子，矩陣相乘是怎么乘的之類(lèi)的。然后如果你雖然知道它們看起來(lái)的樣子，卻并不知道它們是什么意思，那么相信本系列文章會(huì)讓您有所收獲嗒。

?

注意！以下講解線性代數(shù)的時(shí)候，小夕有時(shí)會(huì)建模到很多機(jī)器學(xué)習(xí)問(wèn)題中，但是完全依賴(lài)線性代數(shù)解決機(jī)器學(xué)習(xí)問(wèn)題的話，解決方案注定是極其簡(jiǎn)化的模型！它可以幫助你理解線性代數(shù)，但是其本身的工程價(jià)值很小！但是它還是后續(xù)很多高端算法的基礎(chǔ)甚至原型！所以在本系列文章里不要太糾結(jié)工程上的可行性或者實(shí)用性啦。

?

為了提高大家的空間想象能力、思維抽象能力，小夕在這篇文章中盡量不畫(huà)圖（不要拆穿真實(shí)的原因是小夕比較懶\(zhòng)(//?//)\）

好啦，啰嗦了好多，正式開(kāi)始！

所謂矩陣

?

想象一下，你操縱著兩個(gè)空間，一個(gè)是無(wú)邊界的三維實(shí)數(shù)空間A，一個(gè)是無(wú)邊界的二維實(shí)數(shù)空間B。然后你想建立一個(gè)橋梁，將這兩個(gè)空間連接起來(lái)。這個(gè)橋梁可以將空間A的任意的點(diǎn)映射到空間B的某個(gè)點(diǎn)上。那么這個(gè)橋梁該如何表示呢？

?

沒(méi)錯(cuò)！就是矩陣！矩陣就是映射！

?

舉個(gè)最最簡(jiǎn)單的栗子。

?

空間A的任何一個(gè)點(diǎn)a一定是3個(gè)維度吧，設(shè)為a={a1,a2,a3}。空間B的任何一個(gè)點(diǎn)一定是2個(gè)維度吧，設(shè)為b={b1,b2}。那么如何將空間A的a點(diǎn)映射成空間B的某點(diǎn)b呢？

?

只需要建造一個(gè)叫做矩陣的橋梁，這個(gè)橋梁只需要滿足維度是3*2就可以了，也就是3行2列。比如這個(gè)矩陣是。那么作為1*3維度的行向量a，乘以矩陣C后就成了1*2維度的行向量，也就是B空間的一個(gè)點(diǎn)（忘了矩陣乘法的見(jiàn)下文或者Google一下）。而不同的3*2矩陣就對(duì)應(yīng)著不同的映射規(guī)則，會(huì)將A空間的同一個(gè)點(diǎn)a映射到B空間的不同位置。但是它們都是連通A與B的橋梁。

何為矩陣運(yùn)算

有人學(xué)線代的時(shí)候問(wèn)，矩陣乘法怎么這么麻煩！矩陣的逆運(yùn)算就更加麻煩到爆了啊！然而他們有什么用呢？老師讓我們學(xué)會(huì)做這些運(yùn)算干什么？

?

這都是有原因的，只不過(guò)國(guó)內(nèi)教材的悲劇就在于空講知識(shí)不講前因后果（莫非作者自己都不知道前因后果？）。跟著小夕一點(diǎn)點(diǎn)來(lái)~

?

下面是課本的講解：

矩陣加法就是，對(duì)于一個(gè)矩陣和一個(gè)矩陣，A+B就是

矩陣乘法就是，對(duì)于一個(gè)維度為i*j的矩陣A和一個(gè)維度為j*k的矩陣B，A*B就是將A中的每行分別點(diǎn)積B中的每列（點(diǎn)積就是將兩個(gè)向量的每個(gè)位置的元素進(jìn)行相乘后，再將每個(gè)位置的相乘結(jié)果累加的運(yùn)算），因此得到一個(gè)維度為i*k的矩陣C。

?

矩陣的逆就是。。。手算太難了啊~假如我們已經(jīng)算出來(lái)了矩陣A的逆是矩陣B，那么一定有A*B=I。其中I就是單位矩陣（對(duì)角線元素為1，其他元素為0的矩陣，更準(zhǔn)確定義見(jiàn)下文）

?

然后是小夕的補(bǔ)充：?

矩陣的加法就是映射規(guī)則的調(diào)整。矩陣A+矩陣B就可以看作，用B中各個(gè)元素的值去調(diào)整A這個(gè)映射規(guī)則！

?

矩陣的乘法是什么？就是代表著線性映射的疊加！比如，我們已知如何從X空間映射到Z空間了，也知道如何從Z空間映射到Y(jié)空間了。然而，恰好我們的機(jī)器學(xué)習(xí)樣本就是在X空間！樣本的類(lèi)別恰好就在Y空間！怎么將樣本映射成標(biāo)簽?zāi)?#xff1f;

?

沒(méi)錯(cuò)，X映射到Z（記為X->Z）的規(guī)則就是一個(gè)矩陣A，Z->Y就是一個(gè)矩陣B，所以若要X->Y，那么就是A*B的結(jié)果。這就是矩陣乘法。

?

矩陣逆運(yùn)算是什么呢？就是映射的逆映射啊~比如在一個(gè)機(jī)器翻譯問(wèn)題中，源語(yǔ)言在X空間，目標(biāo)語(yǔ)言在Y空間，我們通過(guò)訓(xùn)練知道了如何從X空間映射成Y空間了，就是通過(guò)訓(xùn)練得到的矩陣A。那么我們?nèi)绾畏聪蚍g呢？那就是求A的逆矩陣就可以了，完全無(wú)需再反向重新訓(xùn)練。

?

它們?yōu)槭裁刺厥?/p>

?

還有同學(xué)不知道我們?yōu)槭裁匆獑为?dú)的討論一些特殊的矩陣，比如零矩陣，單位矩陣，對(duì)角矩陣等。

?

課本上學(xué)過(guò)了：

零矩陣就是所有元素都是0的矩陣，如；

?

單位矩陣就是對(duì)角元素都是1，其余元素都是0的方陣，如；

?

對(duì)角矩陣就是非對(duì)角元素全為0的矩陣。如。

?

然后是小夕的補(bǔ)充：?

零矩陣就是將任何空間映射成原點(diǎn)的矩陣。所以，某個(gè)空間的所有的點(diǎn)，一旦被吸入零矩陣的映射規(guī)則后，就像被吸進(jìn)黑洞一樣吸到原點(diǎn)。

?

注意，兩個(gè)非零矩陣的線性映射疊加后（矩陣相乘后），完全可能變成零矩陣。也就是說(shuō)變成一個(gè)黑洞，比如乘以后，就成了，即一個(gè)黑洞（零矩陣）。

?

單位矩陣就是將空間映射成自己的矩陣！有同學(xué)疑惑，為什么單位矩陣不是所有元素都是1的矩陣呢？正是因?yàn)榫仃嚲褪怯成?#xff0c;單位矩陣的意義是將空間映射成自己，因此單位矩陣才是這個(gè)樣子的。如果你讓一個(gè)矩陣的所有的元素都是1，那么空間經(jīng)過(guò)這個(gè)假單位矩陣的映射后，就不再是原來(lái)的空間了！（原來(lái)空間上的大部分點(diǎn)都不再位于它原來(lái)的位置了，也就是說(shuō)被映射到了新的空間中，雖然新空間和舊空間的維數(shù)一樣）

?

對(duì)角矩陣就是將原空間的各個(gè)坐標(biāo)軸進(jìn)行不同尺度的拉伸或擠壓后生成新空間的矩陣！比如任何一個(gè)二維空間乘上一個(gè)對(duì)角矩陣后，這個(gè)空間的第一個(gè)維度的坐標(biāo)軸一定會(huì)縮短為原來(lái)的一半！第二個(gè)維度的坐標(biāo)軸一定會(huì)膨脹成原來(lái)的兩倍！所以比如這個(gè)二維空間中原來(lái)的點(diǎn)(2,2)經(jīng)過(guò)這個(gè)對(duì)角矩陣的映射后，會(huì)變成(1,4)，看，是不是這樣子！

?

為什么要分塊？

?

還有分塊矩陣，很多人也不理解有什么用。

?

課本上愛(ài)這樣講分塊矩陣：?

分塊矩陣就是將一個(gè)大矩陣用橫線和豎線分成好幾塊，這樣就得到了好幾個(gè)子矩陣。然后當(dāng)大矩陣參與運(yùn)算時(shí)，就可以讓這些子矩陣分別參與運(yùn)算。

?

小夕的補(bǔ)充：

分塊矩陣對(duì)應(yīng)的算法思想就是分治！一個(gè)很重要的應(yīng)用就是并行化矩陣運(yùn)算，這也是深度學(xué)習(xí)中離不開(kāi)的底層運(yùn)算。

設(shè)想，一個(gè)10000*10000維的超大矩陣再乘以一個(gè)10000*20000維的超大矩陣，如果讓一個(gè)單核CPU去計(jì)算的話，那會(huì)累壞它的。我們知道，在深度學(xué)習(xí)任務(wù)中，由于參數(shù)非常多，數(shù)據(jù)維數(shù)也經(jīng)常很高，因此大矩陣運(yùn)算就是家常便飯。而我們還知道，深度學(xué)習(xí)任務(wù)喜歡用GPU去訓(xùn)練，為什么呢？一個(gè)很重要的原因就是GPU的“核”太多啦！經(jīng)常幾百幾千，甚至幾萬(wàn)核。因此，在深度學(xué)習(xí)中，通過(guò)將大矩陣分塊，分成好多好多塊，再將這些小塊丟進(jìn)GPU的成千上萬(wàn)的核里并行計(jì)算，那么這個(gè)大矩陣的運(yùn)算瞬間就完成了！

?

如果沒(méi)有大一你學(xué)到的矩陣分塊這個(gè)姿勢(shì)，那么讓你寫(xiě)深度學(xué)習(xí)背后的科學(xué)計(jì)算包的話，你將一個(gè)大矩陣丟給CPU的一個(gè)核去計(jì)算那不得被上司罵死啦。

?

總結(jié)一下。矩陣的本質(zhì)就是描述空間的映射，因此它就可以看作一個(gè)函數(shù)，接收一個(gè)空間作為輸入，輸出一個(gè)映射后的新空間。

總結(jié)

以上是生活随笔為你收集整理的线性代数应该这样讲（一）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。