目錄

0.范數(shù)的定義

1.L-P范數(shù)?

2.L0范數(shù)?

3.L1范數(shù)?

4.L2范數(shù)?

5.?范數(shù)

---

0.范數(shù)的定義

我們知道距離的定義是一個(gè)寬泛的概念，只要滿足非負(fù)、自反、三角不等式就可以稱之為距離。范數(shù)是一種強(qiáng)化了的距離概念，它在定義上比距離多了一條數(shù)乘的運(yùn)算法則。有時(shí)候?yàn)榱吮阌诶斫?#xff0c;我們可以把范數(shù)當(dāng)作距離來(lái)理解。

在數(shù)學(xué)上，范數(shù)包括向量范數(shù)和矩陣范數(shù)，向量范數(shù)表征向量空間中向量的大小，矩陣范數(shù)表征矩陣引起變化的大小。一種非嚴(yán)密的解釋就是，對(duì)應(yīng)向量范數(shù)，向量空間中的向量都是有大小的，這個(gè)大小如何度量，就是用范數(shù)來(lái)度量的，不同的范數(shù)都可以來(lái)度量這個(gè)大小，就好比米和尺都可以來(lái)度量遠(yuǎn)近一樣；對(duì)于矩陣范數(shù)，學(xué)過(guò)線性代數(shù)，我們知道，通過(guò)運(yùn)算AX=B，可以將向量X變化為B，矩陣范數(shù)就是來(lái)度量這個(gè)變化大小的。

這里簡(jiǎn)單地介紹以下幾種向量范數(shù)的定義和含義?

1.L-P范數(shù)?

與閔可夫斯基距離的定義一樣，L-P范數(shù)不是一個(gè)范數(shù)，而是一組范數(shù)，其定義如下：?

根據(jù)P 的變化，范數(shù)也有著不同的變化，一個(gè)經(jīng)典的有關(guān)P范數(shù)的變化圖如下：?
??
上圖表示了p從無(wú)窮到0變化時(shí)，三維空間中到原點(diǎn)的距離（范數(shù)）為1的點(diǎn)構(gòu)成的圖形的變化情況。以常見(jiàn)的L-2范數(shù)（p=2）為例，此時(shí)的范數(shù)也即歐氏距離，空間中到原點(diǎn)的歐氏距離為1的點(diǎn)構(gòu)成了一個(gè)球面。

?

實(shí)際上，在0時(shí)，Lp并不滿足三角不等式的性質(zhì)，也就不是嚴(yán)格意義下的范數(shù)。以p=0.5，二維坐標(biāo)(1,4)、(4,1)、(1,9)為例，。因此這里的L-P范數(shù)只是一個(gè)概念上的寬泛說(shuō)法。

2.L0范數(shù)?

當(dāng)P=0時(shí)，也就是L0范數(shù)，由上面可知，L0范數(shù)并不是一個(gè)真正的范數(shù)，它主要被用來(lái)度量向量中非零元素的個(gè)數(shù)。用上面的L-P定義可以得到的L-0的定義為：?

這里就有點(diǎn)問(wèn)題了，我們知道非零元素的零次方為1，但零的零次方，非零數(shù)開零次方都是什么鬼，很不好說(shuō)明L0的意義，所以在通常情況下，大家都用的是：?

表示向量?x?中非零元素的個(gè)數(shù)。

對(duì)于L0范數(shù)，其優(yōu)化問(wèn)題為：?

s.t. Ax=b?

在實(shí)際應(yīng)用中，由于L0范數(shù)本身不容易有一個(gè)好的數(shù)學(xué)表示形式，給出上面問(wèn)題的形式化表示是一個(gè)很難的問(wèn)題，故被人認(rèn)為是一個(gè)NP難問(wèn)題。所以在實(shí)際情況中，L0的最優(yōu)問(wèn)題會(huì)被放寬到L1或L2下的最優(yōu)化。

?

3.L1范數(shù)?

L1范數(shù)是我們經(jīng)常見(jiàn)到的一種范數(shù)，它的定義如下：?

?

表示向量?x?中非零元素的絕對(duì)值之和。

?

L1范數(shù)有很多的名字，例如我們熟悉的曼哈頓距離、最小絕對(duì)誤差等。使用L1范數(shù)可以度量?jī)蓚€(gè)向量間的差異，如絕對(duì)誤差和（Sum of Absolute Difference）：?

對(duì)于L1范數(shù)，它的優(yōu)化問(wèn)題如下：?

由于L1范數(shù)的天然性質(zhì)，對(duì)L1優(yōu)化的解是一個(gè)稀疏解，因此L1范數(shù)也被叫做稀疏規(guī)則算子。通過(guò)L1可以實(shí)現(xiàn)特征的稀疏，去掉一些沒(méi)有信息的特征，例如在對(duì)用戶的電影愛(ài)好做分類的時(shí)候，用戶有100個(gè)特征，可能只有十幾個(gè)特征是對(duì)分類有用的，大部分特征如身高體重等可能都是無(wú)用的，利用L1范數(shù)就可以過(guò)濾掉。

?

4.L2范數(shù)?

L2范數(shù)是我們最常見(jiàn)最常用的范數(shù)了，我們用的最多的度量距離歐氏距離就是一種L2范數(shù)，它的定義如下：?

表示向量元素的平方和再開平方。?
像L1范數(shù)一樣，L2也可以度量?jī)蓚€(gè)向量間的差異，如平方差和（Sum of Squared Difference）:?

?

對(duì)于L2范數(shù)，它的優(yōu)化問(wèn)題如下：?

?

L2范數(shù)通常會(huì)被用來(lái)做優(yōu)化目標(biāo)函數(shù)的正則化項(xiàng)，防止模型為了迎合訓(xùn)練集而過(guò)于復(fù)雜造成過(guò)擬合的情況，從而提高模型的泛化能力。

?

?

5.范數(shù)

?

當(dāng)時(shí)，也就是范數(shù)，它主要被用來(lái)度量向量元素的最大值，與L0一樣，通常情況下表示為?

來(lái)表示

總結(jié)

以上是生活随笔為你收集整理的【数论】范数（norm）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。