向量的范数
有時(shí)我們需要衡量一個(gè)向量的大小,這機(jī)器學(xué)習(xí)中,我們經(jīng)常使用范數(shù)來衡量向量大小。LpL^pLp范數(shù)定義為:
∥x∥p=(∑i∣xi∣p)1p\|x\|_p=(\sum_i|x_i|^p)^{\frac{1}{p}} ∥x∥p?=(i∑?∣xi?∣p)p1?
其中p∈R,p?1p \in R,p \geqslant 1p∈R,p?1
我們討論幾個(gè)特殊的范數(shù)。
L2L^2L2范數(shù)又被稱為歐幾里得范數(shù),表示從原點(diǎn)出發(fā)到向量xxx確定的點(diǎn)的歐幾里得距離。L2L^2L2范數(shù)在機(jī)器學(xué)習(xí)中出現(xiàn)的非常的多,經(jīng)常簡化表示為∥x∥\|x\|∥x∥。
L2L^2L2范數(shù)的平方也經(jīng)常使用,它的計(jì)算更為方便。
在某些機(jī)器學(xué)習(xí)應(yīng)用中,區(qū)分元素是0還是非0小值非常重要,這時(shí)候我們會(huì)使用L1L^1L1,即
∥x∥1=∑i∣xi∣\|x\|_1 = \sum_i|x_i| ∥x∥1?=i∑?∣xi?∣
有時(shí)候我們會(huì)統(tǒng)計(jì)向量中非0元素的個(gè)數(shù)來衡量元素的大小,有些人將這種函數(shù)稱為L0L^0L0范數(shù)。
還有一個(gè)在機(jī)器學(xué)習(xí)種經(jīng)常出現(xiàn)的范數(shù)為L∞L^ \inftyL∞范數(shù),也成為max范數(shù),它表示向量中具有最大幅度的元素的絕對值:
∥x∥∞=max?i∣xi∣\|x\|_\infty = \max_i|x_i| ∥x∥∞?=imax?∣xi?∣
有時(shí)候,我們需要衡量矩陣的大小,最常用的是Frobenius范數(shù):
∥A∥F=∑ijAi,j2\|A\|_F = \sqrt{\sum_{ij}A_{i,j}^2} ∥A∥F?=ij∑?Ai,j2??
總結(jié)
- 上一篇: 机器学习中的向量
- 下一篇: 特征分解与奇异值分解