结构化矩阵
十歲的小男孩
本文為終端移植的一個(gè)小章節(jié)。
Define:
如果一個(gè)m×n階矩陣只需要少于m×n個(gè)參數(shù)來描述,就是一個(gè)結(jié)構(gòu)化矩陣(structured matrix)。
優(yōu)點(diǎn):
不僅能減少內(nèi)存消耗,還能通過快速的矩陣-向量乘法和梯度計(jì)算顯著加快推理和訓(xùn)練的速度。
缺點(diǎn):
1.結(jié)構(gòu)約束會(huì)導(dǎo)致精確度的損失,因?yàn)榧s束可能會(huì)給模型帶來偏差;
2.如何找到一個(gè)合適的結(jié)構(gòu)矩陣是困難的;
3.沒有理論的方法來推導(dǎo)出來;
綜上:
因而該方法沒有廣泛推廣。
知識(shí)應(yīng)該是開源的,歡迎斧正,929994365@qq.com
轉(zhuǎn)載于:https://www.cnblogs.com/missidiot/p/9915676.html
與50位技術(shù)專家面對(duì)面20年技術(shù)見證,附贈(zèng)技術(shù)全景圖總結(jié)
- 上一篇: 弯头放样出图500的弯头
- 下一篇: backreference Oracle