浅谈局部敏感哈希LSH
思想
局部敏感哈希的基木思想是通過一組哈希函數(shù),把相似的數(shù)據(jù)對象哈希到相同的哈希桶中,使得越相似的數(shù)據(jù)對象被哈希到相同桶中的概率越高。在查詢時,查詢的對象經(jīng)過相同的哈希函數(shù)哈希到某些哈希桶中,這些桶中的數(shù)據(jù)對象構(gòu)成候選集,這就過濾掉大量的相似概率很低的數(shù)據(jù)對象。接著對候選集中的數(shù)據(jù)項逐一計算與查詢項的精確距離或相似度,驗證其與查詢項之間的相似性。該框架稱為過濾驗證框架(Filter-and-Refine Framework)。局部敏感哈希通過把相似的數(shù)據(jù)對象哈希到哈希桶中,避免了查詢對象與所有數(shù)據(jù)對象的逐個比較,提高了查詢的效率;同時通過少量的精確計算完成相似性的驗證,保證查詢結(jié)果的準(zhǔn)確性。
在哈希桶的構(gòu)造過程中也會出現(xiàn)將不相似的元素裝入桶中,而將真正相似的元素排外的情況,這就要求哈希的構(gòu)造過程是多次的,而不是說一次完成的。
改善LSH的查詢質(zhì)量的方法
1.使用AND構(gòu)造
2.使用OR構(gòu)造
局部敏感哈希的種類
1.Minhash
2.Simhash
3.基于p-穩(wěn)態(tài)的哈希函數(shù)族
LSH缺點
LSH成功地將高維向量的相似性轉(zhuǎn)化為低維空間的近似相似性問題,盡可能的降低數(shù)據(jù)的損失保證了數(shù)據(jù)在低維空間的相似性。但是數(shù)據(jù)量巨大的時候,為了得到高質(zhì)量的查詢結(jié)果,所需的數(shù)據(jù)維度依舊是很大的,同時還需要消耗掉大量的存儲空間來維持哈希表
總結(jié)
以上是生活随笔為你收集整理的浅谈局部敏感哈希LSH的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 第一套人民币价格一览表及图片(第一套人民
- 下一篇: CDCE913产生任意频率