Bloom Filter是由Bloom在1970年提出的一種多哈希函數(shù)映射的快速查找算法。通常應(yīng)用在一些需要快速判斷某個(gè)元素是否屬于集合，但是并不嚴(yán)格要求100%正確的場合。

 

一. 實(shí)例 

　　為了說明Bloom Filter存在的重要意義，舉一個(gè)實(shí)例：

　　假設(shè)要你寫一個(gè)網(wǎng)絡(luò)蜘蛛（web crawler）。由于網(wǎng)絡(luò)間的鏈接錯(cuò)綜復(fù)雜，蜘蛛在網(wǎng)絡(luò)間爬行很可能會(huì)形成“環(huán)”。為了避免形成“環(huán)”，就需要知道蜘蛛已經(jīng)訪問過那些URL。給一個(gè)URL，怎樣知道蜘蛛是否已經(jīng)訪問過呢？稍微想想，就會(huì)有如下幾種方案：

　　1. 將訪問過的URL保存到數(shù)據(jù)庫。

　　2. 用HashSet將訪問過的URL保存起來。那只需接近O(1)的代價(jià)就可以查到一個(gè)URL是否被訪問過了。

　　3. URL經(jīng)過MD5或SHA-1等單向哈希后再保存到HashSet或數(shù)據(jù)庫。

　　4. Bit-Map方法。建立一個(gè)BitSet，將每個(gè)URL經(jīng)過一個(gè)哈希函數(shù)映射到某一位。

　　方法1~3都是將訪問過的URL完整保存，方法4則只標(biāo)記URL的一個(gè)映射位。

 

總結(jié)

以上是生活随笔為你收集整理的BloomFilter——大规模数据处理利器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。