http://www.matrix67.com/blog/archives/333
http://www.cnblogs.com/tangcong/archive/2012/09/10/2679081.html
除了字符串匹配、查找回文串、查找重復(fù)子串等經(jīng)典問(wèn)題以外，日常生活中我們還會(huì)遇到其它一些怪異的字符串問(wèn)題。比如，有時(shí)我們需要知道給定的兩個(gè)字符串“有多像”，換句話說(shuō)兩個(gè)字符串的相似度是多少。1965年，俄國(guó)科學(xué)家Vladimir Levenshtein給字符串相似度做出了一個(gè)明確的定義叫做Levenshtein距離，我們通常叫它“編輯距離”。字符串A到B的編輯距離是指，只用插入、刪除和替換三種操作，最少需要多少步可以把A變成B。例如，從FAME到GATE需要兩步（兩次替換），從GAME到ACM則需要三步（刪除G和E再添加C）。Levenshtein給出了編輯距離的一般求法，就是大家都非常熟悉的經(jīng)典動(dòng)態(tài)規(guī)劃問(wèn)題。
????在自然語(yǔ)言處理中，這個(gè)概念非常重要，例如我們可以根據(jù)這個(gè)定義開(kāi)發(fā)出一套半自動(dòng)的校對(duì)系統(tǒng)：查找出一篇文章里所有不在字典里的單詞，然后對(duì)于每個(gè)單詞，列出字典里與它的Levenshtein距離小于某個(gè)數(shù)n的單詞，讓用戶選擇正確的那一個(gè)。n通常取到2或者3，或者更好地，取該單詞長(zhǎng)度的1/4等等。這個(gè)想法倒不錯(cuò)，但算法的效率成了新的難題：查字典好辦，建一個(gè)Trie樹即可；但怎樣才能快速在字典里找出最相近的單詞呢？這個(gè)問(wèn)題難就難在，Levenshtein的定義可以是單詞任意位置上的操作，似乎不遍歷字典是不可能完成的。現(xiàn)在很多軟件都有拼寫檢查的功能，提出更正建議的速度是很快的。它們到底是怎么做的呢？1973年，Burkhard和Keller提出的BK樹有效地解決了這個(gè)問(wèn)題。這個(gè)數(shù)據(jù)結(jié)構(gòu)強(qiáng)就強(qiáng)在，它初步解決了一個(gè)看似不可能的問(wèn)題，而其原理非常簡(jiǎn)單。
????首先，我們觀察Levenshtein距離的性質(zhì)。令d(x,y)表示字符串x到y(tǒng)的Levenshtein距離，那么顯然：
1. d(x,y) = 0 當(dāng)且僅當(dāng) x=y??（Levenshtein距離為0 <==> 字符串相等）
2. d(x,y) = d(y,x)???? （從x變到y(tǒng)的最少步數(shù)就是從y變到x的最少步數(shù)）
3. d(x,y) + d(y,z) >= d(x,z)??（從x變到z所需的步數(shù)不會(huì)超過(guò)x先變成y再變成z的步數(shù)）
????最后這一個(gè)性質(zhì)叫做三角形不等式。就好像一個(gè)三角形一樣，兩邊之和必然大于第三邊。給某個(gè)集合內(nèi)的元素定義一個(gè)二元的“距離函數(shù)”，如果這個(gè)距離函數(shù)同時(shí)滿足上面說(shuō)的三個(gè)性質(zhì)，我們就稱它為“度量空間”。我們的三維空間就是一個(gè)典型的度量空間，它的距離函數(shù)就是點(diǎn)對(duì)的直線距離。度量空間還有很多，比如Manhattan距離，圖論中的最短路，當(dāng)然還有這里提到的Levenshtein距離。就好像并查集對(duì)所有等價(jià)關(guān)系都適用一樣，BK樹可以用于任何一個(gè)度量空間。
????建樹的過(guò)程有些類似于Trie。首先我們隨便找一個(gè)單詞作為根（比如GAME）。以后插入一個(gè)單詞時(shí)首先計(jì)算單詞與根的Levenshtein距離：如果這個(gè)距離值是該節(jié)點(diǎn)處頭一次出現(xiàn)，建立一個(gè)新的兒子節(jié)點(diǎn)；否則沿著對(duì)應(yīng)的邊遞歸下去。例如，我們插入單詞FAME，它與GAME的距離為1，于是新建一個(gè)兒子，連一條標(biāo)號(hào)為1的邊；下一次插入GAIN，算得它與GAME的距離為2，于是放在編號(hào)為2的邊下。再下次我們插入GATE，它與GAME距離為1，于是沿著那條編號(hào)為1的邊下去，遞歸地插入到FAME所在子樹；GATE與FAME的距離為2，于是把GATE放在FAME節(jié)點(diǎn)下，邊的編號(hào)為2。
??????
????查詢操作異常方便。如果我們需要返回與錯(cuò)誤單詞距離不超過(guò)n的單詞，這個(gè)錯(cuò)誤單詞與樹根所對(duì)應(yīng)的單詞距離為d，那么接下來(lái)我們只需要遞歸地考慮編號(hào)在d-n到d+n范圍內(nèi)的邊所連接的子樹。由于n通常很小，因此每次與某個(gè)節(jié)點(diǎn)進(jìn)行比較時(shí)都可以排除很多子樹。
????舉個(gè)例子，假如我們輸入一個(gè)GAIE，程序發(fā)現(xiàn)它不在字典中。現(xiàn)在，我們想返回字典中所有與GAIE距離為1的單詞。我們首先將GAIE與樹根進(jìn)行比較，得到的距離d=1。由于Levenshtein距離滿足三角形不等式，因此現(xiàn)在所有離GAME距離超過(guò)2的單詞全部可以排除了。比如，以AIM為根的子樹到GAME的距離都是3，而GAME和GAIE之間的距離是1，那么AIM及其子樹到GAIE的距離至少都是2。于是，現(xiàn)在程序只需要沿著標(biāo)號(hào)范圍在1-1到1+1里的邊繼續(xù)走下去。我們繼續(xù)計(jì)算GAIE和FAME的距離，發(fā)現(xiàn)它為2，于是繼續(xù)沿標(biāo)號(hào)在1和3之間的邊前進(jìn)。遍歷結(jié)束后回到GAME的第二個(gè)節(jié)點(diǎn)，發(fā)現(xiàn)GAIE和GAIN距離為1，輸出GAIN并繼續(xù)沿編號(hào)為1或2的邊遞歸下去（那條編號(hào)為4的邊連接的子樹又被排除掉了）……
????實(shí)踐表明，一次查詢所遍歷的節(jié)點(diǎn)不會(huì)超過(guò)所有節(jié)點(diǎn)的5%到8%，兩次查詢則一般不會(huì)17-25%，效率遠(yuǎn)遠(yuǎn)超過(guò)暴力枚舉。適當(dāng)進(jìn)行緩存，減小Levenshtein距離常數(shù)n可以使算法效率更高。
#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include<iostream>
#include<vector>
#include<string>
#include<math.h>
#include<map>
#include<set>
#include<stack>
#include<queue>
#include<algorithm>
using namespace std;int dp[40][40];
char s1[100], s2[100], st[10010][30];
const int inf = 0x7f7f7f7f;
//數(shù)據(jù)結(jié)構(gòu)定義
struct node
{char word[30]; //當(dāng)前結(jié)點(diǎn)值node *next[30];
}root;node p[100000];
int num, flag, vnum, fuck;
map<string,int>mp;int f[100000];void init( )
{for( int i = 0; i < 40; i++)for( int j = 0; j < 40; j++)dp[i][j] = inf;
}int diff( char *s1, char *s2)
{init();int x = strlen(s1+1);int y = strlen(s2+1);for( int i = 0; i <= x; i++)dp[i][0] = i;for( int j = 0; j <= y; j++)dp[0][j] = j;for( int i = 1; i <= x; i++){for( int j = 1; j <= y; j++){dp[i][j] = min(min(dp[i-1][j]+1, dp[i][j-1]+1), dp[i-1][j-1]+ !(s1[i]==s2[j]) );} }return dp[x][y];
} //建樹
void insert(node *q, char *str)
{node *l = q;while( l ){int dis = diff( l->word, str);if( ! l->next[dis] ){l->next[dis] = &p[num++];strcpy(l->next[dis]->word + 1, str + 1);break;}l = l->next[dis]; }
}//查找與單詞相差不大于d的單詞
void sfind(node *q, char *str, int d)
{if( flag ) return ;node *l = q;if( l == NULL )return;int dis = diff(str, l->word);if( dis <= d ){fuck++;}for( int x = dis-d; x <= dis+d; x++){ if( x >= 0 && x <= 20 && l->next[x] )sfind(l->next[x], str, d); }}int main( )
{int N, M, d, cnt, T, abc = 1;char str[1000];scanf("%d",&T);while( T-- ){scanf("%d%d",&N,&M);memset(p,0,sizeof(p));for( int i = 0; i < 30; i++)root.next[i] = NULL;num = 0;int cnum = 1;strcpy(st[0] + 1, root.word+1);for( int i = 1; i <= N; i++){scanf("%s",st[i]+1);insert(&root, st[i]);}d = 1;printf("Case #%d:\n", abc++);for( int i = 1; i <= M; i++){vnum = 0;flag = 0;fuck = 0;scanf("%s%d",str+1, &d);sfind(&root, str, d); printf("%d\n", fuck);}}return 0;
}
自己寫的版本，比較容易理解
#include <iostream>
#include <vector>
#include <string>
#include <fstream>
#include <stdlib.h>
#include <string.h>
#include <math.h>
#include <sstream>
#include <set>
#include <algorithm>using namespace std;
#define MAXEDIT 15
class node {
public:string word;node *next[MAXEDIT];node() {memset(next, 0, sizeof(next));}
};string split(const string& str) {size_t pos = str.find(" ||| ");return str.substr(0, pos);
}bool isalpha(const string& str) {for (int i = 0; i < str.size(); ++i) {if (!(str[i]>='a' && str[i] <='z' || str[i]>='A' && str[i] <='Z' )) return false;}return true;
}int minTri(int a, int b, int c) {int rst = a;if (rst > b) rst = b;if (rst > c) rst = c;return rst;
}int editDist(const string &str1, const string &str2) {vector<vector<int> > mat(str1.size() + 1, vector<int>(str2.size() +1, 0));for (int i = 1; i < str1.size(); ++i) mat[i][0] = i;for (int i = 1; i < str2.size(); ++i) mat[0][i] = i;for (int i = 1; i <= str1.size(); ++i) {for (int j = 1; j <= str2.size(); ++j) {int cost = 1;if (str1[i-1] == str2[j-1]) cost = 0;mat[i][j] = minTri(mat[i-1][j-1]+cost, mat[i-1][j] + 1, mat[i][j-1] + 1);}}return mat[str1.size()][str2.size()];
}void insert(node* head, const string& str) {node *tmp = head;while (tmp) {int dis = editDist(tmp->word, str);if (dis == 0 || dis >= MAXEDIT) return;if (tmp->next[dis]) tmp = tmp->next[dis];else {tmp->next[dis] = new node();tmp->next[dis]->word = str;break;}}}void buildKDTree(node *head, const vector<string>& ls) {for (int i = 0; i < ls.size(); ++i) {insert(head, ls[i]);}
}void freeKDTree(node* head) {for (int i = 0; i < MAXEDIT; ++i) {if (head->next[i]) {freeKDTree(head->next[i]);delete head->next[i];head->next[i] = NULL;}}
}void findN(node *head, const string & str,vector<pair<string,int> >& rst, int n) {int d = editDist(head->word, str);if (d <= n && d != 0) {rst.push_back(make_pair(head->word,d));}int minR = max(1, d - n);int maxR = min(MAXEDIT-1, d + n);for (int i = minR; i <= maxR; ++i) {if (head->next[i]) {findN(head->next[i], str, rst, n);}}
}bool Cmp(const pair<string, int>& p1, const pair<string, int> &p2) {return p1.second < p2.second;
}int main(int argc, char *argv[]) {if (argc != 3) {cout << "input output"<<endl;return -1;}ifstream fin(argv[1]);ofstream fo(argv[2]);string line;set<string> st;while(getline(fin, line)) {string word = split(line);if (isalpha(word) && word.size() > 1)st.insert(word);}vector<string> ls(st.size());set<string>::iterator it = st.begin();int i = 0;for(; it != st.end(); ++it)ls[i++] = *it;node head;head.word = ls[0];buildKDTree(&head, ls);for (i = 0; i < ls.size();++i) {if ((i+1)%5000 ==0) cout << i+1<<endl;vector<pair<string, int> > rst;int dist = min((int)ls[i].size()/2, 3);findN(&head, ls[i], rst, dist);ostringstream ostr;ostr<<ls[i]<<"\t";sort(rst.begin(), rst.end(), Cmp);for (int j = 0; j < rst.size(); ++j) {ostr<<rst[j].first<<" ";}fo<<ostr.str()<<endl;}freeKDTree(&head);fin.close();fo.close();system("pause");return 0;
}
實(shí)際效果比之前寫的多線程暴力慢多了.......
總結(jié)
以上是生活随笔為你收集整理的HDU 4323 bk树 编辑距离的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。
