原文連接

1.為什么使用wordPiece？

在BERT中，做數據預處理的時候，使用了wordPiece，所謂的wordPiece其實是把word再進一步的拆分，拆分為piece，得到更細粒度。而為什么使用wordPiece 而不直接使用word？比如如"loved","loving","loves"這三個單詞。其實本身的語義都是“愛”的意思，但是如果我們以單詞為單位，那它們就算作是不一樣的詞，在英語中不同后綴的詞非常的多，就會使得詞表變的很大，訓練速度變慢，訓練的效果也不是太好。

2.wordPiece的實現算法

WordPiece的一種主要的實現方式叫做BPE（Byte-Pair Encoding）雙字節編碼。BPE的過程可以理解為把一個單詞再拆分，使得詞表會變得精簡，并且寓意更加清晰。

BPE算法通過訓練，能夠把上面的"loved","loving","loves"3個單詞拆分成"lov","ed","ing","es"幾部分，這樣可以把詞的本身的意思和時態分開，有效的減少了詞表的數量。

3.BPE算法的訓練過程

BPE的大概訓練過程：首先將詞分成一個一個的字符，然后在詞的范圍內統計字符對出現的次數，每次將次數最多的字符對保存起來，直到循環次數結束。

原始詞表如下：

{'l o w e r ': 2, 'n e w e s t ': 6, 'w i d e s t ': 3, 'l o w ': 5}

其中的key是詞表的單詞拆分層字母，再加代表結尾，value代表詞出現的頻率。

下面我們每一步在整張詞表中找出頻率最高相鄰序列，并把它合并，依次循環。

原始詞表 {'l o w e r </w>': 2, 'n e w e s t </w>': 6, 'w i d e s t </w>': 3, 'l o w </w>': 5} 出現最頻繁的序列 ('s', 't') 9 合并最頻繁的序列后的詞表 {'n e w e st </w>': 6, 'l o w e r </w>': 2, 'w i d e st </w>': 3, 'l o w </w>': 5} 出現最頻繁的序列 ('e', 'st') 9 合并最頻繁的序列后的詞表 {'l o w e r </w>': 2, 'l o w </w>': 5, 'w i d est </w>': 3, 'n e w est </w>': 6} 出現最頻繁的序列 ('est', '</w>') 9 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'l o w e r </w>': 2, 'n e w est</w>': 6, 'l o w </w>': 5} 出現最頻繁的序列 ('l', 'o') 7 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'lo w e r </w>': 2, 'n e w est</w>': 6, 'lo w </w>': 5} 出現最頻繁的序列 ('lo', 'w') 7 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'n e w est</w>': 6, 'low </w>': 5} 出現最頻繁的序列 ('n', 'e') 6 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne w est</w>': 6, 'low </w>': 5} 出現最頻繁的序列 ('w', 'est</w>') 6 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne west</w>': 6, 'low </w>': 5} 出現最頻繁的序列 ('ne', 'west</w>') 6 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low </w>': 5} 出現最頻繁的序列 ('low', '</w>') 5 合并最頻繁的序列后的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low</w>': 5} 出現最頻繁的序列 ('i', 'd') 3 合并最頻繁的序列后的詞表 {'w id est</w>': 3, 'newest</w>': 6, 'low</w>': 5, 'low e r </w>': 2}

這樣我們通過BPE得到了更加合適的詞表了，這個詞表可能會出現一些不是單詞的組合，但是這個本身是有意義的一種形式，加速NLP的學習，提升不同詞之間的語義的區分度。

總結

以上是生活随笔為你收集整理的BERT 中wordPiece的原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。