正在做的一個(gè)項(xiàng)目中，由于數(shù)據(jù)量比較大，所以數(shù)據(jù)的內(nèi)容比較亂，比如說mac地址，這個(gè)地址有的數(shù)據(jù)中存在，有的數(shù)據(jù)中不存在，當(dāng)通過hive進(jìn)行導(dǎo)出數(shù)據(jù)的時(shí)候，如果存在些非法的類型的數(shù)據(jù)會(huì)造成NoSuchElement異常，經(jīng)過幾天的排查與摸索，終于將該隱患排除。

在hive中如果某些字段，尤其是中間的部分字段是空的值的話，很容易出錯(cuò)，在數(shù)據(jù)量十分大的情況下甚至于很難去查詢到這種比較特殊的情況。

如圖所示是部分的數(shù)據(jù)，當(dāng)然為了安全起見只是截取了一點(diǎn)點(diǎn)，能夠反映其特征即可，最頂部的數(shù)據(jù)可以看到是空值的連續(xù)串，甚至還出現(xiàn)了0和-1的值，在MAC地址中這種值應(yīng)該是錯(cuò)誤的值，需要將其從眾多的數(shù)據(jù)中剔除掉，否則會(huì)對(duì)系統(tǒng)帶來安全隱患。

由于數(shù)據(jù)為MAC地址，所以其格式比較統(tǒng)一，開始是通過判斷是不是空來進(jìn)行剔除，但是后來發(fā)現(xiàn)并不是想象的那么簡單，有的值多個(gè)不是空但是也不是不符合的。
采用正則表達(dá)式去匹配，這樣更加方便的剔除臟數(shù)據(jù)了。

select * from data wheremacaddress regexp "([0-9a-fA-F]{2}){6}"

如果中間存在：的話就改為：

[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}

總結(jié)

以上是生活随笔為你收集整理的Hive正则表达式对数据过滤的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。