問題描述

最近有一段時間，跑ETL的時候，發現出來的數據明顯比之前少，少了大約一半左右，就開始排查。
我們的數據是從Flume采集過來的，排查日志發現，flume在讀取到某一條的時候，就不再往下讀取了。

問題分析

進一步拿到原始文件后，找到那條數據。用vim打開發現其中有個地方有兩個空格。起初以為是亂碼（之前flume出過亂碼中斷的問題），貼到ide里面，得到具體編碼為\uD83D\uDD1E\uD83D\uDCAA，發現是四字節的utf-8編碼。貼到Google一看，原來是Emoji表情。
跟蹤flume源碼發現，在spooling directory source中，只支持3個字節以內的utf-8。而遇到這種4字節的utf-8將發生截斷，并且會解讀為EOF，即結束標志。換句話說，當前文件中，這個表情后面的數據全部不再讀取了，也不會發生報錯情況。

解決辦法

翻了下flume官方的issues，果然有這個問題：“Flume agent fails to parse files with emoji when the source type is spooldir”，地址：https://issues.apache.org/jira/browse/FLUME-2828。但是處于OPEN狀態，未解決。
繼續翻發現，“ResettableFileInputStream can’t support ucs-4 character”，地址是：https://issues.apache.org/jira/browse/FLUME-2215，這個bug有點關聯，仔細看了下，確實能夠解決。
新版本flume（1.7）已經修復該問題，考慮到當前flume并沒有進行復雜的業務邏輯操作，故直接升級版本。

總結

以上是生活随笔為你收集整理的Flume 1.6 遇Emoji表情发生截断丢失数据问题分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。