從mysql 到hive：

jdbc會把tinyint 認為是java.sql.Types.BIT，然后sqoop就會轉為Boolean了

pingan：tinyint通過sqoop到hive變成string類型的時候，會隱式轉換 變成布爾類型

需要加強轉，cast（is_official as char(3））

wangzhan：

在連接上加上一句話tinyInt1isBit=false

jdbc:mysql://localhost/test?tinyInt1isBit=false

示例：

sudo -u hive sqoop import-all-tables --connect "jdbc:mysql://10.19.196.129:3312/yjp_productsku_1?tinyInt1isBit=false" --username root --password xyzxyz--hive-import --hive-overwrite --hive-database yjp_productsku_1 --m 1 --null-string '\\N' --null-non-string '\\N' --hive-drop-import-delims

hive中 join連接不能用大于小于號，盤古hive版本較高，所以可以用，跑任務的時候不能用

hive中trunc函數不能用季函數： trunc(shijian，‘q’），需要利用shell 給參數

盤古hive版本較高，所以可以用，跑任務的時候不能用

4、前端測的不是數據，是數據格式，

只用把數據發他們就好

，數據對不對根本不重要，只要符合他們使用的格式就行。

5、造數：造數不好，本身的數不測造的全是符合他們場景的數據，

出問題全是推給造數的問題，

尤其是排行榜數據，造一條，關聯部分的其他所有數據排行都受影響，出問題都說是造數的問題。

可以反問，前端測試為什么連數據都不會造，自己要什么場景的數據肯定是自己造

造數和腳本邏輯沒有關系！

6、有些指標是可以對不上的。或者極個別有那種捷報和我們機構不一致的

其實數據是可以比原子少，只要能找到理由就行

話術：老師請問是哪張報表，我們目前在切換底層的數據源，有的報表還沒切換，可能回合我們的新指標有些小誤差

老師好應該以我們的新指標數據為準，xxx報表稍后會切換數據源，確保我們的新指標數據保持一致

sbustr 截取長度比 實際長度小會數據越界。

解決辦法，例：

case when length(idno)<4 then idnoelse concat(rpad(substr(indo,1,4)--截取身份證前4位,abs(length(idno)-4)--身份證位數減4 的絕對值,'*') --向右邊填充 身份證位數減4位的 *號數量, substr(indo,length(idno)-3,4)) --截取身份證從倒數第三？第四位開始往后 4個數字end --拼接 身份證前4位 身份證位數減4位的“*”號數量 和身份證后4個數字 ------------------------------- case when length(phoneno)<3 then phoneno else concat(rpad(substr(phoneno,1,3)--截取前3位,length(phoneno)-2,'*')--向右邊填充 ：位數減2位的 *號數量 , substr(phoneno, -2)) --截取倒數兩位數？第2位開始往后 所有數字end --拼接 前3位 位數減2位的“*”號數量 和后2個數字

case when length(idno)<4 then idno

else concat(rpad(substr(indo,1,4)--截取身份證前4位

,abs(length(idno)-4)--身份證位數減4 的絕對值

,'*') --向右邊填充 身份證位數減4位的 *號數量

, substr(indo,length(idno)-3,4)) --截取身份證從倒數第三？第四位開始往后 4個數字

end

--拼接 身份證前4位 身份證位數減4位的“*”號數量 和身份證后4個數字

case when length(phoneno)<3 then phoneno

else concat(rpad(substr(phoneno,1,3)--截取前3位

,length(phoneno)-2,'*')--向右邊填充 ：位數減2位的 *號數量

, substr(phoneno, -2)) --截取倒數兩位數？第2位開始往后 所有數字

end

--拼接 前3位 位數減2位的“*”號數量 和后2個數字

5、MySql varchar類型，插入的數據超過設置的長度時，超出的部分將會被截取。

總結

以上是生活随笔為你收集整理的供做文体累计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。