kettle同步数据到hive 巨慢_超详细教程,kettle ETL mysql到hadoop hive数据抽取,值得收藏...
生活随笔
收集整理的這篇文章主要介紹了
kettle同步数据到hive 巨慢_超详细教程,kettle ETL mysql到hadoop hive数据抽取,值得收藏...
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
那么如何將mysql數據導入到hive里呢,kettle里有自帶方法,可以通過表輸入和表輸出來實現,不過自帶的方法載入數據極其緩慢,不推薦使用這種方法。
1、hive建表
注意hive表使用“^”作為分隔符,這個可以更具實際情況來。
2、mysql到hdfs輸出
轉換
內容這兒可以選擇相應分隔符來對數據分隔操作,頭部一定要去掉,不然導入hdfs時會將表頭的字段名一起導入,還有編碼最好是換成utf-8保證中文的使用
字段這兒要先獲取字段,然后先關字段要選擇對應格式,比如我這兒id是001,就要選為#格式,不然會使最后hive導入的id這兒為null,日期也是。
3、將hdfs文件導入到hive數據庫里
左邊為原始目錄也就是存放hdfs文件的地址,后面是hive數據庫文件目錄的地址,如果需要直接替換hive里面的內容在設置里勾選替換就可以了。
----------------------------------本文結束---------------------------------
總結
以上是生活随笔為你收集整理的kettle同步数据到hive 巨慢_超详细教程,kettle ETL mysql到hadoop hive数据抽取,值得收藏...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 巴山夜雨涨秋池上一句(巴山夜雨涨秋池下一
- 下一篇: jsp测试mysql_Jsp登陆与MyS