Sqoop(Tunnel通道系列) Sqoop基于社區(qū)Sqoop 1.4.6版本開(kāi)發(fā)，增強(qiáng)了對(duì)MaxCompute的支持，可以將數(shù)據(jù)從MySQL等關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入或?qū)С龅組axCompute表中，也可以從HDFS或Hive導(dǎo)入數(shù)據(jù)到MaxCompute表中。詳情請(qǐng)參見(jiàn)MaxCompute Sqoop。

說(shuō)明 該項(xiàng)目已經(jīng)開(kāi)源，您可進(jìn)入aliyun-maxcompute-data-collectors進(jìn)行查看。 Kettle(Tunnel通道系列) Kettle是一款開(kāi)源的ETL工具，純Java實(shí)現(xiàn)，可以在Windows、Unix和Linux上運(yùn)行，提供圖形化的操作界面，可以通過(guò)拖拽控件的方式，方便地定義數(shù)據(jù)傳輸?shù)耐負(fù)?。詳情請(qǐng)參見(jiàn)基于Kettle的MaxCompute插件實(shí)現(xiàn)數(shù)據(jù)上云。

說(shuō)明 該項(xiàng)目已經(jīng)開(kāi)源，您可進(jìn)入aliyun-maxcompute-data-collectors進(jìn)行查看。 Flume(DataHub通道系列) Apache Flume是一個(gè)分布式的、可靠的、可用的系統(tǒng)，可高效地從不同的數(shù)據(jù)源中收集、聚合和移動(dòng)海量日志數(shù)據(jù)到集中式數(shù)據(jù)存儲(chǔ)系統(tǒng)，支持多種Source和Sink插件。

Apache Flume的DataHub Sink插件可以將日志數(shù)據(jù)實(shí)時(shí)上傳到DataHub，并歸檔到MaxCompute表中。詳情請(qǐng)參見(jiàn)flume_plugin。

說(shuō)明 該項(xiàng)目已經(jīng)開(kāi)源，您可進(jìn)入aliyun-maxcompute-data-collectors進(jìn)行查看。 Fluentd(DataHub通道系列) Fluentd是一個(gè)開(kāi)源的軟件，用來(lái)收集各種源頭日志(包括Application Log、Sys Log及Access Log)，允許您選擇插件對(duì)日志數(shù)據(jù)進(jìn)行過(guò)濾，并存儲(chǔ)到不同的數(shù)據(jù)處理端(包括MySQL、Oracle、MongoDB、Hadoop、Treasure Data等)。

Fluentd的DataHub插件可以將日志數(shù)據(jù)實(shí)時(shí)上傳到DataHub，并歸檔到MaxCompute表中。詳情請(qǐng)參見(jiàn) Fluentd插件介紹。

LogStash(DataHub通道系列) LogStash是一款開(kāi)源日志收集處理框架，logstash-output-datahub插件實(shí)現(xiàn)了將數(shù)據(jù)導(dǎo)入DataHub的功能。通過(guò)簡(jiǎn)單的配置即可完成數(shù)據(jù)的采集和傳輸，結(jié)合MaxCompute和StreamCompute可以輕松構(gòu)建流式數(shù)據(jù)從采集到分析的一站式解決方案。

LogStash的DataHub插件可以將日志數(shù)據(jù)實(shí)時(shí)上傳到DataHub，并歸檔到MaxCompute表中。具體示例請(qǐng)參見(jiàn)Logstash + DataHub + MaxCompute和StreamCompute 進(jìn)行實(shí)時(shí)數(shù)據(jù)分析。

OGG(DataHub通道系列) OGG的DataHub插件可以支持將Oracle數(shù)據(jù)庫(kù)的數(shù)據(jù)實(shí)時(shí)地以增量方式同步到DataHub中，并最終歸檔到MaxCompute表中。詳情請(qǐng)參見(jiàn)基于OGG DataHub插件將Oracle數(shù)據(jù)同步上云。

說(shuō)明 該項(xiàng)目已經(jīng)開(kāi)源，您可進(jìn)入aliyun-maxcompute-data-collectors進(jìn)行查看。 MMA遷移工具 MMA利用Meta Carrier連接用戶的Hive Metastore服務(wù)，抓取用戶的Hive Metadata，并利用這些數(shù)據(jù)生成用于創(chuàng)建MaxComputer表和分區(qū)的DDL語(yǔ)句以及用于遷移數(shù)據(jù)的Hive UDTF SQL。詳情請(qǐng)參見(jiàn)MMA遷移概述。

總結(jié)

以上是生活随笔為你收集整理的sqoop 增量导入mysql_sqoop增量导入数据库的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。