具體streamsets crate 集成可以參考 streamsets crate
以下文檔只關(guān)注minio 集成的配置

minio 服務(wù)

• 搭建

  具體搭建參考： https://www.cnblogs.com/rongfengliang/p/9197315.html

• 創(chuàng)建bucket （crate 集成使用）

  測(cè)試的csv 文件從https://www.streamsets.com/documentation/datacollector/sample_data/tutorial/nyc_taxi_data.csv 下載

集成

• pipeline flow
  
• minio s3 配置
  
  
• 字段轉(zhuǎn)換配置
  
• cratedb 配置
  
  

測(cè)試&&運(yùn)行

• 運(yùn)行
  
• cratedb 數(shù)據(jù)
  
  

參考資料

https://crate.io/docs/crate/guide/en/latest/tools/streamsets.html
https://www.cnblogs.com/rongfengliang/p/9197315.html
https://github.com/rongfengliang/streamsets-demos/tree/master/cratedb

總結(jié)

以上是生活随笔為你收集整理的streamsets 集成 minio s3测试的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。