Confluent作為國際數據“流”處理技術領先者，提供實時數據處理解決方案，在市場上擁有大量企業(yè)客戶，幫助企業(yè)輕松訪問各類數據。DataPipeline作為國內首家原生支持Kafka解決方案的“iPaaS+AI”一站式大數據融合服務提供商，在零售、金融、互聯網和制造等行業(yè)擁有著豐富實踐經驗和解決方案能力。

此次上海DataPipeline & Confluent Kafka Meetup，我們邀請到了Confluent流數據處理系統架構師和技術負責人王國璋、DataPipeline架構師呂鵬、攜程大數據平臺實時計算平臺負責人潘國慶、阿里巴巴實時計算平臺高級技術專家秦江杰、網易云大數據平臺架構師歐陽武林等大數據領域六位行業(yè)大咖分享Kafka最新研究成果以及行業(yè)應用案例。

?

活動流程

?

演講嘉賓

?

王國璋

Confluent流數據處理系統架構師和技術負責人

Apache Kafka PMC，Kafka Streams 作者。于康奈爾大學計算機系取得博士學位，主要研究方向為數據庫管理和分布式數據系統。現就職于Confluent，任流數據處理系統架構師和技術負責人。此前曾就職于 LinkedIn 數據架構組，主要負責實時數據處理平臺，包括 Apache Kafka 和 Apache Samza 系統的開發(fā)與維護。

演講主題：《Apache Kafka，從0.7到2.0：那些年我們踩過的坑》

自從 2011年被捐獻給Apache基金會到現在，Kafka項目已經走過了七個年頭。從最早的“分布式消息系統”，到現在集成了分發(fā)、存儲和計算的“流式數據平臺”，Kafka經歷了哪些挑戰(zhàn)？又經過了什么樣的演進變化？

1. 從硬件的發(fā)展趨勢，展現 Kafka 架構的演進過程；

2. 從Kafka開發(fā)和維護經驗，分享分布式系統工程實踐的通理；

3. 開源數據系統的開發(fā)經驗，如何維護和發(fā)展一個開源社區(qū)。

?

潘國慶

攜程大數據平臺實時計算平臺負責人

攜程大數據平臺實時計算平臺負責人，2016年加入攜程，主要從事攜程實時計算平臺的構建與演進、以及攜程實時特征平臺的搭建，在實時計算領域擁有豐富的實戰(zhàn)經驗。

演講主題：《攜程實時計算平臺架構與實踐》

1. 攜程實時計算平臺的演進之路；

2. 實時架構設計與曾經踩過的坑；

3. 實時計算在攜程的實踐；

4. 未來規(guī)劃。

?

呂鵬

DataPipeline 架構師

呂鵬，目前擔任DataPipeline架構師一職，負責數據傳輸和ETL方面的架構和優(yōu)化工作。曾就職于Talend和銷售易大數據部，擁有5余年大數據平臺和數據倉庫架構搭建經驗，在ETL 領域擁有豐富的實戰(zhàn)經驗。

演講主題：《DataPipeline在大數據平臺的實時數據流實踐》

1. 大數據時代下企業(yè)級數據面臨的主要問題和挑戰(zhàn)；

2. kafka connect 在大數據時代的數據流的優(yōu)勢和不足；

3. 大數據平臺上的kafka connect 實踐案例：

1）kafka connect 下數據倉庫greenplum 同步實踐以及優(yōu)化策略；

2）kafka connect 下 hive 同步實踐；

4. DataPipeline 做了哪些大數據相關工作，遇到的坑以及相應的解決方案；

5. 總結以及DataPipeline 未來在大數據領域的相關工作。

?

張勇華

唯品會消息平臺架構師

畢業(yè)于武漢大學，目前擔任唯品會消息平臺架構師。從事消息系統的設計和研發(fā)有4年多的時間，對Kafka、RabbitMQ、RocketMQ等消息中間件產品擁有較豐富的實踐經驗。

演講主題：《基于Kafka1.0建立企業(yè)級消息系統平臺的思考及實現》

1. 隨著業(yè)務系統接入增多，對集群和元數據資源(Topic/Group)的管理顯得尤為重要，急需建立統一平臺來管理系統資源及認證授權接入服務；

2. 提升并發(fā)消費場景下的高可靠，及消費異常后如何優(yōu)雅解決消費重試問題；

3. 如何實現延時消息的投遞功能，改善延時精度的方式；

4. 原生kafka支持組間廣播對動態(tài)增長的業(yè)務組申請造成困境，如何實現組內廣播來改善現狀；

5. 集群故障時如何快速有效遷移服務等問題介紹。

?

秦江杰

阿里巴巴實時計算平臺高級技術專家

秦江杰，阿里巴巴實時計算平臺高級技術專家。碩士畢業(yè)于卡耐基梅隆大學，曾任職于LinkedIn參與Apache Kafka開發(fā)，Apache Kafka PMC member。

演講主題：《詳解Flink基于Kafka事務的嚴格一次語義實現》

在流處理系統中，端到端的嚴格一次的語義只有當輸出的Sink支持時才可以實現。在Kafka 0.11中增加了對事物的支持，使得其他系統可以利用這一特性實現嚴格一次的語義。本次分享將詳細介紹Flink是如何利用這Kafka一特性來實現端到端的嚴格一次語義的。

?

歐陽武林

網易大數據平臺架構師

曾就職于中國移動、51信用卡，主要從事云計算平臺開發(fā)相關工作。目前就職于網易，主要從事大數據平臺開發(fā)。

演講主題：《Kafka 在網易云上的實踐》

1.Kafka上云面臨的挑戰(zhàn)和機遇；

2.網易云Kafka架構實現；

3.網易云Kafka的關鍵問題解決之法；

4.未來規(guī)劃。

?

時間&地點

時間：2018年10月21日，13:30簽到

詳細地址：上海市長寧區(qū)金鐘路968號凌空SOHO12號樓11層

?

活動報名

添加DataPipeline君微信：datapipeline2018，拉你進現場活動群。

轉載于:https://www.cnblogs.com/DataPipeline2018/p/9714769.html

總結

以上是生活随笔為你收集整理的DataPipeline联合Confluent Kafka Meetup上海站的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。