ByConity 社区回顾|ByConity 和开发者们一起展望未来,携手共进!
更多技術交流、求職機會,歡迎關注字節跳動數據平臺微信公眾號,回復【1】進入官方交流群
新年伊始,我們想在這里感謝一群 ByConity 社區的小伙伴們。
正是因為有社區的開發者的支持,截止到 2023 年底,ByConity GitHub 獲得 1409 Star,595 pull request,累計 61 位 Contributor 共建者參與代碼貢獻,社區主辦活動超過 10 場,來自知乎、MetaApp、天翼云、Shein、烽火軟件、攜程等多家企業用戶正在基于 ByConity 做技術實踐和探索。
版本發布
2023 年 1 月 10 日, ByConity 發布 Beta(v0.1.0-beta)版本,并在社區小范圍征集用戶試用,2023 年 5 月,ByConity 正式宣布開源。在這一年里,ByConity 先后經歷了 3 個版本的迭代。
2023 年 12 月 18 日, ByConity 0.3.0 版本正式發布。這個版本提供了倒排索引,基于共享存儲的選主方式等多項新特性,對冷讀性能進行了進一步的優化,對 ELT 能力也進行了進一步的迭代,同時修復了若干已知問題,進一步提升了系統的性能和穩定性。
- 倒排索引: 在 ByConity 使用過程中,很多業務對文本檢索相關能力(如 StringLike)提出了非常高的需求,希望社區能夠優化相關查詢性能,同時兼容 ClickHouse 在今年支持的倒排索引的能力。為滿足業務訴求,保持生態兼容,同時提升 ByConity 的文本檢索能力,ByConity 在 0.3.0 版本加入了對文本檢索的支持,為日志數據分析等場景提供高性能查詢。
- 基于共享存儲的選主方案: 在 ByConity 架構中存在多種控制節點,它們需要各自通過多副本 + 選主來提供高可用的服務能力,例如 Resource Manager,TSO 等。實際中的多個計算 server,也需要選出一個單節點來執行特定的讀寫任務。之前 ByConity 使用了 clickhouse-keeper 組件來進行選主,該組件基于 Raft 實現,提供兼容 zookeeper 的選主接口。但是在實際的使用中遇到了很多運維問題,例如需要部署 3 個以上節點才能提供容災,增加運維負擔;節點增刪和服務發現流程復雜;容器重啟后如果服務變換 ip 和服務端口,keeper 組件難以快速恢復,等等。考慮 ByConity 作為一個新的云原生服務,并不需要兼容 ClickHouse 對 zookeeper 的訪問,我們選擇了基于存算分離的云原生架構實現一種新的選主方式來優化以上問題。
- 冷讀性能的進一步提升: 在 ByConity 0.2.0 中,我們通過引入 IOScheduler 等方式提高了冷讀查詢的性能,尤其是在 S3 上的冷讀性能。0.3.0 版本通過引入 ReadBuffer 的 Preload 等優化,進一步提高了冷讀性能。
- ELT 能力增強: 在 0.3.0 中,我們引入新的 BSP 模式,通過 stage by stage 的執行以及增強 disk based shuffle,滿足有限條件下的計算,提高吞吐。在 ByConity 中復雜查詢對 query plan 的 stage 進行了切分并進行了 stage by stage 的調度,但在語義上仍然是 all at once 的調度。ELT 在執行時需要對查詢進行分階段運行,需要進一步達到 stage by stage 執行的效果。
更多 0.3.0 相關特性及優化的內容大家可以復制鏈接查看:https://github.com/ByConity/ByConity/releases/tag/0.3.0
RoadMap
2024 年 ByConity 計劃每個季度一個版本 Release,發布節奏如下:
在 2024 年,我們仍將持續在 GitHub 上同步社區的 RoadMap:https://github.com/ByConity
社區活動
2023 年 ByConity 主辦了 2 場線下活動,連接北京和上海的開發者們。
2024 年我們會在更多的城市舉辦 Meetup,歡迎大家與我們交流希望我們舉辦 Meetup 的城市,我們會在 2024 年在線下匯聚更多大數據領域的開發者們,共同探討大數據、數據庫前沿技術及其應用,同時也為當地的開發者們提供一個友好交流的技術平臺。
同時,我們也參與了 GOTC、QCon、DTCC、CosCon'23、國際開源節云原生技術沙龍、Fintech Festival 等多場外部大會的演講。我們在這些活動中分享了關于 ByConity 的最新技術、應用和發展,與來自不同領域的專家、學者和開發者進行了深入的交流和探討。
2023 年 ByConity 主辦每月一次的線上 webinar,為社區的開發者們介紹 ByConity 的最新技術特性。為了讓大家了解 ByConity 的查詢性能,我們發布了第一期 TPC-DS 測試活動 。 6 月初我們分享了 ByConity 在云上部署的方法:《ByConity 如何在 Kubernetes 上無感擴縮容》之后收到很多用戶反饋和建議,例如部署過程中需要安裝的組件過多、本地軟硬件環境引起部署失敗等問題。因此我們做了一些優化,提供了更加容易上手的一鍵部署方式,主辦了 ByConity 快速部署有獎征集活動。
社區榮譽
在眾多開發者及合作伙伴的鼎力支持下,ByConity 社區在過去一年取得了開源圈內的榮譽。我們榮獲了思否「2023 中國技術先鋒年度榜單—中國技術品牌影響力企業」、IT168「2023 年度技術卓越獎」等開源獎項,得到了在大數據領域的影響力和專業度。
這些榮譽的背后,離不開每一位社區成員的付出與努力。在此,我們衷心感謝大家的支持與信任。
為了持續優化我們的產品和服務,ByConity 社區始終保持開放、包容的態度,歡迎各位有志之士共同參與社區建設。無論您是對我們的產品有任何疑問,還是對社區發展有任何建議,都可以在 GitHub 上提交 PR 或 Issues。同時,我們也誠邀各位成為 ByConity 社區的 Contributor,與我們攜手共建一個更加開放、活躍、有價值的社區。讓我們共同見證 ByConity 社區的成長與繁榮!
加入社區
在過去的一年里,社區共建者們的貢獻如星辰大海般璀璨。展望未來,我們期待與更多的志同道合者共同成長,一起邁向更高的目標。讓我們攜手并進,共同開啟新的征程!歡迎大家掃碼加入 ByConity 微信交流群(備注姓名+公司+職位)。
新年禮包
最后,我們為大家準備了一批龍年禮包??
歡迎大家點擊鏈接填寫問卷(截止日期 2024 年 2 月 18 日)(https://bytedance.larkoffice.com/share/base/form/shrcnIQ2rsbQV9YiJGoY8Dajh4f),回顧你與 ByConity 社區相識相知的故事~我們會選出 10 位社區小伙伴送上定制周邊??
總結
以上是生活随笔為你收集整理的ByConity 社区回顾|ByConity 和开发者们一起展望未来,携手共进!的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 面试官:如何保证本地缓存的一致性?
- 下一篇: 独立开发者碎碎念 1115