看阿里云如何用云上技术创新,帮助哈啰单车实现智能数据收治
簡介:?客戶通過把日志數(shù)據(jù)遷移到SLS,替代原有的kafka、ES、ClickHouse,累積節(jié)省成本達(dá)到30%,同時滿足了穩(wěn)定性、擴(kuò)展性需求,以及對日志查詢分析的需求。
更多存儲標(biāo)桿案例
歡迎點(diǎn)擊下方鏈接查看
阿里云存儲標(biāo)桿案例樣板間
公司介紹
哈啰出行是國內(nèi)領(lǐng)先的專業(yè)移動出行平臺,致力于為用戶提供便捷、高效、普惠、安全的出行工具和服務(wù)。公司于2016年9月在上海成立。成立四年多來,秉持著“科技推動出行進(jìn)化”的使命,憑借卓越的創(chuàng)新能力、差異化的發(fā)展戰(zhàn)略和技術(shù)驅(qū)動下的優(yōu)異運(yùn)營能力,哈啰從激烈的市場競爭中脫穎而出。目前公司已經(jīng)進(jìn)化為包括兩輪出行(哈啰單車、哈啰助力車、哈啰電動車、小哈換電)、四輪出行(哈啰順風(fēng)車、全依托于智能鎖,賦能了在線的實(shí)時調(diào)度。單車數(shù)據(jù)、APP數(shù)據(jù)無縫打通,因而催生了數(shù)據(jù)的實(shí)時采集、分析、存儲需求。業(yè)務(wù)場景介紹2網(wǎng)叫車、哈啰打車)等的綜合化移動出行平臺,APP累計注冊用戶超4億。
截至2020年10月底,哈啰出行旗下哈啰單車已經(jīng)進(jìn)駐全國超460城,用戶累計騎行240億公里,累計減少碳排放量近280萬噸;哈啰助力車已進(jìn)入全國超400城,用戶累計騎行近80億公里,節(jié)約碳排放28萬噸;哈啰順風(fēng)車已覆蓋全國超300城,認(rèn)證車主逾1800萬名。
業(yè)務(wù)場景介紹
依托于智能鎖,賦能了在線的實(shí)時調(diào)度。單車數(shù)據(jù)、APP數(shù)據(jù)無縫打通,因而催生了數(shù)據(jù)的實(shí)時采集、分析、存儲需求。
每天增量數(shù)據(jù)TB級別,影響系統(tǒng)穩(wěn)定性
客戶原有架構(gòu)是數(shù)據(jù)采集到kafka,然后應(yīng)用日志寫入ELK做查詢,同時寫入ClickHouse做分析。由于每天增量數(shù)據(jù)在TB級別,對ES穩(wěn)定性壓力比較大。當(dāng)查詢數(shù)據(jù)操作,會影響ES的寫入延時。由于寫入量大,查詢基本處于不可用狀態(tài)。因此,當(dāng)天數(shù)據(jù)采用單副本,隔天再生成多副本。這種方式對數(shù)據(jù)的可靠性時很大的挑戰(zhàn)。同時,自建Kafka、ES、ClickHouse成本較高,急需降低成本。
日志服務(wù)提供TB級別日志的實(shí)時采集、彈性擴(kuò)容、實(shí)時查詢
阿里云日志服務(wù)為客戶提供了TB級別日志的實(shí)時采集、彈性擴(kuò)容、實(shí)時查詢的能力。
?
?
在數(shù)據(jù)采集方面,原來把數(shù)據(jù)采集到kafka,在分發(fā)到下游ES、ClickHouse。SLS原生支持Kafka協(xié)議。各個客戶端只需把kafka的地址設(shè)置成SLS的kafka協(xié)議地址即實(shí)現(xiàn)了無縫遷移。
在彈性擴(kuò)容方面,SLS采用Shard模型,當(dāng)流量發(fā)生上漲時,在控制臺動動手指分裂Shard即可實(shí)現(xiàn)寫入帶寬的擴(kuò)容。也可以設(shè)置成自動分裂,當(dāng)流量打到上限時,自動擴(kuò)容出新的Shard。
在查詢和分析方面,客戶原來采用ES做查詢,ClickHouse做分析。而由于流量比較大,ES查詢基本不可用。SLS同時提供了查詢和分析能力。在查詢方面,支持關(guān)鍵字檢索、數(shù)值范圍查詢、json字段的遞歸查詢、多條件組合查詢。在數(shù)據(jù)分析方面,支持以SQL92語法分析日志,秒級別即可分析數(shù)百億條日志。SQL語法支持200+函數(shù),以及支持join計算,可與OSS、MySQL數(shù)據(jù)源做關(guān)聯(lián)分析。同時一些特有的函數(shù)例如同比環(huán)比函數(shù)、IP地理位置函數(shù)等等。
在可視化方面,SLS控制臺作為阿里云排名Top 5的控制臺,為可以提供所見即所得的查詢分析體驗。同時控制臺還可以供客戶做二次開發(fā),嵌入到自己的后臺運(yùn)維系統(tǒng)中。
達(dá)到的效果
客戶通過把日志數(shù)據(jù)遷移到SLS,替代原有的kafka、ES、ClickHouse,累積節(jié)省成本達(dá)到30%,同時滿足了穩(wěn)定性、擴(kuò)展性需求,以及對日志查詢分析的需求。
原文鏈接
本文為阿里云原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的看阿里云如何用云上技术创新,帮助哈啰单车实现智能数据收治的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【阿里云EMR实战篇】以EMR测试集群版
- 下一篇: 如何用阿里云实行全链路数据追踪