阿里智能化接口测试平台--暴雪
|
阿里QA導讀:隨著人工智能的發(fā)展,AI概念已經(jīng)站在了時代的風口,掀起一陣全行業(yè)的get into AI熱潮;智能測試作為AI熱潮下一個新的測試領域,也正在被各互聯(lián)網(wǎng)公司所追逐,探索和應用。本次分享,將為大家介紹阿里智能化接口測試平臺--暴雪,聊一聊她的起源,轉變,破局和未來。 |
簡介:
鄭紅(佚葭),阿里巴巴資深測試開發(fā)專家,2009年從上海交大研究生畢業(yè)后,一直專注從事測試開發(fā)工作。早期主要在百度和一淘從事搜索領域相關測試,2012年加入天貓技術部負責核心交易鏈路相關測試,目前主要負責盒馬、天貓超市和新零售終端的測試團隊。致力于推動測試團隊從工具化、自動化往平臺化、智能化思維轉變,通過技術手段賦能開發(fā)和測試,做最高效的用戶體驗的捍衛(wèi)者。
暴雪的起源
2016年11月30日,暴雪起源于天貓技術質量部的第一次核心成員腦暴會,此次頭腦風暴奠定了團隊后面幾年的轉型方向,即智能化方向。智能化是極具有前瞻性的,當時質量部的遠大目標就是要搞好智能化。當時我們有幾千個自動化測試用例,但還是有漏測,跟不上開發(fā)的節(jié)奏。要解決這個問題就要搞好智能化,智能化要干什么呢?團隊當時決定搞大數(shù)據(jù)方向,將線上數(shù)據(jù)引流下來就可以覆蓋原來覆蓋不到的用例,而且引流也穩(wěn)定,維護成本也會下降,所以,在智能化中我們確定了最接地氣的大數(shù)據(jù)測試方向。
針對大數(shù)據(jù)測試方向,團隊用一周時間制定了規(guī)劃,在規(guī)劃的三個方向中,如今依然沒有完全落地,其中的怎么用線上東西去mock環(huán)境不穩(wěn)定的問題在今天依然被拿出來討論,這值得反思,當我們回頭看自己做的事情時,有時候會發(fā)現(xiàn)很多東西值得思考。確定了目標之后,我們就要為之努力,在規(guī)劃的過程中,我們分析智能化到底要做什么,當時的doom已經(jīng)有強大的線上采集和回放能力,那么,我們的定位是什么呢?通過與doom的溝通,我們希望doom與暴雪是中間件與業(yè)務系統(tǒng)之間的關系,前者提供能力,后者提供更上層的解決方案,在這個過程中,我們可以提供什么解決方案呢?在規(guī)劃中逐步對目標更加清晰,提出了“讓天下沒有難寫的接口測試”的夢想,這個夢想的實質有三點,一是指不難寫,二是指接口測試,三是指能夠實現(xiàn)頁面的交互、可視化、有輸入輸出。項目取名為“智能接口測試3.0”,寓意我們是接口測試發(fā)展里程中的第三代,同時我們想把一代的自動化理念表達進去。Itest、testNG為接口測試1.0版本,接口測試2.0實現(xiàn)了可視化,提供了各種校驗的頁面式的交互,使寫腳本的成本變低。如果我們可以通過大數(shù)據(jù)變得具有學習能力,不需人為設計,我們稱之為“智能接?測試3.0”。在接口的測試過程中有三大痛點:環(huán)境、場景、數(shù)據(jù)。
在2017年3月,接口測試3.0第一版正式發(fā)布,此時還沒有真正的落地,并不能真正的使用。2017年4月,第二期體驗優(yōu)化完成。2017年6月,第三期易用性優(yōu)化完成,這一版更傾向于測試視角的用法。在這過程中,業(yè)務線同學兼顧開發(fā),迭代速度低于預期速度,這時也有了天啟和青龍,讓團隊更堅定了研究方向是正確的方向,但同時也有了危機感。有夢才有遠方,回首三年,我們慶幸當初定下了長遠的目標,使我們能夠持之以恒。
暴雪的轉變
在2017年7月,我們開始有專人投入開發(fā),需求迭代速度加快。2017年8月,我們開始嘗試探索智能化,如用例智能推薦、無腦回歸。2017年11月,我們終于實現(xiàn)了從內往外走,開始加大運營投入,且取得了非常好的效果,慢慢的擁有了兩個金牌用戶:B2B團隊和閑魚團隊。2018年1月,“智能接?測試3.0”正式更名為“暴雪”。我們針對重點應用和非核心應用的運營思路是不同的。
那么,轉變的背后我們有哪些思考?具體包括以下幾方面:
效能目標設定:更貼近用戶價值的量化目標。看到有專人投入,剛開始的迭代速度很快,定什么樣的目標才是合理的?因為投入專人后一直在開發(fā),但是價值在哪里,效能目標怎么設定?我們要設定更貼近用戶價值的量化目標,即要完成多少個應用接入,要完成多少個case業(yè)務落地等,這才是暴雪存在的意義。
智能化初探:由于算法大賽的刺激,每個小組自我報名參賽,敢想敢做,一切皆有可能。
能力綜合體:如果真的要做一個效能的平臺,就必須成為一個能力綜合體,不是說技術好就一定有更大的價值,產(chǎn)品能力+技術能力+運營能力都不可或缺。
當時的產(chǎn)品很爛,我們做各種交互,產(chǎn)品有很多層,要做一個好的產(chǎn)品,需要具備交互優(yōu)化的能力,在決策某些功能時,什么該第一優(yōu)先,什么該次級優(yōu)先,既要了解用戶需求,又不能被用戶牽著鼻子走,如果沒有自己的思考,就不會提供更強大的價值,這是效能產(chǎn)品同學需要重點去思考的。在這個轉變階段,形成了產(chǎn)品的價值定位,或者說能力節(jié)點,包括以下幾部分:
大數(shù)據(jù)、高效、通用、閉環(huán)、智能,在這個階段有流量測試的提效,測試覆蓋更全面,研發(fā)流程全面升級,AI測試也得到了改革。此時,暴雪已經(jīng)具備了一定的價值,用戶數(shù)開始攀升,處于幾十個應用接入的階段。
暴雪的破局
2018.04 愛迪生賽后,團隊士氣一時陷入低迷,得獎的前三名全部是大數(shù)據(jù)采集回放領域的,暴雪并不在其中。那么,我們的競爭力是什么?我們是不是在重復造輪?這時我們思考了以下三個問題:
用戶市場很廣,雖然TMF有天啟,但當前產(chǎn)品有差異化,服務好非TMF,價值空間依舊在。
用戶痛點還很多,應該共建互通,攻堅技術難題,聚焦用戶價值。
智能化探索之路還很遠,創(chuàng)新力才是競爭力,不一定拘泥于當下幾個點。
我們得出以下結論:
核心價值:廣大非TMF應用的技術同學的測試賦能,解決質量和效率問題。
競爭力:不斷的用創(chuàng)新探索智能化測試。
方向決策:進一步開放共贏,包括與AE、螞蟻合作等,大家會有各種各樣的想法,最后都能在平臺上一起合作,最后形成各種解決方案,服務相同的自動化和接口測試。
重新?lián)P帆起航
那么,在這一年多的時間里,我們做了哪三個重大的事情呢?
更優(yōu)的架構:一旦用戶體量上去后,架構的好壞就會決定未來的發(fā)展,新暴雪平臺,與DOOM解耦,跑得更快,創(chuàng)造更多可能性。
更豐富的產(chǎn)品:無腦回歸加強,增加了業(yè)務維度,可以自動識別業(yè)務規(guī)則,根據(jù)流量告訴你哪些規(guī)則組合還沒有生成用例;異常接口測試,讀接口鏈路測試,寫接口鏈路測試、測試度量(灰度發(fā)布度量,慢sql預測)。
更開放的思想:適配螞蟻用暴雪,與AE共建精準回歸,與螞蟻compass合作,支持供應鏈-氫氣球端式錄制,更多open api的開放。
破局之后,現(xiàn)在的暴雪有40多個BU的用戶,接入應用數(shù)達700多個,周活躍用戶接近200個,以前我們追求的指標是多少應用的接入,隨著不斷的深化,就會發(fā)現(xiàn)這個指標是不對的,可能接入后就死掉了,全部是非活躍用戶,還是不能說自己有價值,所以從2018年開始,我們開始追求活躍用戶數(shù),活躍用戶多,說明真正為用戶創(chuàng)造了價值。
目標暴雪的產(chǎn)品能力樹如圖所示,讀接口實時對比、異常測試等都是今年剛release出去的版本。
暴雪的展望
暴雪的產(chǎn)品展望如圖所示,最上面的產(chǎn)品層就是我們要創(chuàng)造的價值,往下的業(yè)務層、基礎層是必須具備的能力,暴雪的價值表達更多的是在產(chǎn)品層,未來我們希望能夠通過自己的流量的智能轉化生成出新的東西。如果暴雪等產(chǎn)品擁有懂代碼的能力,就可以智能的覆蓋更多的東西。未來智能化就是一是往底層修煉到更懂代碼,一是更懂業(yè)務,暴雪目前還是依賴人去錄入,未來可能沒有人自己也可以探索到。整個產(chǎn)品,更多還是在代碼質量的領域,未來暴雪要保持三個方向,一是還要在這個領域做深耕,不是在功能點做深耕;二是智能化;三是開放,做到業(yè)務線和效能組的共贏,誰是主引擎并沒有那么重要。
總結
以上是生活随笔為你收集整理的阿里智能化接口测试平台--暴雪的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: String数组转List,List转S
- 下一篇: metronic-v4.6 使用经验