测试管理 | 测试经理定义和实施测试度量
往期關(guān)聯(lián)文章回顧:
瀑布、V、W、快速原型模型、增量、螺旋模型
測(cè)試管理 | 4種優(yōu)先級(jí)排序方法一定要掌握
測(cè)試管理 | 基于風(fēng)險(xiǎn)的測(cè)試
? ? ? ?管理上有這樣一句名言,進(jìn)行度量的工作才會(huì)得到有效的執(zhí)行。反之,因?yàn)楹苋菀缀雎阅切┎贿M(jìn)行度量的工作,所以不進(jìn)行度量的工作通常不會(huì)得到有效的執(zhí)行。因此,對(duì)于包括測(cè)試在內(nèi)的任何活動(dòng),建立適當(dāng)?shù)亩攘慷际呛苤匾摹??
測(cè)試度量可以劃分到以下的一種或多種類型中:?
???項(xiàng)目度量,對(duì)照既定的項(xiàng)目出口準(zhǔn)則,如測(cè)試用例執(zhí)行率、通過率和失敗率,度量項(xiàng)目進(jìn)展?
???產(chǎn)品度量,度量產(chǎn)品的某些屬性,如測(cè)試程度和缺陷密度
? 過程度量,度量測(cè)試或開發(fā)過程的能力,如通過測(cè)試發(fā)現(xiàn)的缺陷百分比?
? 人員度量,度量個(gè)人或小組的能力,如在給定的時(shí)間內(nèi)測(cè)試用例的實(shí)施情況?
任何給定的度量都屬于以上的兩種、三種、甚至四種類型。例如,體現(xiàn)每日缺陷發(fā)現(xiàn)率的趨勢(shì)圖可以與以下內(nèi)容都相關(guān):出口準(zhǔn)則(連續(xù)一周都未發(fā)現(xiàn)新缺陷)、產(chǎn)品質(zhì)量(測(cè)試無法再找出產(chǎn)品的缺陷)、和測(cè)試過程的能力(在執(zhí)行測(cè)試的前期發(fā)現(xiàn)了大量缺陷)。
人員度量尤為敏感。測(cè)試經(jīng)理有時(shí)會(huì)把過程度量誤認(rèn)為是人員度量,導(dǎo)致大家為了讓該度量對(duì)他們更有利而采取一些行動(dòng),產(chǎn)生災(zāi)難性的后果。
我們主要關(guān)注的是使用度量來衡量測(cè)試工作的進(jìn)展,如項(xiàng)目度量。度量的使用可以讓測(cè)試人員在匯報(bào)結(jié)果時(shí)保持一致,而且可以連貫地跟蹤測(cè)試進(jìn)展。測(cè)試經(jīng)理通常被要求在各種會(huì)議上展示度量數(shù)據(jù),這些會(huì)議的參與人可能包括從技術(shù)人員到執(zhí)行管理層的各級(jí)別的干系人。因?yàn)橛袝r(shí)確定一個(gè)項(xiàng)目整體成功與否也會(huì)用到這些度量數(shù)據(jù),在決定需要跟蹤什么內(nèi)容、匯報(bào)的頻率和呈現(xiàn)這些信息的方式時(shí)都需要特別留意。需要強(qiáng)調(diào)的是,測(cè)試經(jīng)理必須考慮以下內(nèi)容:?
? 度量的定義:應(yīng)定義一組有限的有用度量。度量的定義依據(jù)項(xiàng)目、過程和/或產(chǎn)品的具體目標(biāo)。定義度量時(shí)應(yīng)考慮到平衡,因?yàn)閱蝹€(gè)的度量可能會(huì)誤導(dǎo)對(duì)狀態(tài)或趨勢(shì)的印象。對(duì)這些定義的度量的解讀必須得到所有干系人的認(rèn)可,避免討論這些度量時(shí)產(chǎn)生混亂。經(jīng)常發(fā)生定義了過多的度量而沒有關(guān)注那些最相關(guān)的度量的情況?
? 度量的追蹤:應(yīng)該盡可能自動(dòng)化度量報(bào)告和匯總,以縮短采集和處理度量數(shù)據(jù)的時(shí)間。隨時(shí)間的推移,特定的度量數(shù)據(jù)可能會(huì)反映出和度量定義階段約定的解讀不同的信息。測(cè)試經(jīng)理應(yīng)做好準(zhǔn)備,仔細(xì)分析這些度量數(shù)據(jù)和期待可能出現(xiàn)哪些偏差,以及造成偏差的原因?
??度量的匯報(bào):目的是幫助管理層迅速理解所獲得的信息。應(yīng)呈現(xiàn)對(duì)某段時(shí)間度量的“快照”或度量隨時(shí)間推移的變化,這樣才能進(jìn)行趨勢(shì)分析?
? 度量的有效性:測(cè)試經(jīng)理還必須驗(yàn)證匯報(bào)的信息。為某個(gè)度量收集的數(shù)據(jù)可能無法反應(yīng)項(xiàng)目的真實(shí)情況或可能傳達(dá)了過于樂觀或過于悲觀的趨勢(shì)。在呈現(xiàn)數(shù)據(jù)前,測(cè)試經(jīng)理必須就數(shù)據(jù)的準(zhǔn)確度和可能傳達(dá)的信息兩方面對(duì)數(shù)據(jù)進(jìn)行評(píng)審?
監(jiān)督測(cè)試進(jìn)展主要就以下五個(gè)方面:?
? 產(chǎn)品(質(zhì)量)風(fēng)險(xiǎn)?
? 缺陷?
? 測(cè)試?
? 覆蓋率?
? 信心??
在項(xiàng)目和業(yè)務(wù)中,產(chǎn)品風(fēng)險(xiǎn)、缺陷、測(cè)試和覆蓋率可以,且通常以特定的方式進(jìn)行度量和匯報(bào)。如果這些度量數(shù)據(jù)和測(cè)試計(jì)劃中定義的出口準(zhǔn)則相關(guān),他們可以作為判斷測(cè)試工作是否完成的客觀標(biāo)準(zhǔn)。信心的度量可以通過調(diào)查或使用覆蓋率作為替代度量,不過通常還會(huì)以主觀的方式匯報(bào)信心。?
與產(chǎn)品風(fēng)險(xiǎn)相關(guān)的度量包括:?
? 完全覆蓋的風(fēng)險(xiǎn)百分比(所有的測(cè)試都通過(Pass))?
? 部分覆蓋的風(fēng)險(xiǎn)的百分比(有些測(cè)試或很多測(cè)試都沒有通過)?
? 還未完全測(cè)試的風(fēng)險(xiǎn)的百分比(有些測(cè)試還沒有測(cè)試完)?
? 按風(fēng)險(xiǎn)類別劃分的覆蓋的風(fēng)險(xiǎn)百分比?
? 在初次質(zhì)量風(fēng)險(xiǎn)分析后識(shí)別的風(fēng)險(xiǎn)的百分比??
與缺陷相關(guān)的度量包括:?
? 已報(bào)告(發(fā)現(xiàn))的缺陷總數(shù)對(duì)比已解決(修復(fù))的缺陷總數(shù)?
? 失效的平均時(shí)間間隔和失效出現(xiàn)率?
? 按下列分類統(tǒng)計(jì)的缺陷數(shù)或百分比 o 特定的測(cè)試項(xiàng)或組件 o 根本原因 o 缺陷來源(如需求規(guī)格說明、新功能、回歸等) o 測(cè)試發(fā)布 o 引入、發(fā)現(xiàn)和移除缺陷的階段 o 優(yōu)先級(jí)/嚴(yán)重程度 o 拒絕或重復(fù)的缺陷報(bào)告?
? 從報(bào)告缺陷到修復(fù)缺陷所花的時(shí)間趨勢(shì)?
? 引入了新缺陷(有時(shí)也稱子缺陷)的缺陷修復(fù)數(shù)??
和測(cè)試相關(guān)的度量包括:?
? 已計(jì)劃的、已詳細(xì)說明(已實(shí)施)的、已運(yùn)行、通過的、失敗的、無法執(zhí)行的和跳過不執(zhí)行的測(cè)試總數(shù)?
? 回歸測(cè)試和確認(rèn)測(cè)試的狀態(tài),包括趨勢(shì)和未通過的回歸測(cè)試總數(shù)及未通過的確認(rèn)測(cè)試總數(shù)?
? 計(jì)劃的每日測(cè)試時(shí)長(zhǎng)對(duì)比實(shí)際的每日測(cè)試時(shí)長(zhǎng)?
? 測(cè)試環(huán)境的可用性(準(zhǔn)備測(cè)試團(tuán)隊(duì)可用的測(cè)試環(huán)境占計(jì)劃測(cè)試時(shí)長(zhǎng)的百分比)?
和測(cè)試覆蓋率相關(guān)的度量包括:?
? 需求和設(shè)計(jì)要素的覆蓋率?
? 風(fēng)險(xiǎn)覆蓋率?
? 環(huán)境/配置覆蓋率?
? 代碼覆蓋率??
重要的是測(cè)試經(jīng)理要知道怎樣去解讀和使用覆蓋率的度量,以便理解和報(bào)告測(cè)試狀態(tài)。對(duì)于級(jí)別較高的測(cè)試,如系統(tǒng)測(cè)試、系統(tǒng)集成測(cè)試和驗(yàn)收測(cè)試,主要的測(cè)試依據(jù)通常是需求規(guī)格說明、設(shè)計(jì)規(guī)格說明、用例、用戶故事、產(chǎn)品風(fēng)險(xiǎn)、支持環(huán)境和支持配置等工作產(chǎn)品。結(jié)構(gòu)化的代碼覆蓋率度量更適用于級(jí)別較低的測(cè)試,如單元測(cè)試(如語句和分支覆蓋)和組件集成測(cè)試(如接口覆蓋)。測(cè)試經(jīng)理可能使用代碼覆蓋的度量數(shù)據(jù)來衡量測(cè)試覆蓋待測(cè)系統(tǒng)的程度,但在匯報(bào)較高級(jí)別的測(cè)試結(jié)果時(shí),通常不會(huì)提到代碼覆蓋的度量。此外,測(cè)試經(jīng)理應(yīng)該知道即便單元測(cè)試和組件集成測(cè)試達(dá)到了結(jié)構(gòu)覆蓋目標(biāo)的100%,缺陷和質(zhì)量風(fēng)險(xiǎn)仍有待較高級(jí)別的測(cè)試來處理。?
度量也可以連系到基本測(cè)試過程中的活動(dòng)。在整個(gè)測(cè)試過程中,就可以對(duì)照項(xiàng)目目標(biāo)和測(cè)試過程本身,使用度量數(shù)據(jù)來監(jiān)督測(cè)試過程本身以及達(dá)成項(xiàng)目目標(biāo)的進(jìn)展。??
和監(jiān)督測(cè)試計(jì)劃和控制活動(dòng)相關(guān)的度量包括:?
? 風(fēng)險(xiǎn)、需求和其它測(cè)試依據(jù)要素的覆蓋率?
? 缺陷發(fā)現(xiàn)情況?
? 計(jì)劃開發(fā)測(cè)試件和執(zhí)行測(cè)試用例的時(shí)長(zhǎng)對(duì)比實(shí)際的時(shí)長(zhǎng)??
和監(jiān)督測(cè)試分析活動(dòng)相關(guān)的度量包括:
? 識(shí)別的測(cè)試條件數(shù)?
? 測(cè)試分析中發(fā)現(xiàn)的缺陷數(shù)(如通過使用測(cè)試依據(jù)識(shí)別風(fēng)險(xiǎn)或其它測(cè)試條件)??
和監(jiān)督測(cè)試設(shè)計(jì)活動(dòng)相關(guān)的度量包括:?
? 測(cè)試用例覆蓋的測(cè)試條件百分比?
? 測(cè)試設(shè)計(jì)中發(fā)現(xiàn)的缺陷數(shù)(如通過對(duì)照測(cè)試依據(jù)開發(fā)測(cè)試)??
和監(jiān)督測(cè)試實(shí)施活動(dòng)相關(guān)的度量包括:?
? 測(cè)試環(huán)境配置的百分比?
? 測(cè)試數(shù)據(jù)記錄加載的百分比?
? 測(cè)試用例自動(dòng)化的百分比??
和監(jiān)督測(cè)試執(zhí)行活動(dòng)相關(guān)的度量包括:?
? 執(zhí)行、通過和失敗的測(cè)試占已計(jì)劃的測(cè)試的百分比?
? 執(zhí)行(和/或通過)的測(cè)試用例覆蓋的測(cè)試條件的百分比
? 計(jì)劃與實(shí)際的報(bào)告/解決的缺陷對(duì)比?
? 計(jì)劃與實(shí)際達(dá)到的覆蓋率的對(duì)比?
監(jiān)督測(cè)試進(jìn)展和測(cè)試完成活動(dòng)的度量包括里程碑、入口準(zhǔn)則和出口準(zhǔn)則(測(cè)試計(jì)劃中定義和批準(zhǔn)的)的映射,其中可能包括以下內(nèi)容:?
? 計(jì)劃的測(cè)試條件、測(cè)試用例或測(cè)試規(guī)約說明的數(shù)目和按測(cè)試是否通過分別統(tǒng)計(jì)的執(zhí)行的測(cè)試條件、測(cè)試用例或測(cè)試規(guī)約說明的數(shù)目?
? 總?cè)毕輸?shù),通常按嚴(yán)重程度、優(yōu)先級(jí)、目前狀態(tài)、受影響的子系統(tǒng)或其它分類統(tǒng)計(jì)
? 要求的、接受的、開展的和測(cè)試過的變更數(shù)?
? 計(jì)劃成本對(duì)比實(shí)際成本?
? 計(jì)劃工期對(duì)比實(shí)際工期?
? 測(cè)試?yán)锍瘫挠?jì)劃日期對(duì)比實(shí)際日期?
? 有關(guān)測(cè)試的項(xiàng)目里程碑(如代碼凍結(jié))的計(jì)劃日期對(duì)比實(shí)際日期?
? 產(chǎn)品(質(zhì)量)風(fēng)險(xiǎn)狀態(tài)、通常按已緩解與未緩解的風(fēng)險(xiǎn),主要的風(fēng)險(xiǎn)區(qū)域、測(cè)試分析后發(fā)現(xiàn)的新風(fēng)險(xiǎn)等分類統(tǒng)計(jì)?
? 由于阻塞事件或計(jì)劃的變更導(dǎo)致的測(cè)試工作量、成本或時(shí)間損失的百分比?
? 確認(rèn)和回歸測(cè)試狀態(tài)??
和監(jiān)督測(cè)試結(jié)束活動(dòng)相關(guān)的度量包括:?
? 測(cè)試執(zhí)行期間已執(zhí)行的、通過的、失敗的、無法執(zhí)行的和跳過不執(zhí)行的測(cè)試用例的百分比?
? 納入可復(fù)用的測(cè)試用例庫的測(cè)試用例的百分比?
? 自動(dòng)化的測(cè)試用例的百分比或計(jì)劃的與實(shí)際的自動(dòng)化的測(cè)試用例百分比對(duì)比 ? 并入回歸測(cè)試的測(cè)試用例的百分比?
? 已解決/未解決的顯著缺陷報(bào)告的百分比?
? 識(shí)別和歸檔的測(cè)試工作產(chǎn)品的百分比??
另外,標(biāo)準(zhǔn)的項(xiàng)目管理技術(shù),如工作分解結(jié)構(gòu),通常被用來監(jiān)督測(cè)試過程。在敏捷團(tuán)隊(duì)中,測(cè)試是燃盡圖上用戶故事進(jìn)展的一部分。使用精益管理技術(shù)時(shí),測(cè)試進(jìn)展以一系列故事為基礎(chǔ),通常通過用戶故事卡在看板圖上移動(dòng)的狀態(tài)來監(jiān)督。??
在給定了一組度量標(biāo)準(zhǔn)后,度量數(shù)據(jù)可以通過口頭陳述、在表格中以數(shù)值的形式,或用圖形來進(jìn)行匯報(bào)。度量數(shù)據(jù)可以有很多用途,包括:
? 分析,找出可從測(cè)試結(jié)果中觀察到的趨勢(shì)和原因?
? 匯報(bào),將測(cè)試結(jié)果告知感興趣的項(xiàng)目參與人和項(xiàng)目干系人?
? 控制,改變整個(gè)測(cè)試或項(xiàng)目的進(jìn)程和監(jiān)督進(jìn)程糾正的結(jié)果??
收集、分析和報(bào)告這些測(cè)試度量數(shù)據(jù)的適當(dāng)方式取決于具體的信息需要、目標(biāo)和使用這些度量數(shù)據(jù)的個(gè)人能力。另外,測(cè)試報(bào)告的具體內(nèi)容也應(yīng)該根據(jù)不同的讀者而變化。??
為了測(cè)試控制的需要,非常重要的一點(diǎn)是度量數(shù)據(jù)必須能夠提供給測(cè)試經(jīng)理有關(guān)整個(gè)測(cè)試過程(測(cè)試計(jì)劃完成后)的信息,并能指導(dǎo)測(cè)試經(jīng)理成功完成測(cè)試任務(wù)、實(shí)施測(cè)試策略和實(shí)現(xiàn)測(cè)試目標(biāo)。因此在計(jì)劃時(shí)一定要考慮到信息需要,監(jiān)督時(shí)一定要包括收集任何需要的工作產(chǎn)品度量。需要的信息量和采集信息需要的工作量取決于各種項(xiàng)目因素,包括項(xiàng)目規(guī)模、復(fù)雜度和風(fēng)險(xiǎn)。
? 測(cè)試控制一定要回應(yīng)測(cè)試產(chǎn)生的信息和項(xiàng)目或活動(dòng)存在的不斷變化的環(huán)境。例如,如果動(dòng)態(tài)測(cè)試在某些認(rèn)為不可能有很多缺陷的區(qū)域發(fā)現(xiàn)了缺陷群,又如由于測(cè)試開始時(shí)間延遲導(dǎo)致測(cè)試執(zhí)行周期縮短,則必須對(duì)風(fēng)險(xiǎn)分析和計(jì)劃作出修改。這么做可能需要對(duì)測(cè)試優(yōu)先級(jí)重新設(shè)定和對(duì)剩余的測(cè)試執(zhí)行工作重新進(jìn)行分配。?
如果通過測(cè)試進(jìn)展報(bào)告發(fā)現(xiàn)與測(cè)試計(jì)劃出現(xiàn)了偏差,則應(yīng)執(zhí)行測(cè)試控制。測(cè)試控制的目的是為項(xiàng)目和/或測(cè)試重新定向到更可能取得成功的方向。當(dāng)項(xiàng)目的控制工作取決于測(cè)試結(jié)果或受測(cè)試結(jié)果影響時(shí),需要考慮以下內(nèi)容:?
? 修改質(zhì)量風(fēng)險(xiǎn)分析、測(cè)試優(yōu)先級(jí)和/或測(cè)試計(jì)劃?
? 增加資源或增加項(xiàng)目或測(cè)試工作量
? 推遲發(fā)布日期?
? 放松或加強(qiáng)測(cè)試出口準(zhǔn)則?
? 改變項(xiàng)目的范圍(功能或非功能)??
實(shí)施這些內(nèi)容通常需要項(xiàng)目或業(yè)務(wù)干系人之間達(dá)成共識(shí),并且取得項(xiàng)目或業(yè)務(wù)經(jīng)理的同意。??
測(cè)試報(bào)告中發(fā)布的信息應(yīng)該大部分取決于目標(biāo)讀者,如項(xiàng)目管理人員或業(yè)務(wù)管理人員的信息需要。項(xiàng)目經(jīng)理最可能感興趣的是關(guān)于缺陷的詳細(xì)信息,而業(yè)務(wù)經(jīng)理最關(guān)注的可能是產(chǎn)品風(fēng)險(xiǎn)的狀態(tài)。
總結(jié)
以上是生活随笔為你收集整理的测试管理 | 测试经理定义和实施测试度量的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: js判断对象是否为空对象_js对象
- 下一篇: Pytest全局用例共用之conftes