跨瀏覽器測試是一種測試，需要大量的精力和時間。 通過不同的瀏覽器，操作系統(tǒng)，設備，屏幕分辨率測試Web應用程序，以評估針對各種受眾的Web內容呈現(xiàn)的過程是一項活動。 特別是如果手動處理。 使用Selenium進行的自動跨瀏覽器測試可以幫助您節(jié)省例行測試活動的時間，并幫助您縮短回歸測試的時間。 但是，人們很少喜歡變化。 如果手動測試在您的組織中很流行，那么當您要求他們實施測試自動化時，管理層顯然會提出問題。

測試自動化雖然非常有益，但通常可能會證明是昂貴的，但值得嗎？ 在說服高層管理人員的同時，您可能會發(fā)現(xiàn)這是一個難題。 在開發(fā)Web應用程序時，將需要您提供使用Selenium進行測試自動化的有效ROI，并強調通過Selenium進行自動化測試對Web應用程序進行自動跨瀏覽器測試的好處，因為它可以更快地完成工作，而無需人工。

在本文中，我們將討論使用Selenium評估測試自動化的ROI的不同指標，以及涵蓋基礎知識和高級技術的ROI計算技術。

使用Selenium評估測試自動化的ROI的指標

您和您的團隊成員可以考慮某些度量標準和度量標準，這些度量標準和度量標準可以幫助您在計劃從Web應用程序的頭開始進行自動化測試時，分析使用Selenium實現(xiàn)的自動化測試的ROI。 這些指標可能因組織而異。 為什么？ 嗯，這是一個優(yōu)先事項，有不同的度量標準，例如檢測到的缺陷數(shù)量，時間增益或測試覆蓋范圍會直接影響項目的風險，成本，質量和交付進度。 一些組織可能會優(yōu)先考慮發(fā)現(xiàn)的缺陷數(shù)量，因為他們可能認為數(shù)量會帶來質量。 有些人可能會反之亦然，因為對于他們而言，質量意味著一切。 你拿什么 您認為在測試用例的質量與數(shù)量之爭中，更重要的是什么。 在下面的評論部分中讓我知道您的想法。

話雖如此，在您與高級管理層進行討論之前，確定關鍵指標以使用Selenium進行測試自動化計算ROI至關重要。

硒測試自動化的范圍

我們知道我們無法執(zhí)行100％的測試自動化。 那么，您可以執(zhí)行多少自動化的跨瀏覽器測試，這是一個需要大量思考過程的問題？ 如果您希望為您的Web應用程序執(zhí)行自動跨瀏覽器測試，則必須考慮并確定優(yōu)先級，以及您應該在測試用例中涵蓋哪些操作系統(tǒng)？ 因為您無法涵蓋所有??情況。 可能的方案總數(shù)可能導致數(shù)百甚至數(shù)千個測試用例。 如果您的自動化測試腳本是如此之長，那么每天可能需要花費相當多的時間評估您的Web應用程序或網(wǎng)站。

簡而言之，您需要在此處比較自動化測試用例的總數(shù)與可以實現(xiàn)自動化的測試用例的總數(shù)。

如果您希望減少使用復雜測試套件的時間，則還可以使用Selenium Grid進行并行測試 。 這樣，您可以同時執(zhí)行多個測試腳本。 但是，為此，您可能還需要考慮多少個并發(fā)或并行會話足以滿足您的要求？ 您可以通過我們的并發(fā)計算器進行操作 。

此指標的改進表明，團隊可以更快地發(fā)現(xiàn)缺陷并快速修復它們，從而在Selenium上實現(xiàn)自動化測試的風險低，投資回報率高。

您將節(jié)省多少時間？

使用敏捷，每周或每兩周交付一次，并且需求經常變化。 在那種情況下，回歸測試的重要性增加了。 實施自動化回歸測試用例將減少測試所需的時間，從而獲得更多的時間進行開發(fā)或其他沖刺的投資。 節(jié)省時間是幾乎每個需要快速擴展其Web應用程序的組織（尤其是初創(chuàng)企業(yè)）的優(yōu)先考慮。 在評估測試自動化的投資回報率時，時間是您關注的問題之一嗎？

您的資源帶寬

我們知道，使用Selenium進行測試自動化將幫助您快速推銷Web應用程序。 但是，沒有哪個組織愿意在員工大部分時間都閑著等待腳本完成的情況下使用它。 要使用Selenium來計算測試自動化的ROI，需要對您所擁有的每個自動化和手動測試儀進行徹底的工作分析。

資源和工具的投資預算

測試自動化可以節(jié)省時間和精力。 但是，這涉及到價格的權衡。 您需要考慮可以為多少工具，每個組織（尤其是初創(chuàng)公司）輕松分配多少預算，這些工具需要快速擴展其Web應用程序。 在評估測試自動化的投資回報率時，時間是您關注的問題之一嗎？

總缺陷數(shù)

每個回歸周期完成后的總缺陷數(shù)表明了產品質量以及特定項目的有效自動化測試量。

找出自動化測試的真實投資回報率

根據(jù)在項目生命周期內需要執(zhí)行的回歸周期數(shù)，真實的ROI可以轉移到正值區(qū)域。 投資回報率通常通過以下公式計算：
ROI =（手動測試成本–自動測試成本）/自動測試成本

但是隨著敏捷和DevOps進入市場，經典方法不再有效。 另外，該度量標準也不現(xiàn)實，因為手動測試的次數(shù)永遠不會與自動測試的次數(shù)相同。 用Selenium自動化基于數(shù)量計算測試自動化ROI的真實價值并不是很多人的選擇。 但這也不是完全被忽視的。

缺陷質量

我認為，這是使用Selenium計算測試自動化的ROI時非常重要的指標。 我相信，使用Selenium進行測試自動化的全部目的是不消除項目中對手動測試人員的需求。 自動化測試的重點是減少測試人員狹窄的工作量，從而使他們可以提出更多的開箱即用的測試用例。 提高測試用例的質量肯定會幫助您更好地構建Web應用程序。

在測試自動化上計算投資回報率時的一般錯誤

盡管計算ROI涉及使用一些簡單公式進行基本計算，但是如果您錯過了一些重要參數(shù)，則可能會發(fā)生錯誤。 讓我們討論人們在計算ROI時常犯的一些錯誤。

您真的不是完全忽略手動測試嗎？

最大的錯誤之一就是僅保留自動化測試工作作為主要測量參數(shù)。 手動測試將始終很重要。 對于跨瀏覽器測試，可以自動執(zhí)行某些方案，但是在某些領域中，您需要通過執(zhí)行手動跨瀏覽器測試與Web應用進行實時交互。 因為視覺缺陷比運行自動化腳本更容易手動檢測。 始終手動檢查網(wǎng)站是否在所有瀏覽器中都看起來不錯或某個導航菜單在特定瀏覽器中是否正常運行等事實。 如果您使這些測試自動化，它們將無法在使用Selenium進行測試自動化方面提供很高的投資回報率。 即使您不計算手動工作量，您仍然必須花費時間和金錢。

總是想著更大的圖景

在使用Selenium測量測試自動化的ROI時，您必須考慮更長的時間。 檢查某種測試方法在短時間內如何使組織受益的做法并不理想。 從長遠來看，您必須檢查它如何影響組織和團隊。 而不是幾個月，而是要計算3到5年內的影響。 例如，您應該選擇左移測試嗎？ 左移測試是一種方法，可讓您集中精力從需求收集階段盡快進行測試。 背后的想法是考慮錯誤并盡快發(fā)現(xiàn)它們，因為據(jù)信在SDLC的較晚階段發(fā)現(xiàn)的錯誤將比在初始階段發(fā)現(xiàn)的錯誤貴得多。

您是否同步了組織的功能？

您必須將組織的功能與測試自動化工具堆棧同步。 為了成功實施自動化測試策略，既需要產品知識，又需要自動化知識。 您的團隊應該對如何使用計劃的自動化工具以及應用程序的工作有清晰的了解。

測試維護是要考慮的重要因素

測試用例的維護是人們在使用Selenium測量自動化測試的投資回報率時往往會錯過的另一個因素。 當您使用Selenium進行自動跨瀏覽器測試時，在成功實施測試策略之后，您將定期需要更新和維護測試用例。 隨著您添加新頁面，增強或更新Web應用程序的功能，回歸套件和測試用例將開始增長。 確保這些測試用例在較長時間內的可用性將需要定期維護。

缺少正確的文檔

這是一個非常常見的錯誤，不僅從自動化測試人員的角度來看，而且從管理角度來看。 應將文檔設置為每個組織的標準。 當自動化測試人員編寫測試腳本時，他們應該準備一份文檔，解釋該腳本的用途及其工作原理。 應該提供一個公共知識庫來收集有關組織活動的每個自動化腳本的文檔。 這將為參與該過程的每個萌芽資源奠定基礎。 這也將有助于消除因缺少任何高級測試自動化工程師而導致的Web應用程序可能遭受的附帶損害，或者自動化測試人員打算從您的公司切換到另一家公司。 因此，下次使用Selenium計算測試自動化的投資回報率時，請務必牢記為內部員工維護一個這樣的知識庫所涉及的工作量和帶寬。

使用硒實現(xiàn)自動化測試時獲得最大投資回報的操作項目

到目前為止，我們已經意識到了常見的錯誤，即使用Selenium在測試自動化上計算ROI的指標。 接下來是什么？ 執(zhí)行部分。 使用Selenium在測試自動化上獲得最大投資回報的最佳方法是什么？ 好了，這里有一些值得注意的可行見解，可以幫助您從測試自動化中獲得最大的收益。

為新的測試案例實現(xiàn)自動化
這是一個非常重要的考慮因素，尤其是當您從手動切換到自動化時。 假設您要介紹Selenium WebDriver，以在組織中進行自動跨瀏覽器測試。

• 計算需要自動化的測試用例的數(shù)量
  • 在此步驟中，檢查哪些應該是自動化的，哪些應該保持手動。
• 計算執(zhí)行您的測試用例的測試人員的小時成本。
• 如果某些測試人員沒有自動化經驗，那么也要計算培訓成本。

優(yōu)先考慮自動化新測試用例的過程

我們都知道，回歸測試始終被放在首位，尤其是涉及跨不同瀏覽器的Web應用程序的視覺回歸測試以檢查其跨瀏覽器兼容性時 。

回歸測試主要涉及對舊測試用例的重復執(zhí)行，以確保某些新添加的功能或增強功能不會引入任何新的或舊的缺陷。 隨著時間的流逝，當您的Web應用程序在體系結構和功能方面不斷增長時，保留回歸測試手冊的過程將變得非常昂貴。 如果您想降低成本，則實施自動視覺回歸測試很有意義。

• 在計算ROI時，假設每個新的測試用例都將很快成為回歸測試的一部分。 將它們保留為回歸測試策略的一部分。
• 根據(jù)復雜性對測試用例進行排序，并在其中自動進行檢查。
• 如前所述，請考慮維護舊測試用例的成本。

跨瀏覽器和OS的不同測試配置的測試覆蓋率接近100％

自動化測試的主要目標是提高應用程序的質量。 在計算投資回報率時，您還應該考慮以下事實：瀏覽網(wǎng)站的方式每天都在增加。 市場上有成百上千的瀏覽器和設備，人們可以在其中查看您的Web應用程序，并且該數(shù)目正在定期增長。 定義瀏覽器兼容性測試矩陣 。

擴大覆蓋率的最佳做法

通過執(zhí)行煙霧測試，單元測試，回歸測試，并注意缺陷泄漏，可以提高環(huán)境覆蓋率。

單元測試–單元測試在運行Web應用程序的測試階段時涵蓋了最多的數(shù)量。 當您投資并行測試機制以節(jié)省時間時，這總是有意義的。

冒煙測試–將修補程序推送到應用程序中時，并行運行冒煙測試是覆蓋測試用例的最佳方法。 自動化煙霧測試是每天評估Web應用程序的好方法。

回歸測試–在當今的敏捷時代，快速部署需要越來越多的回歸測試來測試版本控制。 運行并行回歸測試可確保每個最新版本都像以前的版本一樣完美運行，從而幫助您在短得多的時間內擴展測試范圍。

請記住缺陷泄漏–這是在生產周期中發(fā)生的錯誤數(shù)量，因為在先前的測試階段未檢測到它們。 這些可能是由于功能測試覆蓋范圍較小或測試環(huán)境不佳而發(fā)生的。

嘗試使用左移測試方法。 這涉及測試人員在應用程序開發(fā)之前對其進行驗證。 一旦完成特定模塊的開發(fā)，開發(fā)人員還可以通過運行單元測試用例來參與其中。 核心思想是盡早開始發(fā)現(xiàn)錯誤，最終將降低成本。

找出可重用和冗余測試用例的數(shù)量

重復的測試用例是可能導致測試預算增加的重要因素。 重新創(chuàng)建您先前用于不同模塊的相同測試用例沒有任何意義。 重用測試用例會導致測試速度提高和測試周期縮短。

計算此費用涉及檢查

• 重復測試用例數(shù)
• 具有重復組件的測試用例
• 檢測和開發(fā)所有這些冗余測試用例所需的時間。
• 計算使用測試用例管理工具的成本

減少冗余的最佳做法

• 使用測試用例管理工具查找重復的腳本。 您可以使用這些工具來存儲帶有自定義字段的測試，然后可以根據(jù)您的要求對其進行個性化設置。 使用測試用例管理工具將幫助您快速搜索冗余。
• 您還可以開發(fā)模塊化測試腳本，以后可以重用。 找出經常執(zhí)行的測試。 例如，登錄我們的退出功能。 為了檢查這兩個是否完美，您必須測試多種變體。 創(chuàng)建一個模塊化的測試用例，可用于每次登錄和注銷變體。

使用云端的Selenium網(wǎng)格執(zhí)行無憂的自動跨瀏覽器測試

執(zhí)行方法圍繞著使用Selenium進行測試自動化計算ROI的必要領域。 眾所周知，Selenium是一個開放源代碼測試自動化框架，旨在促進Web應用程序測試。 現(xiàn)在，您可以自行在本地使用Selenium進行自動化測試，也可以使用提供Selenium Grid的基于云的工具之一進行自動化測試。

當您通過自己的基礎結構使用Selenium執(zhí)行自動化測試時，在擴展自動化測試套件時，您必須牢記預算。 您將如何引入新設備？ 新的瀏覽器版本？ 您現(xiàn)有的計算機還需要大量硬件升級，才能支持Selenium Grid的并行執(zhí)行。 但是，如果要通過云上的Selenium Grid執(zhí)行測試自動化，則可以隨項目需求輕松擴展。

硒本身不提供測試報告功能。 您可以根據(jù)所使用的語言，使用測試自動化框架來提取測試報告。 如果您使用的是LambdaTest基于云的Selenium Grid，則可以通過我們的Open Selenium API提取這些報告。

兩種方法之間的另一個主要區(qū)別在于并行測試。 使用在本地計算機上定義的Selenium Grid，您將只能在該本地計算機上安裝的瀏覽器上運行測試用例。 但是，如果您使用的是基于云的Selenium Grid（例如LambdaTest），則可以跨2000多種實際瀏覽器和瀏覽器版本進行測試。

請記住，如果沒有正確執(zhí)行并行測試，則仍然存在在測試周期后期遇到缺陷的風險。 您發(fā)現(xiàn)錯誤的速度越快，修復它的成本就越低。

先進的ROI計算技術

現(xiàn)在，我們已經涵蓋了基礎知識，讓我們了解用于計算ROI的高級技術。

效率投資回報率

由于自動化測試用例可以全天候運行，因此ROI的計算以天為單位。 另一方面，對于手動測試，僅計算測試人員的工作時間，平均為8個小時。 構成計算投資回報率基礎的公式是

（a）自動化測試腳本開發(fā)時間=（每個測試的每小時自動化時間自動化測試案例數(shù)）/ 8
（b）自動化測試腳本執(zhí)行時間=（每個測試的自動化測試執(zhí)行時間自動化測試案例數(shù)ROI期間）/ 18
（c）自動化測試分析時間=（ ROI的測試分析時間段）/ 8
（d）自動化測試的維護時間=（ ROI的維護時間）/ 8
（e）手動執(zhí)行時間=（手動測試執(zhí)行時間 ，手動測試用例數(shù)*投資回報期）/ 8

注意： ROI的周期是要計算ROI的周數(shù)，如果需要手動操作，則除以8。 只要完成自動化，就可以除以18。

在效率計算中，主要重點是對組織進行多少有效的自動化測試。 金錢因素被認為是次要因素，并非必須包括測試人員的小時計費費率。

降低風險的投資回報率

這涉及獨立計算自動化的收益。 我們將再次以使用WebDriver進行跨瀏覽器測試為例，以了解其工作原理。 在手動測試期間，整個測試團隊過去通常會花費大量時間在多個瀏覽器上重復運行相同的測試用例。 引入自動化之后，他們有很多額外的時間來執(zhí)行生產性工作，例如設計測試用例，分析應用程序等。總之，降低風險的ROI解決了以前未解決的問題。

隨著自動化的實施，測試覆蓋率增加。 完全取決于手動測試將導致不必要的錯誤，這些錯誤可能會在交付后出現(xiàn)。 因此導致產品質量降低以及測試效率降低。 這種可能的損失被認為是一種風險。 投資成本沒有變化。 僅計算組織可能在沒有實施自動化的情況下可能面臨的金錢損失。

這是一個包裝！

感謝您的閱讀，我希望您現(xiàn)在擁有扎實的知識和明確的戰(zhàn)略，以幫助您說服高級管理人員圍繞Selenium進行測試自動化的ROI。 不要誤以為ROI僅是比較手動測試Web應用程序與自動化測試用例所花費的時間和金錢。 有很多因素需要考慮，每種因素都有其自身的優(yōu)點和陷阱。 此外，無法使用單個公式來計算ROI。 有多種機制，您需要選擇什么取決于組織的需求和項目的情況。 測試愉快！

翻譯自: https://www.javacodegeeks.com/2019/06/calculate-roi-test-automation-selenium.html

總結

以上是生活随笔為你收集整理的您如何使用硒来计算自动化测试的投资回报率？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。