從一次故障談談前端 UI 自動化測試

背景

事件的起因在于老闆最近的兩次“故障”，一次去年的，一次最近。共同原因都是腳手架在釋出平台釋出打包時出錯，導緻線上應用白屏不可用。

最神奇的是，事後多次 Code Review，結果還是沒有發現任何能夠導緻該問題的 bug，最後推測有可能是伺服器在釋出打包的時候出了問題。

當老闆第 N + 1 次吐槽因為他寫的工程化工具領來的天外飛鍋，我突然思考起來，如何才能避免這種天外飛鍋。

歸根結底，導緻這類線上故障的原因都是在于打包上線的代碼沒有經過驗證。針對這個問題，有兩種方法可以解決：

1. 治本，由于請求位址不同，預發（測試）版本不可直接發線上，而線上版本缺少了上線之前的驗證過程。是以，可以通過在釋出系統的預發和線上之間，新增一個 beta 釋出，beta 釋出使用線上釋出的打包流程，不同的是，隻允許内網通路，專門用于内部測試。有人可能會問，哪怕添加了 beta 釋出，依然無法保證線上釋出重新打包的時候不出錯呀？重點來了，這種解決方案的核心就在于，beta 釋出測試通過後，直接将 beta 釋出的打包産物進行線上釋出，因為不需要二次打包，是以避免了打包過程中産生新的問題。由于添加 beta 釋出需要不同崗位，比如運維、後端、移動端的協作，是以實施難度較大。
2. 治标，既然線上版本上線之前驗證不了，那麼上線之後立刻回歸驗證，如果發現問題，立刻手動復原。正所謂沒有人發現的故障就不是故障，perfect！

正如之前所說的，治本的方法實施難度較大，是以，我們重點關注治标的方法，即上線之後進行回歸驗證。

說到這裡，問大家一個問題，需求上線之後，作為前端，大家會主動進行回歸驗證而不是等測試進行驗證嗎？

不管你們會不會，反正我是不會[doge]。

在這種情況下，前端 UI 自動化測試閃亮登場。

什麼是前端 UI 自動化測試

衆所周知，測試是一個很重要的環節，由于它的重要性，甚至軟體工程中出現了 TDD 這種說法。

在之前，所謂的前端測試，更多的是在頁面上點點點，進行人肉測試，毫無疑問，效率低下。

是以，有了前端自動化測試，使用機器代替人工。一般來說，前端自動化測試分為兩種：單元測試以及 e2e 測試（UI 自動化測試）。

單元測試本質上是一種白盒測試，是對程式中的最小可測試單元進行測試。

e2e 測試本質上是一種黑盒測試，相當于模拟使用者通路應用程式，主要檢查界面或功能是否正确。

相比于單元測試，UI 自動化測試更多的是站在使用者角度，從使用者的角度發現問題。但是，由于它其實是一種黑盒測試，是以效率相對于白盒測試要低一些。

前端 UI 自動化測試架構對比

Selenium：e2e 測試鼻祖級的架構，有多種程式設計語言的版本，如果你去問問你們公司的測試，那麼你一定會發現，他們正在用 Python 版本的 Selenium 寫自動化測試腳本。值得一提的是，它是基于 webdriver 而不是 webkit 核心實作的，是以，Selenium 的浏覽器相容性相對于其他浏覽器要好很多。

PhantomJS：開創性的 headless（無頭）測試架構，何為 headless？即沒有 UI 界面的浏覽器。headless 最大好處在于可以像單元測試一樣，在指令行中跑 e2e 測試。

nightmare：一句話——加強版的 PhantomJS，相對于 PhantomJS，無論是開發還是運作效率都得到了很大的提升。

tips：nightmare 還有個優點——它提供了一個 Chrome 插件 daydream，該插件可以通過錄制螢幕，自動化生成測試代碼，懶人福音。

nightwatch：名字和 nightmare 很像，但是完全不一樣的一個 e2e 架構，使用 Node 調用 webdriver 實作。相對于 Selenium，開發和運作效率更高，最重要的是，疊代很活躍，這點，用開源産品的使用者懂得都懂。

cypress：我接觸的第一個 e2e 測試架構，測試界面和文檔做到極緻的一個産品，推薦大家可以試一試。

puppeteer：e2e 測試架構的集大成者，預設以 headless 模式運作，但是也可以通過配置變為 Chromium 運作。開發效率以及運作效率一流，最重要的是，它像 nightmare 一樣，提供了測試代碼生成插件——puppeteer-recorder。

綜上所述，如果考慮浏覽器相容性，使用 nightwatch，反之，選擇 cypress 或者 puppeteer，如果需要 headless 或者自動化生成代碼的功能，那就使用 puppeteer。

使用前端 UI 自動化測試的價值

從自動化測試的收益來說，自動化測試有個公式：

自動化的收益 = 疊代次數 * 全手動執行成本 - 首次自動化成本 - 維護次數 * 維護成本
           

簡而言之，疊代越頻繁，維護成本越高的項目，添加自動化測試的價值越高。在基建項目或頻繁疊代項目中引入前端 UI 自動化測試，可以大大減少每次疊代後手動測試的時間。比起手動測試，前端 UI 自動化測試測試的更快也更徹底。

另一個方面，随着前端技術的高速發展，各個公司的前端開發、監控體系已經很完善了，但是缺少前端在測試方向上的延伸。而前端 UI 自動化測試最大的價值，就是在前端部分，彌補開發和監控之間的空白區域，形成一個完整的閉環，三管齊下，極大地保障了項目的品質。

未來的展望

針對前端 UI 自動化測試，我思考了很久，個人認為主要有兩大方向：

1. 針對單個項目，進行一系列關鍵功能的測試，不過如果需要追求測試覆寫率的話，比較耗費時間，算是一種比較正常、精細的測試方案，是以比較适合一些長期維護的基建項目或者大型業務項目，缺點在于活動頁基本覆寫不了。
2. 針對所有項目，添加一個自動化測試的腳手架，能夠通過配置項，自動通路目标頁面，并進行一系列的 e2e 測試，根據不同的結果采取截圖、生成 pdf、報警等不同處理方案。

第二個方案，即通用化方案也是我最近開發的重點方向，接下來我應該會專門寫一篇文章，大概介紹下該方案的設計以及具體實作（如果我沒有懶癌發作的話[doge]）。

如果有不同想法的同學，歡迎一起交流~

我的 github：https://github.com/KarthusLorin/blog