Labs導(dǎo)讀
中國移動擁有全球規(guī)模大、設(shè)備覆蓋度高的資源池及設(shè)備，涉及上游設(shè)備廠商多、設(shè)備種類豐富。雖然在設(shè)備采購及驗收時都會定義嚴格的規(guī)范及要求，但在交付時仍有部分固件與要求不一致等問題出現(xiàn)，這對組件在兼容性及對接能力等方面帶來潛在隱患和風險。對于運營商來說，如何在現(xiàn)網(wǎng)組件產(chǎn)品非自研情況下，即要做到廠商對運營商需求的迭代敏捷響應(yīng)，又能達到交付質(zhì)量和效率保證的最佳平衡？經(jīng)過中國移動網(wǎng)絡(luò)云幾期的實踐探索，中國移動聯(lián)合中興通訊等廠商基于“測試左移”技術(shù)理念的CI-CT-CD前置驗證敏捷流水線作為上述問題的創(chuàng)新解決方案，將中國移動自研自動化驗證工具和敏捷流水線左移至廠商研發(fā)階段為其提供快速驗證通道，讓運營商的需求和廠商的研發(fā)充分驗證滿足需求，驅(qū)動廠商產(chǎn)品版本迭代，可從廠商研發(fā)側(cè)有效消除交付問題隱患。基于這種方案，即使在固件不自研的情況下也能幫助實現(xiàn)設(shè)備的敏捷研發(fā)與高質(zhì)量交付保障。
Part0 從一封感謝信談起
近日，中國移動研究院基礎(chǔ)設(shè)施自動化團隊收到一封來自服務(wù)器供應(yīng)商技術(shù)團隊的感謝信，信中提到：
近期，我司在新一代服務(wù)器的研發(fā)測試過程中，使用中國移動研究院自動化驗證工具作為快速測試的手段，對服務(wù)器進行迭代測試驗證。雙方共同配合，開展了100+輪次的自動化測試驗證，解決了約100個設(shè)備質(zhì)量和管理接口問題，使我司服務(wù)器的國產(chǎn)化固件日趨穩(wěn)定。
這封感謝信的起因要從半年前，中國移動與合作伙伴啟動的服務(wù)器研發(fā)前置驗證項目說起。中國移動云網(wǎng)資源池已建設(shè)數(shù)期，在每期建設(shè)開始階段，各廠商亦如往期詢問中國移動什么時候開始做預(yù)集成驗證以保證廠商在交付階段的產(chǎn)品測試驗收達到更高的通過率。出于要對現(xiàn)網(wǎng)工期、保質(zhì)保量交付等多個要求的滿足，后來中國移動結(jié)合現(xiàn)網(wǎng)實際工作和廠商的研發(fā)實現(xiàn)機制，基于“測試左移”技術(shù)理念實現(xiàn)CI-CT-CD前置驗證敏捷流水線來解決廠商研發(fā)和交付階段的高頻錯誤率問題。這封信是其中一個廠商給中國移動該方案提供團隊發(fā)來的感謝信，感謝中國移動相關(guān)團隊提供自動化工具在研發(fā)階段經(jīng)過數(shù)百輪的測試，自動化發(fā)現(xiàn)問題、自動化分析、提出指導(dǎo)建議等等。下面我們結(jié)合測試左移來詳細介紹一下該方案。
Part 1 什么是“測試左移”？
一款產(chǎn)品的快速規(guī)模化應(yīng)用往往取決于對用戶變動需求的快速滿足，即產(chǎn)品的上線速度。而產(chǎn)品的上線速度體現(xiàn)在產(chǎn)品研發(fā)階段就需要產(chǎn)品迭代周期短、頻次高，這也是敏捷研發(fā)或者敏捷交付在產(chǎn)品階段流行的主要原因，傳統(tǒng)的產(chǎn)品研發(fā)以“需求—設(shè)計—研發(fā)—測試—發(fā)布”為主要流程，即測試在產(chǎn)品研發(fā)后才開始，如果即要保證產(chǎn)品質(zhì)量又要敏捷交付就會給測試人員帶來很大的時間壓力。同時，產(chǎn)品測試階段發(fā)現(xiàn)問題的修復(fù)成本遠高于研發(fā)階段的修復(fù)成本，如何盡快盡早地發(fā)現(xiàn)軟件產(chǎn)品中所存在的各種問題？這個難題“測試左移”可以給出答案。
測試左移旨在將測試從產(chǎn)品研發(fā)過程的末端轉(zhuǎn)移到產(chǎn)品研發(fā)的初始階段，讓測試與產(chǎn)品研發(fā)同步進行，可以更快地發(fā)現(xiàn)產(chǎn)品中存在的問題，并及時修復(fù)，能夠縮短測試周期，提高研發(fā)質(zhì)量，減少測試成本。同時，測試左移需要持續(xù)頻繁地在整個產(chǎn)品研發(fā)過程中開展，實現(xiàn)持續(xù)地測試，持續(xù)地獲取快速反饋，真正實現(xiàn)缺陷的預(yù)防。
Part1 中國移動CI-CT-CD技術(shù)體系如何構(gòu)建測試左移能力？
以服務(wù)器為例，中國移動聯(lián)合中興通訊等廠商基于“測試左移”技術(shù)理念提出服務(wù)器固件CI-CT-CD前置驗證敏捷流水線，形成以中國移動敏捷工作流為內(nèi)核驅(qū)動的“研發(fā)—驗證—部署—監(jiān)控”的閉環(huán)反饋模型，真正實現(xiàn)了“中國移動-廠商”閉環(huán)協(xié)作創(chuàng)新體系，讓廠商研發(fā)參與到整個工作流中，徹底打通了研發(fā)與實際驗收問題之間的壁壘，加快持續(xù)部署-持續(xù)測試迭代頻率，持續(xù)驅(qū)動組件成熟。
首先，在服務(wù)器固件（固件）研發(fā)階段，通過在廠商研發(fā)環(huán)境中引入輕量級自動化測試工具，進行測試極限左移的前置驗證，形成從“自動化工具研發(fā)適配—服務(wù)器固件研發(fā)驗證—固件驗證問題反饋—迭代開發(fā)驗證”這種不斷的迭代研發(fā)和驗證模型，可在固件研發(fā)階段及時發(fā)現(xiàn)問題并進行整改驗證，保證了固件版本開發(fā)的效率和質(zhì)量。
其次，在固件預(yù)驗證階段，中國移動運用數(shù)字孿生技術(shù)生成與硬件設(shè)備固件接口保持完整映射一致的虛擬設(shè)備數(shù)據(jù)，并通過自動化測試模塊對虛擬設(shè)備進行全覆蓋測試和結(jié)果反饋。從而有效地降低測試成本，縮短測試周期，促進組件的快速迭代驗證。
最后，通過CI-CT-CD流水線不間斷的測試-驗證-反饋機制，構(gòu)筑端到端全程流程自動化能力，實現(xiàn)全流程統(tǒng)一管理，確保組件質(zhì)量高可靠、過程可追溯，減少人為風險，為實現(xiàn)更好的硬件固件生態(tài)奠定堅實的基礎(chǔ)。
part2 "測試左移"前置驗證流水線怎么驅(qū)動廠商和中國移動之間敏捷協(xié)作？
基于“測試左移”技術(shù)的服務(wù)器固件CI-CT-CD前置驗證敏捷流水線，從廠商研發(fā)側(cè)進行自動化測試驗證，能夠提前發(fā)現(xiàn)管理接口與規(guī)范要求不一致或接口命令不支持等固件問題，從源頭消除接口、模型等參數(shù)與標準不符合的問題隱患，解決該類問題整改周期長，效率低的問題，提速優(yōu)化硬件在中國移動的適用性及生態(tài)兼容性。該工作流主要通過以下幾個技術(shù)特征實現(xiàn)快速、敏捷的協(xié)作驗證能力：
服務(wù)器數(shù)字化孿生mock信息獲取
設(shè)備供應(yīng)商使用中國移動信息提取工具采集設(shè)備的基本信息，中國移動將其轉(zhuǎn)換為數(shù)字化孿生MOCK，并對該虛擬設(shè)備進行驗證。
用于敏捷驗證的低代碼框架模板參數(shù)適配
低代碼敏捷驗證測試框架可進行服務(wù)器BMC配置、BIOS配置、模型配置、組件健康狀態(tài)、管理接口等方面的檢查。上述檢查內(nèi)容需要設(shè)備供應(yīng)商根據(jù)檢查模板文件提供服務(wù)器的對應(yīng)參數(shù)信息，中國移動根據(jù)提供的模板信息結(jié)合MOCK完成工具參數(shù)的自檢驗證。
“測試左移”前置驗證敏捷流水線
驗證工具自檢完成后，可將自動化驗證工具開放給設(shè)備供應(yīng)商，設(shè)備廠商使用工具在固件研發(fā)階段進行前置測試驗證，自動化驗證工具采用多線程執(zhí)行并發(fā)測試，能夠在資源消耗低的情況下，達到較高的測試效率，工具執(zhí)行完每輪自動化檢查，可以生成和導(dǎo)出檢查報告。針對驗證報告的失敗用例，廠商可及時進行固件錯誤修復(fù)再進行二次驗證，直到測試驗證全部通過，并將測試通過結(jié)果反饋中國移動做最終確認，真正實現(xiàn)測試極限左移，從研發(fā)側(cè)優(yōu)化交付產(chǎn)品，推動實現(xiàn)整體固件高質(zhì)量化。
part3 基于中國移動CI-CT-CD實驗室推動產(chǎn)業(yè)“測試左移”前置驗證
目前，基于“測試左移”技術(shù)研發(fā)理念形成的服務(wù)器固件研發(fā)前置驗證敏捷流水線已在中國通信標準化協(xié)會多樣性算力產(chǎn)業(yè)及標準推進委員會由中國移動研究院專家主導(dǎo)完成立項，獲得業(yè)界運營商、處理器廠商、整機設(shè)備廠商等9家單位的支持。同時，該方案在中國移動網(wǎng)絡(luò)云和IT云項目中全面落地應(yīng)用，在中興通訊等7家主流服務(wù)器廠商的共同配合下，在廠商實驗室開展累計300+輪次的自動化測試驗證，并依托該能力解決廠商300+個設(shè)備質(zhì)量和管理接口問題。在驅(qū)動廠商服務(wù)器固件日趨成熟的同時，廠商設(shè)備在現(xiàn)網(wǎng)交付階段驗收錯誤率大幅降低，極大提高了項目整體驗收的進度和質(zhì)量效率。
Part4總結(jié)
結(jié)合“測試左移“理念，中國移動CI-CT-CD敏捷流水線通過硬件前置驗證這種方案探索出了一條新的道路，即在組件產(chǎn)品非自研且云網(wǎng)基礎(chǔ)設(shè)施對組件產(chǎn)品的質(zhì)量要求較高的情況下，通過CI-CT-CD敏捷流水線可以驅(qū)動廠商固件快速迭代及成熟，在提高面向算網(wǎng)基礎(chǔ)設(shè)備自動化驗證能力的同時，也實現(xiàn)了產(chǎn)品敏捷研發(fā)與高質(zhì)量交付之間的高效平衡。目前，該方案也在到網(wǎng)絡(luò)云云平臺、核心網(wǎng)網(wǎng)元等軟件平臺推廣使用。在此，中國移動希望發(fā)揮自身在技術(shù)研發(fā)和產(chǎn)業(yè)引領(lǐng)方面的優(yōu)勢，與合作伙伴進一步協(xié)同推進研發(fā)驗證對接，優(yōu)勢互補，實現(xiàn)共贏。
作者：馬奇鳳 李鑫
單位：中國移動研究院網(wǎng)絡(luò)與IT技術(shù)研究所 
