Labs導(dǎo)讀
中國(guó)移動(dòng)擁有全球規(guī)模大、設(shè)備覆蓋度高的資源池及設(shè)備，涉及上游設(shè)備廠商多、設(shè)備種類豐富。雖然在設(shè)備采購(gòu)及驗(yàn)收時(shí)都會(huì)定義嚴(yán)格的規(guī)范及要求，但在交付時(shí)仍有部分固件與要求不一致等問題出現(xiàn)，這對(duì)組件在兼容性及對(duì)接能力等方面帶來潛在隱患和風(fēng)險(xiǎn)。對(duì)于運(yùn)營(yíng)商來說，如何在現(xiàn)網(wǎng)組件產(chǎn)品非自研情況下，即要做到廠商對(duì)運(yùn)營(yíng)商需求的迭代敏捷響應(yīng)，又能達(dá)到交付質(zhì)量和效率保證的最佳平衡？經(jīng)過中國(guó)移動(dòng)網(wǎng)絡(luò)云幾期的實(shí)踐探索，中國(guó)移動(dòng)聯(lián)合中興通訊等廠商基于“測(cè)試左移”技術(shù)理念的CI-CT-CD前置驗(yàn)證敏捷流水線作為上述問題的創(chuàng)新解決方案，將中國(guó)移動(dòng)自研自動(dòng)化驗(yàn)證工具和敏捷流水線左移至廠商研發(fā)階段為其提供快速驗(yàn)證通道，讓運(yùn)營(yíng)商的需求和廠商的研發(fā)充分驗(yàn)證滿足需求，驅(qū)動(dòng)廠商產(chǎn)品版本迭代，可從廠商研發(fā)側(cè)有效消除交付問題隱患。基于這種方案，即使在固件不自研的情況下也能幫助實(shí)現(xiàn)設(shè)備的敏捷研發(fā)與高質(zhì)量交付保障。
Part0 從一封感謝信談起
近日，中國(guó)移動(dòng)研究院基礎(chǔ)設(shè)施自動(dòng)化團(tuán)隊(duì)收到一封來自服務(wù)器供應(yīng)商技術(shù)團(tuán)隊(duì)的感謝信，信中提到：
近期，我司在新一代服務(wù)器的研發(fā)測(cè)試過程中，使用中國(guó)移動(dòng)研究院自動(dòng)化驗(yàn)證工具作為快速測(cè)試的手段，對(duì)服務(wù)器進(jìn)行迭代測(cè)試驗(yàn)證。雙方共同配合，開展了100+輪次的自動(dòng)化測(cè)試驗(yàn)證，解決了約100個(gè)設(shè)備質(zhì)量和管理接口問題，使我司服務(wù)器的國(guó)產(chǎn)化固件日趨穩(wěn)定。
這封感謝信的起因要從半年前，中國(guó)移動(dòng)與合作伙伴啟動(dòng)的服務(wù)器研發(fā)前置驗(yàn)證項(xiàng)目說起。中國(guó)移動(dòng)云網(wǎng)資源池已建設(shè)數(shù)期，在每期建設(shè)開始階段，各廠商亦如往期詢問中國(guó)移動(dòng)什么時(shí)候開始做預(yù)集成驗(yàn)證以保證廠商在交付階段的產(chǎn)品測(cè)試驗(yàn)收達(dá)到更高的通過率。出于要對(duì)現(xiàn)網(wǎng)工期、保質(zhì)保量交付等多個(gè)要求的滿足，后來中國(guó)移動(dòng)結(jié)合現(xiàn)網(wǎng)實(shí)際工作和廠商的研發(fā)實(shí)現(xiàn)機(jī)制，基于“測(cè)試左移”技術(shù)理念實(shí)現(xiàn)CI-CT-CD前置驗(yàn)證敏捷流水線來解決廠商研發(fā)和交付階段的高頻錯(cuò)誤率問題。這封信是其中一個(gè)廠商給中國(guó)移動(dòng)該方案提供團(tuán)隊(duì)發(fā)來的感謝信，感謝中國(guó)移動(dòng)相關(guān)團(tuán)隊(duì)提供自動(dòng)化工具在研發(fā)階段經(jīng)過數(shù)百輪的測(cè)試，自動(dòng)化發(fā)現(xiàn)問題、自動(dòng)化分析、提出指導(dǎo)建議等等。下面我們結(jié)合測(cè)試左移來詳細(xì)介紹一下該方案。
Part 1 什么是“測(cè)試左移”？
一款產(chǎn)品的快速規(guī)�；瘧�(yīng)用往往取決于對(duì)用戶變動(dòng)需求的快速滿足，即產(chǎn)品的上線速度。而產(chǎn)品的上線速度體現(xiàn)在產(chǎn)品研發(fā)階段就需要產(chǎn)品迭代周期短、頻次高，這也是敏捷研發(fā)或者敏捷交付在產(chǎn)品階段流行的主要原因，傳統(tǒng)的產(chǎn)品研發(fā)以“需求—設(shè)計(jì)—研發(fā)—測(cè)試—發(fā)布”為主要流程，即測(cè)試在產(chǎn)品研發(fā)后才開始，如果即要保證產(chǎn)品質(zhì)量又要敏捷交付就會(huì)給測(cè)試人員帶來很大的時(shí)間壓力。同時(shí)，產(chǎn)品測(cè)試階段發(fā)現(xiàn)問題的修復(fù)成本遠(yuǎn)高于研發(fā)階段的修復(fù)成本，如何盡快盡早地發(fā)現(xiàn)軟件產(chǎn)品中所存在的各種問題？這個(gè)難題“測(cè)試左移”可以給出答案。
測(cè)試左移旨在將測(cè)試從產(chǎn)品研發(fā)過程的末端轉(zhuǎn)移到產(chǎn)品研發(fā)的初始階段，讓測(cè)試與產(chǎn)品研發(fā)同步進(jìn)行，可以更快地發(fā)現(xiàn)產(chǎn)品中存在的問題，并及時(shí)修復(fù)，能夠縮短測(cè)試周期，提高研發(fā)質(zhì)量，減少測(cè)試成本。同時(shí)，測(cè)試左移需要持續(xù)頻繁地在整個(gè)產(chǎn)品研發(fā)過程中開展，實(shí)現(xiàn)持續(xù)地測(cè)試，持續(xù)地獲取快速反饋，真正實(shí)現(xiàn)缺陷的預(yù)防。
Part1 中國(guó)移動(dòng)CI-CT-CD技術(shù)體系如何構(gòu)建測(cè)試左移能力？
以服務(wù)器為例，中國(guó)移動(dòng)聯(lián)合中興通訊等廠商基于“測(cè)試左移”技術(shù)理念提出服務(wù)器固件CI-CT-CD前置驗(yàn)證敏捷流水線，形成以中國(guó)移動(dòng)敏捷工作流為內(nèi)核驅(qū)動(dòng)的“研發(fā)—驗(yàn)證—部署—監(jiān)控”的閉環(huán)反饋模型，真正實(shí)現(xiàn)了“中國(guó)移動(dòng)-廠商”閉環(huán)協(xié)作創(chuàng)新體系，讓廠商研發(fā)參與到整個(gè)工作流中，徹底打通了研發(fā)與實(shí)際驗(yàn)收問題之間的壁壘，加快持續(xù)部署-持續(xù)測(cè)試迭代頻率，持續(xù)驅(qū)動(dòng)組件成熟。
首先，在服務(wù)器固件（固件）研發(fā)階段，通過在廠商研發(fā)環(huán)境中引入輕量級(jí)自動(dòng)化測(cè)試工具，進(jìn)行測(cè)試極限左移的前置驗(yàn)證，形成從“自動(dòng)化工具研發(fā)適配—服務(wù)器固件研發(fā)驗(yàn)證—固件驗(yàn)證問題反饋—迭代開發(fā)驗(yàn)證”這種不斷的迭代研發(fā)和驗(yàn)證模型，可在固件研發(fā)階段及時(shí)發(fā)現(xiàn)問題并進(jìn)行整改驗(yàn)證，保證了固件版本開發(fā)的效率和質(zhì)量。
其次，在固件預(yù)驗(yàn)證階段，中國(guó)移動(dòng)運(yùn)用數(shù)字孿生技術(shù)生成與硬件設(shè)備固件接口保持完整映射一致的虛擬設(shè)備數(shù)據(jù)，并通過自動(dòng)化測(cè)試模塊對(duì)虛擬設(shè)備進(jìn)行全覆蓋測(cè)試和結(jié)果反饋。從而有效地降低測(cè)試成本，縮短測(cè)試周期，促進(jìn)組件的快速迭代驗(yàn)證。
最后，通過CI-CT-CD流水線不間斷的測(cè)試-驗(yàn)證-反饋機(jī)制，構(gòu)筑端到端全程流程自動(dòng)化能力，實(shí)現(xiàn)全流程統(tǒng)一管理，確保組件質(zhì)量高可靠、過程可追溯，減少人為風(fēng)險(xiǎn)，為實(shí)現(xiàn)更好的硬件固件生態(tài)奠定堅(jiān)實(shí)的基礎(chǔ)。
part2 "測(cè)試左移"前置驗(yàn)證流水線怎么驅(qū)動(dòng)廠商和中國(guó)移動(dòng)之間敏捷協(xié)作？
基于“測(cè)試左移”技術(shù)的服務(wù)器固件CI-CT-CD前置驗(yàn)證敏捷流水線，從廠商研發(fā)側(cè)進(jìn)行自動(dòng)化測(cè)試驗(yàn)證，能夠提前發(fā)現(xiàn)管理接口與規(guī)范要求不一致或接口命令不支持等固件問題，從源頭消除接口、模型等參數(shù)與標(biāo)準(zhǔn)不符合的問題隱患，解決該類問題整改周期長(zhǎng)，效率低的問題，提速優(yōu)化硬件在中國(guó)移動(dòng)的適用性及生態(tài)兼容性。該工作流主要通過以下幾個(gè)技術(shù)特征實(shí)現(xiàn)快速、敏捷的協(xié)作驗(yàn)證能力：
服務(wù)器數(shù)字化孿生mock信息獲取
設(shè)備供應(yīng)商使用中國(guó)移動(dòng)信息提取工具采集設(shè)備的基本信息，中國(guó)移動(dòng)將其轉(zhuǎn)換為數(shù)字化孿生MOCK，并對(duì)該虛擬設(shè)備進(jìn)行驗(yàn)證。
用于敏捷驗(yàn)證的低代碼框架模板參數(shù)適配
低代碼敏捷驗(yàn)證測(cè)試框架可進(jìn)行服務(wù)器BMC配置、BIOS配置、模型配置、組件健康狀態(tài)、管理接口等方面的檢查。上述檢查內(nèi)容需要設(shè)備供應(yīng)商根據(jù)檢查模板文件提供服務(wù)器的對(duì)應(yīng)參數(shù)信息，中國(guó)移動(dòng)根據(jù)提供的模板信息結(jié)合MOCK完成工具參數(shù)的自檢驗(yàn)證。
“測(cè)試左移”前置驗(yàn)證敏捷流水線
驗(yàn)證工具自檢完成后，可將自動(dòng)化驗(yàn)證工具開放給設(shè)備供應(yīng)商，設(shè)備廠商使用工具在固件研發(fā)階段進(jìn)行前置測(cè)試驗(yàn)證，自動(dòng)化驗(yàn)證工具采用多線程執(zhí)行并發(fā)測(cè)試，能夠在資源消耗低的情況下，達(dá)到較高的測(cè)試效率，工具執(zhí)行完每輪自動(dòng)化檢查，可以生成和導(dǎo)出檢查報(bào)告。針對(duì)驗(yàn)證報(bào)告的失敗用例，廠商可及時(shí)進(jìn)行固件錯(cuò)誤修復(fù)再進(jìn)行二次驗(yàn)證，直到測(cè)試驗(yàn)證全部通過，并將測(cè)試通過結(jié)果反饋中國(guó)移動(dòng)做最終確認(rèn)，真正實(shí)現(xiàn)測(cè)試極限左移，從研發(fā)側(cè)優(yōu)化交付產(chǎn)品，推動(dòng)實(shí)現(xiàn)整體固件高質(zhì)量化。
part3 基于中國(guó)移動(dòng)CI-CT-CD實(shí)驗(yàn)室推動(dòng)產(chǎn)業(yè)“測(cè)試左移”前置驗(yàn)證
目前，基于“測(cè)試左移”技術(shù)研發(fā)理念形成的服務(wù)器固件研發(fā)前置驗(yàn)證敏捷流水線已在中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)多樣性算力產(chǎn)業(yè)及標(biāo)準(zhǔn)推進(jìn)委員會(huì)由中國(guó)移動(dòng)研究院專家主導(dǎo)完成立項(xiàng)，獲得業(yè)界運(yùn)營(yíng)商、處理器廠商、整機(jī)設(shè)備廠商等9家單位的支持。同時(shí)，該方案在中國(guó)移動(dòng)網(wǎng)絡(luò)云和IT云項(xiàng)目中全面落地應(yīng)用，在中興通訊等7家主流服務(wù)器廠商的共同配合下，在廠商實(shí)驗(yàn)室開展累計(jì)300+輪次的自動(dòng)化測(cè)試驗(yàn)證，并依托該能力解決廠商300+個(gè)設(shè)備質(zhì)量和管理接口問題。在驅(qū)動(dòng)廠商服務(wù)器固件日趨成熟的同時(shí)，廠商設(shè)備在現(xiàn)網(wǎng)交付階段驗(yàn)收錯(cuò)誤率大幅降低，極大提高了項(xiàng)目整體驗(yàn)收的進(jìn)度和質(zhì)量效率。
Part4總結(jié)
結(jié)合“測(cè)試左移“理念，中國(guó)移動(dòng)CI-CT-CD敏捷流水線通過硬件前置驗(yàn)證這種方案探索出了一條新的道路，即在組件產(chǎn)品非自研且云網(wǎng)基礎(chǔ)設(shè)施對(duì)組件產(chǎn)品的質(zhì)量要求較高的情況下，通過CI-CT-CD敏捷流水線可以驅(qū)動(dòng)廠商固件快速迭代及成熟，在提高面向算網(wǎng)基礎(chǔ)設(shè)備自動(dòng)化驗(yàn)證能力的同時(shí)，也實(shí)現(xiàn)了產(chǎn)品敏捷研發(fā)與高質(zhì)量交付之間的高效平衡。目前，該方案也在到網(wǎng)絡(luò)云云平臺(tái)、核心網(wǎng)網(wǎng)元等軟件平臺(tái)推廣使用。在此，中國(guó)移動(dòng)希望發(fā)揮自身在技術(shù)研發(fā)和產(chǎn)業(yè)引領(lǐng)方面的優(yōu)勢(shì)，與合作伙伴進(jìn)一步協(xié)同推進(jìn)研發(fā)驗(yàn)證對(duì)接，優(yōu)勢(shì)互補(bǔ)，實(shí)現(xiàn)共贏。
作者：馬奇鳳 李鑫
單位：中國(guó)移動(dòng)研究院網(wǎng)絡(luò)與IT技術(shù)研究所 
