基于U-vMOS視頻體驗標準的固定寬帶網(wǎng)絡(luò)評估建議白皮書

1 U-vMOS重新定義視頻體驗評估標準

視頻已成為網(wǎng)絡(luò)上的最主要流量，視頻業(yè)務(wù)體驗已成為衡量網(wǎng)絡(luò)服務(wù)質(zhì)量的關(guān)鍵指標。伴隨著視頻分辨率的不斷提升（從720P/1080P逐漸過度至4K/8K），視頻業(yè)務(wù)對網(wǎng)絡(luò)的要求也越來越高。如何評價當前網(wǎng)絡(luò)下視頻業(yè)務(wù)的體驗，對用戶和運營商來說意義越來越重大。

IP承載網(wǎng)是一個“盡力而為”的網(wǎng)絡(luò)，網(wǎng)絡(luò)視頻業(yè)務(wù)占用帶寬資源較多、實時性要求較高，并且對分組丟失、時延、抖動等網(wǎng)絡(luò)特性非常敏感，尤其是時變的網(wǎng)絡(luò)特性嚴重影響網(wǎng)絡(luò)視頻業(yè)務(wù)的質(zhì)量。通過對網(wǎng)絡(luò)視頻質(zhì)量的監(jiān)控和反饋，可以調(diào)節(jié)編解碼器或信道的參數(shù)，改善傳輸視頻的服務(wù)質(zhì)量。因此，需要實時準確地對網(wǎng)絡(luò)視頻服務(wù)質(zhì)量進行監(jiān)控，獲得反映用戶感受的視頻體驗質(zhì)量。

早在2009年ITU-T就啟動了針對視頻業(yè)務(wù)的vMOS標準研究項目，并于2012年參考語音MOS指標體系發(fā)布了第一個基于視頻體驗的VMoS指標，用于監(jiān)控視頻經(jīng)過網(wǎng)絡(luò)傳輸后的質(zhì)量損失，關(guān)注點在于視頻QoE的檢測和問題定位。這套指標完全參考了語音MOS的定義，先定義影響因素Compression、packet-loss、rebuffering，自下而上地計算vMOS。出發(fā)點是為了發(fā)現(xiàn)問題，用于視頻質(zhì)量監(jiān)控，只站在技術(shù)視角看問題，沒有考慮消費者對視頻體驗優(yōu)劣的評價是跨越視頻業(yè)務(wù)的全流程，也沒有站在最終消費者體驗的角度去橫向比較不同的分辨率帶給用戶的不同體驗。因此也無法完整的指導運營商網(wǎng)絡(luò)的設(shè)計和優(yōu)化。

華為認為在原有vMOS的基礎(chǔ)上，需要根據(jù)以用戶體驗為中心的評價體系標準，用統(tǒng)一的衡量標準，來評價不同網(wǎng)絡(luò)，不同屏幕，不同場景應用下的視頻體驗的好壞�；�于以上出發(fā)點，華為視頻研究團隊結(jié)合人體工程學實驗，樣本調(diào)研和深入技術(shù)研究，提煉出適配全場景的視頻體驗TOP3影響因子，即視頻質(zhì)量（sQaultiy），互動體驗(sInteraction)和觀看體驗(sView)。華為基于三大核心思想，設(shè)計了視頻體驗衡量體系評價標準U-vMOS，使TOP3視頻體驗影響因子得以量化，使得視頻體驗標準體系實現(xiàn)可采集、可評估、可演進。

影響視頻質(zhì)量，操作體驗和播放體驗三個模塊的主要因素如圖2所示U-vMOS的評價模型主要分為三個部分，即視頻質(zhì)量（sQuality），操作體驗（sInteraction）和播放體驗（sView），擬合出如下公式。

圖1 U-vMOS建模方法

圖2 sQuality的影響因子

圖3 sInteraction的影響因子

圖4 sView 的影響因子

1 基于U-vMOS的固定寬帶網(wǎng)絡(luò)評估的流程

對當前固定寬帶網(wǎng)絡(luò)進行基于U-vMOS的網(wǎng)絡(luò)評估，需要達到如下幾個目的：

• 體現(xiàn)單個典型用戶的U-vMOS指標
• 體現(xiàn)整網(wǎng)的U-vMOS指標
• 識別當前網(wǎng)絡(luò)承載視頻體驗與目標的差距及根因
• 基于根因制定網(wǎng)絡(luò)優(yōu)化及演進方案

基于以上目的，U-vMOS的網(wǎng)絡(luò)評估的流程可以分為如下3個步驟：U-vMOS目標設(shè)定、差距和根因分析、優(yōu)化方案實施

1.1U-vMOS目標設(shè)定

基于U-vMOS評估標準，視頻的原始質(zhì)量是U-vMOS的基準，整體的U-vMOS是在疊加操作體驗和播放體驗之后得出的。相同分辨率的視頻的基準體驗值在不同的幀率、視頻編碼方式和碼率等條件下所能達到的U-vMOS基準不同。因此測量整體U-vMOS前需對網(wǎng)絡(luò)視頻的基準體驗進行測量。如下為100英寸屏幕，不同分辨率下所能達到的基準質(zhì)量的范圍：

圖5 100英寸屏幕不同分辨率視頻的U-vMOS極限

1.1.1評估指標的定義

基于HTTP的視頻點播業(yè)務(wù)是目前視頻中占比最高的業(yè)務(wù)，它對網(wǎng)絡(luò)質(zhì)量敏感，定位問題困難。本文的評估主要針對基于HTTP的點播業(yè)務(wù)�；�于U-vMOS的評估體系指標采集需要考慮到體驗、業(yè)務(wù)及網(wǎng)絡(luò)三個層次。

l體驗KQI指標：從用戶視角出發(fā)，對用戶感知進行分解和量化。體驗KQI指標參考U-vMOS關(guān)鍵要素，如視頻質(zhì)量、操作體驗、播放體驗。

l業(yè)務(wù)KPI指標：以運維技術(shù)人員視角，考慮業(yè)務(wù)的交互流程，用于分析影響用戶感知的業(yè)務(wù)流程因素，例如DNS解析時間，CDN調(diào)度時間，視頻分片資源分布等。

l網(wǎng)絡(luò)KPI指標：直接反映網(wǎng)絡(luò)管道運行的關(guān)鍵性能指標，如帶寬、RTT、丟包率等。

1.1.2測試樣本空間的確定

測量樣本的選擇決定了測量結(jié)果能否完整全面地反映被測網(wǎng)絡(luò)的整體體驗情況。樣本包含三個維度的要求。

• 云樣本：即選取哪些視頻內(nèi)容作為被測對象。云樣本的選取要考慮覆蓋不同的視頻提供商的TOP熱點節(jié)目的不同清晰度視頻源。
• 管（網(wǎng)絡(luò)）樣本：即選擇何種網(wǎng)絡(luò)場景下的用戶進行測試。管（網(wǎng)絡(luò)）樣本的選擇需要考慮用戶接入類型、用戶套餐、不同區(qū)域、不同的網(wǎng)絡(luò)層次、不同網(wǎng)絡(luò)負載、不同線路質(zhì)量（如：與基站距離的遠近、光纖接入/銅線接入等）等因素。
• 測量時間段：不同的時間段，網(wǎng)絡(luò)負載不同，測試時間段需要覆蓋網(wǎng)絡(luò)的忙時和閑時。忙時、閑時可由用戶數(shù)或者流量大小來決定。寬帶發(fā)展聯(lián)盟認為通用場景下19：00～23：00為網(wǎng)絡(luò)忙時，但不同運營商的用戶行為可能不同，精確的忙時、閑時定義建議提前對運營商網(wǎng)絡(luò)進行用戶數(shù)及流量的評估，從而準確判斷忙時、閑時時間段。

1.1.3U-vMOS評估指標的測量

U-vMOS的測量手段，主要有如下三類：

• 視頻播放器集成U-vMOS算法引擎

在機頂盒、PC、手機/PAD等終端上集成華為U-vMOS算法引擎，通過視頻播放器獲取加載時長、卡頓、花屏等體驗參數(shù)，調(diào)用U-vMOS引擎實時計算出結(jié)果并上報服務(wù)器。

• 網(wǎng)絡(luò)設(shè)備打點分析

中間網(wǎng)絡(luò)設(shè)備可以基于播放器的關(guān)鍵行為特征針，對每用戶的視頻交互流程進行分析打點，判斷加載時長、頻道切換時長等指標進行測量。同時還能夠基于CDN與終端的實時數(shù)據(jù)傳輸速率和傳輸?shù)臄?shù)據(jù)量判斷卡頓指標。

• 專用的U-vMOS測試終端

提供一種基于X86/Android通用硬件盒子，集成各種視頻的客戶端播放器，同時集成U-vMOS算法引擎，有選擇性地抽樣部署在網(wǎng)絡(luò)的不同位置（基站、接入機房或者部分用戶家中），對視頻體驗進行例行監(jiān)控。

表1 測量手段比較

1.2差距與根因識別

差距與根因識別可以分成結(jié)果可視化、U-vMOS差距分析、根因分析等3個環(huán)節(jié)，對被測網(wǎng)絡(luò)的視頻業(yè)務(wù)體驗質(zhì)量做出綜合評價，并分析體驗的差距及影響體驗的瓶頸根因。

1.2.1結(jié)果可視化

體驗數(shù)據(jù)的展現(xiàn)可以分為整網(wǎng)統(tǒng)合指標，用戶類指標，區(qū)域地圖等維度來展現(xiàn)。

• 整網(wǎng)綜合指標用于體現(xiàn)運營商對視頻的支持情況，便于不同運營商之間對比，體現(xiàn)運營商網(wǎng)絡(luò)的整體競爭力。
• 用戶類指標是展現(xiàn)的是運營商網(wǎng)絡(luò)內(nèi)的特定一類用戶的U-vMOS，便于運營商內(nèi)部對不同網(wǎng)絡(luò)方案或者套餐對視頻的滿足度進行比較評估。
• 區(qū)域地圖通過網(wǎng)絡(luò)拓樸與U-vMOS結(jié)合，可以清晰展現(xiàn)網(wǎng)絡(luò)不同位置下的U-vMOS分布情況，便于運營商內(nèi)部對不同區(qū)域或者層次的網(wǎng)絡(luò)對視頻的滿足度的展示。

這些指標也可根據(jù)統(tǒng)計和分析需要，也可按時間段劃分測試數(shù)據(jù)記錄，衍生出全時段指數(shù)、忙時指數(shù)和閑時指數(shù)。

1.2.2U-vMOS差距分析

影響用戶體驗的瓶頸分析和問題診斷過程，應按以下原則順序進行：

圖6 U-vMOS差距分析流程

a)確定分析范圍：制定U-vMOS 閾值，篩選出U-vMOS值低于規(guī)定閾值的測試數(shù)據(jù)記錄進行逐條分析（如規(guī)定U-vMOS<3.5的測試數(shù)據(jù)記錄均納入分析范圍）。

b)云側(cè)瓶頸分析：分析測試數(shù)據(jù)記錄中的業(yè)務(wù)KPI，判斷是否存在服務(wù)器響應速度瓶頸、服務(wù)器負載能力瓶頸或服務(wù)器出口限速瓶頸。

c)網(wǎng)絡(luò)瓶頸分析：分析測試數(shù)據(jù)記錄中的網(wǎng)絡(luò)KPI，與網(wǎng)絡(luò)KPI要求基線進行對比，判斷影響體驗的具體維度。

1.3.3根因分析

基于網(wǎng)絡(luò)KPI瓶頸可以對具體網(wǎng)絡(luò)進行詳細評估，以確定造成網(wǎng)絡(luò)KPI差距（帶寬、時延、丟包）的具體組網(wǎng)原因。如下為可能的根因示例：

圖7 可能的根因示例

1.4優(yōu)化方案實施

基于視頻業(yè)務(wù)發(fā)展的不同時期，可以采用不同的優(yōu)化方案