9月1日,2021世界5G大會“5G與新視聽論壇”舉行,來自國內(nèi)廣播電視機(jī)構(gòu)的相關(guān)負(fù)責(zé)人、技術(shù)專家、企業(yè)代表以及業(yè)內(nèi)資深人士等數(shù)十位嘉賓出席,并圍繞5G推動高清視頻業(yè)務(wù)向互動式、沉浸式發(fā)展,助力國內(nèi)高新視聽產(chǎn)業(yè)進(jìn)步,以及加快廣播電視和網(wǎng)絡(luò)實(shí)體媒體新生態(tài)重塑等話題進(jìn)行了演講。高通公司技術(shù)標(biāo)準(zhǔn)高級總監(jiān)李儼出席論壇并發(fā)表了題為“沉浸式體驗(yàn)5G廣播”的演講,介紹了5G助力視聽產(chǎn)業(yè)變革的重要作用和巨大潛力,并分享了高通在音視頻技術(shù)與電視廣播技術(shù)標(biāo)準(zhǔn)等方面的努力。
圖為高通公司技術(shù)標(biāo)準(zhǔn)高級總監(jiān)李儼在“5G與新視聽論壇”上發(fā)表演講
以下為李儼演講實(shí)錄:
各位領(lǐng)導(dǎo),各位嘉賓,大家好。非常高興有機(jī)會參加此次活動,與諸位共同探討5G與新視聽產(chǎn)業(yè)。
5G實(shí)現(xiàn)商用的兩年里,5G建設(shè)在中國乃至全球范圍內(nèi)都獲得巨大發(fā)展。根據(jù)最新官方數(shù)據(jù)統(tǒng)計(jì),截至今年6月,中國已經(jīng)建設(shè)了將近100萬個5G基站,5G終端連接數(shù)約3.65億戶。大家已經(jīng)陸續(xù)開始體驗(yàn)到5G在手機(jī)應(yīng)用方面帶給我們的一些巨大變化。據(jù)市場研究機(jī)構(gòu)預(yù)測,5G到2035年將帶來13.1萬億美元的經(jīng)濟(jì)產(chǎn)出。隨著5G建設(shè)不斷拓展,關(guān)于5G如何賦能各行各業(yè)的探討也在增多,今天我主要就5G如何變革視頻產(chǎn)業(yè)談一些看法。
隨著移動通信技術(shù)和智能終端的不斷發(fā)展,人們把越來越多的業(yè)余時間花在了視頻上。我們從網(wǎng)絡(luò)數(shù)據(jù)上也可以看到相應(yīng)流量的大幅增長,整個移動業(yè)務(wù)數(shù)據(jù)量中視頻流量的占比非常高,根據(jù)運(yùn)營商的預(yù)測報(bào)告顯示,2022年視頻流量將約占移動數(shù)據(jù)總流量的80%。那么從信號采集到內(nèi)容制作、到分發(fā)、再到最后呈現(xiàn),5G技術(shù)能夠給整個視頻制作的全產(chǎn)業(yè)鏈環(huán)節(jié)帶來哪些變化呢?首先是信號采集,因?yàn)槿绻覀儸F(xiàn)在去做8K信號采集的話,需要在信號采集環(huán)節(jié)做一些初壓縮,但是按照央視發(fā)布的關(guān)于8K超高清視頻制作的最新標(biāo)準(zhǔn),要求要求8K視頻/音頻數(shù)據(jù)傳輸速率至少達(dá)到600Mbps,如何把這樣的視頻流回傳到內(nèi)容制作中心,是一個很大的挑戰(zhàn)。過去我們依靠光纖傳輸,但這會給不同的拍攝機(jī)位帶來一些限制,我們希望5G技術(shù)能夠幫助每個機(jī)位實(shí)時采集到更多現(xiàn)場的、更豐富多彩的8K視頻信號。這就給我們的移動連接提出了要求,但傳統(tǒng)的Sub-6GHz頻段會因?yàn)轭l譜受限而難以將這樣的信號上傳,但毫米波的大帶寬就可以充分支持這一目標(biāo)的實(shí)現(xiàn)。基于這一點(diǎn),高通聯(lián)合中興通訊、TVU等合作伙伴,在今年5月完成了首個全球基于大上行幀結(jié)構(gòu)的5G毫米波8K視頻回傳業(yè)務(wù)演示。
在信號的采集和制作過程中,大量的數(shù)據(jù)產(chǎn)生后,我們需要相關(guān)的設(shè)備將如此大量的數(shù)據(jù)傳回到制作中心。目前,在全球范圍內(nèi)支持毫米波的設(shè)備逐步增加,例如CPE、工業(yè)互聯(lián)網(wǎng)、工業(yè)網(wǎng)關(guān)和模組設(shè)備等等,可以配合攝像機(jī),包括前端的壓縮編碼器來配合數(shù)據(jù)回傳。同樣我們也有很多智能終端設(shè)備可以播放這些8K視頻或沉浸式、交互式的內(nèi)容。利用毫米波大容量的優(yōu)勢,可以使更多的用戶能同時體驗(yàn)到沉浸式、交互式的內(nèi)容。
至于如何在終端上呈現(xiàn)這些內(nèi)容,剛才前面的幾位嘉賓也提到,在新視聽領(lǐng)域,內(nèi)容創(chuàng)新非常重要。我們觀察到,現(xiàn)在大家之所以習(xí)慣把大部分日常休閑時間花在觀看手機(jī)上的短視頻,是因?yàn)閮?nèi)容創(chuàng)新實(shí)際上是通過智能手機(jī)這種方式,使用戶與內(nèi)容產(chǎn)生交互。這種交互不僅僅體現(xiàn)在對內(nèi)容的選擇上,未來還可以體現(xiàn)在內(nèi)容制作上,使內(nèi)容本身就可以為用戶提供交互性,用戶可以在選擇觀看內(nèi)容的同時,選擇不同的觀看視角,比如360度視角的體育轉(zhuǎn)播,以及將AR、VR技術(shù)應(yīng)用到廣播當(dāng)中等等。同樣,不論是剛剛結(jié)束的奧運(yùn)會,還是即將到來的冬奧會,會有很多體育比賽的轉(zhuǎn)播,我們可以思考這樣一個問題,如果我們?nèi)ビ^看一場足球賽,按照今天的轉(zhuǎn)播技術(shù),一個靜止的畫面以1080P和4K清晰度傳輸給用戶,可以滿足當(dāng)下用戶的要求。但當(dāng)我們擁有8K技術(shù)的時候,我們還能再做一些什么?當(dāng)我們有足夠大的帶寬,能夠把8K的內(nèi)容傳輸?shù)浇K端時,用戶在終端上就可以選擇他們想要關(guān)注的視角。這是因?yàn)?K的內(nèi)容可以涵蓋更多視角,用戶只需要關(guān)注其中的一個節(jié)點(diǎn),在需要觀看全局時自由切換。由于內(nèi)容已經(jīng)傳輸?shù)浇K端上,加上8K的分辨率,所以不論是足球賽還是橄欖球賽,不論是全局視角還是局部細(xì)節(jié),都可以滿足用戶需求。因此,我們可以通過在終端上提供交互性,使得用戶有選擇性地與內(nèi)容進(jìn)行交互,來滿足他們交互式的要求。
在終端方面,目前可能很多的內(nèi)容畫面仍然局限于60幀速率,但實(shí)際上我們的終端已經(jīng)可以支持4K 120幀的速率。相信未來隨著內(nèi)容制作的不斷豐富,我們也可以利用120幀的速率來進(jìn)行內(nèi)容呈現(xiàn)。另外,前面幾位嘉賓也都談到了HDR,它會給視頻的整體色彩帶來很大變化。同時,當(dāng)我們要傳輸更高幀率、更高動態(tài)范圍的時候,就需要更大帶寬。5G技術(shù)能夠?yàn)橛脩魩泶髱,我們接下來要解決如何進(jìn)行呈現(xiàn)的問題。
雖然我們更多關(guān)心的是基于視頻的編碼,但也需要去討論聲音的問題。比如用8K去轉(zhuǎn)播一場足球賽的話,肯定不能像今天這樣跟隨著運(yùn)動員去旋轉(zhuǎn)機(jī)位,當(dāng)我們有足夠的分辨率和景深的時候,是可以看到戰(zhàn)術(shù)全局的。當(dāng)用戶選擇去看某個局部場景時,我們需要思考如何能讓用戶沉浸式體驗(yàn)局部場景。此時一個很重要的方式,就是利用3D音頻將用戶帶入那個局部場景。這就意味著,當(dāng)觀眾去看前場球員的表現(xiàn)時,聽到的不應(yīng)該是后場對方球迷的吶喊,聲音應(yīng)該集中到前場去,通過3D音頻的方式帶給觀眾3D渲染式的體驗(yàn)。音頻技術(shù)有很多種,包括基于聲道的、基于目標(biāo)的等等,但是在實(shí)現(xiàn)真正交互式的廣播方面,我們認(rèn)為最有效的技術(shù)還是基于場景式的廣播。我國數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組(AVS工作組)也已經(jīng)開始在做一些針對3D音頻的探討,但目前還是缺少基于場景式的3D音頻技術(shù)方案。高通愿與中國合作伙伴一起努力,將3D音頻技術(shù)方案帶入視頻內(nèi)容中。
剛才講到了內(nèi)容制作和最終呈現(xiàn),現(xiàn)在談一下整體信號的播發(fā)環(huán)節(jié)。我剛才提到,基于毫米波我們可以將更高清的內(nèi)容傳送給更多用戶。目前,我們正面臨著內(nèi)容爆炸式增長,但網(wǎng)絡(luò)容量是有限的,所以我們需要把廣播內(nèi)容引流到更有效的傳輸方式上。因此我們認(rèn)為,未來5G的廣播傳輸應(yīng)該是三種技術(shù)的融合,這其中包括了單播,即在手機(jī)上通過WiFi、4G網(wǎng)絡(luò)和5G網(wǎng)絡(luò)以點(diǎn)的方式進(jìn)行觀看;也可以支持組播,不僅可以在一個小區(qū)里針對幾個用戶做小型廣播,同時還可以面向大型城市開展大塔式廣播技術(shù)的融合。我們希望三個技術(shù)都可以在終端上得到支持,把內(nèi)容進(jìn)行融合后讓用戶實(shí)現(xiàn)的“無縫體驗(yàn)”,即整個傳播技術(shù)對用戶是透明的,用戶感覺不到內(nèi)容從哪個手段獲取而來,但可以體驗(yàn)高清的沉浸式內(nèi)容。這樣做的好處,舉例來說,若有幾千萬的人同時點(diǎn)播同一視頻節(jié)目,會形成巨大的流量消耗和運(yùn)營商網(wǎng)絡(luò)壓力,這時就可以用大塔式的網(wǎng)絡(luò)呈現(xiàn)內(nèi)容。再比如名人的網(wǎng)絡(luò)直播,可能在同一小時內(nèi)出現(xiàn)上億人次的觀看,這樣的直播流量帶來的運(yùn)營成本最終可能會由每個用戶承擔(dān)。如果我們應(yīng)用廣播技術(shù),就可以把這部分流量導(dǎo)入至廣播平臺,從而大幅壓縮運(yùn)營成本。所以,未來的5G廣播系統(tǒng),在內(nèi)容傳輸上不僅要承擔(dān)今天5G廣播傳輸線性電視的要求,也要通過相應(yīng)的接口使互聯(lián)網(wǎng)等能夠?qū)?nèi)容插入到5G平臺,從而減少運(yùn)營成本。關(guān)于大塔式廣播,高通正在全球范圍內(nèi)和其他合作伙伴共同推進(jìn)EnTV的演進(jìn),目前已經(jīng)在南美、歐洲等地建立了試驗(yàn)系統(tǒng),我們也希望在國內(nèi)繼續(xù)拓展我們的試驗(yàn)。
關(guān)于5G廣播,除了剛才提到的內(nèi)容制作、傳播、呈現(xiàn)等方面的問題,還有很多其他問題需要進(jìn)一步解決,比如在編碼方面,成幀方面的變化、利用CMAF縮短端到端傳輸時延,甚至引入WebRTC進(jìn)一步降低直播平臺的時延,在DVB或廣播組織推動數(shù)字電視標(biāo)準(zhǔn)化等。同時,高通也將在3GPP里進(jìn)一步推動三個技術(shù)的融合發(fā)展,尤其是基于小塔或者是小網(wǎng)絡(luò)的5G NR廣播,我們希望從明年開始能進(jìn)一步推動這部分標(biāo)準(zhǔn)的建立,協(xié)調(diào)發(fā)展。
未來,高通會與國內(nèi)同仁繼續(xù)共同推進(jìn)5G廣播技術(shù)。我們也希望真正助力5G視頻廣播再上一個臺階,讓更多人體驗(yàn)到5G技術(shù)。