北京冬奧會正在如火如荼地進(jìn)行
在北京冬奧村有一間神奇的“北京小屋”
里面展示著與冬奧相關(guān)的最新技術(shù)成果
其中頗具吸引力的“打卡點”之一
在這里我們獲得“沉浸式”觀賽體驗
是源于北京大學(xué)牽頭研發(fā)的
“冰雪項目交互式多維度觀賽體驗技術(shù)與系統(tǒng)”
通過這項北大“黑科技”
能自主選擇觀賽視角
身臨其境地體驗冰雪比賽的速度與激情
將來，你只需手持一部5G手機點開應(yīng)用軟件
就可以體驗前所未有的觀賽新視角
冬奧小屋里的“黑科技”
在北京冬奧村（冬殘奧村）下沉廣場區(qū)最顯眼的位置，有一個充滿科技魅力的小屋，叫做“北京小屋”。小屋分為“揮灑夢想”“精彩絕倫”和“無障礙溝通”三個展區(qū)，展示了十六項冬奧會相關(guān)的新技術(shù)成果。目前，“北京小屋”已經(jīng)成為了運動員和教練及隨隊官員沉浸式體驗冬奧科技項目的最佳打卡地之一。
在一眾令人驚嘆的高科技項目展示中，具有超高人氣的莫過于“冰雪項目交互式多維度觀賽體驗技術(shù)與系統(tǒng)”項目展臺，它讓“自由視角”觀賽成為了現(xiàn)實。當(dāng)你站在展臺前，手就變成了第三只眼睛，隨著手的擺動，屏幕上的觀賽視角也會不斷變化。這樣新奇的交互式科技，讓觀眾仿佛身臨其境，觀賽體驗更上一層樓。
這項技術(shù)來自國家重點研發(fā)計劃“科技冬奧”重點專項“冰雪項目交互式多維度觀賽體驗技術(shù)與系統(tǒng)”，由北京大學(xué)牽頭，國家實驗室、企業(yè)和其他高校參與合作研發(fā)。
項目針對2022年北京冬奧會冰雪運動的特點，突破虛擬現(xiàn)實（VR）視頻和自由視角視頻節(jié)目拍攝、內(nèi)容生成、高效編解碼、自適應(yīng)傳輸和交互式呈現(xiàn)等關(guān)鍵技術(shù)，研制VR和自由視角視頻節(jié)目采集系統(tǒng)、內(nèi)容生成系統(tǒng)、實時編解碼器、自適應(yīng)傳輸系統(tǒng)和交互式終端，進(jìn)行端到端系統(tǒng)集成，建立一套交互式多維度觀賽體驗系統(tǒng)，并在有線電視網(wǎng)、電信網(wǎng)、5G網(wǎng)和互聯(lián)網(wǎng)等平臺實現(xiàn)示范應(yīng)用。系統(tǒng)應(yīng)用8K、VR和自由視角技術(shù)創(chuàng)新冰雪運動賽事轉(zhuǎn)播，為觀眾打造交互式、多維度的強臨場感、“沉浸式”觀賽體驗。
一臺專屬于你的賽事轉(zhuǎn)播
北京大學(xué)教授陳寶權(quán)是這一項目的負(fù)責(zé)人。他把“子彈時間”從電影后期效果搬到了體育比賽的實時轉(zhuǎn)播中。“自由視角”技術(shù)下建立的交互式多維度觀賽體驗系統(tǒng)，能夠幫助觀眾實現(xiàn)全新的觀賽體驗，在觀看比賽的過程中，觀眾可以連續(xù)地改變觀看點位，選擇自己喜歡的角度去看同一場賽事活動。相當(dāng)于每個觀眾看到的畫面，都是符合自己需求的，可以千差萬別。
冬奧測試賽自由視點
因為這一項科技突破，你可以自己做自己的導(dǎo)播，選擇你最想看的視角。即使身在家中，也能通過設(shè)備聽到、看到場館內(nèi)的實時情況，身臨其境地享受一臺專屬于你的賽事轉(zhuǎn)播。
此前，項目組人員現(xiàn)場測試VR直播觀賽
這套系統(tǒng)能實現(xiàn)交互式自由視點觀看，將此前技術(shù)的三自由度（即眼睛可以向上下左右看）提升到了六自由度（頭部位置也可以移動），相當(dāng)于把觀眾的眼睛帶到了賽場上空，讓觀眾可以在任意位置和方向觀看比賽。
這一功能的實現(xiàn)依賴于陳寶權(quán)團(tuán)隊設(shè)計的端到端自由視角視頻系統(tǒng)。在此前測試賽中，他們在國家體育館賽場設(shè)置了42臺相機U型環(huán)繞，多個視角的視頻被傳送到云端，通過深度計算后生成虛擬視角，彌補相機之間的間隔空白。這些數(shù)據(jù)再被傳送到客戶端，只需要你用手指滑動屏幕便可實現(xiàn)視角的轉(zhuǎn)換。
360度無死角轉(zhuǎn)播
現(xiàn)場圖像拍攝后送往云端，場館與比賽信息被三維重建和新的視點生成，再通過編碼與解碼提供給觀眾“自由視點”觀看體驗。由于場館內(nèi)部限制，42臺攝像機稀疏地分布在210米的軌道上，每臺攝像機間距5米，這就需要更加智能的算法補充中間視點畫面，實現(xiàn)全場域的無縫自由視點。
項目組為其配置了一個“聰明大腦”——首先，通過三維重建讓新視點的合成變得可能；然后，自適應(yīng)編碼與傳輸技術(shù)，根據(jù)用戶視點改變的意圖來預(yù)測下一步趨勢，進(jìn)行有針對性的計算與數(shù)據(jù)傳送。
陳寶權(quán)說：通過三維重建實現(xiàn)新視點的圖像生成，避免因現(xiàn)場相機個數(shù)有限給觀眾視點漫游造成跳躍感；采用足夠多的新（虛擬）視點插入，最終實現(xiàn)絲滑般的自由視角觀賽體驗。
數(shù)字孿生系統(tǒng)演示
通過這項技術(shù)，項目組將電視導(dǎo)播的轉(zhuǎn)播選擇權(quán)轉(zhuǎn)交到觀眾手中。但同時也出現(xiàn)了新的問題，大多數(shù)觀眾并不具有豐富的轉(zhuǎn)播經(jīng)驗，不一定能夠自主尋找到最佳的觀賽視角而錯過精彩瞬間。
考慮到此，團(tuán)隊還設(shè)計了“VR冬奧賽事孿生推演與視聽語言創(chuàng)意設(shè)計軟件”。通過對場館進(jìn)行三維重建，再根據(jù)以往賽事分析，并與專業(yè)人士合作，針對賽場上的精彩時刻設(shè)計視頻鏡頭軌跡，進(jìn)行實時導(dǎo)播。給觀眾觀看時的“臨場感”，不錯過每一個激動人心的瞬間。
數(shù)字孿生推演系統(tǒng)就像比賽現(xiàn)場的導(dǎo)演一樣。針對不同比賽場景在系統(tǒng)內(nèi)設(shè)置不同的鏡頭規(guī)劃，向觀眾展示比賽的精彩瞬間。
高清畫面，極低延遲
在去年4月、10月、11月的三場“相約北京”冬奧系列測試賽中，“冰雪項目交互式多維度觀賽體驗技術(shù)與系統(tǒng)”的功能都得到完整的實現(xiàn)。
直播中要求畫面延時不超過30s，這對于計算和數(shù)據(jù)傳輸?shù)男室蠓浅８摺１敬味瑠W會的視頻直播采用了我國自主研發(fā)的視頻編解碼標(biāo)準(zhǔn)AVS3，通過深度學(xué)習(xí)，在編碼效率上得到了指數(shù)級的提高，實現(xiàn)了在8K分辨率下進(jìn)行多媒體編解碼和通過5G、廣電網(wǎng)和互聯(lián)網(wǎng)的全鏈路傳輸。
轉(zhuǎn)播分辨率從2K到4K，再提高到2021年春晚的8K試播，每一步升級換代背后都是視頻編解碼技術(shù)突破與標(biāo)準(zhǔn)成熟落地的體現(xiàn)。8K與5G技術(shù)相結(jié)合，無疑是構(gòu)建了一條視頻傳輸?shù)母咚俟贰６换ナ阶杂梢朁c轉(zhuǎn)播，如同“在5G高速公路上進(jìn)行‘花式’飆車”，與傳統(tǒng)單視點轉(zhuǎn)播相比，在數(shù)據(jù)容量上是數(shù)倍甚至數(shù)量級的提高，給觀眾帶來全新的體驗。
8K的高分辨率能滿足觀眾放大圖像、看清賽場上細(xì)微變化的需求。高清畫面，自由視點，極低延遲，讓場外觀眾與場內(nèi)選手同心跳、共歡呼。
從“看得清”到“看得真”
據(jù)陳寶權(quán)介紹，“冰雪項目交互式多維度觀賽體驗技術(shù)與系統(tǒng)”分為四個課題，總項目由北京大學(xué)牽頭，高校與企業(yè)產(chǎn)學(xué)研的深度融合，讓新技術(shù)有機會進(jìn)入尋常百姓家。
5G時代下，觀眾對視頻觀看的需求正在從“看得清”向“看得真”轉(zhuǎn)變，實現(xiàn)超高清和沉浸式觀看要求勢在必行。
無特殊的裝備，也無專用帶寬，5G手機配合5G網(wǎng)絡(luò)，用戶就可以實現(xiàn)高質(zhì)量的交互式觀賽，使交互式VR技術(shù)直通到尋常百姓的手中。
陳寶權(quán)介紹說，新技術(shù)下的轉(zhuǎn)播可以實現(xiàn)高效的內(nèi)容生成，給予觀眾交互參與的機會，也打通了技術(shù)下沉的中梗阻。
奧運會也是各國展現(xiàn)技術(shù)的賽場，每屆奧運賽事轉(zhuǎn)播都體現(xiàn)技術(shù)發(fā)展的里程碑。
在陳寶權(quán)看來，“科技冬奧”的意義所在，正是讓奧運會惠及百姓生活，展現(xiàn)未來人們生活的樣子。他希望為這場盛會增添來自北大的一抹亮色的同時，以冬奧會轉(zhuǎn)播應(yīng)用作為背景推動，建立我國自主的VR視頻標(biāo)準(zhǔn)，帶動VR產(chǎn)業(yè)的發(fā)展，真正實現(xiàn)“科技奧運”惠及數(shù)字時代每一個人的愿景。
人物卡片
陳寶權(quán)，北京大學(xué)教授，前沿計算研究中心執(zhí)行主任，博士生導(dǎo)師，IEEE Fellow和中國計算機學(xué)會會士。研究領(lǐng)域為計算機圖形學(xué)與可視化，在ACM SIGGRAPH、IEEE VIS、ACM TOG等國際會議和刊物發(fā)表論文200余篇。因為在空間數(shù)據(jù)（建模）與可視化方面的貢獻(xiàn)，入選IEEE Fellow（2020）。
