近日，疊境數字與上海科技大學合作在自由視點技術研究方面取得了重要成果，相關內容以“Editable Free-Viewpoint Video using a Layered Neural Representation”為題，被國際頂級圖形圖像會議SIGGRAPH 2021接收，并將在2021年8月份在會議上進行正式的介紹和展示。

項目團隊成員

    生成自由視點的視頻對于提高傳統視頻尤其是體育賽事直播觀看體驗有著至關重要的作用。在最近2020年東京奧運會上，自由視點技術，包括“時間凝結”技術，也多次應用在籃球、藝術體操、跆拳道、摔跤和柔道等體育項目中，極大的提高了賽事直播畫面的精彩程度。而如何用更少的硬件設備實現高質量的自由視點視頻一直是業內的研究方向。

    隨著新興的神經網絡渲染技術發展，基于AI的低成本且高質量的自由視點視頻生成成為可能。相比于傳統方法，神經網絡渲染可以生成更加逼真的新視角圖片與視頻。然而，目前存在的基于神經網絡渲染的相關方法只適用于靜態場景或者小視角范圍的動態場景，也不支持對于場景的編輯。本項研究結合了新興的神經網絡渲染技術和傳統的視頻分層渲染策略，從渲染質量和可編輯性上體現出了各自的優勢。利用了較為稀疏的16個相機視角，可以渲染出大視角范圍的支持編輯的自由視點視頻。

算法框架：主要分為場景感知、分層ST-NeRF和神經網絡編輯

    疊境數字自由視點產品是一套能夠同時提供“時間凝結”特效以及自由視點特效直播、點播服務的一體化解決方案，而基于神經網絡渲染的自由視點視頻生成技術的成功研發，也將應用在了疊境數字自由視點產品中，從而打破更多的視角采集傳感器等于更高的視覺效果的原有認知，實現稀疏的視角也可以帶來高質量視覺效果的新局面，降低了系統應用推廣的成本。