人民智造2- 沉浸式媒体技术，视觉感知计算的交响

【导语】来自北京大学王选计算机研究所的贾川民研究员，为我们揭开“沉浸式媒体”的神秘面纱：它融合VR/AR等技术，模糊虚实界限，带来多感官身临其境的体验。从内容制作到场景应用，沉浸式媒体正打破时空限制，让文物活化、古今对话成为现实，推动科技与文化的深度融合。

大家好，我是贾川民，来自北京大学王选计算机研究所，我是研究员和博士生导师。我主要的研究内容是多媒体智能计算，智能数据的压缩处(chù)理(lǐ)，以(yǐ)及(jí)一(yī)些(xiē)系(xì)统(tǒng)化(huà)的(de)工(gōng)作(zuò)。

什(shén)么(me)是(shì)“沉(chén)浸(jìn)式(shì)媒(méi)体(tǐ)”

“沉(chén)浸(jìn)式(shì)媒(méi)体(tǐ)”究(jiū)竟(jìng)是(shì)什(shén)么(me)，是(shì)旨(zhǐ)在(zài)通(tōng)过(guò)技(jì)术(shù)手(shǒu)段（VR/AR/MR/360视频/光场/全息等）模糊虚拟与(yǔ)现(xiàn)实(shí)的界限，为用户提供身临其境、多感官的体验，这里的多感官主要是视觉，我们在沉浸媒体计算当中，也包含听觉、触觉等内容，它最大的特点就是用户能够“身临其境”的感(gǎn)受(shòu)这(zhè)些(xiē)沉(chén)浸(jìn)式(shì)的内容，同时用户很难去分辨出，看到的内容究竟是真实的还是虚拟创建出来的。

举个例子，沉浸式媒体就像“交响乐团”组成。乐团的“指挥”和“乐谱识别”就是计算机视觉技术，每个乐团的指挥就是整个乐团的“大脑”，那么计算机视觉技术就是沉浸式媒体的(de)核(hé)心(xīn)技术。它负责把所见变为可演奏的音符；乐团里的“演奏家”，各个乐器的表演艺术家，就由不同领域的生成式人工智能模型来负责，演绎出华彩篇章；在沉浸式媒体计算里面，我们还会使用手势识别、语音交互、触觉反馈、空间音频这些技术，它们能够为用户提供自然地(de)与(yǔ)虚(xū)拟(nǐ)世(shì)界(jiè)互(hù)动(dòng)；VR头(tóu)盔(kuī)、AR眼(yǎn)镜(jìng)、全息(xi)投(tóu)影(yǐng)、高(gāo)分辨率大屏是表演的“舞台”。

如何制作“沉浸式媒体”内容

那么如何制作这些内容呢？需要通过硬件集成、软件开发平台、核心技术算法优化，最后是内容创作，在目前的内容创作领域，大家通常都会采用低成本的沉浸式内容创作工具链，来整合相关的内(nèi)容(róng)。

这(zhè)样(yàng)，就(jiù)能(néng)够(gòu)打(dǎ)破(pò)空(kōng)间(jiān)限(xiàn)制(zhì)的(de)进(jìn)行(xíng)虚(xū)拟(nǐ)旅(lǚ)游(yóu)、实(shí)现(xiàn)真(zhēn)正(zhèng)的(de)“人(rén)在(zài)画(huà)中(zhōng)游(yóu)”，例(lì)如(rú)，走(zǒu)进(jìn)博(bó)物(wù)馆(guǎn)，我(wǒ)们(men)可(kě)以通过头戴式的VR设备实现360度观赏古代的山水画卷，比(bǐ)如(rú)《千(qiān)里(lǐ)江(jiāng)山(shān)图(tú)》，比(bǐ)如(rú)《清(qīng)明(míng)上(shàng)河(hé)图(tú)》，这(zhè)样(yàng)非(fēi)常(cháng)巨(jù)幅(fú)的(de)画(huà)卷(juǎn)，我(wǒ)们(men)并(bìng)不(bù)需(xū)要(yào)人(rén)走(zǒu)进(jìn)博(bó)物(wù)馆(guǎn)当(dāng)中(zhōng)就(jiù)可(kě)以(yǐ)体(tǐ)验(yàn)，在(zài)（VR）头(tóu)盔(kuī)当(dāng)中(zhōng)，我(wǒ)们(men)观察到的内容，还可以通过眼动追踪模块，抓取到不同用户感兴趣的区域，目之所及便是画卷内容的讲解，再通过AIGC技术和2D转3D技术把画卷中的花鸟鱼虫，人物形象进行立体化的呈现，让静态的画卷呈现栩栩如生的姿态；

我们还可以从头盔的约束中解放出来，走进沉浸式视觉体验空间。这个空间和教室一样大小，但四周和地面全都是显示屏幕，置身于此仿佛消除了地理空间的约束，通过全景映射和智能生成，这些显示屏幕能够将远处的风景，一比一的在空间中还原。而空间智能计算让体验者能够在这个空间中感受到飞跃祖国大好河山的新奇体验。

沉浸式媒体技术还能打破时间约束、实现与文物的古今对话和古迹活化展示，通过数字孪生、三维重建，静态的文物便可以化身可视化的三维模型，结合手势识别、姿态估计和驱动交互，便可以穿越古今在虚拟空间中进行文物鉴赏，学习文物背后的历史故事，通过虚拟数字人的互动讲解，了解文物历经千年的流转。这些形式，都是我们目前通过沉浸式媒体计算技术来实现的体验，这些体验极(jí)大(dà)地丰富了我们目前对于文物、对于文化、对于科技这三者进行融合的场景。以上就是关于沉浸式媒体计算相关的介绍。

本文为·创作培育计划扶持作品

作(zuò)者(zhě)：人民日报

审核：贾宁 大连东软信息学院 教授

出品：中国科协科普部

监制：中国科学技术出版社有限公司、北京中科星河文化传媒有限公司

来源: 创作培育计划