紫光展锐先进技术科普|推动XR技术变革，开启沉浸式交互新时代

专栏

先进技术科普系列

回顾计算机技术的发展历史，我们可以看到人机交互方式的不断演变。过去50年，硬件形态从早期的游戏主机到个人电脑，再到智能手机，经历了垂直计算硬件、通用计算硬件到小型化硬件的发展路径。游戏主机时代，硬件以高度专业化为特征，主要针对特定类型的计算任务。个人电脑的出现将计算能力扩展到更多应用领域，而智能手机则将这种能力进一步小型化和便携化，使计算成为日常生活的一部分。

这种演变不仅仅是硬件尺寸和形态的变化，更是计算能力和交互方式的革命。早期的游戏主机通过专用的计算硬件和图形处理单元，实现了高效的图形渲染和游戏计算。随着个人电脑的普及，通用计算硬件使得计算能力得以扩展，用户可以通过键盘、鼠标等输入设备与计算机进行交互。而智能手机的出现，将计算能力进一步压缩到手掌大小的设备中，触摸屏技术的应用则彻底改变了人机交互的方式。

XR技术的出现，为人机交互注入了新的生命力。通过不断的技术迭代，XR设备和内容形成了一个正向循环的生态系统，将我们带到了元宇宙的入口。XR产业的发展依赖于三大核心底层技术：视觉和智能计算技术、大屏显示技术和高速连接技术。

什么是XR

扩展现实技术（XR），涵盖虚拟现实（VR）、增强现实（AR）和混合现实（MR），正在引领新一轮的人机交互革命。XR不仅仅是简单的视觉或听觉刺激，而是通过结合计算、人工智能、音视频处理、仿真和通信技术，创造一个让用户感觉身临其境的虚拟世界。沉浸式体验是XR的核心目标，但要实现这一目标并非易事。那么，“沉浸式”究竟指什么？我们离沉浸式的XR还有多远？

视觉沉浸感是XR体验的关键。超高清显示技术、超高算力和高数据传输速度等支撑性技术，确保了用户在视觉上的沉浸体验。物理沉浸感则通过多模态交互、空间计算、三维重建、定位与地图构建等技术，打破了物理与数字空间的界限。认知沉浸感进一步扩展了XR对现实场景的语义与几何理解，未来的脑机接口、裸眼3D和光场技术将使这一沉浸感更加真实和深刻。

AR/VR/MR的基本概念

XR关键技术

视觉质量是XR提供极致体验的关键。人眼接收的80%的信息来自于视觉感知，因此，接近人眼视觉体验需要超高像素密度和合适的视场角（FOV）。像素密度决定了图像的精细程度，高分辨率可以改善“纱窗效应”，使图像清晰度达到接近真实世界的水平。视场角越大，视觉沉浸感越强，但同时也需要更高的计算能力支持。

此外，多模态感知交互融合了面部追踪、眼球追踪、语音识别、手势交互、触觉模拟等技术，使用户能够根据自身需求，以最自然的方式与设备互动。面部追踪技术可以捕捉用户的面部表情，并在虚拟世界中呈现出来，使虚拟角色表现得更加生动。眼球追踪技术则能够检测用户的视线方向，调整显示内容，提高互动的精确度。语音识别技术可以识别用户的语音指令，使用户能够通过语音与设备进行互动。手势交互技术则通过检测用户的手势动作，实现自然的手部操作。触觉模拟技术可以通过触觉反馈设备，让用户感觉到虚拟物体的存在，进一步增强沉浸感。

人眼视场角范围定义

紫光展锐在XR的技术投入

紫光展锐长期投入IP 集成能力、音视频多媒体 IP 等核心技术，在5G/Wi-Fi 等通讯基础、沉浸式大屏显示所需的高动态（HDR）、广色域（WCG）、高帧率（HFR）等方面拥有持续创新的先进技术。除产品研发外，紫光展锐深度参与了XR行业标准，并积极与生态合作伙伴为XR技术研究和产业推进作贡献。

5G对XR体验的推动

XR业务的流量特性，如非整数周期性、抖动、高速率、严格的包时延需求等，对通信系统的节能和容量带来了巨大挑战。受手持设备和可穿戴设备电池容量的限制，终端能耗优化尤为重要。5G技术支持高速率、低时延和高可靠性，同时基于XR流量特性引入节能和容量优化机制，不仅满足了XR业务的通信需求，还拓展了用户使用场景，为用户提供了更灵活的使用方式。

从2018年开始，3GPP将XR作为5G标准中的重要内容，涵盖了XR概念、关键技术、设备类型和性能指标等方面的内容。面向5G-A和6G，除了基础业务场景的满足，元宇宙的更多应用场景将成为重点。在感知、计算和网络融合发展的趋势下，实现“智能无所不及”的愿景。

5G技术的高速率和低时延特性，使得XR设备能够在实时传输大量数据的同时，保持低延迟和高稳定性。这样，用户在使用XR设备时，可以获得更加流畅的互动体验。此外，5G技术还支持大规模连接，使得更多设备能够同时接入网络，为XR应用提供了更加广阔的使用场景。未来，随着5G-A和6G技术的发展，XR技术将进一步提升，为用户带来更加丰富和多样的沉浸体验。

3GPP TR26.928  不同类型扩展现实技术及其应用

XR在日常生活中的渗透

随着XR技术的不断进步，其应用场景也逐渐从专业领域渗透到消费级市场。无论是娱乐、教育、医疗还是社交，XR技术都在改变我们与世界互动的方式。在娱乐领域，用户可以通过VR设备体验身临其境的游戏和电影；在教育领域，AR技术可以将抽象的知识形象化，使学习过程更加生动有趣；在医疗领域，MR技术帮助医生进行精准的手术操作和病情模拟；在社交领域，虚拟形象和虚拟环境为用户提供了新的互动方式。

例如，在娱乐领域，通过VR设备，用户可以进入虚拟的游戏世界，与虚拟角色互动，体验到传统游戏无法提供的沉浸感。在电影领域，VR技术可以让观众成为影片的一部分，参与到故事情节中，获得全新的观影体验。在教育领域，AR技术将抽象的数学、物理概念具象化，使学生能够直观地理解复杂的知识点。医疗领域，MR技术帮助医生在手术中实时查看患者的三维扫描数据，提高手术的精确度和安全性。在社交领域，虚拟形象和虚拟环境使用户能够以全新的方式进行互动，打破了传统社交的空间和时间限制。

再比如以语音识别为例，在家居场景中，设备需要克服噪音干扰，确保远距离拾音和高信噪比，以提升用户体验。在游戏场景中，语音识别技术不仅要准确识别用户的指令，还需要增强音频效果，提供更加逼真的游戏体验。紫光展锐推出的智能显示芯片平台M6780，集成了多麦克风阵列音频捕捉、智能语音唤醒和端侧命令词识别等技术，实现了清晰、准确的语音识别。

如首款搭载NPU的智能显示芯片平台M6780中，集成了完整端侧智能语音方案，通过紫光展锐自研的多麦克风阵列音频捕捉算法、智能语音唤醒、端侧命令词识别等技术，让芯片可以听得清、听得懂、能执行。

未来展望

尽管目前XR技术在各个行业中已经取得了显著进展，但要实现真正的沉浸式体验，还需要克服许多技术挑战。例如，当前的XR设备在交互流畅性、响应速度和认知沉浸方面仍有提升空间。此外，内容生产和生态系统的完善也是推动XR技术普及的关键因素。随着技术的不断进步和内容生态的扩展，XR技术将逐步渗透到更多场景，为行业带来新的视野和商业市场空间。

未来，XR技术有望在更多领域发挥重要作用。教育领域，通过XR技术，学生可以进入虚拟实验室进行实践操作，提高学习效果。零售领域，用户可以通过AR技术在家中试穿虚拟服装，提升购物体验。房地产领域，用户可以通过VR技术在线参观房屋，节省时间和精力。旅游领域，用户可以通过VR技术体验世界各地的风景和文化，拓展视野。紫光展锐作为XR技术领域的领导者，将继续推动技术进步和行业发展，为用户带来更多可能。