0717-7821348
关于我们

彩乐乐彩票网杀号

您现在的位置: 首页 > 关于我们 > 彩乐乐彩票网杀号
彩乐乐11选5最大遗漏-原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系
2019-11-07 01:53:24

映维网 2019年10月10日)日前,斯坦福大学的Hanseul Jun和Jeremy N. Bailenson等人发布了名为《An Easy-to-use Pipeline for an RGBD Camera and an AR Headset》的论文,并介绍了他们运用单个RGBD摄像头来支撑AR头显的试验。

团队表明,这一研讨的奉献在于为选用现成硬件的作业体系供给可用代码,而非为核算机视觉或图形学供给先进的理论。当时的研讨用一个搭载RGBD摄像头(微软Kinect v2)的体系来捕获人物,并经过AR头显(微软HoloLens)来显现场景。虽然保真度低于挑选多摄像头的其他体系,但所述体系的帧率高,推迟低,且可移动,由于它不需求一台烘托核算机。

图1:体系紧缩宽和紧缩概述。紧缩阶段适用于连接到Kinect v2的笔记本电脑。紧缩之后,VP8帧和RVL帧将传输到HoloLens。解紧缩阶段用于接纳帧的HoloLens。

体系的硬件端由两方面组成:装备Kinect v2的笔记本电脑和HoloLens。 软件端一起包含两个方面:将像素从Kinect v2发送到HoloLens;以及由HoloLens烘托像素。所述进程面对三个应战,而这三个应战来自于设备的三个特征:

  1. Kinect v2发生很多数据。
  2. HoloLens需求无线传输。
  3. HoloLens具有较低的核算才能。

面对的应战是:

a. 由于(1)和(2),彩乐乐11选5最大遗漏-原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系需求紧缩。

b. 由于(a)和(3),需求核算有用的解紧缩。

c. 由于(3),需求一种有用的烘托技能。

1. 紧缩与解紧缩

Kinect v2具有五颜六色像素和深度像素。关于五颜六色像素,团队选用VP8编解码器,并经过libvpx和FFmpeg进行编码宽和码。虽然H.264至少消灭灵岩巨人表现出相同的功用,但团队挑选VP8的原因是libvpx依据修订的BSD答应,而这与团队供给体系源代码的方针共同。关于深度像素,由于需求防止有损紧缩的不确定性,所以团队挑选RVL(Wilson,2017)进行紧缩,由于它的核算成本低且无损。图1概述了团队体系的紧缩宽和紧缩进程。

2. 紧缩阶段

运用接到Kinect v2的笔记本,libvpx将五颜六色像素编码为VP8帧,并将深度像素RVL紧缩为RVL帧。履行这一功用时,由于五颜六色像素的分辨率(19201080)较于深度像素(512424)过大,所以五颜六色像素的分辨率在宽度和高度削减一半,特别是关于团队的可视化技能而言(其将每个深度像素与色彩值配对)。两种像素都经过无线网络发送到HoloLens。

3. 解紧缩阶段

团队的体系运用FFmpeg解码编码后的五颜六色像素,并将解码后的像素转换为三个8位单通道Direct3D纹路,其间每个纹路都归于YUV的色彩通道。为了防止从YUV420(一种视频流式传输的首要色彩空间,由于它答应在U通道和V通道进行4倍紧缩)转换到高核算彩乐乐11选5最大遗漏-原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系量的RGB,团队挑选在YUV色彩空间中创立纹路。别的彩乐乐11选5最大遗漏-原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系, 为防止将解码后的像素重新排列为单个纹路,团队运用了三个纹路而非一个。接下来,用RVL紧缩的像素将解紧缩为16位单通道Direct3D纹路。

4. 烘托阶段

凭借YUV纹路和深度纹路,HoloLens可以将深度纹路的每个像素烘托为漂浮在空间上的四边形,并运用YUV纹路中的色彩值对四边形进行上色。团队的烘托技能需求运用由Kinect v2的intrinsic variable预先核算的网格。在具有深度纹路的极点上色器中,预先核算的网格变成反映深度纹路深度值的一组点。在几许上色器中,所述点变为四边形。四边形的巨细挑选为不影响相邻四边形的最大巨细。最终,在片段上色器中,依据YUV纹路对四边形进行上色。图2是团队的烘托技能示例。

团彩乐乐11选5最大遗漏-原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系队发布体系彩乐乐11选5最大遗漏-原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系代码的意图是,支撑我们将其用作AR头显应用程序开发的根底,尤其是长途出现体系。虽然烘托质量远非完美,但团队期望这个体系可以供给一种便携的,支撑现成硬件的经验证办法(无需机器进行烘托),从而为开发者,研讨人员和顾客带来协助。

相关论文:An Easy-to-use Pipeline for an RGBD Camera and an AR Headset

图2:烘托技能示例。 左上方和左下方是Kinect v2中的色彩像素和深度像素。右上角是早年视图捕获的烘托场景,右下角是从侧视图捕获的烘托场景。

5. 源代码

体系的源代码现已保管至GitHub。

原文链接:https://yivian.com/news/67247.html