华体会全站app网址


华体会全站app网址:论文推荐 胡亚:移动VR洪水灾害场景构建优化与交互方法

2022-09-06 06:58:21 |来源:华体会全站官方下载 作者:华体会全站入口

  1. 西南交通大学地球科学与环境工程学院, 四川 成都 611756;2. 西南交通大学高速铁路运营安全空间信息技术国家地方联合工程实验室, 四川 成都 611756;

  基金项目:国家重点研发计划(2016YFC0803101);中央高校基本科研业务费专项资金(2682018CX35)

  第一作者简介:胡亚(1980-), 男, 博士生, 讲师, 研究方向为虚拟地理环境与虚拟现实。/p>

  摘要:当前洪水灾害场景三维可视化存在沉浸感差、移动性不足等问题。本文将移动虚拟现实(virtual reality,VR)与洪水灾害场景三维可视化相结合,提出了移动VR洪水灾害场景构建优化与交互方法。该方法首先提出了一种免插件B/S架构下的移动VR场景构建方案,然后从多样化场景数据组织、场景数据量优化控制及自适应调度对移动VR场景构建进行了优化,最后设计了基于凝视的洪水灾害场景漫游探索、信息交互查询等交互分析模式。通过构建试验平台并选择案例进行试验,证明本文方法能够有效支持在智能手机上进行洪水灾害场景流畅地沉浸式展示与交互探索分析。

  洪水灾害是最普遍的自然灾害,会造成大量的人员伤亡与财产损失[1-2]。构建灾害虚拟地理环境对实现灾害知识的表达与共享,辅助进行洪水灾害模拟、分析、预测与规划决策具有十分重要的意义[3-4]。目前,在这方面已开展了大量的工作,如基于PC系统实现了洪水灾害的三维可视化[3-13];基于PC VR系统实现了洪水灾害的沉浸体验[14-15];基于多计算终端系统,如PC、笔记本、平板电脑、智能手机实现了洪水灾害的三维模拟与可视化分析[16]。

  洪水灾害发生时间与地点通常具有不确定性,同时其应急响应要求具有实时性或近实时性[17],这对洪水灾害场景的沉浸感和移动性提出了更高要求,以支持空间异地分布的不同应急处置用户能够更快、更好地感知与认知灾害环境。而现有研究存在以下不足:①移动性不足,现有三维可视化大多侧重于PC系统或PC VR系统,移动性和便携性差,导致其应用局限于室内固定场所,不能及时地为异地分散的应急处置人员提供应急处理支持;②沉浸感不足,虽然有少量研究者利用移动设备进行洪水灾害可视化,但移动设备比如智能手机的屏幕显示尺寸较小,沉浸感差,导致用户难以高效地感知认知洪水灾害环境。

  随着移动HMD(head mounted display)、智能手机及移动互联网的发展,移动VR逐渐进入人们的生活[18-19]。移动VR是指把智能手机放入移动HMD,然后人们通过头戴移动HMD来获得对虚拟环境的沉浸感体验。移动VR的出现为任何人在任何地方体验沉浸感的虚拟场景提供了可能,其具有移动性与沉浸感并存的特点[20]。将移动VR与洪水灾害场景三维可视化相结合,进行基于移动VR的洪水灾害场景三维可视化,有望解决现有的洪水灾害场景三维可视化中移动性和沉浸感不足的问题。

  洪水灾害涉及空间范围大,其场景数据包含不同尺度的空间数据、专题数据和模拟分析数据等多种类型,数据量大;同时,移动VR对场景绘制帧率要求高,要求超过30帧,达到60帧或以上更理想[20-23]。但智能手机硬件性能较弱且各不相同,常规单一的三维场景数据组织与调度方法主要侧重PC端大规模场景[3-7]或移动端简单地形场景可视化[24-29],无法支持在性能各异的智能手机上进行移动VR场景高效渲染。此外,与游戏等领域的移动VR交互不同,GIS领域更注重灾害场景的漫游探索分析。由于要把智能手机放入移动HMD,这限制了常规的触摸场景交互,因此,凝视成为移动VR中主要的场景交互方式[20, 30]。而现有交互研究仅实现了小范围场景中的对象选择[20, 30],不能支持对洪水灾害场景的高效漫游探索与交互分析。针对上述挑战,本文将重点开展基于移动VR的洪水灾害场景构建优化与交互分析的研究。

  在构建洪水灾害移动VR场景时,需要面对两个难题,第一是洪水灾害场景构建涉及数据量大,而智能手机的存储空间与处理能力有限;第二是应急情景下异地分散用户的手机类型与系统平台可能各不相同。因此,本文提出了一种免插件B/S架构下的移动VR场景构建方案,如图 1所示。其中,针对第一个难题,洪水灾害场景数据的处理、组织与存储均在服务器端完成,避免在移动端存储大量数据及进行密集计算;针对第二个难题,通过采用免插件的B/S架构,用户不需要下载与安装特定的应用程序,使用移动端自带的浏览器就能进行洪水灾害场景的三维展示与交互探索分析。

  洪水灾害三维场景通常包括地形模型、洪水模型、房屋与道路等专题模型。构建多细节层次(level of detail,LOD)模型是实现场景高效绘制的关键所在。相对PC机而言,智能手机性能普遍较差、屏幕较小,因此,传统面向PC机的单一场景数据组织方法不再适用。相比PC机大尺寸显示屏幕,智能手机屏幕尺寸较小,在视点相同情况下,采用同样的屏幕像素控制误差,智能手机采用更低级LOD模型也能达到较好的视觉效果;同时,不同智能手机的性能差异也很大,也需要更多样化的场景数据组织,以适应不同手机性能。例如,在构建洪水灾害VR场景地形模型时,常规方法是每个层次影像瓦片模型采用单一瓦片尺寸(如256×256像素),难以适应性能差异化显著的各用户终端,因此,同一层次影像瓦片模型需采用更多瓦片尺寸(如16×16、32×32、64×64、128×128)生成;同理,洪水模型、房屋等专题模型也一样,需要建立更多细节层次模型,以提高对复杂环境的适应性。

  提高网络传输速度和场景绘制效率的关键是控制场景的数据量。由于智能手机性能较弱,要保持较高的绘制帧率必须要降低场景的数据量。另外,智能手机屏幕尺寸较小,适当减少场景数据量也能达到较好的可视化效果。因此,可以在视点相同的情况下,降低模型的LOD级别来减少场景数据量。对于房屋等离散模型来说较为简单,直接降低其LOD级别即可;但对于连续地形模型就稍显复杂,可通过降低可加载的最大瓦片层级和加载更小尺寸的瓦片这2种策略来实现。

  (1) 降低可加载的最大瓦片层级。对于某一瓦片尺寸的影像或DEM金字塔模型,假如当前加载的最大层级为Lmax(比如17),可以把允许加载的最大层级设置为L,L=Lmax-i(i=1,2,3,…,i≤Lmax-Lmin),上式中的Lmin为该瓦片金字塔模型的最低层级。

  (2) 加载更小尺寸的瓦片。假如当前加载的影像或DEM金字塔模型的瓦片尺寸为N,加载的最大层级为M,可以考虑加载尺寸为S的瓦片,S=N/2i(i=1,2,3,…),同时允许加载的最大层级也限定为M。

  顾及不同智能手机性能及运行环境的差异性,提出了移动VR场景自适应调度方法,以支持在动态复杂环境下场景的高效绘制。其基本思路为:在智能手机上进行场景绘制帧率实时监测,进行动态分析来寻求调度合适的LOD模型,即在帧率较高时可以提高场景模型LOD级别来提升可视化效果,在帧率较低时可降低LOD级别来提高场景绘制效率,达到可视化效率与可视化效果的平衡。各类场景对象的自适应调度策略如表 1所示。

  场景模型 表达形式 场景自适应调度策略 地形模型 多瓦片尺寸的影像/DEM金字塔模型 提高/降低可加载的最大瓦片层级或加载更大/小尺寸的瓦片 洪水表面模型 一组具有细节层次的TIN模型 加载更详细/简化的细节层次模型 房屋模型 体块模型 加载全部/主要的房屋体块模型 道路模型 道路中心线 加载全部/主要的道路中心线 移动VR场景交互分析模式

  与小范围移动VR场景的对象选择、用户移动等简单交互方式不同[19-20, 30-31],洪水灾害移动VR场景还需要高效的漫游探索与交互分析,其交互分析模式设计如图 2所示。下面重点对基于凝视的场景漫游探索、洪水灾害信息交互查询的实现方法进行介绍。

  移动VR场景中只能通过凝视虚拟按钮对象实现场景的漫游探索。与视频播放等大部分移动VR应用中的相机视点位置固定不同,洪水灾害三维场景中的相机视点位置需要不受限制地改变以对场景进行平移、旋转与缩放,从而使用户快速感知与认知洪水灾害的宏观与微观信息,这使得用户在场景里面经常看不到这些位置固定的按钮,从而无法进行场景的漫游探索。为了解决上述问题,本文提出了一种用于移动VR的交互菜单动态构建方法,即在与用户视线相垂直的某一平面内(比如该平面距离视点50 m远),动态创建各种虚拟按钮对象,然后用户通过凝视它们实现场景的漫游探索;当场景发生漫游探索之后,需要在与用户新视线相垂直的某一平面内,重新动态创建这些按钮对象,供用户继续凝视。

  该方法的原理为:①在相机坐标系中垂直于负Z轴的某一平面(该平面即垂直于用户视线,记为A平面)内指定各按钮对象各个节点及中心点的相机坐标;②对各按钮对象各个节点及中心点的相机坐标,利用相机的视图变换的逆变换来求取这些节点及中心点在世界坐标系中的坐标,并用这些节点的世界坐标来创建三维场景中的按钮对象;③当用户处于凝视状态时,计算用户视线方向与A平面的交点,利用该交点及各个按钮对象中心点的世界坐标来判断用户凝视的是哪个按钮对象,从而触发相应的按钮对象功能,实现场景的漫游探索。采用这种方法,能够最大限度地方便用户进行凝视,从而实现场景的有效漫游探索。基于凝视的场景漫游探索流程设计如图 3所示。

  针对洪水演进模拟模型,提供了4种不同细节层次表达,分别为LOD0,LOD1,LOD2,LOD3。LOD0为最精细表达,LOD3为最简化表达,洪水表面模型的表达形式及LOD模型的产生请参见文献[14]。房屋信息以JSON文件形式提供,包括房屋的边界以及高度,为房屋体块模型产生提供数据支持。

  试验平台采用Node.js v6.11.2建立网络服务器,该服务器存储多瓦片尺寸的地形模型、多细节层次的洪水演进模拟模型、房屋模型。试验平台浏览器端采用HTML5、JavaScript、Cesium开源框架(支持立体渲染)进行开发实现。本次试验选择在一个溃坝洪水区域进行[6],试验平台可以在Chrome、Firefox等主流浏览器上运行,从而实现在智能手机上对灾害场景进行沉浸式展示与交互探索分析。图 5显示了其在智能手机上的Chrome运行效果以及使用移动VR时的情形。

  图 6中的A曲线代表场景中有体块房屋模型、最精细的LOD0级洪水演进模型、地形模型;B曲线代表场景中只有最精细的LOD0级洪水演进模型、地形模型,即场景中没有房屋体块模型;C曲线代表场景中有房屋模型、最简化的LOD3级洪水演进模型、地形模型。从图 6可以看出,无论在安卓手机还是苹果手机上,曲线A与曲线B基本一致,这表明房屋体块模型对场景的帧率基本上无影响;曲线C代表的帧率比曲线A更高,尤其是在漫游测试的后半段,这表面加载更简化的洪水演进模型能够提高场景绘制帧率。至于在漫游的后半段帧率明显增加的原因,可能是由于漫游路径后半段所经过的洪水淹没区域范围更大所导致。

  图 7中的A曲线代表场景中可加载的影像瓦片(瓦片大小为256×256像素)的最大层级为17级,DEM瓦片的最大层级为15级;B曲线代表场景中可加载的影像瓦片(瓦片大小为256×256像素)的最大层级为15级,DEM瓦片的最大层级为15级;C曲线代表场景中可加载的影像瓦片(瓦片大小为256×256像素)的最大层级为17级,DEM瓦片的最大层级为13级。从图 7中可以看出,无论在安卓手机还是苹果手机上,曲线B和C所代表的帧率都比曲线A所代表的帧率高,这表明降低可加载的最大瓦片层级对场景绘制帧率的提升十分有用。曲线B所代表的帧率比曲线C所代表的帧率略高,这表明降低可加载影像瓦片的最大层级比降低可加载DEM瓦片的最大层级效果更为明显。

  图 8中的5条曲线分别代表场景加载的影像瓦片的尺寸为64、128、256、512、1024。从图 8可以看出,常规的256影像瓦片尺寸所对应的场景绘制帧率大都在30帧以上,基本能满足移动VR对场景绘制帧率的要求,但是它的帧率变化幅度较大。而采用128、64的瓦片尺寸,不仅能够大幅提高场景的帧率,其帧率的变化幅度也较小,这说明通过加载更低尺寸的瓦片确实能够显著改善场景的帧率;相反,加载更大尺寸的瓦片,比如512或1024,其场景帧率较低,尤其是在Android设备上,大部分帧率都处于30帧以下。

  图 9、图 10、图 11显示了要进行场景漫游探索,用户会看到的一些关键场景。当用户戴上移动HMD后,低头到一定角度,会看到Open按钮出现,立体渲染如图 9所示。图 9中在Open按钮上方的点代表用户视线上的某一点,当用户凝视Open按钮时(凝视效果如图 10所示),会出现如图 11所示的场景探索菜单,用户只需要凝视相应的菜单项,就会实现相应的场景漫游探索,比如放大、缩小、旋转场景。

  图 14、图 15显示了洪水灾害信息交互查询中的一些场景。当用户凝视场景探索菜单上面的“FloodInfo”菜单项时,场景探索菜单会消失,然后用户凝视场景中的某一房屋(凝视效果如图 14所示),系统会显示该房屋周围的洪水信息,如图 15所示:被凝视的房屋会变成深色,在房屋的上方显示了该房屋会被洪水淹没超过30个小时等洪水信息。

  针对采用移动VR进行洪水灾害场景三维可视化存在的挑战,本文提出了一种移动VR洪水灾害场景构建优化与交互方法。该方法通过在免插件的B/S架构下进行多样化场景数据组织、场景数据量优化控制及自适应调度,有效提高了场景绘制帧率,从而满足移动VR对洪水灾害三维场景绘制的高帧率要求;通过设计并实现基于凝视的洪水灾害场景漫游探索、信息交互查询等模式,为洪水灾害移动VR场景的高效漫游探索与交互分析提供了支撑。虽然本文主要围绕洪水灾害开展移动VR场景构建优化研究,但其中一些关键技术与方法也具有较好的通用性,未来可扩展到更多应用场景。此外,移动VR场景中的探索交互模式也还有待于进一步研究完善,以为灾害应急处置提供更加实用的技术方法支撑。

  头条 关于召开“重大工程测量新技术应用暨北京新机场、 冬奥会测绘项目 技术交流与现场观摩研讨会” 的(二号) 通知

  《测绘学报》 “数字摄影测量与机器视觉专辑”在CPGIS2018北京论坛发布