增强现实（虚拟信息与真实世界融合的技术）
VLoG
280次浏览
更新时间：2023-06-13
小编整理：
增强现实技术是一种将虚拟信息与真实世界融合的技术，通过多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后应用到真实世界中。增强现实
虚拟信息与真实世界融合的技术
增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
技术原理
增强现实（Augmented Reality，简称AR），增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。
增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，这些细腻内容相互补充和叠加。在视觉化的增强现实中，用户需要在头盔显示器的基础上，促使真实世界能够和电脑图形之间重合在一起，在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段，增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。
组成形式
一个完整的增强现实系统是由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现的，常用的有如下三种组成形式。
Monitor-Based
在基于计算机显示器的AR实现方案中，摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟景象合成，并输出到屏幕显示器。用户从屏幕上看到最终的增强场景图片。它虽然简单，但不能带给用户多少沉浸感。
光学透视式
头盔式显示器(Head-mounted displays,简称HMD)被广泛应用于虚拟现实系统中，用以增强用户的视觉沉浸感。增强现实技术的研究者们也采用了类似的显示技术，这就是在AR中广泛应用的穿透式HMD。根据具体实现原理又划分为两大类，分别是基于光学原理的穿透式HMD(Optical See-through HMD)和基于视频合成技术的穿透式HMD(Video See-through HMD)。
增强现实
光学透视式增强现实系统具有简单、分辨率高、没有视觉偏差等优点，但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等不足。
视频透视式
视频透视式增强现实系统采用的基于视频合成技术的穿透式HMD(Video See-through HMD)。
增强现实
增强现实
应用领域
AR技术不仅在与VR技术相类似的应用领域，诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。
增强现实
医疗领域：医生可以利用增强现实技术，轻易地进行手术部位的精确定位。
军事领域：部队可以利用增强现实技术，进行方位的识别，获得实时所在地点的地理数据等重要军事数据。
古迹复原和数字化文化遗产保护：文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以通过HMD看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构。
工业维修领域：通过头盔式显示器将多种辅助信息显示给用户，包括虚拟仪表的面板、被维修设备的内部结构、被维修设备零件图等。
电视转播领域：通过增强现实技术可以在转播体育比赛的时候实时地将辅助信息叠加到画面中，使得观众可以得到更多的信息。
娱乐、游戏领域：增强现实游戏可以让位于全球不同地点的玩家，共同进入一个真实的自然场景，以虚拟替身的形式，进行网络对战。
旅游、展览领域：人们在浏览、参观的同时，通过增强现实技术将接收到途经建筑的相关资料，观看展品的相关数据资料。
市政建设规划：采用增强现实技术将规划效果叠加在真实场景中以直接获得规划的效果。
国内首次将这项技术应用到普通生活中，是在苹果的AppStore上发布的一款免费的叫作出行百科(增强现实版)XINGWIKI的软件。
记事帖，人们希望将来可以很方便地在不同地点获得同样的媒体和信息，并且是跨越不同的设备上获得-从PC到手机，从投影仪到头戴式显示器。怎样能为用户提供一致的和方便易行的方式来让他们和对他们而言很重要的信息和媒体进行交互，看以下的图你就明白了，你所能操作的界面已经不再是那一块小小的电脑屏幕了，而是延伸到了更大的空间里，并且可以依据人们最为简便的方式随意的记录下你某一时刻突然迸发出的灵感。
水利水电勘察设计：在水利水电勘察设计领域，三维协同设计稳步发展，可能会在不远的将来取代传统的二维设计，AR技术在设计领域的应用为水利水电三维模型的应用提供了更好的展示手段，使得三维模型与二维的设计、施工图纸能更加紧密地结合起来。AR技术在勘察设计领域中可以有效地应用于实时方案比较、设计元素编辑、三维空间综合信息整合、辅助决策和设计方案多方参与等方面。
发展历史
AR技术的起源，可追溯到Morton Heilig在20世纪五、六十年代所发明的Sensorama Stimulator。他是一名电影制作人兼发明家。他利用他的多年的电影拍摄经验设计出了叫Sensorama Stimulator的机器。SensoramaStimulator同时使用了图像、声音、香味和震动，让人们感受在纽约的布鲁克林街道上骑着摩托车风驰电掣的场景。这个发明在当时非常超前。以此为契机，AR也展开了它的发展史。
由于AR技术的颠覆性和革命性，AR技术获得了大量关注。早在20世纪90年代，就有3D游戏上市，但由于当时的AR技术价格较高，其自身延迟较长，设备计算能力有限等缺陷，导致这些AR游戏产品以失败收尾，第一次AR热潮就此消退。到了2014年，Facebook以20亿美元收购Oculus后，类似的AR热再次袭来。在2015和2016两年间，AR领域共进行了225笔风险投资，投资额达到了35亿美元，原有的领域扩展到多个新领域，如城市规划、虚拟仿真教学、手术诊疗、文化遗产保护等。如今，AR、VR等沉浸式技术正在快速发展，一定程度上改变了消费者、企业与数字世界的互动方式。用户期望更大程度上从2D转移到沉浸感更强的3D，从3D获得新的体验，包括商业、体验店、机器人、虚拟助理、区域规划、监控等，人们从只使用语言功能升级到包含视觉在内的全方位体验。而在这个发展过程中，AR将超越VR，更能满足用户的需求。
工作原理
AR的三大技术要点：三维注册（跟踪注册技术）、虚拟现实融合显示、人机交互。其流程是首先通过摄像头和传感器将真实场景进行数据采集，并传入处理器对其进行分析和重构，再通过AR头显或智能移动设备上的摄像头、陀螺仪、传感器等配件实时更新用户在现实环境中的空间位置变化数据，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算，最后将其合成影像呈现给用户。用户可通过AR头显或智能移动设备上的交互配件，如话筒、眼动追踪器、红外感应器、摄像头、传感器等设备采集控制信号，并进行相应的人机交互及信息更新，实现增强现实的交互操作。其中，三维注册是AR技术之核心，即以现实场景中二维或三维物体为标识物，将虚拟信息与现实场景信息进行对位匹配，即虚拟物体的位置、大小、运动路径等与现实环境必须完美匹配，达到虚实相生的地步。
工具与难点
现在已经有多种用于AR系统开发的工具包和API(application programming interface)，如 ARToolKit 、Coin3D 和 MR Platform等,其中 ARTookit是一套开放源代码的工具包,它主要由日本大阪大学的Hirokazu博士开发,用于快速编写AR应用。ARTookit 受到了华盛顿大学人机界面实验室和新西兰坎特伯雷大学人机界面实验室支持，已成为在 AR领域使用最广泛的开发包。许多AR的应用都使用ARTookit 或在其基础上改进的版本来进行开发的。ARToolkit 采用基于标记的视频检测方法进行定位，其工具包中包含了摄像头校准和标记制作的工具，它支持将 Direct3D 、OpenGL 图形和 vrml 场景合并到视频流中(如图所示)，同时支持显示器和 S-HMD等多种显示设备。MR Platform 由日本的混合实境实验室开发 ,其中包含了一个能减少人眼与头盔上摄像机之间平行度误差的方法 S-HMD 和一个运行于 Linux 环境下的用C++语言开发的软件开发工具包(SDK)。这个工具包中提供了摄像机校正工具、视频捕捉、图像检测和操纵6自由度传感器等开发 AR 应用的基本功能。
增强现实
虽然经过了十几年的研究，开发了以上的许多种工具包，但是几乎所有 AR 系统仍然处于实验室内使用，研究者已经开始考虑 AR在实用中面临的一些基本问题，主要有以下几个方面：
(1)景物的生成与显示
几乎所有的 S-HMD 设备在明亮的环境下，其显示的效果都比较暗，另外，由于头戴式显示器上的摄像机的摄像角度与眼睛的位置存在偏差，因此虚拟物体的定位在真实视场中的定位和显示角度也会存在偏差且很难调整。
(2)定位错误
定位错误不可避免，民用 GPS 一般精度在 3m到12m 左右，在较差的天气中，最大误差可达 100m 。电子罗盘也会因为附近的磁场干扰产生误差。由于现有许多户外的系统中的校正算法需要大量的输入和繁琐的校正步骤，因此不适合商业化应用。
(3)通讯设备
多数系统都假设在带宽满足的情况下进行操作，但实际情况并非如此，在绝大多数分布式 AR 应用中，系统能力都要受制于数据传送的速度。因此在大型协作 AR 系统中，还有赖于通过动态兴趣度管理算法和动作预测算法来降低所需传输的数据量。
(4)计算能力
在户外AR系统中，必须尽量减少客户端配置，数据处理常由便携式计算机，甚至是依靠掌上电脑来处理，因此，如何达到实时性和提高渲染效果是必须面对的一个问题。这也是目前 AR 研究中的热点之一。
实际应用
这项技术有数百种可能的应用，其中游戏和娱乐是最显而易见的应用领域。可以给人们提供即时信息的不需要人们参与任何研究的任何系统，在相当多的领域对所有人都是有价值的。增强现实系统可以立即识别出人们看到的事物，并且检索和显示与该景象相关的数据。
维修和建设——增强现实可以将标记器连接到人们正在施工的特定物体上，然后增强现实系统可以在它上面描绘出图像。
军事——军队数十年来一直在设计使用增强现实，美国海军研究所已经资助了一些增强现实研究项目。国防先进技术研究计划署（DARPA）已经投资了HMD项目来开发可以配有便携式信息系统的显示器。其理念在于，增强现实系统可以为军队提供关于周边环境的重要信息，例如显示建筑物另一侧的入口，这有点像X射线视觉。增强现实显示器还能突出显示军队的移动，让士兵可以转移到敌人看不到的地方。
即时信息——旅行者和学生可以使用这些系统了解有关特定历史事件的更多信息。想像行走在美国内战的战场上，并且在头戴式增强现实显示器上看到重现的历史事件。它将使您沉浸在历史事件中，有身临其境之感，而且视角将是全景的。
随着AR技术的成熟，AR越来越多地应用于各个行业，如教育、培训、医疗、设计、广告等。
增强现实
1、教育
AR以其丰富的互动性为儿童教育产品的开发注入了新的活力，儿童的特点是活泼好动，运用AR技术开发的教育产品更适合孩子们的生理和心理特性。例如，现在市场上随处可见的AR书籍，对于低龄儿童来说，文字描述过于抽象，文字结合动态立体影像会让孩子快速掌握新的知识，丰富的交互方式更符合孩子们活泼好动的特性，提高了孩子们的学习积极性。在学龄教育中AR也发挥着越来越多的作用，如一些危险的化学实验，及深奥难懂的数学、物理原理都可以通过AR使学生快速掌握。
2、健康医疗
近年来，AR技术也越来越多地被应用于医学教育、病患分析及临床治疗中，微创手术越来越多地借助AR及VR技术来减轻病人的痛苦，降低手术成本及风险。此外在医疗教学中，AR与VR的技术应用使深奥难懂的医学理论变得形象立体、浅显易懂，大大提高了教学效率和质量。
3、广告购物
AR技术可帮助消费者在购物时更直观地判断某商品是否适合自己，以作出更满意的选择。用户可以轻松地通过该软件直观地看到不同的家具放置在家中的效果，从而方便用户选择，该软件还具有保存并添加到购物车的功能。
4、展示导览
AR技术被大量应用于博物馆对展品的介绍说明中，该技术通过在展品上叠加虚拟文字、图片、视频等信息为游客提供展品导览介绍。此外，AR技术还可应用于文物复原展示，即在文物原址或残缺的文物上通过AR技术将复原部分与残存部分完美结合，使参观者了解文物原来的模样，达到身临其境的效果。
5、应用于信息检索领域
对于用户需要对某一物品的功能和说明清晰了解时，增强现实技术会根据用户需要将该物品的相关信息从不同方向汇聚并实时展现在用户的视野内。在未来，人们可以在通过扫描面部，识别出此人的信用以及部分公开信息，防止上当受骗，这些技术的实现很大程度上减少了受骗几率，方便用户快速高效的工作。
6、应用于工业设计交互领域
增强现实技术最特殊的地方就是在于其高度交互性，应用于工业设计中，主要表现为虚拟交互，通过手势、点击等识别来实现交互技术，将虚拟的设备、产品去展示给设计者和用户前，也可以通过部分控制实现虚拟仿真，模仿装配情况或日常维护、拆装等工作，在虚拟中学习，减少了制造浪费以及对人才培训的成本，大大改善了设计的体制，缩短了设计时间提高效率。
AR游戏
国内现状
作为新型的人机接口和仿真工具，AR受到的关注日益广泛，并且已经发挥了重要作用，显示出了巨大的潜力。
AR是充分发挥创造力的科学技术，为人类的智能扩展提供了强有力的手段，对生产方式和社会生活产生了巨大的深远的影响。
随着技术的不断发展，其内容也势必将不断增加。而随着输入和输出设备价格的不断下降、视频显示质量的提高以及功能很强大但易于使用的软件的实用化，AR的应用必将日益增长。AR技术在人工智能、CAD、图形仿真、虚拟通讯、遥感、娱乐、模拟训练等许多领域带来了革命性的变化。
VR与AR
VR
虚拟现实技术简称为VR技术，是一种采用3D交互逻辑的成像技术类别。虚拟现实技术应用时间较短，所以核心结构主要以环境模拟系统、环境感知系统及环境传感系统构成。虚拟现实技术顾名思义，是将使用者带入预设完成的虚拟空间，通过虚拟空间体验实现视觉的图像刺激，从而达到三维成像技术应用的目的。现代虚拟现实技术应用虽然总体较为成熟，但不具备独立环境预设功能。需要通过与计算机的连接实现对成像内容的控制，并有计算机成为虚拟空间设计，因此虚拟实现技术应用主要起到视觉传导及视觉信息传播的实际作用，使图像信息从二维空间结构向三维空间结构过渡，以此形成完善的图像处理体系，使使用者达到最佳的图像观感体验。
比较
VR用户基数较小，移动性较差，具有隔离的沉浸感，因此主要集中在娱乐用途上。娱乐收入可能会占据整个行业收入的三分之二，硬件占比约四分之一。虽然VR也会有企业用途，但是相对于AR和智能眼镜而言少得多。VR电子商务和广告收入会增长，但目前用户群的规模和分散性限制了其发展。
与VR相比，AR会触及到更多的人，因为它是对人们日常生活的无缝补充。AR是将计算机生成的虚拟世界叠加在现实世界上，医药、教育、工业上的各种实际应用，已经佐证了AR作为工具，对人类的影响更为深远。而不是像VR那样在现实世界之外营造出一个完全虚拟的世界。国外分析师也认为“AR”将会成为“更加日常化的移动设备应用的一部分”。同时，移动AR的普及和低成本也有助于企业从采用AR技术，企业AR可以稳定增长，到2021年左右增强现实技术将在制造/资源、TMT、政府（包括军事）、零售、建筑/房地产、医疗保健、教育、交通运输、金融服务、公用事业方面都得到应用。
关键技术
1、跟踪注册技术
为了实现虚拟信息和真实场景的无缝叠加，这就要求虚拟信息与真实环境在三维空间位置中进行配准注册。这包括使用者的空间定位跟踪和虚拟物体在真实空间中的定位两个方面的内容。而移动设备摄像头与虚拟信息的位置需要相对应，这就需要通过跟踪技术来实现。跟踪注册技术首先检测需要‘增强"的物体特征点以及轮廓，跟踪物体特征点自动生成二维或三维坐标信息。跟踪注册技术的好坏直接决定着增强现实系统的成功与否,常用的跟踪注册方法有基于跟踪器的注册、基于机器视觉跟踪注册、基于无线网络的混合跟踪注册技术四种。
2、显示技术
增强现实技术显示系统是比较重要的内容，为了能够得到较为真实的虚拟相结合的系统，使得实际应用便利程度不断提升，使用色彩较为丰富的显示器是其重要基础，在这一基础上，显示器包含头盔显示器和非头盔显示设备等相关内容，透视式头盔能够为用户提供相关的逆序融合在一起的情境，这些系统在具体操作过程中，操作的原理和虚拟现实领域中的沉浸式头盔等内容之间相似程度比较高级。其和使用者交互的接口及图像等综合在一起，使用更加真实有效的环境对其实施应用微型摄像机的形式，拍摄外部环境图像，使计算机图像在得到有效处理的时候，可以和虚拟以及真实环境融合在一起，并且两者之间的图像也能够得以叠加。光学透视头盔显示器可以在这一基础上利用安装在用户眼前的半透半反光学合成器，充分和真实环境综合在一起，真实的场景可以在半透镜的基础上，为用户提供支持，并且满足用户的相关操作需要。
3、虚拟物体生成技术
增强现实技术在应用的时候，其目标是使得虚拟世界的相关内容，在真实世界中得到叠加处理，有效在算法程序的应用基础上，促使物体动感操作有效实现。当前虚拟物体的生成是在三维建模技术的基础上得以实现的，能够充分体现出虚拟物体的真实感，在对增强现实动感模型研发的过程中，需要能够全方位和集体化对物体对象展示出来。虚拟物体生成的过程中，自然交互是其中比较重要的技术内容，在具体实施的时候，对现实技术的有效实施有效辅助，使信息注册更好的实现，利用图像标记实时监控外部输入信息内容，使得增强现实信息的操作效率能够提升，并且用户在信息处理的时候，可以有效实现信息内容的加工，提取其中有用的信息内容。
4、交互技术
与在现实生活中不同，增强现实是将虚拟事物在现实中的呈现，而交互就是帮助虚拟事物在现实中更好的呈现做准备，因此想要等到更好的AR体验，交互就是其中的重中之重。
AR设备的交互方式主要分为以下三种：
（1）现实世界中的点位选取来进行交互是最为常见的一种交互方式，例如最近流行的AR贺卡和毕业相册就是通过图片位置来进行交互的。
（2）将空间中的一个或多个事物的特定姿势或者状态加以判断，这些姿势都对应着不同的命令。使用者可以任意改变和使用命令来进行交互，比如用不同的手势表示不同的指令。
5、合并技术
增强现实的目标是将虚拟信息与输入的现实场景无缝结合在一起，为了增加AR使用者的现实体验，要求AR具有很强真实感，为了达到这个目标不单单只考虑虚拟事物的定位，还需要考虑虚拟事物与真实事物之间的遮挡关系以及具备四个条件：几何一致、模型真实、光照一致和色调一致，这四者缺一不可，任何一种的缺失都会导致AR效果的不稳定，从而严重影响AR的体验。
系统组成
AR技术
增强现实系统在功能上主要包括四个关键部分，其中，图像采集处理模块是采集真实环境的视频，然后对图像进行预处理;而注册跟踪定位系统是对现实场景中的目标进行跟踪，根据目标的位置变化来实时求取相机的位姿变化，从而为将虚拟物体按照正确的空间透视关系叠加到真实场景中提供保障;虚拟信息渲染系统是在清楚虚拟物体在真实环境中的正确放置位置后，对虚拟信息进行渲染；虚实融合显示系统是将渲染后的虚拟信息叠加到真实环境中再进行显示。
一个完整的增强现实（AR）系统是由一组紧密联结、实时工作的硬件部件与相关软件系统协同实现的，有以下三种常用的组成形式。
参考资料
[1]
浅谈增强现实的现状与发展 · 万方数据知识服务平台[引用日期2021-11-29]
相关视频
全部
288次播放02:18
增强现实技术具体能用在现实中哪些地方？一起来围观|透视新科技
合集
应用领域
2个视频
357次播放06:17
增强现实技术是否已经成熟？还有哪些不足需要改进？|透视新科技
工具与难点
1449次播放02:40
AR技术被称之为增强现实技术，现实是如何被增强的？|透视新科技
实际应用
