设为首页 加入收藏 期刊导航 网站地图

Computer Science and Application
Vol. 09  No. 12 ( 2019 ), Article ID: 33551 , 11 pages
10.12677/CSA.2019.912264

Research on Information Integration for Augmented Reality Assistant Product Assembly

Qiong Dong1, Jian Dong1, Sichen Jiao2, Junfeng Wang2

1Beijing Institute of Mechanical Equipment, Beijing

2School of Mechanical Science & Engineering, Huazhong University of Science and Technology, Wuhan Hubei

Received: Dec. 2nd, 2019; accepted: Dec. 13th, 2019; published: Dec. 20th, 2019

ABSTRACT

Augmented reality technology has been widely used in various walks of life with its continuous development and improvement. In the field of assembly, augmented reality provides a practical means to improve assembly efficiency of complex product. This paper analyzes the characteristics of the required information of augmented reality assistant assembly process. A model based on Definition data model is discussed for augmented reality assistant assembly process. Two Extensible Markup Language files are used to describe and represent the related product and process information, which realize the information transmission and integration during augmented reality assistant assembly process. The operation flow and function modules are given for augmented reality assistant assembly process based on the information integration. A power component is used as an example to describe the process of augmented reality assistant assembly including the data transformation, process authoring and on-site real time instruction, and the practicability of information integration of augmented reality assistant assembly is illustrated.

Keywords:Augmented Reality, Assembly Process, Data Model, Information Integration

增强现实辅助产品装配的信息集成研究

董琼1，董剑1，焦思晨2，王峻峰2

1北京机械设备研究所，北京

2华中科技大学机械科学与工程学院，湖北 武汉

收稿日期：2019年12月2日；录用日期：2019年12月13日；发布日期：2019年12月20日

摘 要

随着增强现实技术的不断发展和完善，其开始广泛的应用于各行各业。在产品装配领域，增强现实技术为提高复杂产品的装配效率提供了一种切实可行的手段。本文分析了增强现实在装配工艺引导方面所需信息的特点，讨论了基于模型定义的增强现实装配数据模型；采用两个可扩展标记语言文件分别描述面向增强现实装配的产品相关信息和工艺相关信息，完成增强现实装配过程中的信息传递和集成；给出了信息集成的增强现实装配系统的操作流程和功能模块；以电源模块为例，描述了面向增强现实辅助装配的数据转换、工艺编辑和现场实时引导的过程，验证了增强现实辅助装配过程中信息集成的实用性。

关键词 :增强现实，装配工艺，数据模型，信息集成

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

增强现实 [1] (Augmented Reality, AR)是通过将计算机生成的虚拟信息实时叠加到真实场景中，为用户提供虚实融合视野的新兴技术。自波音公司在飞机的线路装配 [2] 中首次采用增强现实技术辅助现场装配工人的作业后，增强装配(Augmented Assembly)的应用研究也逐渐增多 [3] [4]，增强现实的虚实融合效果能够在真实装配环境里实时精准地提供各种虚拟的装配信息 [5] [6]，从而引导现场工人进行装配作业，减轻工人的认知负担、降低装配错误、提高装配工作效率。

随着增强现实技术在装配领域的应用与拓展，面向装配工艺的虚实融合、三维注册和人机交互等关键技术 [7] [8] [9] 的研究日趋成为热点，但针对增强现实装配的数据管理研究 [10] 较少，缺乏从产品模型信息获取、增强现实工艺编辑到增强现实装配现场引导过程中的信息传递和集成研究。而在制造业中，基于模型定义 [11] [12] (Model Based Definition，MBD)的技术采用带标注的三维模型来表达和传递工程信息，已经成为制造业信息化的发展趋势，但都侧重于制造加工信息的表达。为此，本文基于MBD技术建立了增强现实装配的数据模型，作为后续增强装配的统一数据源；采用可扩展标记语言(Extensible Markup Language, XML)格式文件存储增强现实装配数据，实现信息的传递和集成，在此基础上设计开发了增强现实装配系统，以某电源模块为例，展示了基于信息集成的增强现实装配系统应用流程。

2. 增强现实装配MBD数据组成

为实现产品生命周中各个阶段信息的统一管理，基于模型定义(Model Based Definition，MBD)技术将产品信息中的几何形状信息、工艺信息等通过一个完整的三维实体模型来表达，改变了传统由三维实体模型来描述几何形状信息、用二维工程图来定义工艺信息的产品数字化定义方法 [13]。同时，MBD使三维实体模型作为生产制造过程中的唯一依据，改变了传统以工程图纸为主，而以三维实体模型为辅的制造方法。由于基于MBD的三维模型在产品的全生命周期内被赋予了各个阶段的相关数据，从而实现了产品各阶段数据的继承、共享、对模型和数据的集中管理，进而方便后续的信息流通，减少生产成本。

增强装配旨在利用虚实叠加技术，通过显示设备为现场人员提供装配操作的作业引导信息。为保障虚实叠加的效果，作业引导信息要涵盖装配零部件的组成、零部件的结构关系、装配工艺、装配过程等信息。

本文针对增强装配的信息需求，建立了装配MBD数据集作为增强装配的数据组成模型，使得三维模型和增强装配信息相关联，实现在整个增强装配周期内的数据共享和管理。图1展示了装配MBD数据集的信息组成。装配MBD数据集包括三个组成部分，产品信息、工艺信息和资源信息。其中产品信息主要描述装配模型及其组成零部件的相关信息，包括属性信息、空间位姿等；工艺信息主要描述装配作业流程中各工序的操作内容、技术要求等；资源信息描述装配作业中必要的装配工具、辅料等信息。

Figure 1. Augmented Reality assistant assembly information based on MBD

图1. 面向增强现实装配的MBD数据集组成

3. 增强装配MBD信息的存储和表达

本文采用可扩展标记语言XML格式的文件对增强现实装配中所需要的轻量化三维模型产品信息、工艺信息和资源信息等进行存储，实现增强现实装配流程中的信息快速传递。图2给出了一个装配体A的树状结构图，装配体A包括子装配体SA1和独立零件P3，其中子装配体SA1包括两个零件P1和P2。本节以该装配体为示例，分别描述装配MBD中产品信息的XML文件结构和工艺、资源信息的XML文件结构。

Figure 2. Tree structure diagram of assembly A

图2. 装配体A的树状结构图

3.1. 增强装配的产品信息表达

由于三维模型数据庞大，在实现增强装配可视化时会产生较大计算开销，影响系统的实时性，因此对三维模型进行轻量化处理显得尤为重要。同时为方便数据表达和传递，三维模型的装配信息(属性信息、空间位姿信息和装配关系等)将作为整个增强装配周期内的共享数据。故本文将装配模型的面片信息与模型的装配信息进行分离，分别使用装配模型的IV格式记录模型的面片信息(三角化面，三角化边等)，使用XML中性格式文件记录模型的属性信息、空间位姿信息及装配关系等，同时采用模型名称索引的方式，实现了装配模型IV格式下的面片信息和XML文件中属性信息、空间位姿信息和装配关系等的一一对应，确保了数据的完整性。该方法既能获取到轻量化的三维模型，又实现了装配信息的全局共享，满足增强装配需求。

表1给出了装配MBD产品信息的XML文件节点描述，Assembly Root作为装配MBD产品信息的根元素，用于存储装配体的名称信息。其余元素均为Assembly Root的子元素，其中Sub Assembly Information用于存储总装配体下的子装配体的数据信息，其下子元素包括子装配体的ID号，子装配体名称和位姿坐标；Part Information用于存储子装配体下的零件的数据信息，其下子元素包括零件的ID号，零件名称、颜色、材质、位姿坐标；当某些零件不隶属于某一子装配体时，依旧可使用Part Information记录该零件的产品信息。

Table 1. XML structure for assembling MBD product information

表1. 装配MBD产品信息的XML文档结构

依据表1设计的XML文档格式，以装配体A为例，图3展示了储存装配体A的产品信息的XML文档的构成形式。

3.2. 增强装配的工艺和资源信息表达

图4给出了3.1节中装配体A的某一装配工艺B的树状图，该装配工艺B的工序号为B1，工序名称为N1，工序内容和技术要求为Text1，涉及到的装配实体有：待装配件CP1，紧固件F1和工具T1，人工标志物的代号为M1。并针对不同种类的信息提供了具体的可视化方式。

Figure 3. XML for product information of assembly A

图3. 装配体A产品信息的XML文档

Figure 4. Tree diagram of assembly process B

图4. 装配工艺B的树状图

表2给出了装配MBD工艺、规划和资源信息的XML描述。针对装配MBD的工艺信息本文使用Step Root作为增强装配工艺步骤的根元素，用于存储工序号和工序名称。其余元素均为Step Root的子元素，其中Text Node用于存储装配工序内容和技术要求等信息，其下子元素包括文本代号，每一文本代号对应具体的文本内容。

Table 2. XML structure for assembling MBD process, planning and resource information

表2. 装配MBD工艺、规划和资源信息的XML文档结构

针对装配MBD的工艺信息，本文在上述Step Root根节点下，添加子节点用于记录装配MBD的工艺信息。其中Existing Parts用于存储已装配件的信息，其下子元素包括已装配件代号；Cur Part Node用于存储待装配件的信息，其下子元素包括待装配件名称、待装配件代号、待装配件的位姿坐标，其中待装配件的位姿坐标将用作实现待装配件的增强装配三维动画；Fastener Node用于存储紧固件信息，其下子元素包括紧固件名称、紧固件序列、紧固件代号和紧固件位姿坐标，其中紧固件的位姿坐标将用作实现紧固件的增强装配三维动画。

针对装配MBD的资源信息，本文在Step Root根节点下，添加子节点用于记录装配MBD的资源信息。其中Tool Node用于存储装配工具信息，其下子元素包括工具代号和工具的位姿坐标，其中工具的位姿坐标将用作实现工具的增强装配三维动画。

此外本文将基于人工标志物实现增强装配的三维注册，所以使用Mark Node记录人工标志物信息，其下子元素包括标志物代号、标志物特征信息、标志物位姿坐标。

依据表2设计的XML文档格式，以装配工艺B为例，图5展示了储存装配工艺B的工艺和资源信息的XML文档的构成形式。

4. 基于信息集成的增强现实装配系统

4.1. 增强现实装配系统流程

如图6所示，面向装配工艺的增强现实系统包括三个模块：模型转换与信息提取模块、增强装配工艺编辑模块和增强装配实时指导模块。模型转换与信息提取模块用于提取增强装配所需的三维模型与相关信息(空间信息、属性信息等)，并输出和生成IV文件和产品信息的XML文件，作为后续虚拟场景的规划管理和虚实融合等关键环节提供数据支撑。增强装配工艺编辑模块主要面向工艺设计人员，工艺设计人员依据现场装配作业的需求，规划和管理装配作业过程中需要实时显示的虚拟信息，并输出和生成工艺和资源的XML文件。增强装配实时引导模块面向装配现场的作业人员，以增强装配工艺编辑模块输出的工艺和资源的XML文件作为本模块的输入，为现场装配人员提供装配工艺的引导画面，进而装配人员遵照引导提示完成装配作业。

Figure 5. XML for process and resource information of assembly process B

图5. 装配工艺B的工艺和资源信息的XML文件

Figure 6. Augmented reality assembly system operation flow

图6. 增强现实装配系统操作流程

4.2. 增强现实装配系统功能模块说明

4.2.1. 模型转换与信息提取

模型转换与信息提取的数据来源为产品设计阶段输出的三维模型，为确保数据传输，需率先将其转换成增强装配工艺编辑模块中渲染引擎支持的格式。位姿提取则是利用二次开发的插件程序，提取装配体中各零件相对于总装配体坐标系的位置关系。三维模型经过模型轻量化，格式转换和提取零件间的位姿关系等处理后，按照规定格式以XML文档输出，以此作为增强装配工艺编辑模块的输入来源。

装配工艺设计输出的装配工艺规程是增强装配工艺编辑的参照，为增强装配工艺编辑提供工艺规划的依据。装配工艺规程主要包括装配产品的装配顺序、每道工序所涵盖的装配零件、装配工具、装配操作要求以及检验要求等。

4.2.2. 增强现实装配工艺编辑

增强装配工艺编辑模块面向工艺编制人员，工艺人员掌握着整个工艺流程，清楚现场工人在何种操作下需要何种装配操作信息和操作要求。因此，工艺人员可利用工艺编辑提供的交互界面完成增强装配虚拟场景的规划设计。

增强装配工艺编辑模块以增强信息库和装配工艺库提供的信息的作为数据来源，设计数据和工艺信息(包括三维模型、技术要求、工艺流程和工装物料等)作为数据支撑。工艺人员利用工艺编辑工具，参考装配工艺规程依次对步骤信息、零件信息、工装信息和路径信息等进行规划设计，并输出增强装配工艺文件。该文件将工艺编辑场景的辅助信息按节点存储在XML文件中，每一个增强装配工艺步骤对应一个文件。

4.2.3. 增强现实装配作业引导

增强装配实时作业引导属于现场应用，面向现场装配工人。装配现场需要配置摄像头和显示设备，分别用于获取现场装配场景的视频和显示虚实融合装配引导画面，工人在虚实融合视频的辅助下完成装配操作。增强装配实时引导虚实融合视频的虚拟部分，是通过解析工艺编辑输出的装配工艺文件，利用节点信息重构出工艺人员所编辑的虚拟场景；真实部分是直接获取现场摄像头的视频。在此基础上对每帧画面都进行虚实融合，进而得到融合视频。

与传统的装配工艺指导手册相比，增强实时装配引导将装配工艺信息与操作区域融合显示在同一画面中，缩短了工人从读取信息到实施操作的时间；在一个装配工序的多个装配操作中，利用多种可视化的表达方式，例如零件动画、指示箭头等，将装配工艺书面手册的文本描述转化为更易理解的可视化信息，提供每个工步操作的引导提示，减轻现场工人的作业负担。

5. 增强现实装配系统应用示例

本文以某电源模块的拧紧工艺为例，说明了基于MBD信息集成的增强现实装配系统应用流程和各个功能模块的实现结果。该电源模块共有三级装配关系，涉及48个装配零件。

5.1. 电源模块的模型转换与信息提取

图7展示了基于Creo进行二次开发、面向增强现实装配的产品空间位姿信息提取和模型转换插件，利用该插件可以得到电源模块三维模型的IV格式文件(记录面片信息)和记录模型产品信息的XML文件(如图3所示)，从而完成模型的轻量化处理和产品信息的获取。

5.2. 拧紧工艺的增强现实装配工艺编辑

电源模块拧紧工艺涉及的装配对象有待装配件(滤波器)、紧固件(螺钉)、工具(螺丝刀)。依据电源模块的装配工艺手册的装配要求，完成拧紧工艺的增强装配表达规划。以电源模块的IV文件和产品信息的XML文件作为数据来源，利用增强装配工艺编辑工具，完成拧紧工艺的增强装配表达的编辑操作，同样采用XML格式文件(如图5所示)，储存增强装配下拧紧工艺的各项数据，作为增强装配实时引导模块的数据来源。

Figure 7. Spatial pose information extraction plugin

图7. 空间位姿信息获取插件

5.3. 拧紧工艺的增强现实装配实时引导

增强装配实时引导模块以电源模块的IV文件和拧紧工艺的增强装配表达的XML文件作为数据来源，利用工业相机捕捉电源模块的真实场景画面，并通过对定位标识进行识别处理后，将增强装配工艺编辑模块下已编辑的拧紧工艺的虚拟引导动画实时叠加在相应位置。图8展示了电源模块拧紧工艺的增强装配引导效果，场景的左上角以文字可视化的方式显式工序内容信息，以虚拟动画的方式展示待装配件(滤波器)、紧固螺钉和螺丝刀的装配操作流程，可以看出滤波器、紧固螺钉和螺丝刀等零件和工具均叠加在对应的使用位置，引导装配人员进行相关作业操作。

Figure 8. Augmented assembly real-time guidance effect of the tightening process

图8. 拧紧工艺的增强装配实时引导效果展示

6. 总结

本文从面向增强现实装配的信息需求出发，针对装配工艺的特点，建立了增强现实装配MBD数据模型，采用模型与数据分离的思路，完成了三维模型的轻量化处理。采用可扩展标记语言XML格式文件对轻量化处理后的三维模型产品信息、工艺、资源等信息进行存储和管理。本文描述了基于信息集成的增强现实装配系统操作流程和功能模块，并以电源模块的拧紧工艺为例，展示了电源模块从模型转换和信息提取、增强现实装配工艺编辑、增强现实装配实时引导的具体操作。

应用实例表明该增强现实装配系统提供了完整的由产品的传统装配工艺向增强现实装配工艺转变的操作流程，工艺人员可以自由地设计产品装配工艺的增强现实展示效果。相较传统装配，在该系统的增强现实装配引导下，可以提高装配作业效率，减少错装和漏装现象。

本文主要面向装配环节提出了增强现实数据模型，未来在增强现实信息集成管理方面，可以针对不同的应用场景选取合适的集成和管理方案，提出更为完善的信息管理模型，确保增强现实系统信息传递的高效完整。

基金项目

本文得到国防基础研究项目(JCKY2017204C023)资助。

文章引用

董 琼,董 剑,焦思晨,王峻峰. 增强现实辅助产品装配的信息集成研究
Research on Information Integration for Augmented Reality Assistant Product Assembly[J]. 计算机科学与应用, 2019, 09(12): 2375-2385. https://doi.org/10.12677/CSA.2019.912264

参考文献

  1. 1. 高翔, 安辉, 陈为, 潘志庚. 移动增强现实可视化综述[J]. 计算机辅助设计与图形学学报, 2018, 30(1): 1-8.

  2. 2. Caudell, T.P. and Mizell, D.W. (1992) Augmented Reality: An Application of Heads-Up Display Technology to Manual Manufacturing Processes. Hawaii International Conference on System Sciences, Kauai, 7-10 January 1992, 659-669. https://doi.org/10.1109/HICSS.1992.183317

  3. 3. Mura, M.D., Dini, G. and Failli, F. (2016) An Integrated Environment Based on Augmented Reality and Sensing Device for Manual Assembly Workstations. Procedia CIRP, 41, 340-345. https://doi.org/10.1016/j.procir.2015.12.128

  4. 4. Schmidt, A., et al. (2017) Working with Augmented Reality?: A Long-Term Analysis of In-Situ Instructions at the Assembly Workplace. International Con-ference on Pervasive Technologies Related to Assistive Environments, Island of Rhodes, 21-23 June 2017, 222-229.

  5. 5. Espíndola, D.B., Fumagalli, L.,Garetti, M., et al. (2013) A Model-Based Approach for Data Integration to Improve Maintenance Management by Mixed Reality. Computers in Industry, 64, 376-391. https://doi.org/10.1016/j.compind.2013.01.002

  6. 6. Scurati, G.W., Gattullo, M., Fiorentino, M., et al. (2018) Converting Maintenance Actions into Standard Symbols for Augmented Reality Applications in Industry 4.0. Computers in Industry, 98, 68-79. https://doi.org/10.1016/j.compind.2018.02.001

  7. 7. Chen, C.J., Hong, J. and Wang, S.F. (2015) Auto-mated Positioning of 3D Virtual Scene in AR-Based Assembly and Disassembly Guiding System. The International Journal of Advanced Manufacturing Technology, 76, 753-764. https://doi.org/10.1007/s00170-014-6321-6

  8. 8. Park, G., Ha, T. and Woo, W. (2014) Hand Tracking with a Near-Range Depth Camera for Virtual Object Manipulation in an Wearable Augmented Reality. In: Shumaker, R. and Lackey, S., Eds., Virtual, Augmented and Mixed Reality. Designing and Developing Virtual and Augmented Envi-ronments. VAMR 2014. Lecture Notes in Computer Science, Vol. 8525, Springer, Berlin, 396-405. https://doi.org/10.1007/978-3-319-07458-0_37

  9. 9. Uva, A.E., Gattullo, M., Manghisi, V.M., et al. (2017) Evaluating the Effectiveness of Spatial Augmented Reality in Smart Manufacturing: A Solution for Manual Working Sta-tions. The International Journal of Advanced Manufacturing Technology, 94, 509-521. https://doi.org/10.1007/s00170-017-0846-4

  10. 10. 李旺, 王峻峰, 蓝珊, 李世其, 焦思晨, 王猛. 增强现实装配工艺信息内容编辑技术[J]. 计算机集成制造系统, 2019, 25(7): 1676-1684.

  11. 11. Zhu, W.H., Bricogne, M., Durupt, A., Remy, S., Li, B.R. and Eynard, B. (2016) Implementations of Model Based Definition and Product Lifecycle Management Technologies: A Case Study in Chinese Aeronautical Industry. IFAC-PapersOnLine, 49, 485-490. https://doi.org/10.1016/j.ifacol.2016.07.664

  12. 12. 唐健钧, 田锡天, 耿俊浩. 基于模型定义的集成化精度信息模型[J]. 计算机集成制造系统, 2014, 20(8): 1827-1833.

  13. 13. 田富君, 陈兴玉, 程五四, 张祥祥, 张红旗. MBD环境下的三维机加工艺设计技术[J]. 计算机集成制造系统, 2014, 20(11): 2690-2696.

期刊菜单