学术交流 点云场景认知办法——泛化点云

发布时间:2022-06-15 20:24:12 来源:亚博bet

  跟着传感器技能和观测渠道的迅速发展, 点云大数据作为新式遥感的首要数据办法, 现已逐步成为场景感知的重要信息载体, 并在地质灾祸态势感知、天然资源定量查询和路途交通安全服务等国家严峻战略需求中发挥了越来越明显的效果。与此一起, 点云观测配备和国家严峻战略需求的两层驱动促进空间场景从感知迈向了认知, 也对认知处理的算法和算力提出了新的要求。为此, 本文以点云场景认知的根本结构为头绪, 剖析了多源点云耦合观测的研讨现状, 总结了点云场景认知处理的要害发展及其在国家严峻战略需求中的典型使用, 并凝练了点云场景认知当时面对的首要问题。在此根底上, 本文聚焦点云场景认知的前沿应战, 避开传统欧氏空间而转到高维张量流形空间进行点云数据处理, 提出了“泛化点云”的科学概念和技能结构, 为打破点云场景认知处理的算法和算力供给研讨思路。

  点云数据包括三维几许坐标和特定物理特色,是二维矢量和印象数据之后的重要地理信息时空数据,在场景数据的三维精密化观测和场景信息的几许结构化表达等场景感知方面具有明显的优势[1]。但是,地质灾祸态势感知、天然资源定量查询和路途交通安全服务等国家严峻战略需求的使用打破,因其高度杂乱、强不确认性、继续动态演化的场景特性,促进对场景的了解从感知迈向认知[2-4]。场景认知是对物理环境中客观事物实质特征和空间联系的了解,其间,场景数据(观测数据)—场景信息(数据特征)—场景常识(特征相关)的全链路转化是完结场景认知才能“从现象到实质”进步的要害途径[5-6]。因而,场景观测办法需求从单一点位观测向多线全域观测打破,智能处理算法需求从特征提取为主的人类认知向能自动辨认特征相关的机器认知打破,智能处理算力需求从过后精密核算处理向实时高效剖析处理打破。

  近年来,跟着观测渠道和传感器技能的迅速发展,点云大数据收集配备现已从专业级单一化向消费级集成化改变,为点云大数据的获取供给了快捷手法[7]。在点云观测传感器方面,现已构成了以激光雷达(单波段[8]和多波段[9])和拍摄丈量(传统视觉相机[10]、多光谱相机[11]、偏振相机[12]、深度相机[13]和结构光相机[14]等)为主导,全球卫星导航系统(GNSS)和惯性丈量单元(inertial measurement unit,IMU)为辅佐的多源传感器耦合观测办法[15]。一起,在传感器搭载渠道方面已构成从星载、机载、车载、无人移动渠道、仿生机器人、背包、手持、地基等多标准、多分辨率和多渠道协同观测办法[16]。现在,多传感器、多渠道观测构成的高维点云现已在才智城市、自动驾驶和实景三维等许多范畴得到广泛的使用[1, 17-19]。但是,高维点云的多时相、多标准和多特色等特性使得单一化、个性化的点云处理办法难以有用打破智能核算的算法和算力。

  本文环绕点云场景认知的根本结构为首要头绪,要点剖析了多源点云耦合观测、点云场景认知共性处理和严峻工程使用3个方面获得的研讨发展,总结了点云场景认知研讨当时面对的首要问题,最终面向点云场景认知的前沿应战及发展趋势提出了“泛化点云”的科学概念和技能结构。“泛化点云”是指多传感器、多标准、多时相遥感观测的单一个性化点云的共性聚合体,在特色维度上有用交融了个性化点云的几许方位、物理特色和辅佐信息,并完结了时刻维度和空间维度的泛化。在具体体现办法上,“泛化点云”将单一个性化点云的特色信息进行聚合,因而构成了一个高维点集,即“泛化点云”中每一个点都具有多标准、多时相的空间坐标、物理特色、辅佐信息和点云特征。一起“泛化点云”避开传统欧氏空间的低维束缚,使用“高维张量流形空间”进行点云的高维特色表达,然后用于场景认知处理。期望能为打破点云场景认知的智能处理水平供给新的研讨思路。

  认知场景中存在很多跨域、高维、低秩、稀少、隐式的信息[20],这些信息中的常识,除了具有通用常识的语义内在和特色之外,还与场景现象或事物的演化进程密切相关[21]。一起,点云观测数据存在的海量、散乱、冗余、不完好、弱结构、高动态和密度差异等特性给点云场景认知处理带来了很大的难度[22-25]。因而,需求以点云观测、数据处理和使用服务3个方面为点云场景认知的根本结构(图 1),在多源点云耦合、点云场景认知处理和工程使用服务3个方面进行深入研讨,处理认知场景的动态观测、快速处理和人机协平等中心问题,有用支撑场景认知的科学研讨和国家严峻战略需求的使用打破。下文别离论述上述几方面的首要研讨发展。图1 点云场景认知的根本结构

  因为单一观测渠道在其有限的观测视角内难以获取方针场景完好的点云数据,不只需求进行单一渠道的移动或许多站点云拼接,还需求进行多视角观测渠道(如室内的地上渠道、室外的无人机等)的点云耦合,以战胜单一观测渠道导致的点云残损问题,然后完结方针场景空间信息的全方位获取和表达[26-27]。一起,一些观测传感器在特别的场景下变得失效(如激光扫描难以观测玻璃原料的场景方针)而导致获取的点云数据完好性较低,需求进行多源传感器耦合观测,有用整合多源点云观测传感器的优势,使得多源点云可以完好地描绘场景的几许状况[28-29]。此外,经过将GNSS/IMU和不同点云观测传感器集成在共同观测渠道上,并进行传感器观测方程、方位和姿势信息的联合解算,处理点云获取中的少弱纹路、改变光照、运动含糊和类似部件等问题,完结方针场景三维点云的高效、稳健和准确获取[30-31]。现在,“广义点云”经过整合单一传感器收集点云间的优势,构建基准共同,且数据、结构、功能为一体的复合点云数据模型,处理了点云数据单一、质量差异大、采样粒度散布严峻不均匀等问题[32]。

  几许基准的共同是多源点云耦合的根底。点云配准是康复两个或多个坐落不同坐标系下具有堆叠区域的点云之间的平移和旋转联系,在此根底上进行多源点云的几许基准对齐[33-34]。因而,点云配准是多源点云耦合观测的有用手法。现在,点云配准首要分为依据优化和依据特征的办法。依据优化的配准办法是使用迭代优化战略来估量最优改换和对应联系,首要包括局部优化[35-36]和大局优化[37-38]。现有的依据优化的配准办法具有较高的理论精度,但需求杰出的初始化以缩小启发式查找的参数空间。依据特征的配准办法是提取特征来确认点云之间的匹配,然后估量点云之间的改换联系,提取的特征首要包括人工规划特征[39-41]和深度学习特征[42-44]。虽然这些依据特征的办法对配准初始化具有稳健性,但其理论精度存在必定的束缚性。此外,已有的一些研讨集成了依据优化和依据特征的配准办法。这些集成办法[45-46]结合了依据优化和依据特征的配准办法的长处,以保证初始化和理论精度,但因为杂乱要素对点云配准的准确性和稳健性提出了巨大的应战。

  多源点云耦合观测可以完结多渠道、多传感器之间的优势互补,但是不同渠道、不同传感器之间的观测办法、视角、标准、精度等存在较大差异,导致获取的多源点云之间存在密度改变、标准差异和低堆叠度等问题,严峻影响点云配准的效果,因而给多源点云耦合带来较大的应战。此外,单一来历点云包括的特定物理特色的品种较为单一,而多源点云物理特色的交融可以有用进步对场景方针的描绘才能。但是,现在多源点云耦合研讨多重视于点云几许基准的共同,多源点云物理特色的交融研讨很少。

  场景语义认知是对空间场景物理环境的了解进程,经过提取空间场景中实体要素的特征,并树立特征相相联系,然后提醒场景要素间的相关机制[25]。因而,点云场景认知的中心使命在于笼统与表征场景信息中的高维时空相关特征,其间特征提取、相关认知、特征学习是点云场景认知的共性处理技能,也是从场景特征感知向语义认知交互阶段跨进的要害。

  点云数据特征提取是经过特征要害点挑选、特征描绘子规划和特征空间改换映射,描绘点云大数据中稀少散布的信息[47]。点云特征可以有用表达场景几许结构和物理状况,因而成为点云场景认知处理的根底和条件[48]。现在,点云数据特征构建的范式是经过矩阵或许向量核算,将单个点实体目标进行三维坐标映射,然后依据欧氏空间中的散布特性核算和查找三维几许邻域,完结点云原始数据到特征空间的有用映射[49]。这种范式中,特征的描绘可分为依据特征值[50]、依据特征向量[51]、依据点特征直方图[52]、依据二维视角[53]、依据图[54]、旋转投影核算特征描绘[55]、二进制形状上下文[56]等办法。但是,这种特征构建范式将点云数据中包括的高维信息降维为二维矩阵或向量,构成点云数据中几许结构形状的丢失和特色相相联系的损坏[57-58]。因而,在特征构建进程中会构成高维信息的丢掉与损坏,然后直接导致场景信息表达的残损与失线 特征相关

  特征相关是经过提取场景要素的特征,树立特征之间的相相联系,提醒场景要素与空间大局上下文联系,然后完结场景认知[25, 59]。当时,点云特征相关办法首要分为直接法和直接法。直接法是将三维点云投影为二维图画进行视觉印象特征相关,然后映射为三维点云的特征相相联系。典型的视觉印象特征相关办法有金字塔场景剖析网络[60]、深度神经网络[61]、特征感知网络[62]等办法。直接法是直接确认三维点云特征的相相联系,研讨发展包括经过场景要素邻域之间的优化迭代获取场景要素上下文信息[63],依据三维金字塔模块的要素相关办法增强要素间多标准特征的认知才能[64],使用同质超体素安排实体要素上下文信息来增强场景语义的推理才能[65]。但是,现在点云特征相关研讨多依靠于欧氏空间中几许特征的实体信息表达,难以支撑点云场景要素的有用空间认知。因而,有必要在新的特征空间中对大局、深层、时空不变的特征进行相关研讨。

  深度学习凭仗其优秀的高层次的语义了解才能,在点云数据的场景认知上引起了广泛的重视[66-67]。现在,依据深度学习模型的不同,点云特征学习办法可以分为依据多视图、依据体素和依据原始点云的办法。依据多视图的办法是将三维点云投影为二维图画,然后进行深度学习处理,代表性的模型包括Multiview-CNN[68]和SnapNet[69]。依据体素的办法是将不规矩的点云进行体素规矩化,再输入神经网络中进行学习处理,代表性的模型有VoxNet[70]和SegCloud[71]。比较于依据多视图和体素化的直接处理办法,依据原始点云的办法是直接使用原始点云进行深度学习,防止点云转化带来的信息丢失,代表性的模型有PointNet[72]和PointNet++[73]。此外,特征聚合的点云深度学习办法经过在学习网络输入阶段参加手艺物理特征,以进步特征学习的效果[49]。但是,当时点云特征学习办法尚存在练习数据束缚、模型缺少可解说性、模型泛化才能缺乏、运算本钱高级问题。此外,特定使命驱动的深度学习模型缺乏以完结高层次特征的准确描绘,还需求展开进一步深入研讨来支撑场景认知。

  点云场景认知在场景耦合观测和智能处理方面获得了较好的研讨效果,在才智城市数字底座、路途交通安全服务、根底设施健康监测、天然灾祸态势感知、生态资源定量查询、文化遗产数字办理等国家重要战略中得到了广泛使用(图 2),完结了根底研讨和使用研讨的有用联接。图2 面向国家重要战略的点云场景认知使用

  点云场景认知集成空间数据、地理信息、场景常识,结合物联感知数据,为数字底座信息模型规划、数字底座数据办理办法规划和数字底座出现才能建造供给多粒度、多层次、多细节的空间地理信息模型,在城市精密化办理、数字孪生城市建造、城市安全剖析预警等方面得到广泛的使用[74-76]。

  面向大范围、多密度、高动态的路途场景,点云场景认知经过辨认、拾取、相关等处理模块,可以高效、准确地获取包括几许结构、语义信息、拓扑连通、动态更新的高精度语义地图,完结交通路网的智能感知和多维监测,为在途驾驶人及自动驾驶车辆供给准确、及时、直观的安全交通战略[77-80]。

  面向严峻根底设施执役状况监测及精密运维需求,点云场景认知可以高精度获取结构几许信息、多层次重构外表纹路细节、多维度表征健康状况目标,为大型修建施工质量操控、城市路途要害要素健康检测、桥梁健康动态评价供给快速有用的感知办法,有力支撑根底设施健康状况科学确诊和全生命周期防护[81-84]。

  在天然灾祸态势感知方面,点云场景认知可以高效、精准、及时地获取不良地质体的三维模型,依据多时相三维模型核算不良地质体的形变和位移数据,剖析不良地质体的态势演化规矩,然后提醒天然灾祸触发机制,为天然灾祸区域的快速定位、抢险救援、危险评价及灾祸预警等供给要害支撑[85-87]。

  点云场景认知经过点云耦合观测、三维结构信息准确获取、生态参数定量反演、空间格式动态演化剖析,完结对生态资源的全方位、多层次、精密化、智能化的状况认知,大幅度地进步了天然资源定量查询的工作功率,为维护生态天然资源的可继续发展方针拟定供给科学支撑[88-91]。

  点云场景认知可以经过实践数据收集、处理和重构,为文化遗产的高精度三维建模、数字化存储、虚拟化修正、可视化展现、网络化传达供给牢靠的、完好的、准确的数据信息资源,明显进步了文化遗产办理的工作功率和质量,为文化遗产修正、重建和后续的研讨工作供给了名贵的资源[92-95]。

  点云认知已在许多严峻工程和典型范畴里得到了广泛的使用。但是,跟着使用场景的杂乱性、不确认性、动态演化性不断添加,点云场景的认知处理算法仍需加强多类别、多层次、多维度点云特征的交融、提取、相关、学习等方面的研讨。一起,为了满意知道场景的动态观测、快速处理、应急建图、人机协平等技能使用需求,需求进一步进步点云认知处理的算力。

  在点云耦合观测、认知共性处理和认知使用需求的多重驱动下,点云数据的完好性、时效性和颗粒度明显进步,然后发生了多时相、多标准和多特色的高维点云[1]。高维点云包含丰厚的场景信息,不只描绘了场景的三维空间结构特征,并且包括了具有通用常识的事实型、规矩型、决议计划型语义内在及具有特定的时空特征,这些信息与场景的动态演化进程密切相关。虽然现在点云认知研讨现已获得了一系列先进的效果,但是怎么在有用的认知空间中对高维点云进行客观表征和高效处理,发掘场景中深层次的信息并树立实体、语义、事情之间的相相联系,是智能获取场景常识面对的新应战。

  时空基准的共同是多源点云聚合的根底,而多渠道、多传感器、多时相耦合观测导致的点云密度改变、标准差异和低堆叠度等问题给多源点云基准共同带来了较大的应战。因而,需求提醒多来历点云的差错散布和传达规矩,研讨稳健的点云配准办法,一起研讨多标准点云特征交融办法,完结多源点云的高维特色有用聚合和多维表达。

  传统欧氏空间中,多源特色聚合发生的高维点云数据对物理环境感知的理论与办法因其实质上的束缚而束缚对物理环境的有用认知。因而,针对高维点云数据,需求打破传统认知空间的束缚来探究对物理环境的有用认知空间,需求从数学描绘和物了解说上去结构有用认知空间,并探究有用认知空间下特征提取、相关、学习的认知机制。

  虽然多渠道、多传感器耦合观测发生的高维点云可以聚合更多的场景信息,但是点云数据的存储容量明显添加,给场景认知处理的功率带来了更大的应战。因而,需求探究点云大数据的贮存与安排机制,研讨高维点云学习加快办法,研发点云大数据的高并发核算优化技能,打破海量高维点云数据的运算束缚,全面进步点云场景认知处理的算力。

  面向天然灾祸感知、路途交通安全、天然资源监测等国家严峻战略需求使用的前沿应战,点云场景认知亟须从场景特征感知向场景语义认知进行要害打破,因而以需求导向进步点云智能处理的算法和算力是未来研讨的重要课题。为此,本文提出“泛化点云”科学概念(图 3),把多时相、多标准和多特色的点云特色信息聚合构成一个高维点云数据集,避开传统欧氏空间的低维束缚,然后转化到“高维张量流形空间”中进行认知处理,这一学术思想是对传统在欧氏空间对点云进行降维处理的弥补。图3 泛化点云的科学概念

  “泛化点云”是指由多传感器、多标准、多时相遥感观测点云的聚合,是点云在来历、时刻和空间维度的泛化,具有几许方位、物理特色和辅佐信息的高维点集的有用共同,经过特征提取、特征相关、特征学习和运算加快等共性处理,可发掘场景的要素状况、语义相关、事情演化、场景改变等常识。在具体体现办法上,“泛化点云”将单一个性化点云的特色信息聚组成一个高维点集,其间每一个点都具有多标准、多时相的空间坐标、物理特色、辅佐信息和点云特征,一起使用高维张量进行点云高维特色的数学表达。“高维张量流形空间”是传统低维欧氏空间的高维拓宽,是高维点云数据的天然表达载体。在“高维张量流形空间”,泛化点云的特色信息可以得到完好和准确地表达,能发掘高维数据内部隐含的低秩结构,显性表征具有特定物理意义的首要特征,并可从物理机理上解说特征学习的模型参数和认知规矩,改变了传统空间认知的思路。

  针对泛化点云的场景认知办法,需求探究泛化点云在高维张量流形空间的认知机制,研讨泛化点云的场景认知理论办法,构成场景认知共性处理技能。为此,泛化点云的场景认知办法需求在张量模型探究、相关机制构建、智能处理算法和算力打破方面进行研讨,如图 4所示。图4 泛化点云的场景认知办法

  (1) 展开泛化点云稀少特征的高维张量流形空间表征研讨,探究可以显性表达泛化点云的高维张量流形空间根底模型。探究欧氏空间与高维张量流形空间下泛化点云几许和语义信息体现的差异,探究树立泛化点云欧氏空间与高维张量流形空间的可逆映射联系;研讨高维张量流形空间认知与表达理论,提醒高维张量流形空间下泛化点云高层次几许和语义特征的显性表征机制;打破泛化点云几许特色和语义信息的高维张量流形空间表达,完结泛化点云在高维张量流形空间下的有用表征;探究构建多元联系交融的高维张量分化模型,研讨面向泛化点云的高维张量低秩迫临办法,完结泛化点云高层次几许和语义稀少特征的有用提取。

  (2) 展开高维张量流形空间泛化点云语义特征相关研讨,构建高维张量流形空间中语义相关的认知机制。研讨泛化点云在高维张量流形空间中的时空不变要害特征,构建时空不变特征与实体要素语义的分层映射联系,研讨深层特征的结构与增强机理,剖析多使命多场景下共性特征相相联系,下降特征与特征之间,特征与使命之间的依靠相关性;研讨跨使命时空共同的语义上下文相关机理,增强语义的上下文共同性,完结大局场景语义联系的有用束缚;研讨语义结构化相关与场景常识了解机制,探究实体联系抽取办法与结构化相关办法,完结实体要素语义联系向场景常识表征的过渡。

  (3) 展开泛化点云要素稀少特征的耐性学习研讨,树立算法可解说的认知学习机制。研讨构建面向泛化点云及其稀少特征的可解说深度神经网络语义标示办法,树立模块化语义表达的神经网络,进步神经网络模型的可解说性和透明性;探究面向泛化点云的小样本、弱标示、自适应新环境的上下文相关的搬迁学习机制,进步杂乱场景下深度学习的泛化才能;研讨进步杂乱场景泛化点云认知的耐性学习才能(练习安稳、模型抗干扰、改变环境自适应、可解说性强),构建泛化点云实体要素常识图谱的协同推理核算办法,打破杂乱环境下的空间要素特征的认知束缚,完结对空间实体的了解从感知学习到认知智能层面的进步。

  (4) 展开泛化点云高并发学习的高性能优化算法研讨,树立算力可加快的认知学习机制。研讨依据非凸低秩分化的深度神经网络紧缩与加快机制,并运用并行核算的网络核算模型,进步高并发学习的收敛速度;研讨点云常识图谱的精化构建与优化更新办法,探究静态深度学习届时变搬迁学习的转化机制,经过构建泛化点云实体要素不一起序的共性算子,高效抽取实体要素及实体对之间的相关常识,完结常识概念图谱上下文联系的快速更新与补全;探究树立要素实体和概念联系链接而成的网状常识图谱模型和数据的高效表明与存储办法,优化泛化点云实体要素常识图谱的协同推理核算机制。

  提醒智能体空间认知行为与判别机制,完结对空间场景的了解从特征感知向语义认知的跨进,是地球对地观测研讨在新一代人工智能发展阶段的前沿问题与应战。场景信息到场景常识的有用转化是完结认知才能进步的要害。点云大数据作为新式遥感的首要数据办法,逐步成为智能体感知场景的重要信息载体。但是,对点云数据的核算范式现在是在欧氏空间中提取和相关几许特征,不能支撑场景中稀少散布、物理特色杂乱的高维时空相关特征的构建,难以有用发掘数据内部隐含的场景语义常识。

  本文在对现有研讨发展进行比对剖析、办法总结和问题凝练的根底上,提出了泛化点云的概念,它是具有空间方位、物理特色、时刻序列和同步辅佐信息的高维点集,包含实在场景的丰厚常识。一起张量盛行空间以其对非规矩高维数据表达的原生支撑特性,可为泛化点云的特征表征供给新的理论和办法支撑。在笔者前期探究中,已使用点云在张量盛行空间中的特征表征明显进步了杂乱环境中多类型要素的特征辨认率,证明了对场景杂乱几许形状准确表达的有用效果。

  此外,迫切需求瞄准泛化点云的场景语义认知前沿科学问题,经过高维张量流形空间对物理环境在有用认知空间进行转化,提醒物理环境的泛化点云在新有用认知空间与要素语义常识的相关机制,然后推动泛化点云认知的根底研讨。也需求环绕泛化点云对物理环境新认知空间中独有的根底性技能打破,树立泛化点云的耐性学习机制,打破面向泛化点云高并发核算的功率、收敛和优化技能,全面进步泛化点云运算功率和质量,并完结典型室内外场景高精度语义建图,完结根底和使用研讨的联接。

  作者简介:刘春,男,教授,博士生导师, 研讨方向为新式遥感的感知及数据处理

咨询热线:400-029-2366
公司地址:陕西省西安市高新区科技路都荟国际A座1302室
拓展基地:西安市秦岭祥峪森林公园卓远拓展训练基地

在线咨询
全国咨询热线

400-029-2366