选择稀疏控制点的多标记3D点云标注（上）

选择稀疏控制点的多标记3D点云标注

摘要

本文提出了细粒度的点云标注一个用户友好的方式。该方法要求用户通过鼠标接口选择属于对象的稀疏控制点。可以将多个控制点分配给相同的标签。该软件利用所选的控制点，在最短路径树上进行邻域图的分割算法。用户提供了对结果的实时反馈，并且可以纠正切分错误。与以前的工作相比，该方法支持散乱3D点云标注的多标签标注。该方法已被多个用户评估，并与标准的基于矩形的选择技术进行了比较。结果表明，所提出的方法被认为更容易使用，它允许更快的分割，即使在复杂的情况下，闭塞。

简介

带注释的数据集在三维视觉研究中变得越来越重要。例如，用带注释的3D数据作为地面真实度来评估自动分割算法。注释还可以支持数据关联和检索。此外，机器学习的最新趋势（如深度学习）需要大量的标记数据来训练。对二维图像进行数据注释是人类的一项费时费力的任务。三维数据的注释，如散乱的点云，更麻烦，因为它需要处理卷的选择和可视化问题。

Figure 1. The RViz-based interface of the annotation tool. 
本文提出了一种支持散乱点云的多标记三维数据标注方法。在该方法中，用户在点云上选择稀疏的“控制点”。同一个对象上的多个控制点可以被选择并关联到同一个标签。可以定义任意数量的标签。选定的控制点作为输入用于自动点云分割算法。特别是，应用最短路径树算法将点云中的每个非选择点分配给最近的控制点。分割算法在最近邻图上操作，由点相异加权。已经实现了许多优化，以利用注释过程的增量性质来实现实时性能。开发了一个交互式的基于鼠标的用户界面来评估所提出的方法。应用程序是在顶部的rviz可视化工具[ 8 ]的ROS（机器人开发的操作系统）的中间件。图1显示了图形用户界面的图片。该工具已作为[ 11 ]中的开源发布。 
用法线对彩色点云进行了实验。虽然没有必要，但颜色和法线向量的信息被用来计算点之间更精确的距离函数。开发的用户界面由多个用户评估。结果表明，所提出的注释方法比标准技术更简单，速度更快，用于许多三维软件工具中，需要分割的对象的所有点都通过在屏幕上拖动二维矩形来迭代选择。事实上，在我们的方法中，用户只需要选择属于对象的一些可见点进行分割，直到他/她对分割结果满意为止。 
本文的结构如下。第2节讨论三维数据注释的最新进展。第3节描述了所建议的方法，而第4节说明了开发工具的用户界面。第5节报告实验结果。第6节结束了这项工作。

相关的工作

有组织的点云，如距离相机获得的点云，可以比无组织点云更容易注释，因为它们可以投射到传感器图像帧上。rgbd图像的注释是由罗素等人的工作考虑。[ 12 ]，LabelMe在线标注工具[扩展] 13。然而，注释还对范围图像采用折线选择技术。在[ 17 ]，对rgbd图像注释推断场景的三维结构，通过结构和几何上标注会议获悉的先验知识辅助。在[ 14 ]交互式语义建模方法对室内场景提出了rgbd图像。在[ 18 ]中，提出了一个三维重建和标记工具，其中注释标签从一帧传输到另一帧。以前引用的方法都不适合散乱点云。 
在其他作品中二维选择集扩展到三维，三维选择策略已在文献中提出的离散对象的bacim等人讨论。[ 1 ]。在[ 19 ]中开发了两种空间结构感知选择技术。这些技术只需要用户绘制套索，即围绕3D点云重要部分的二维投影的循环。虽然有效，这种选择算法是相当复杂的，不实时工作。许多作者研究了使用3D接口进行选择。科菲等人。[ 5 ]提出了一个利用触摸接口支持数据子集选择的虚拟现实系统。在3dui竞赛部分，几个解决方案[ 2, 10 ]提出了基于虚拟现实和手势。在[ 15 ]中，预选阶段允许在3D环境中更容易地导航。然后，实现一个3D指针来执行实际选择。3D用户界面的一个缺点是，它们通常需要非标准的3D硬件，这可能需要额外的训练。此外，选择使用先进的3D接口可能会让用户感到疲劳。 
博伊科等人也研究了大规模辅助注释的机器学习技术。在[ 4, 3 ]。该方法假定点云由许多相似的对象组成，这些对象的形状是由系统学习的。 

图2。邻域图的注释实例。虚拟点以浅灰色显示，并连接到所有控制点（虚线弧）。 
我们在[ 7 ]中提出了类似的方法，其中控制点被命名为“约束”。约束用于在点云上执行最小割算法，以将前景对象与背景分离。同样，在[ 9 ]中引入了用户绘制笔画的最小割算法。然而，虽然有效的分割单个对象从背景，最小割算法不适合分割任意数量的对象在一个场景中。

方法

在该方法中，首先生成点云中最近点的最近邻图。然后，给定一组选定的控制点，计算出最短路径树，将点云分割成段。所有控制点连接到一个虚拟节点R，它作为最短路径树的根。每个控制点都是虚拟节点子树的根。子树中的点共享相同的标签，这是根控件点的标签。多个控制点可能具有相同的标签。给定足够的控制点，场景中的对象可以被正确分割。 
图2中示出了一个注释示例。控制点由较大的节点显示，并连接到虚拟节点（以浅灰色显示）。每个节点获取最短路径树中可达的最近控制点的标号（颜色）。在报道的例子，两个控制点具有相同的绿色标签，因此，在子树的所有点都具有相同的标签。 
的详细介绍，给出了点云的C和一组用户选定的控制点CP⊂C，算法的目标是将李的每一点每一点我2 C标签的位置矢量PI的描述，一个RGB颜色词和法向量镍。位置pi是强制性的，颜色和法向量是可选的。一个标签LJ是分配给每个控制点J 2 CP。此外，子树标记李，其中包含子树根（即控制点）的索引，被分配到点云的每一个点。然后，一点全局标签计算Lli李。 

图3 控制点选择与最短路径树计算的点云标注实例。全球标签颜色对应的李。 
当首先加载点云时，生成无向邻域图。特别是，每一点我都与它的最近邻联系，它定义了邻居集ni。根据这个定义，如果点i有邻居点j 2 ni，就会发生i to nj。在这些情况下，通过将i添加到Nj来确保图的对称性。 
其中（αp，αn，αc）是位置、法线和颜色属性的常数权重参数。权重越高，分割越受相应属性的影响。例如，如果将高权重分配给颜色，则分段边界将跟随颜色不连续性。αn和αc是无量纲的，αp应根据点云的尺度来设置。边缘成本是对称的，即他= HJI。此外，除非有重复点，边缘成本总是正值。 
最短路径树是建立从图采用统一成本搜索（Dijkstra算法的变体）。最大路径长度ΩMax是强加的，所以进一步的点留下标记。当控制点A被添加或移除时，j只指向 

可以改变标签，甚至假设均匀的颜色和正常（根据公式1）。最大路径长度只为保证用户选择的局部性和防止标签在太大距离上的变化而增加。特别是，第一个控制点的选择不会马上标记整个点云。因此，Ω最大值被设置为与αC和αn可比的参数，以防止对标注辅助作用。为了有用，它也应该低于αPW，其中w是点云的最大尺寸。 
方程1取决于点位置，它来自噪声影响的传感器。此外，如前所述，树的大小是由Ωmax参数约束。因此，在实践中，存在多个最短路径到同一点是不可能的，即最短路径树是唯一的，由于最短路径树是由李定义的CP和标签，所以注释不受控制点处理顺序的影响。 
每一次添加或删除一个新的控制点时，这一节中描述的过程都是增量执行的，详见第3.1和3.2节。 
3.1 
当添加控制点a时，创建一个零成本的边缘耳，将新的控制点连接到虚拟节点r！归零。因为一个新的子树已经建立了控制点的标签设置为LA然后均匀的搜索在邻域图进行（如ALG。1），与起始节点存储在集合S的标签传播算法（8行）和停机成本超过Ω最大（7行）。 
该算法对标签的所有，只为根的子树的控制点的点，如下面的命题所示，在先端0标记的当前迭代后的状态，Pij是从i到j和jpijj路径是路径长度。 
命题1。如果我被标记为一个由ALG。1，然后最短路径PIR我根R包含A. 
证明。ALG。1只更新一点！我0 <！I（第7行）。如果这种情况发生，新的路径PIR 0包括新的边缘命题2。当控制点的增加，如果最短路径优先级0点我以前标签B包含一个，然后我的标签是由ALG。1。 
3.2控制点的去除 
当控制点A被移除时，访问一个根的子树（算法2）。子树中所有点的标签都被清除（第8行），它们的成本被设置为无限（第9行）。 
相邻点j2ni标签LJ6 =一个没去过，但他们都存储在集合S（13号线）。这些分属于其他子树，然后可在新标签的空间拓展。然后，ALG。1使用s中的点作为输入执行。 
命题3。给定一个点我打成，它达到了ALG。2当控制点A被移除时。 
证明。所有的J点最短路径排标记为如果我是标记为A否则，如果J是标记为B，就一路jpbij PBI与<< jpaij存在，取代Paj王子在拜县。因此，至少存在路径排为ALG。2清理我。 
命题4。当控制点被删除，给出一点我先前标记为A，如果新的最短路径PIR 0包含控制点B，和PIR 0小于Ω最大，然后通过执行算法。1我是重新标记为B。 

本文转载自CSDN： m0_37903426的博客

因文章较长，本文仅转载上半部分，即：第2节，三维数据注释的最新进展，和第3节描述了所建议的方法。而第4节开发工具的用户界面、第5节报告实验结果，以及第6节结束这项工作。将下期分享。文章名称：解读多标记3D点云标注