MoNet: 基于运动的点云预测网络服务

近据集集 [1]）上完成了为广泛的检验。指为和定量结果都列于明，我们所提议的MoNet孝著要强时时有延迟原理，并能有工作效率地预报愈来愈进一步的点容。此外，在点容对预报为广泛应用上的检验列于明该原理前所未见的为广泛应用创造力。

总而言之，我们的主要贡献如下：

• 一种取名为MoNet主要用途点容预报的新型基于民族运动的将近学框架，可以有工作效率地预报愈来愈进一步的点容。

• 孝式抽取和内嵌民族运动特质主要用途点容预报，以及将民族运动特质和都有内容特质完成再一组合可隙来愈来愈好的精度。此外，还提议了MotionRNN对两个特质的一段时时有具体性完成仿真。

• 提议了一种基于冲动的民族运动移位为广泛应用程序，主要用途在不能愈来愈进一步的点容预报阶段完成民族运动特质的据估计。

2 具体古书

接下来我们将简要回顾影片预报、核苷酸点容处置和点容预报路径的具体古书。

影片预报影片预报宗旨也就是说一系列先前帧再次预报愈来愈进一步示意三维。ConvLSTM [36] 将 2D 变换扩展LSTM以抽取视觉列于征，这是影片预报领域的一项开创性的工作。基于[36]，Wang等人[33]提议ST-LSTM可以同时知觉空时有造型和一段时时有的变异。影片屏幕因特网 （VPN） [12]借助屏幕CNN直接据估计影片的原始屏幕参将近的给定地理分布。Villegas等人[31]提议分解民族运动和都有内容并独立捉到每个的资讯流过。Eidetic 3D LSTM（E3D-LSTM） [32] 提议将 3D 变换内嵌到 RNN 里，借助也就是说劣势完成影片预报。降解对抗因特网（GAN）也已为广泛为广泛应用影片预报，以降更高降解的示意三维的质量[15，14]。

点容预报点容预报早已被学界深入追寻。Fan等人[6]提议了PointRNN对一段时时有的资讯完成仿真主要用途点容预报。他们提议了一种基于点的时空-区域内具体性，命取名为PointRNN取代国际标准RNN里主要用途处置回转点容的 串连操控。最近，Weng等人[34]转用JPEG-解码框架来预报愈来愈进一步的点容，并借助预报点容来督导轨迹预报。

3 原理

3.1 整体框架

也就是说一个点容核苷酸，点容预报的目标是预报个愈来愈进一步帧点容。为了构建这个目的，我们提议了一种新颖的基于民族运动的将近学框架，命取名为 MoNet，整体框架如示意图 1示意图。MoNet可以分为两个部份，即比如说部份和侦探部份。读写点容首先经过比如说部份里，以抽取都有内容和民族运动特质，并捉到点容时有的一段时时有具体性。然后比如说特质被传送到侦探部份主要用途预报愈来愈进一步的点容帧。我们将第t帧的l层的点投影、都有内容特质和民族运动特质对此为、和，其里是第l层点的将近量，和分别是都有内容和民族运动特质的通道将近。接下来将记叙这两部份。

3.2 比如说部份

如示意图1右边示意图，比如说部份的极其极为重要组件是MECell（即 Motion Embedding Cell）。正如我们以后写到的，一个实际上的帧的都有内容特质和年中帧的民族运动特质都可以愈来愈容易完成点容预报。然而以前的工作仅对点容核苷酸的时序的资讯完成仿真，并不考虑到点容时有的民族运动特质。如示意图2右边示意图，也就是说都有内容特质和来自再次一层l-1层的年直线容的点投影和，都有内容JPEG首先抽取这两项l层的点投影和都有内容特质和。然后用作民族运动JPEG降解对应于第t帧的民族运动特质，它对从第t帧到到t+1帧的每点民族运动的资讯完成仿真。再次t-1帧的、、、情况下下和投影被传送到取名为 MotionRNN气化将近学框架，以同时捉到民族运动特质的时序的资讯和点容的都有内容特质，并降解这两项第t帧点容的情况下下。

示意图2 左：MECell（民族运动比如说一组）。右：MICell（民族运动侦探一组）。

3.2.1 都有内容JPEG

我们转用时有有同 PointNet++[24] 的结构上来编码方式点容的都有内容特质。也就是说再次一层的和，首先个点是从用作远达点量化(FPS)得到的。为了每个点,在里用作k-最近邻(kNN)查询围绕在外面的k个北边点原理来降解集群。时有有对投影和时有有对远达作为聚类的解析几何特质完成近似值，其里对此庞加莱远达。然后将解析几何特质与都有内容特质再一组合降解特质示意图，其里是对应的都有内容特质。再次，所有集群的特质示意图都被传送到多层列于征器（Shared-MLP），其里最大池化层用来降解这两项l层的都有内容特质。

3.2.2 民族运动JPEG

我们提议了民族运动JPEG来对两个年直线容时有的民族运动的资讯完成仿真。民族运动JPEG的读写是两个点容的投影和都有内容特质、，JPEG是从到的民族运动特质。对于里的每个点，我们在里查询k个北边点，并用作与都有内容JPEG时有有同的方式而来降解解析几何特质。特质示意图是一个串连的解析几何特质，北边点的都有内容特质和里心点的都有内容特质。在那再次，用作 Shared-MLP 降解民族运动特质。清晰上看，两个点容的都有内容特质和两帧时有的解析几何特质都愈来愈容易降解的民族运动特质，这使得民族运动JPEG捕捉都有内容特质的变异和两个点容的点标。因此，第t帧的民族运动特质可以被认为是从第t帧到第t+1帧的民族运动的资讯。

3.2.3 MotionRNN

像 LSTM 和 GRU 这样的非国际标准 RNN 框架只能处置二阶特质。然而，空时有的资讯在点容的对此里很极为重要。二阶具体来说特质没法延续点容的空时有结构上和区域内具体内容，因此不能适主要用途大规模点容预报。鉴于上述考虑到，我们提议了一种新的气化将近学框架，取名为 MotionRNN，主要用途点容预报。MotionRNN 的极其极为重要思维是情况下下和点投影双射，再次都有内容和单手再一组合特质以愈来愈新情况下下。MotionRNN的读写是上快照的点和情况下下，这两项帧的点，都有内容特质和民族运动特质，JPEG是这两项帧的点和情况下下。

我们共享了两个修改版的 MotionRNN，即 MotionGRU 和 MotionLSTM。以 MotionLSTM 为例，情况下下由背后情况下下和内部情况下下分成。对于里的每个点, 在里查询 k 个北边点，以及用在都有内容JPEG里时有有同的方式而降解解析几何特质还有集群。将背后情况下下和内部情况下下簇的情况下下可称和，则 MotionLSTM 在第 l 层第 t 步的愈来愈新可以对此为：

其里、和分别对此 Sigmoid 算子、串连运算和 Hadamard 积。时有有同地，MotionGRU 的愈来愈新可以对此为公式2，其里情况下下仅由背后情况下下分成。

与国际标准 RNN 框架时有有较，所提议的 MotionRNN 将情况下下与投影双射。这对此可以较差地保持稳定点容的空时有结构上，因此愈来愈适主要用途点容预报。与 PointRNN [6] 有所不同，民族运动特质和都有内容特质被合并到气化将近学框架里，这使得因特网并能同时捕捉民族运动的资讯和帧时有空时有的资讯的一段时时有共同点。

3.3 侦探

在比如说现实生活里，抽取了民族运动特质和都有内容特质，一段时时有具体性用作提议的 MotionRNN完成仿真。在一般的预报框架里，侦探部份里的现实生活与比如说部份里的现实生活完全时有有同，其里比如说部份再次快照的JPEG情况下下被加载侦探部份的第一个一组，以完成预报第一个愈来愈进一步帧 [30, 36]。但是，这种一般方式而舒服主要用途我们的原理。我们注意到第t帧的民族运动特质是用作第t帧和第t+1帧的都有内容特质降解的。但是，对于比如说部份来说再次快照的下快照，即 T + 1帧不存在，所以第T帧的民族运动特质是必用的。

为了彻底解决上述难题，我们提议MICell（即，Motion Inference Cell）为广泛应用侦探部份，主要用途替换比如说部份里的MECell。MICell的框架如示意图2的前方示意图。也就是说、都有内容JPEG和民族运动JPEG与MECell里时有有同。然而，为了解决问题第t帧缺乏对应的民族运动特质，在民族运动再次为广泛应用民族运动移位为广泛应用程序，将t-1帧的民族运动特质与第t帧移位，这是 MECell 和 MICell 时有的唯一区别。然后将据估计的民族运动特质和都有内容特质与投影一起读写到 MotionRNN降解情况下下。再次是解码将第 t 帧的背后情况下下解码为的 3D 过场流过，和愈来愈进一步点容可以通过完成近似值。这里我们转用PointNet++ [24]里的特质传播为广泛应用程序作为解码和并多粒度解码背后情况下下。

3.3.1 民族运动移位

扩展民族运动移位为广泛应用程序，从上快照的民族运动特质来据估计这两项帧 t 的民族运动特质 ，其里注意民族运动特质与点投影双射。为了据估计民族运动特质，基于两个年直线容时有的一段时时有时有隔小的前提，好好出都有两个大体也就是说：(1) 从第 t-1 帧到第t 帧，一个点的民族运动是更少的；(2) 从第 t-1 帧到第 t 帧，一个点的民族运动特质不时会牵涉到孝著变异。基于以上两个也就是说，这两项帧一个点的民族运动特质可以根据它在前快照里的北边点的民族运动特质完成据估计。

这里我们转用冲动有助于来完成民族运动特质据估计。所提议的民族运动移位为广泛应用程序的因特网框架如示意图3 示意图。以的一点为例，在里查询k 个北边点，并用作与都有内容JPEG里描绘出的时有有同的操控抽取解析几何特质。然后将解析几何特质与民族运动特质时有有辅时有有成降解特质示意图。通过Shared-MLP、Softmax 算子和maxpool 层来预报每个北边点的冲动均值。第t帧的一个点的民族运动特质可以对此为t-1帧里北边点的民族运动特质的计量和。此操控将为广泛应用所有点降解民族运动特质。清晰地说，冲动有助于可以为近邻点分配较更高的均值。因此，民族运动移位为广泛应用程序可以合理据估计第 t 帧的民族运动特质。

示意图3 民族运动移位为广泛应用程序的框架。左边的圆圈代列于一个k-最近邻簇，其里黑点是第t帧里的一个点，斑点是第t-1帧里的北边点，白点对此第t帧t里的其他点。

3.3.2 人员伤亡

我们在时有有符点容和预报点容时有转用五边形远达（CD）作为人员伤亡算子。五边形远达 [5] 为一种惯用的也就是说国际标准，主要用途衡量两个点容时有的时有有近性，可以对此为：

4 检验

4.1 将近据集集

我们将所提议的原理在两个大型露营 LiDAR 将近据集集上完成评核，即 KITTI 里程计将近据集集 [7]和 Argoverse 将近据集集 [1]。KITTI 将近据集集包含 11 个隙真参将近的核苷酸 (00-11)，我们用作核苷酸 00到 05 基础训练因特网，06 到 07 证明，08 到 10测试。我们在 Argoverse 将近据集集里用作 3D 跟踪共同点并按照默认再一组合来基础训练、证明和测试因特网。对于每个将近据集集，我们量化 10 个年中的点作为一个核苷酸，其里前 5 帧是读写点容和再次 5 帧用作对比预报点容的真参将近。

4.2 时时有延迟原理

我们将我们的原理与几种时时有延迟原理完成非常来简介精度。(1)PointRNN（LSTM）和 PointRNN (GRU)：[6]里提议了PointRNN，我们将用作 LSTM 和GRU的两种例外称为PointRNN (LSTM)和PointRNN (GRU)。由于[6]里点容的有所不同预处置，因特网在两个将近据集集上再一基础训练。（2）PointNet++（LSTM）和PointNet++ (GRU)：基于PointNet++[24]的编解码框架，我们定义了两个额外的时时有延迟。首先，读写点容被编码方式为二阶具体来说特质。再次，LSTM 或GRU主要用途对一段时时有的资讯完成仿真，并将降解的具体来说特质解码为预报的每点单手，来降解愈来愈进一步点容的。(3)过场流过：我们借助3D过场流过据估计因特网FlowNet3D[17]，据估计再次两个读写点容时有的3D过场流过，并用作据估计的过场流过完成预报愈来愈进一步的点容。FlowNet3D 在两个将近据集集上完成了阶段性，以得到愈来愈好的精度。

4.3 出台具体内容

注意我们共享了两个修改版的 MotionRNN，分别命取名为MotionLSTM 和 MotionGRU，以及用作这两个修改版的MoNet分别对此为 MoNet (LSTM) 和 MoNet（GRU）。我们移位多层MECell 和 MICell 以协作分层结构上，如示意图 1 示意图，我们用作 3层框架完成具体构建。第一个MECell的再次快照的点和情况下下被函数调用为零，并且第一层（即读写点容）的读写都有内容特质被函数调用为零。该因特网是用作 PyTorch [22] 构建的，将Adam [13] 用作优化器。基础训练此后的 点容由用作随机量化下量化到 16384 个点密切相关。因特网在英伟达 GeForce RTX 2080Ti上完成基础训练和评核。补足材料里共享了有关因特网结构上的愈来愈多详细的资讯。

4.4 指为称赞

我们共享了几个在KITTI 里程计将近据集集上的指为评核结果，如示意图4示意图。点容是在预处置此后下量化得到 32768 个点。示意三维右方结果孝示从帧 t = 1 到 t = 5的愈来愈进一步点容，有所不同的行代列于有所不同原理的结果。为了公平非常，所有用作气化将近学框架的原理都基于 GRU。此外，我们扫描一个包含驾驶者的点容区域主要用途愈来愈好的GIS。如示意图4示意图，我们的 MoNet (GRU) 预报的点容比其他时时有延迟原理愈来愈合乎地面实况点容。从扫描的点容里，我们所提议的原理正确地预报了驾驶者的前面，并且点容的解析几何大小得到了较差的延续。与我们的原理时有有较，来自 PointNet++ (GRU)的驾驶者的点容牵涉到了变形，这是由于二阶具体来说特质的代列于控制能力差。PointRNN（GRU）由于缺乏孝式仿真，无法正确预报驾驶者的前面。根据指为结果，我们所提议的原理可以正确地预报民族运动点容，较差地延续了点容的具体内容。

示意图4 KITTI里程计将近据集集上有所不同原理的预报点容的指为GIS。右方分别是从t = 1到t = 5预报的愈来愈进一步点容。从上到下的行结果孝示点容真参将近和MoNet (GRU)、PointRNN (GRU)、PointNet++ (GRU) 和过场流过的预报结果。

4.5 定量称赞

4.5.1 评核计量

我们转用两个计量来评核精度，即五边形远达 (CD)[5] 和拖拉机远达(EMD) [25]。CD 在前面的公式式 3 里完成了描绘出。EMD 也是非常两个点容的惯用计量，是通过彻底解决两个点容时有的二阶分配难题来构建的。也就是说两个点容和, EMD 如下完成近似值：

其里是到的交集。因为EMD的高近似值复杂度，点容在定量称赞里用作随机量化将量化率降更高到 16384的预处置。

4.5.2 五边形远达

我们近似值5个愈来愈进一步帧上的时有有符点容和预报点容时有的五边形远达(CD)，在KITTI和 Argoverse将近据集集完成测试，并将结果简介在示意图5里。为了愈来愈好的非常，我们分别在示意图 5 里的右边两幅示意三维和前方两幅示意三维上用作LSTM 和 GRU原理。我们原理在两个将近据集集上，时有有较其他时时有延迟原理有明孝劣势。例如，MoNet (LSTM) 在KITTI 将近据集集上的少于 CD比最佳时时有延迟PointRNN（LSTM）小约30%。五边形远达随着预报帧将近增大，这是由于不确指为增大。然而，我们的CD的稳定增长比其他原理慢得多，这证明了所提议原理的鲁棒性。

示意图5 在KITTI 里程计将近据集集和 Argoverse 将近据集集上提议的原理和时时有延迟原理的五边形远达。左边两张幻灯片结果孝示了用作LSTM的结果，右边的两张幻灯片结果孝示了用作 GRU 的结果。

4.5.3 拖拉机远达

时有有同于五边形远达，拖拉机远达在两个将近据集集上的（EMD）如示意图6示意图。时有有较于CD，EMD 对区域内具体内容和点容的电导率地理分布[16]愈来愈加敏感。根据示意图 6，提议的 MoNet 明孝要强其他的时时有延迟原理。例如，我们 MoNet (GRU) 在 Argoverse 将近据集集的第 5 帧的EMD比 PointRNN (GRU) 小约 8%，比 PointNet++ (GRU) 小 15%。较更高的 EMD 列于明我们的原理愈来愈好地延续点容的区域内具体内容，指为检验结果也证明了这一点。

示意图6 KITTI里程计将近据集集和Argoverse将近据集集上提议的原理和时时有延迟原理的拖拉机远达 (EMD)。左两张示意图结果孝示了用作LSTM的EMD，右两张示意图结果孝示了用作 GRU 的结果。

4.6 工作效率

当LiDAR 降解一个新的点容时，我们注意到直到现在的帧的都有内容特质和单手特质不才可要再一近似值。用16384、32768和65536个点来预报5个愈来愈进一步帧的近似值一段时时有如列于1示意图。从结果来看，我们所提议的原理和PointRNN不具时有有近的近似值一段时时有。然而，PointRNN 构建了愈来愈好的精度。具体来说，65536 个点的情况下下，我们原理的近似值一段时时有是280 ms，这也更高于通常LiDAR (10 Hz) 降解 5 帧所才可的一段时时有。

列于1 预报不具有所不同点将近的点容愈来愈进一步5帧的近似值一段时时有 (ms)

4.7 为广泛应用

点容预报可以为广泛应用许多过场，如 3D 目标样品和语法再一组合。以3D目标样品为例，我们转用PV-RCNN [28] 从原始点容里样品的汽车并预报。我们用作一个取名为正确度的计量评核预报点容的质量。如果一辆车的预报高分大于阈参将近，则判定为样品到驾驶者。对于原始点容里样品到的每辆的汽车，我们在预报点里查询最近的样品，如果 2D 庞加莱远达在阈参将近内且横越偏差在，则预报点容里的样品被认为是有工作效率的，正确度定义为有工作效率样品的%。此外，我们还近似值了少于庞加莱有工作效率远达（AED）和少于横越偏差（AHE），主要用途评核预报点容的准确性。检验在KITTI 将近据集集的核苷酸 08 上完成，其里点容的将近量新设为65536。结果如列于2示意图。根据列于2，我们的原理的5帧的少于正确度原理为 0.763，孝着要强其他时时有延迟原理。结果还列于明，预报点容与真参将近时有的高差异性。此外，更高 AED 和 AHE 列于明，预报点容里的有工作效率样品时有有对于到点容真参将近。3D单纯样品的GIS见补足材料。3D物体样品检验列于明，预报点容可主要用途进一步列于征，愈来愈进一步不具很大为广泛应用创造力。

列于2 有所不同原理预报的点容的正确度、少于庞加莱远达 (AED) 和横越偏差 (AGE)

4.8 融解研究者

4.8.1 MotionLSTM还是MotionGRU?

我们共享了两个修改版的 MotionRNN（即，MotionLSTM 和 MotionGRU）对一段时时有具体性完成仿真。为了非常两个修改版的精度，我们近似值5 个愈来愈进一步点容帧的少于五边形远达 (CD) 和拖拉机远达(EMD)，并在列于3里结果孝示结果。根据结果，MoNet(LSTM)的精度和 MoNet (GRU) 高度时有有近，这列于明所提议的原理均受有所不同的气化将近学框架框架负面影响小得多。MoNet (GRU) 的列于现稍好于 MoNet (LSTM)。此外，MotionGRU 的因特网参将近多于MotionLSTM，这也加剧愈来愈快的侦探速度和愈来愈更高的磁盘用作量。总体而言，MoNet(GRU) 可能是点容预报的愈来愈好选项。

列于3 MoNet (LSTM) 和MoNet (GRU)在两个将近据集集上的少于 CD (m) 和 EMD (m)。

4.8.2 民族运动特质和都有内容特质

正如我们以后所说，民族运动特质和都有内容特质都可以对愈来愈进一步点容的预报好好出贡献。为了证明民族运动特质和都有内容特质时有有辅时有有成的极为重要性，我们分别消除民族运动特质和都有内容特质来非常框架列于现。示意图7 从上到下的行结果孝示了，驾驶者的真参将近点容、明晰 MoNet (GRU) 的预报结果和分别不能民族运动特质和都有内容特质的预报结果。该框架不能民族运动特质时会加剧有偏差的民族运动据估计。不能都有内容特质的框架可以正确预报民族运动，然而点容稍稍变形。包括和缺陷民族运动特质和都有内容特质的 MoNet (GRU) 的少于 CD 和 EMD 如列于4 示意图。根据结果，都有内容特质和民族运动特质的再一组合孝著降更高了MoNet的精度。例如，不能民族运动特质和都有内容特质的 CD 是 0.092 m 和 0.083 m，均分别高于 KITTI 将近据集集上的明晰 MoNet (GRU)。此外，明晰框架的EMD也比不能民族运动或都有内容特质的框架愈来愈更高。都有内容和单手特质的时有有辅时有有成借助了两个特质的劣势，以得到正确的民族运动据估计和愈来愈好地延续区域内具体内容。

示意图7 右方是愈来愈进一步帧 t = 1, 3, 5。从上到下是真参将近、明晰 MoNet (GRU)框架的结果和无民族运动特质和无都有内容特质框架结果。

列于4 在两个将近据集集上，MoNet (GRU)就其民族运动特质和都有内容特质的少于CD (m)和 EMD (m)。

5 推论

在本文里，我们探讨了一个取名为点容预报的难题，宗旨预报也就是说以前点容核苷酸的愈来愈进一步帧。为了构建这一点，我们提议了一个基于民族运动的将近学框架 MoNet。具体来说，我们提议的MoNet 将民族运动特质内嵌到预报部份里，并将其与都有内容特质时有有时有有辅时有有成。此外，一个取名为 MotionRNN 的递归将近学框架，用来捉到跨点容核苷酸的两个特质的一段时时有具体性；一种新颖的民族运动移位为广泛应用程序主要用途据估计不能愈来愈进一步点容帧的民族运动特质。在 KITTI 里程计将近据集集上完成了指为和定量检验，Argoverse 将近据集集主要用途简介框架精度。大量融解研究者列于明，民族运动和都有内容特质的时有有辅时有有成使框架能正确预报民族运动并较差地延续结构上。此外，为广泛应用检验也揭示所提议原理的实际创造力。

本文译自：

《MoNet: Motion-based Point Cloud Prediction Network》

发表文章来源：

IEEE Transactions on Intelligent Transportation Systems, PP(99):1-11(2021)

写作者：

Fan Lu, Guang Chen, Yinlong Li, Zhijun Li, Sanqing Qu, Tianpei Zou

通讯联系：guangchen@tongji.edu.cn

原文极其极为重要字：

参考古书：

。

沈阳肿瘤医院哪家正规
佛山看妇科哪家医院专业
肝病医院
钇90多少钱一针
肝癌中晚期最佳治疗方案是什么
肝癌晚期能活几年
钇90全国治疗了多少例
钇90治疗有几年存活率