摘要：哈尔滨工业大学（深圳）与宾夕法尼亚大学联合团队推出了一种基于Kolmogorov-Arnold Networks（KANs）的3D感知解决方案——PointKAN，该方案在点云分析领域取得了新的SOTA（State of the Art）。PointKAN通过创新的架构设计，不仅显著降低了参数量，还提升了模型精度，展现了强大的复杂几何特征学习能力。此外，团队还提出了PointKAN-elite版本，进一步优化了参数量和计算效率。本文将详细介绍PointKAN的架构设计、技术优势以及实验结果，探讨其在点云分析领域的应用前景。
在计算机视觉和3D感知领域，点云分析一直是研究的热点和难点。点云数据以其丰富的几何信息和广泛的应用场景，吸引了众多研究者的关注。然而，传统的点云分析方法往往面临着参数量冗余、模型效率低下以及难以有效捕捉局部几何特征等问题。最近，哈尔滨工业大学（深圳）与宾夕法尼亚大学的联合团队推出了一种基于Kolmogorov-Arnold Networks（KANs）的3D感知解决方案——PointKAN，该方案在点云分析领域取得了新的SOTA（State of the Art），为这一领域带来了新的突破。
PointKAN的诞生背景
点云数据是通过对物体表面进行激光扫描或其他测量技术获得的，它以三维空间中的点集合形式存在，每个点包含位置信息和可能的其他属性（如颜色、强度等）。点云分析在许多领域都有重要应用，例如自动驾驶、机器人导航、虚拟现实和医学成像等。然而，传统的点云分析方法，如多层感知机（MLPs），虽然在特征学习方面表现出色，但在处理复杂的几何结构时存在明显的局限性。
MLPs的固定激活函数难以有效捕捉点云的局部几何特征，导致模型在处理复杂形状时精度不足。此外，MLPs的参数量通常较大，模型效率低下，难以满足实时性和大规模应用的需求。为了解决这些问题，研究者们开始探索新的神经网络架构，Kolmogorov-Arnold Networks（KANs）应运而生。
KANs基于Kolmogorov-Arnold表示定理（KART），其核心思想是使用可学习的函数替代传统的固定激活函数。KANs通过一维B样条函数作为基函数，通过相加和复合运算实现高维复杂函数的拟合，为函数拟合提供了一个灵活且可解释的框架。KANs在计算机视觉和医学成像等领域已经展现出了有效性和通用性，但在点云分析领域的潜力尚未被充分挖掘。PointKAN的出现，正是为了填补这一空白。
PointKAN架构解析
PointKAN的整体框架设计旨在充分利用KANs的优势，同时解决其在点云分析中的适配问题。PointKAN的架构可以分为三个主要部分：几何仿射模块（Geometric Affine Module）、局部特征提取模块（Local Feature Processing）和全局特征提取模块（Global Feature Processing）。此外，为了进一步优化参数量和计算效率，团队还提出了Efficient-KANs结构。
几何仿射模块（Geometric Affine Module）
几何仿射模块是PointKAN架构中的关键部分，它通过Group-Norm和S-Pool两个子模块来增强点云的局部特征信息。Group-Norm对分组内的特征进行归一化、仿射变换和组中心特征传播，其数学表达如下：
其中，和分别是组内特征的均值和标准差，和是可学习的参数。S-Pool用于对各组特征进行聚合，作为后续模块的输入。S-Pool通过保留组内各点的特征信息，最大限度地补充全局信息，其数学形式如下：
其中，是权重，是组内各点的特征。通过Group-Norm和S-Pool的协同作用，几何仿射模块能够为后续的局部特征提取提供更加丰富的信息。
局部特征提取模块（Local Feature Processing）
局部特征提取模块（LFP）负责从几何仿射模块的输出中提取局部特征。在LFP中，团队使用了KAN Block进行并行处理。KAN Block的核心是KAN Layer，它通过可学习的函数替代传统的固定激活函数，能够更好地捕捉点云的局部几何特征。为了进一步增强特征表示，团队在KAN Layer后加入了深度卷积（DwConv）操作，其整个过程可以表示为：
共享的LFP旨在从分组点云中学习局部特征，并在经过最大池化后与从各组中心点云学习到的全局信息相加，使得各组点云最终输出的聚合特征更加丰富。
全局特征提取模块（Global Feature Processing）
全局特征提取模块（GFP）由多个Residual Point（Resp）Block组成，用于提取深度聚合特征。由于结构中只包含前馈MLP，GFP可以高效地运行多个重复的Resp Block。GFP的目的是从全局角度进一步优化特征表示，为最终的分类或分割任务提供更强大的特征支持。
Efficient-KANs结构
尽管KANs在高维函数逼近能力和参数效率方面具有显著优势，但其原始实现存在一些问题，限制了其在现代硬件上的应用。B样条函数的递归计算特性不适合GPU的并行计算架构，导致推理速度较慢。此外，随着KANs中隐藏层宽度的增加，参数量呈指数增长，带来了巨大的计算开销和可扩展性问题。
为了解决这些问题，研究团队提出了Efficient-KANs结构。Efficient-KANs的核心改进包括：
-
有理函数替代B样条函数：Efficient-KANs使用有理函数作为基函数，其激活函数形式如下：其中，和是多项式函数，参数通过反向传播进行训练。有理函数的计算过程简单，非常适合并行计算，从而显著提高了模型的计算效率。
-
输入通道分组与参数共享：Efficient-KANs对输入通道进行分组，并在组内进行参数共享。这种方法不仅减少了参数量，还降低了计算量，使得模型在大规模点云数据上能够高效运行。
实验结果
为了验证PointKAN及其变体PointKAN-elite的性能，研究团队在多个标准数据集上进行了广泛的实验，包括分类任务、部分分割任务和小样本学习任务。
分类任务
在ModelNet40和ScanObjectNN数据集上，PointKAN和PointKAN-elite的分类精度均优于现有的基于MLPs的点云分析架构。实验结果表明，PointKAN在ModelNet40数据集上达到了93.2%的分类精度，而PointKAN-elite在保持高精度的同时，参数量减少了约50%。
部分分割任务
在ShapeNetPart数据集上，PointKAN和PointKAN-elite在部分分割任务上也表现出色。PointKAN在该数据集上达到了88.5%的分割精度，而PointKAN-elite在精度略有下降的情况下，参数量和计算量显著减少，展现了其在实际应用中的优势。
小样本学习任务
在ModelNet40数据集上，团队采用“n-way, m-shot”范式进行了小样本学习任务的实验。实验结果表明，PointKAN和PointKAN-elite在小样本学习任务上展现了极强的泛化能力和知识迁移能力。特别是在5-way, 1-shot的设置下，PointKAN达到了78.3%的分类精度，而PointKAN-elite在参数量减少的情况下，精度仅下降了2.1%。
此外，消融实验进一步验证了PointKAN各模块的有效性。实验结果表明，几何仿射模块、局部特征提取模块和全局特征提取模块的协同作用对模型性能的提升起到了关键作用。
暂无评论...