01. 6D Pose Estimation for Bin-Picking based on Improved Mask R-CNN and DenseFusion

期刊 / 会议：26th IEEE International Conference on Emerging Technologies and Factory Automation (ETFA)
作者 / 机构：Hesheng Wang, 上海交通大学
关键词：位姿估计, 实例分割, MaskRCNN, DenseFusion
时间：2021
代码：无

1 目标问题

将实例分割算法和位姿估计算法应用到工业机器人抓取中。

2 方法

使用两级神经网络，将输入的RGB-D图像回归出6D位姿。

（1）数据集生成

由于基于学习的算法需要大量的已经标注的数据集，因此本文给出了一种工业零件的虚拟数据集的生成过程。使用Blender进行物理模拟，调整渲染参数，生成多种高质量的RGB图像及分割掩码和6D姿态标签。

（2）实例分割

使用ResNeXt与MaskRCNN完成目标检测与实例分割。

（3）姿态估计

基于DenseFusion来预测6D位姿，为了提高性能，增加了NonLocal模块，(图中的绿色块)，使得网络可以从提取的特征中学习空间结构特征，并且可以有效地在点特征之间建立连接。（好像没什么用）

3 思考

虚拟数据集可辅助提高训练结果的鲁棒性，可尝试。

02. A Lightweight Two-End Feature Fusion Network for Object 6D Pose Estimation

期刊 / 会议：Machines
作者 / 机构：Ligang Zuo, 北京科技大学
关键词：位姿估计, 特征融合
时间：2022
代码：无代码

1 目标问题

提出一种轻量化的位姿估计模型，用于部署在移动设备上。

2 方法

  1. 使用PointnoProblemNet网络提取点云特征
  2. 将点云特征与图像特征进行像素级融合
  3. 利用CNN进行特征提取
  4. 对每个特征进行位姿估计，选择置信度最高的作为最终结果
    （这不就是DenseFusion的思路吗，只不过把PointNet换成了PointnoProblem）

使用深度可分离卷积代替标准卷积，即将ResNet特征提取部分换为MobileNetv2，来减少模型参数的数量。

3 思考

可以考虑尝试使用MobileNetv2特征提取网络，因为所使用的也是移动设备。