向多指机器人教授灵巧性一直是机器人领域长期面临的挑战。在这个领域中最显著的工作集中在学习控制器或策略，这些控制器或策略要么基于视觉观察，要么基于从视觉中得出的状态估计。然而，这样的方法在需要推理接触力或手本身遮挡的物体的精细操作任务中表现不佳。在这项工作中，我们提出了一种新的基于触觉的灵巧性方法T-Dex，它分为两个阶段。在第一阶段，我们收集了2.5小时的游戏数据，用来训练自监督的触觉编码器。这是将高维触觉读数转换为低维嵌入向量的必要步骤。在第二阶段，我们根据一个灵巧任务的少量演示，学习非参数化策略，将触觉观察和视觉观察相结合。在五项具有挑战性的灵巧任务中，我们展示了我们的基于触觉的灵巧模型平均表现高于纯视觉和力矩模型1.7倍。最后，我们对T-Dex的关键因素，包括游戏数据、架构和表示学习进行了详细分析。
论文链接：http://arxiv.org/pdf/2303.12076v1
更多计算机论文：http://cspaper.cn/