如何使用人工智能和超级计算机训练机器人

威廉·贝克西(William Beksi)加入德克萨斯大学阿灵顿分校(University of Texas at Arlington)，担任计算机科学与工程系助理教授，并在那里创建了机器人视觉实验室(Robotic Vision Laboratory)。在此之前，他曾在iRobot公司实习，这是世界上最大的消费机器人生产商(主要通过Roomba机器人真空吸尘器)。

为了在人造环境中导航，机器人必须能够感知并决定如何与他们的场所进行交互。该公司的研究人员对使用机器和深度学习训练他们的机器人学习物体，但这样做需要大量的图像数据集。虽然有数百万张关于房间的照片和视频，但没有一张是在机器人真空的有利位置拍摄的。训练使用以人为中心视角的图像的努力失败了。

Beksi的研究集中在机器人、计算机视觉和信息物理系统。他说:“我特别感兴趣的是开发算法，使机器能够从与物理世界的交互中学习，并自主获得执行高级任务所需的技能。”

几年后，贝克西和一个包括6名计算机科学博士学生的研究小组回忆起了Roomba的培训问题，并开始探索解决方案。一些人使用的手工方法包括使用昂贵的360度相机捕捉环境(包括租来的Airbnb房屋)，并使用定制软件将图像拼接成一个整体。但贝克西认为，人工捕获的方法太慢，无法成功。

相反，他将目光转向了一种名为生成式对抗网络(GANs)的深度学习形式神经网络在游戏中互相竞争，直到新数据的“生成者”能够欺骗“鉴别者”。一旦训练,这样一个网络将使创造无限可能的房间或室外环境中,与不同类型的椅子或桌子或车辆稍有不同的形式,但仍-一个人,一个机器人识别对象识别的维度和特色。

“你可以干扰这些物体，将它们移动到新的位置，使用不同的光线、颜色和纹理，然后将它们渲染成可以在数据集中使用的训练图像，”他解释说。“这种方法可能会为训练机器人提供无限的数据。”

贝克西研究小组的研究生穆罕默德·萨米尔·阿尔沙德(Mohammad Samiul Arshad)说:“手工设计这些物品需要大量的人力资源和时间，而如果训练得当，生成网络可以在几秒钟内完成。”

为合成场景生成对象

经过一些初步的尝试，Beksi实现了他的梦想，创造逼真的全场景目前是无法实现的。“我们后退一步，看看当前的研究，以确定如何从更小的规模开始——在环境中生成简单的物体。”

PCGAN合成的三维点云实例。

来源:William Beksi, Mohammad Samiul Arshad, UT Arlington

Beksi和Arshad在2020年11月举行的3D视觉国际会议(3DV)上提出了PCGAN，这是第一个以无监督模式生成密集彩色点云的条件生成对抗网络。他们的纸表明他们的网络能够从一个训练集(来自ShapeNetCore, CAD模型数据库)学习，并模拟三维数据分布，以产生具有多种分辨率的详细细节的彩色点云。

“有一些工作可以从这些CAD模型数据集生成合成对象，”他说。“但目前还没有人能处理颜色。”

为了在多种形状上测试他们的方法，Beksi的团队为他们的实验选择了椅子、桌子、沙发、飞机和摩托车。该工具允许研究人员访问深度学习系统生成的对象集的几乎无限个可能的版本。他解释说:“我们的模型首先在低分辨率下了解物体的基本结构，然后逐渐建立起高层次的细节。”“物体部件及其颜色之间的关系——例如，椅子/桌子的腿是相同的颜色，而座椅/顶部是对比色——也通过网络学习。我们从很小的对象开始，然后构建一个层次结构来做完整的合成场景生成，这将对机器人非常有用。”

他们为每个班级生成了5000个随机样本，并使用许多不同的方法进行评估。他们评估了点云的几何形状和颜色，使用了该领域的各种常见指标。他们的结果表明，PCGAN能够为不同的对象类阵列合成高质量的点云。

Sim2Real

Beksi正在研究的另一个问题被通俗地称为“sim2real”。他说:“你有真实的训练数据，也有合成的训练数据，人工智能系统或机器人从这些数据中学习的方式可能会有细微的差别。”“《模拟现实》着眼于如何量化这些差异，并通过捕捉场景的物理特性——摩擦、碰撞、重力——以及使用光线或光子跟踪，使模拟更加逼真。”

Beksi团队的下一步是将该软件部署到机器人上，并观察它与模拟到真实领域的差距之间的关系。

PCGAN模型的训练是由TACC的Maverick 2深度学习资源实现的，Beksi和他的学生可以通过德克萨斯大学网络基础设施研究(UTRC)项目访问该资源，该项目为德克萨斯大学系统的14所机构中的任何一个机构的研究人员提供计算资源。

他指出:“如果你想提高分辨率，以包含更多的点和更多的细节，那么这一增加将伴随着计算成本的增加。”“我们的实验室没有这些硬件资源，所以利用TACC来实现这一点很重要。”

除了计算需求，Beksi的研究还需要大量的存储空间。“这些数据集非常庞大，尤其是3D点云，”他说。“我们每秒产生数百兆字节的数据;每个点云大约有100万个点。你需要大量的存储空间。”

尽管Beksi表示，该领域要想制造出能够长时间自主运行的、真正好的、健壮的机器人还有很长的路要走，但这样做将惠及多个领域，包括医疗保健、制造业和农业。他说:“我们的最终目标是生成室内环境的合成场景，以提高机器人的感知能力，而此次出版只是这一目标的一小步。”