本周在Arxiv.org发表的一篇预印论文中，来自英伟达和斯坦福大学的研究人员提出了一种新方法，将模拟训练后的人工智能模型转移到真实世界的自动机中。它使用细分作为感知和控制之间的接口，这导致其合著者将其描述为在机器人抓取等工作负载中"非常成功"。
在模型训练方面，模拟器比现实世界有优势，因为它们是安全的，并且几乎可以无限扩展。然而，要将模拟中学习到的策略扩展到现实世界的机器（无论是自动驾驶汽车、机器人还是无人机),就必须进行调整，因为即使是最精确的模拟器也无法解决所有的干扰。
英伟达和斯坦福的技术有望比以前的方法更有效地弥合模拟和真实环境之间的差距，因为它将视觉和控制任务分解成可以独立训练的模型。通过使用所谓的特权信息（模拟和真实环境之间的语义和几何差异),可以提高性能，并且该模型可以重用到其他机器人和场景中。
视觉模型是在由真实环境中拍摄的背景图像和模拟中的前景对象组合而成的数据上训练的，然后对摄像机图像进行处理，并以分割掩模的形式从环境中提取感兴趣的对象。(遮罩是指示给定像素属于哪个类别或实例的函数的乘积。该分区掩码被用作控制器模型的输入，该控制器模型使用仿真学习在仿真中训练，并直接应用于实际环境。
如前所述，在涉及真实世界机械手的实验中，研究人员最初在每次迭代中使用1000帧的语料库训练控制器（对应于大约10次抓取尝试),并在模拟对象的图像和真实背景上训练视觉模型。接下来，他们从机器人手臂抓住球体的模拟演示中收集了数千张图像，然后将其与背景相结合，并对形状、大小、位置、颜色、光线和相机视点进行随机化，以获得2万张训练图像。最后，他们通过运行模拟机器人的控制器并将轨迹复制到真实环境中，从真实机器人中收集了2140幅图像，并对训练有素的人工智能模块进行了评估。
机器人手臂被给予250步，在五个固定位置抓取一个球，并在每个位置重复抓取五次，从而跨越训练控制器的空间。在没有混淆的情况下，使用视觉模块的成功率可以达到88%。异物（如黄色和橙色物体)使机器人在5次实验中失败两次，但通常它可以从失败的抓取尝试中恢复过来。
抓取机器人是一个非常困难的挑战。例如，机器人试图执行所谓的"机械搜索",即当它们必须从一堆其他物体中识别和拾取一个物体时。大多数机器人的适应能力不是特别强，缺乏足够强大的人工智能模型来指导机械手进行机械搜索。然而，如果这篇最新论文的合著者是真的，可能会有一个更强大的系统。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！