OpenAI的 ChatGPT 不仅擅长对自然语言提示生成连贯的文本响应——它还可以在人机交互中发挥作用，并使用传感器反馈为机器人动作编写代码。
微软最近进行了一项研究，以“看看 ChatGPT 是否可以超越文本思考，并推理物理世界以帮助完成机器人任务。” 目的是看看人们是否可以在不学习编程语言或不了解机器人系统的情况下使用 ChatGPT 来指导机器人。
“这里的主要挑战是教 ChatGPT 如何解决考虑物理定律、操作环境的上下文以及机器人的物理动作如何改变世界状态的问题，”来自 Microsoft Autonomous Systems and Robotics Research 的团队指出在一篇博文中。
在 ChatGPT 通过应用程序接口获得对象检测和对象距离数据的访问权限后，微软研究人员探索了 ChatGPT 为机器人场景生成代码的能力，主要是使用 Python 编写的代码，例如零样本规划和代码生成。
ChatGPT 可以生成代码，因为它是在大量代码和书面文本上进行训练的。该系统已被证明能够解决编码问题和调试程序，并增加了响应对话和寻求澄清的独特能力。还有 Codex，这是 OpenAI 的基于 GPT-3 的模型，支持GitHub 的 Copilot 配对编程服务，该服务可以自动为多种语言的开发人员完成代码。
考虑到这些对话和澄清功能，Microsoft 测试了 ChatGPT 作为非技术用户和无人机之间基于语言的界面的能力。正如研究人员 在一篇论文中指出的那样，虽然 GPT-3、LaMDA 和 Codex 在机器人规划和代码生成任务中显示出前景，但 ChatGPT 特别是“机器人领域的一种潜在的更通用的工具，因为它结合了自然联动的优势和代码生成模型以及对话的灵活性。”
研究人员在他们的博客文章中指出：“当用户的指令不明确时，ChatGPT 会询问澄清问题，并为无人机编写复杂的代码结构，例如锯齿形图案以目视检查货架。”
微软对 ChatGPT 进行了测试，使用机械臂四处移动方块以形成微软徽标。研究人员还委托 ChatGPT 编写一种算法，让无人机在不撞到障碍物的情况下到达某个点。他们还测试了 ChatGPT 是否可以根据实时传感器反馈决定机器人应该去哪里。
Google Research 和 Alphabet 旗下的 Everyday Robots 的研究人员也使用 名为 PaLM 或 Pathways Language Model 的大型语言模型应对类似的机器人挑战，该模型帮助机器人处理开放式提示并以合理的方式做出响应。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！