HawkInsight

  • 联系我们
  • App
  • 中文

Figure“人形GPT”首发:OpenAI大模型加持 已进厂测试

3月14日,Figure发布了首个接入了OpenAI大模型的机器人demo——Figure 01,这也是该公司与OpenAI合作增强人形机器人能力的首批成果。

当地时间3月14日,明星初创公司Figure发布了首个接入了OpenAI大模型的机器人demo——Figure 01,这也是该公司与OpenAI合作增强人形机器人能力的首批成果。

虽只用到了一个神经网络,但官方发布的一系列视频显示,Figure 01能够与人类进行对话交互,理解并执行人类指令,整套操作动作十分流畅。

上个月,Figure刚刚获得了来自OpenAI、微软、英伟达等约6.75亿美元的投资,用于开发为重复且危险的仓库及零售等工作提供劳动力补充的人形机器人,公司估值飙升至26亿美元。

同时,该公司还与OpenAI签订了合作协议——将多模态大模型(VLM)的能力扩展到机器人的感知、推理和交互上,即“具身智能”

如今Figure 01的正式发布,距其刚刚完成的B轮融资仅仅过去了13天

Figure 01视频演示

根据Figure发布的视频,Figure 01可以流畅地执行递苹果、将垃圾收拾进筐里、将杯盘归置在沥水架上等操作。

重要的是,Figure 01的大部分举动和回答都基于提问者的一些开放性问题和要求,透过自己的逻辑思考得出了解决方案,这意味着它能对话、能思考、能学习,比一般的机器人更像“人”。

在视频的开头,Figure声明该机器人的行为均基于语音的逻辑推理,并使用端到端神经网络,且全程一镜到底拍摄,并无任何加速或剪辑。

Figure创始人Brett Adcock也在推文中强调,Figure 01的所有行为都是通过学习获得的,并无任何远程操作,且机器人的速度较之前有显著提升,正逐步贴近人类的速度。

Figure 01”最强大脑“

官方表示,Fugure 01是世界上首个在商业上可行的通用人形机器人。机器人身高5英尺6英寸(约1.68米),体重60千克,可实现20千克的有效载重,续航5小时,每秒可移动1.2米。

在Figure 01中,OpenAI大模型提供了高级视觉和语言智能功能,Figure的神经网络则支持快速、低级且灵巧的机器人动作。

本月初,Figure宣布将基于OpenAI最新的GPT模型开发下一代人形机器人的AI模型,并专门训练Figure收集的机器人动作数据,以便其人形机器人可以与人交谈,看到东西并执行复杂任务。

成品视频发布后,Figure 01高级AI工程师Corey Lynch在X上细述了其运行的技术原理:Figure 01可以描述其视觉体验、规划未来行动、反思自己的记忆并口头陈述推理过程。

具体来说,该机器人的语音能力基于“文本——语音”的大模型。Figure AI将机器人摄像头拍摄的图像和麦克风捕获的语音转录为文本,一并输入OpenAI训练的多模态模型中,实现对图像与文本的同时理解。之后,该模型将对所有信息打包处理,从文本生成语言响应。

执行环节,同一个模型负责决定以哪种内化的闭环行为对给定指令作出响应,将特定的神经网络权重加载到GPU(图形处理器)来执行相应的策略。

Brett Adcock也在X中提到,Figure整合了Figure 01的所有关键组成部分,如电机、中间件操作系统、传感器、机械结构等,均由Figure工程师设计。

未来已来:具身智能落地

英伟达创始人兼CEO黄仁勋曾表示:”具身智能将引领下一波AI浪潮。“

Figure成立于2022年,在与OpenAI合作之前,该公司就已在AI方面收获颇丰。当时Brett Adcock就已透露,Figure将在未来的1-2年内专注于开发涵盖AI系统、低级控制等功能的人形机器人。

2024年1月,Figure 01通过引入端到端神经网络,实现自行纠错,在10个小时的训练后学会了做咖啡;2月,Figure 01就已在仓库中执行搬运任务,拥有自主导航、识别物体和为任务优先级排序的能力,但速度只有人类的16.7%。

除此之外,Figure也积极尝试向场景落地的转化。近期,Figure与宝马公司签署了意向商业协议,欲将通用机器人部署至汽车制造环节,Figure 01也已开始在美国南卡罗来纳州的一家工厂中接受测试。

尽管许多AI研究者认为通用机器人的普及还需数十年,但机器人专家Eric Jang提醒道:“别忘了,ChatGPT的诞生仿几乎就在一夜之间。”

OpenAI大模型加持下的Figure 01可能会有更高的价格,但Figure方面尚未透露任何相关信息,但Brett Adcock曾对Figure 01的适当降价表明了乐观态度。

·原创文章

免责声明:本文观点来自原作者,不代表Hawk Insight的观点和立场。文章内容仅供参考、交流、学习,不构成投资建议。如涉及版权问题,请联系我们删除。