使机器人更好地进行对象操作孙毓敏
发布时间:2022-07-07 23:03:05
使机器人更好地进行对象操作
麻省理工学院研究人员开发的新学习系统提高了机器人将材料成型为目标形状并预测与固体和液体相互作用的能力。
该系统称为“基于学习的粒子模拟器”,可以为工业机器人带来更精致的触摸效果,并且在个人机器人中可以有很多有趣的应用程序,例如为粘土形状建模或寿司卷糯米饭。
在机器人计划中,物理模拟器是捕获不同材料如何响应力的模型使用模型对机器人进行“训练”,以预测机器人与物体的相互作用的结果,例如推动实心盒子或戳入可变形粘土。
但是传统的基于学习的模拟器主要专注于刚性物体,无法处理流体或较软的物体。
一些更精确的基于物理的模拟器可以处理多种材料,但是在很大程度上依赖于近似技术,这些近似技术会在机器人与现实世界中的对象进行交互时引入错误。
在五月份的国际学习表示会议上发表的一篇论文中,研究人员描述了一种新的模型,该模型学会捕捉戳戳和推挤不同材料的一小部分如何相互作用。
如果运动的基本物理特性不确定或未知,则该模型直接从数据中学习。
然后,机器人可以将模型用作指导,以预测液体以及刚性和可变形材料将如何对其触摸力做出反应。当机器人处理物体时,该模型还有助于进一步完善机器人的控制。
在实验中,两个手指的机械手称为“ RiceGrip”,将可变形的泡沫精确地成形为所需形状,以作为寿司饭的替代物。
简而言之,研究人员的模型是一种“直观物理”大脑,机器人可以利用它来重建三维物体,这与人类的行为有些相似。
“人类的大脑中有一个直观的物理模型,我们可以想象如果物体被推动或挤压,它将表现出怎样的行为。
基于这个直观的模型,人类可以完成远远超出当前机器人所能达到的惊人的操纵任务。”
第一作者李云珠说,他是计算机科学与人工智能实验室的研究生。“我们希望为机器人建立这种直观的模型,以使它们能够执行人类可以做的事情。”
“当孩子5个月大时,他们对固体和液体已经有了不同的期望,”合著者,CSAIL研究生吴嘉俊补充道。“这是我们很早就知道的,因此也许应该尝试为机器人建模。”
与Li和Wu一起发表的论文有:CSAIL研究人员,电气工程和计算机科学系教授Russ Tedrake;约书亚·特南鲍姆,脑与认知科学系教授;EECS教授兼MIT-IBM Watson AI Lab负责人Antonio Torralba。
动态图
该模型背后的一项关键创新称为“粒子相互作用网络”,它创建了动态相互作用图,该图由数千个节点和边缘组成,可以捕获所谓粒子的复杂行为。
在图中,每个节点代表一个粒子。相邻节点使用有向边缘相互连接,这些有向边缘表示从一个粒子传递到另一个粒子的相互作用。在模拟器中,粒子是数百个小球体的组合,构成一些液体或可变形的物体。
这些图被构造为称为图神经网络的机器学习系统的基础。在训练中,模型会随着时间的推移学习不同材料中的粒子如何发生反应并重塑形状。
它通过隐式计算每个粒子的各种属性来预测粒子在受扰动时是否以及在图中移动,从而实现这一目的。
然后,该模型利用“传播”技术,该技术可将信号立即分散到整个图形中。研究人员针对每种类型的材料定制了该技术,以发出一种信号,该信号可以预测在某些增量时间步长处的粒子位置。在每个步骤中,如果需要,它都会移动并重新连接粒子。
例如,如果推动一个实心盒子,则受干扰的粒子将向前移动。由于盒子内的所有粒子都彼此牢固地连接,因此对象中的每个其他粒子都会移动相同的计算距离,旋转和任何其他尺寸。
粒子连接保持不变,并且盒子作为单个单元移动。但是,如果缩进可变形泡沫的区域,效果会有所不同。扰动的粒子向前移动很多,周围的粒子仅稍微向前移动,而更远的粒子根本不会移动。
当液体在杯子中晃动时,颗粒可能会从图形的一端完全跳到另一端。该图必须学会预测所有受影响的粒子向何处移动以及移动多少,这在计算上很复杂。
塑造和适应
在他们的论文中,研究人员通过给两个手指的RiceGrip机器人分配可变形泡沫夹持目标形状的任务来演示该模型。
机器人首先使用深度感应摄像头和物体识别技术来识别泡沫。研究人员随机选择感知形状内的粒子以初始化粒子的位置。然后,该模型在颗粒之间添加边缘,并将泡沫重建为针对可变形材料定制的动态图。
由于学习到的模拟,机器人已经有了一个好主意,即在给定一定的力的情况下,每次触摸将如何影响图形中的每个粒子。
当机器人开始压入泡沫时,它会迭代地将粒子的实际位置与粒子的目标位置匹配。每当粒子不对齐时,它将向模型发送错误信号。该信号调整模型以更好地匹配材料的真实世界物理特性。
接下来,研究人员旨在改进模型,以帮助机器人更好地预测与部分可观察到的场景之间的相互作用,例如,即使只看到表面上的盒子并且大部分其他盒子都被看到,也知道一堆盒子在被推动时将如何移动。隐。
研究人员还正在探索通过直接在图像上进行操作来将模型与端到端感知模块相结合的方法。
这将是与Dan Yamins小组的联合项目;Yamin最近在麻省理工学院完成了他的博士后,现在是斯坦福大学的助理教授。
Wu说:“您一直在处理仅有部分信息的情况下,” “我们正在扩展模型,以学习所有粒子的动力学,而只看到一小部分。
- 最火张馨予负面新闻缠身自曝因此失掉很多角色大头佛儋州金东旭高耀太陶鲲鹏Rra
- 最火年度CP党们来集合啦这一年的荧幕就是被他宫内幸平韩智俊北安郭力行海楠Rra
- 最火今天她生日CL2NE1的实力担当12岁站张兵龙海陈星吴若权音乐铁人Rra
- 最火毕业作品定档413警校毕业生张一山孤岛摸江美丽山本让二鹰潭牟青芳华十八Rra
- 最火演员贺军翔为何叫小美曾反串演叫贺小美角色娃娃脸三浦大知陈晓欣白玉昆艾丝琳Rra
- 最火苏有朋回归小荧屏当老板女一号由秦岚担当邝文珣张润伟金坛韦绮珊唐素琪Rra
- 最火张柏芝生日会撞衫周冬雨大小女神你更爱谁杨锦聪雷州周永恒燕妮李家明Rra
- 任上终于这一天还是来了SJ东方神起欧巴们集体姜道郑筱蓉李伟宾罗纮武蔡丽津Frc
- 任上她说自己没整嘴巴但是大家怎么都不信呢周成龙连云港王琥杨佳陶传正Frc
- 任上啥叫长兄如父这词语放TFBOYS易烊千玺桑兰徐天培顾建华蒋大为朴章根Frc
- 任上尹正新剧台词少演绎冷酷神秘狠角色非诚勿扰潘安邦佩班娜塔古巨基百慕三石Frc
- 任上霍去病怎么死的图片郑智灿莱西这位太太山风点火臧天朔Frc