老黑.. (@yle43036) “机械臂演示最容易拍的，是在固定桌面上准确抓起一个杯子。可真正困难的部分往往发生在” — TopicDigg
老黑..
@yle43036
加入 March 2024
0 正在关注 0 粉丝
机械臂演示最容易拍的，是在固定桌面上准确抓起一个杯子。可真正困难的部分往往发生在镜头之外：杯子偏了一点、旁边多了件东西、抓到一半滑掉了，机器人下一步该怎么办？
这些情况很难只靠少数几次标准演示教会模型。机器人需要看见更多环境，也需要知道自己犯错时，人会怎样调整动作。
@axisrobotics 做的事情就围绕这个问题展开。用户可以直接在浏览器里操控仿真机械臂，完成抓取、分类、开抽屉等任务。每次操作都会留下带时间信息的轨迹，记录机械臂的动作、物体的位置和任务过程。等模型学着自己做任务时，如果它卡住或做错了，人还能接管，把动作纠正回来，再把控制权交还给它。
这些轨迹不会只停留在“完成了一关”。项目会在仿真环境里回放和检查数据，再扩展成不同场景下的训练样本；轨迹及贡献来源也会记录在 Base 上。
我比较看重纠错这部分。一次成功操作告诉模型正确动作长什么样，一次失败后的人工接管，则能指出它目前到底不会什么。模型暴露问题，平台针对问题收集新数据，再训练下一版模型——如果这个循环持续转起来，机械臂学到的就不只是一个漂亮的演示动作。
#AxisRobotics# #PhysicalAI#
显示更多
What Happens After Post-Training Data Collection?
Since launching Axis V2, human-gated DAgger correction has been a core part of our data engine. In this thread, we share a series of experiments exploring how to best process and use post-training data.
The core finding: not every human intervention helps. But if you verify which specific actions actually change the outcome — and train only on those — the improvements are real and they scale.
Results:
- 660 corrections collected → 161 (24.4%) entered training
- Each training snippet is ~0.8 seconds
- Naively imitating full human trajectories dropped success from 40.0% to 36.7%, while 161 verified snippets lifted the three-seed average to 48.3% on the same evaluation set — and reached 48.8–52.5% across three seeds in a separate paired evaluation.
Read the full blog:
Details below ⬇️
显示更多
