深度阅读

文章详情

围绕重点内容进行完整呈现,帮助读者获得更顺畅、更聚焦的阅读体验。

蚂蚁灵波又放大招!机器人通用大脑学会共享“手感”
Article View

蚂蚁灵波又放大招!机器人通用大脑学会共享“手感”

海洋之神hy590在线平台首页 801 阅读 约 5.5 分钟

智东西 作者 周加琦 编辑 漠影 具身智能正在加速突破灵巧操作的能力边界,但不同灵巧手之间,仍然存在一道难以跨越的触觉数据鸿沟。 如何打破不同传感器之间的数据壁垒,成为实现通用灵巧操作的重要一步。 智东西11月10日报道, 蚂蚁灵波正式开源面向灵巧操作的触觉预训练基础模型LingBot-Touch 。该模型能统一处理压阻式、视触觉等不同类型的传感信号,将其编码为统一、可复用的触觉表征,供不同灵巧手和策略模型使用。 在真机测试中,LingBot-Touch与两款不同灵巧手和四种策略模型结合,完成26项真实操作任务。结果显示,四种策略模型在两款灵巧手上的平均任务成功率均得到提升。 其中,在Sharpa Wave灵巧手上,LingBot-VLA的平均成功率从45.60%提升至72.51%。 此次发布也进一步完善了蚂蚁灵波的具身原生机器人通用大脑。继空间感知、动态环境交互和灵巧操作之后,补齐其通用触觉感知能力。 项目主页:https://technology.robbyant.com/lingbot-touch 技术报告:https://github.com/Robbyant/lingbot-touch/tree/main/paper GitHub:https://github.com/Robbyant/lingbot-touch Hugging Face:https://huggingface.co/collections/robbyant/lingbot-touch 魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-Touch 一、打破触觉数据壁垒,让不同灵巧手共享“手感” 机器人灵巧操作能力的持续提升,对触觉感知也提出了更高的要求。在拧瓶盖、翻书、零件装配等精细化任务中,机器人不仅要判断物体的位置,还要感知手指接触后的受力变化、移动情况等,才能及时调整手部动作。 要让机器人真正理解这些接触信息,离不开大量真实触觉数据的训练。 但触觉数据仍面临采集成本高、规模有限的问题。 今年5月,海外具身创企Genesis AI发布机器人基础模型GENE-26.5,并推出配套触觉数据采集手套和灵巧手,尝试通过动作映射,将人类操作经验直接用于机器人训练。 7月,美国具身企业Generalist AI披露了GEN-1的跨本体研究进展,让不同末端执行器共享对接触、摩擦、受力等物理规律的理解。 两家企业都在探索 如何更高效地积累和利用物理交互经验 。而蚂蚁灵波选择从触觉感知入手,尝试解决一个更为棘手的问题: 打破不同传感器之间的数据壁垒,让触觉数据能够跨本体共享和复用。 目前,灵巧手使用的主流触觉传感器包括磁触觉、视触觉和压阻式等。这几类传感器在感知精度、响应速度、覆盖面积和成本等方面各有优势。虽然不同传感器记录接触的方式各不相同,但其背后的物理接触信息具有共性。 蚂蚁灵波此次推出的LingBot-Touch,正是利用这一共性,学习统一的触觉表征,让不同灵巧手共享对物理接触的理解。 具体来说,LingBot-Touch先分别处理三类传感器采集的原始信号,再通过共享模型学习其中共同的接触特征,例如手指碰到了哪里、受力如何变化等。最终,这些特征会被编码为统一的触觉Token,供不同灵巧手和策略模型使用。 这样,策略模型无需直接处理不同传感器复杂的原始信号,就能够利用提取出的接触信息做决策。 为了让模型掌握这些共同的接触规律,蚂蚁灵波还使用了 4983小时真实触觉数据 进行预训练,涵盖约 46.4万段交互记录、13.3亿帧数据 ,覆盖抓握、旋转、装配等多种操作。 这些数据主要来自人类佩戴触觉手套采集的磁触觉数据和压阻式数据,以及通过遥操作采集的视触觉数据。 在训练过程中,蚂蚁灵波采用自监督学习方法,随机遮挡部分触觉信息,让模型根据其他触点的信号变化,预测被遮挡区域的特征,无需逐一标注接触位置、受力变化等信息。 通过这套模型架构和训练方法,不同硬件积累的真实触觉数据,也能转化为可以共同利用的训练资源。 二、26项真机任务验证,LingBot-Touch让四种模型集体涨分 模型的实际价值,最终还是要通过机器人的真实操作来验证。为此,蚂蚁灵波在 Sharpa Wave和XHand1 两款灵巧手上开展了26项真机任务测试,覆盖翻书、拧瓶盖、拉拉链、分拣物体、双手协同等精细操作任务。 同时,蚂蚁灵波还在测试中接入四种不同模型,包含Diffusion Policy、π0.5、LingBot-VLA和T-Rex,验证LingBot-Touch在不同硬件和模型中表现。 为了更直观地比较效果,测试中设置了三组对照实验:第一组不使用触觉信息,仅依靠视觉等;第二组直接向策略模型输入原始触觉数据;第三组则接入Li

about image

觉得有用?分享给朋友

让更多人看到这篇内容。

Recommended

推荐阅读