ROSER:面向可扩展机器人学习的小样本机器人序列检索
OriginalROSER: Few-Shot Robotic Sequence Retrieval for Scalable Robot Learning
Existing datasets contain vast amounts of diverse behaviors, yet remain structurally incompatible with modern learning frameworks that require cleanly segmented, task-specific trajectories.
- 发布时间
- 2026-03
内容介绍
机器人学习的一个关键瓶颈是任务标注、分段训练数据稀缺,而大规模机器人数据集其实很多,只是以长而连续的交互日志形式记录。现有数据集包含大量多样行为,却与现代学习框架的结构要求不兼容:后者需要干净分段、任务特定的轨迹。这形成一种数据利用危机:数据在,但难以直接变成可训练样本。该工作值得看的地方在于,它把数据策展重新表述为 few-shot retrieval:用少量参考示例从无标签日志中抽取可复用的任务片段,而不是先做密集标注。
该工作形式化 robotic sequence retrieval,即仅用少量参考示例从无标签日志中提取任务中心片段的任务。提出的 ROSER 是一个轻量 few-shot 检索框架,学习时间窗口上的 task-agnostic metric spaces。它基于 Prototypical Networks,用 support examples 的 embedding 表示任务,再通过最近原型比较检索新片段;输入是原始 proprioceptive time series,部署时不需要任务特定训练。评估方面,作者建立 evaluation protocols,在 LIBERO、DROID、nuScenes 三个大规模数据集上,与 classical alignment methods、learned embeddings、language model baselines 对比。
关键主张之一是检索所需示例极少:材料给出的数字是 3-5 个 demonstrations,即可实现准确检索。这意味着任务定义可以从少量参考轨迹开始,而不必为每个任务收集大规模标注集。ROSER 不在部署阶段做任务特定训练,而是依赖学到的 task-agnostic 度量空间,在短时间窗口上比较相似性。作者还称,这是首批仅使用 proprioceptive time-series 信号研究 few-shot robotic sequence retrieval 的工作之一。
在三个大规模数据集上的实验显示,ROSER 在 accuracy 和 efficiency 上都优于所有 prior methods;对比对象覆盖经典对齐、学习嵌入和语言模型基线。效率方面,材料给出 sub-millisecond per-match inference,也就是单次匹配推理低于一毫秒。结果还强调 superior distributional alignment,说明检索出的片段不仅在单点上相似,在分布层面也更对齐。换句话说,这套方法同时把“找得准”和“找得快”作为卖点,而不是只追求检索质量。
这些结论的实践含义是,数据策展可以从“人工分段加标签”转向“少量示例定义任务、检索批量找片段”。材料指出,这种做法可消除 exhaustive annotation,支持快速适应新任务,并通过 learned similarity 而不是脆弱的 template matching 处理执行变异。换句话说,面对长日志数据集,团队可以用少量演示快速构造任务特定数据子集,而不必为每个任务写数据集特定的启发式规则。作者认为,这为解锁 underutilized robotic datasets 提供了实际路径,并改善 robot learning 的数据可用性。
适合读这份资料的人,是关心机器人学习数据管线、轨迹检索、少样本学习和 VLA/世界模型数据
原文摘录
自动提取自 PDFPublished as a paper at 3rd DATA-FM workshop @ ICLR 2026, Brazil. ROSER: FEW-SHOTROBOTICSEQUENCERETRIEVAL FORSCALABLEROBOTLEARNING Zillur Rahman ∗ University of Nevada, Las Vegas Eddison Pham University of Toronto Alejandro Daniel Noel LatentWorlds AI, NL Cristian Meo † LatentWorlds AI, NL ABSTRACT A critical bottleneck in robot learning is the scarcity of task-labeled, segmented training data, despite the abundance of large-scale robotic datasets recorded as long, continuous interaction logs. Existing datasets contain vast amounts of diverse be- haviors, yet remain structurally incompatible with modern learning frameworks that require cleanly segmented, task-specific trajectories. We address this data utiliza- tion crisis by formalizing robotic sequence retrieval: the task of extracting reusable, task-centric segments from unlabeled logs using only a few reference examples.