机器人训练数据，缺一个维度比帧率低更致命

选数采设备的时候，大多数人first person个看的参数是帧率。

 60帧够不够？120帧是不是更好？延迟能不能压到10毫秒以内？

 这些问题当然重要。但如果你真正跑过模型训练，就会发现一个更致命的问题：帧率再高，如果缺了一个关键的传感器维度，模型就是学不会。

 不是学得慢，是根本学不会。

 这篇文章讲清楚为什么。

 一个反直觉的实验

 斯坦福大学 Chen 等人在 2025 年的 DexForce 研究中做了一个对比实验。

 他们选了六个接触丰富的操作任务——比如拧瓶盖、插接头、捏软物体——然后用两种数据分别训练策略：一种包含力觉数据，另一种只用视觉和动作，不考虑接触力。

 结果是：有力觉数据训练的策略，平均成功率 76%。直接用不考虑接触力的动作训练的策略，成功率几乎为零。

 不是 76% 对 50%，不是 76% 对 30%。是 76% 对几乎为零。

 这个差距不是"质量差一点"，是"能不能做"的区别。

 为什么？因为在接触丰富的任务里，决定成败的关键信息——用了多大力、什么时候接触的、夹持稳不稳——视觉根本看不到。你给模型看再高清、再高帧率的视频，它看到的也只是"夹爪动了"，看不到"夹爪用了多大力"。没有力觉数据，模型就像一个闭着眼睛摸东西的人——不是不够努力，是根本没有获取关键信息的通道。

 这就是维度缺失的代价：不是性能下降，是能力缺失。

 为什么只有视觉不够

 很多人觉得，视觉已经很强了。大模型能从视频里理解动作、识别物体、推断场景。为什么机器人操作就不行？

 因为机器人操作和视频理解是两个完全不同的问题。

 视频理解是"看别人做了什么"——你不需要知道用了多大力，只需要知道动作的结果。机器人操作是"自己要做什么"——你不只要知道动作的结果，还要知道每一步用了多大力、接触的瞬间是什么感觉、夹持力够不够、物体有没有滑动。这些信息，决定了动作能不能成功。

 举个例子。插插头这个任务，视觉能看到"插头对准了插孔"，但看不到"插头碰到插孔时的阻力变化"。而这个阻力变化，恰恰是判断"有没有对准、要不要调整角度、用多大力度推进去"的关键信号。没有力觉，模型只能靠视觉猜——猜"看起来对准了，那就推进去"。但实际上差了零点几毫米，推的时候就会卡歪。

 MIT 的 Zhao 等人在 T3（Transferable Tactile Transformers）研究中也发现了同样的规律。在亚毫米级的电子插入任务上，有触觉编码的策略比没有触觉的成功率高出 53%。53% 不是一个小数字——它意味着从"基本做不了"到"大部分能做成"的跨越。

 视觉能告诉你"发生了什么"，但只有力觉和触觉能告诉你"正在发生什么、用了多大劲"。在精细操作里，后者比前者重要得多。

 三个维度，三种不可替代性

 那到底需要哪些维度？我们在设计 AperData 采集终端时，把core维度拆成了三个，每个都不可替代。

 头个维度是头部视角，回答"我在什么环境里"。头显的超广角鱼眼镜头能覆盖接近 300 度的视野，环境上下文完整。它告诉你周围有什么物体、任务整体进展到哪一步、操作区域在空间的什么位置。Apple 在 2025 年发布的 EgoDex 数据集用 Apple Vision Pro 采集了 829 小时first person视角视频，覆盖 194 个桌面操作任务，他们的实践证明，first person视角数据在学习人类操作模式和环境理解上有不可替代的价值。

 但头部视角有一个天生的缺陷：当手伸到身体前方操作时，手臂和手掌会挡住相当一部分画面。你能看到"手在动"，但看不到"手指具体怎么捏的、夹爪开合到什么角度"。

 第二个维度是腕部视角，回答"手具体在做什么"。它固定在手腕上，镜头朝向前方手部操作区域，恰好补全头部视角的盲区。UMI 的设计本质上就是一个末端视角方案：夹爪前面挂一台相机，看出去的画面和机器人末端视角几乎一致，极大减小了人和机器人之间的 embodiment gap。腕部视角和头部视角在时间上严格同步，后期可以做视角切换和融合——既知道"在哪"，又知道"怎么操作"。

 第三个维度是夹爪状态，回答"接触发生了什么"。这是非常容易被忽视、但在精细操作中非常关键的一个维度。视觉能看到"夹爪动了"，但看不到"用了多大力、开合到什么角度、夹持是否稳定"。DexForce 的实验已经证明了，没有这个维度，接触丰富的任务成功率几乎为零。

 三个维度各自单独，但合在一起才构成一个完整的操作数据记录：全局环境 + 手部细节 + 接触状态。缺了任何一个，数据都有明显缺口。

 维度缺失的代价，不只是性能差

 很多人以为，缺一个维度无非是性能差一点，多训一会儿就能补回来。

 大错特错。

 维度缺失造成的不是性能下降，是系统性的学习失败。模型不是"学得慢"，是"学不到正确的东西"。

 因为当关键信息缺失时，模型会学会错误的相关性。比如在插插头任务里，如果没有力觉数据，模型可能会学到"看到插头靠近插孔就用力推"这个错误策略——因为它不知道"碰到阻力时要微调角度"。这个策略在训练集里可能看起来还行（因为训练集里的插头刚好对准了），但到了真实环境里，只要差了零点几毫米，就会卡歪。模型不是不够聪明，是它根本没有获取"阻力变化"这个信息的通道。

 更危险的是，维度缺失造成的失败是静默的。你看训练曲线，loss 在下降，成功率在提升，一切看起来都在变好。但到了真实环境里一测试，模型在某些任务上完全不行。你花了几周时间排查，才发现：不是模型架构的问题，不是训练方法的问题，是数据里压根就没有力觉这个维度。

 RH20T 数据集（CoRL 2023）采集了超过 11 万条接触丰富的机器人操作序列，每条都包含视觉、力、音频和动作信息，他们的结论非常明确：只靠视觉引导的策略在复杂接触任务上存在系统性瓶颈，多模态感知是解锁精细操作的必要条件。

 "系统性瓶颈"这个词很重。它意味着不是"再努力一点就能解决"，而是"方向就错了"。缺维度的数据，再怎么训也突破不了那个天花板。

 维度齐了还不够，还要对齐

 那是不是把所有维度都采齐了就万事大吉？

 还不够。还有一个更隐蔽的问题：时间对齐。

 当数据来自多个单独传感器——头部相机、腕部相机、夹爪力觉传感器——每一路都有自己的时钟。如果三路数据的时间戳对不齐，后期融合的时候就会出现"画面里手还没碰到物体，力觉已经显示夹持了"这种错位。

 这种错位的数据，比单模态数据更糟糕。因为它会给模型传递错误的监督信号——模型学到的是"手还没碰到就已经有夹持力了"，这个错误的关联会直接污染训练。不同步的多模态数据，不如干净的单模态数据。

 所以多模态采集的生命线，不是帧率，是同步精度。

 我们的做法是，三个模块共享同一套硬件级同步机制，全局同步误差控制在 200 微秒以内。这个数字意味着，即使是 60 帧的视频，每一帧对应的夹爪状态和 IMU 数据也不会错位超过一帧的八十分之一。在任何一帧画面里，视觉信息和状态信息都是严格对齐的。

 很多团队在多模态采集上踩过坑：传感器都买了，数据都采了，结果训练的时候发现对不齐，只能放弃某一路数据，或者花大量时间做后处理对齐。后处理对齐能解决一部分问题，但解决不了根本问题——因为传感器之间的时钟漂移是非线性的，软件后处理只能做近似校正，不能做到硬件级的精确同步。

 维度齐了，还要对齐了，才是真正可用的多模态数据。

 数据质量的新框架

 基于上面的分析，我们建议用一个新的框架来评估机器人训练数据的质量，而不是只看帧率和分辨率。

 头个指标是维度完整性。这个任务需要哪些传感器维度？全局视角、手部近景、力觉状态、触觉、音频——哪些是必须的，哪些是可选的？数据里有没有缺？维度完整性是二进制的：缺了就是缺了，不是"差一点"。

 第二个指标是维度对齐性。多个维度的数据在时间上是不是严格对齐的？同步误差是多少？是硬件级同步还是软件后处理对齐？对齐性决定了多模态数据能不能用，而不是"好不好用"。

 第三个指标是维度相关性。每个维度的数据是不是和当前任务相关？采插接任务的时候，有没有力觉？采大场景导航的时候，是不是还戴着笨重的全配置？维度不是越多越好，是刚好够用非常好。多余的维度增加采集负担和数据噪声，缺失的维度造成能力瓶颈。

 这三个指标——完整性、对齐性、相关性——比帧率和分辨率更能预测数据的训练价值。帧率决定的是"你能采到多快的动作"，维度完整性决定的是"你能不能采到关键信息"。在精细操作里，后者是前者的前提。

 AperData的做法

 在 AperData 的设计里，维度完整性和对齐性是从硬件层面解决的，不是靠后期补救。

 三个模块——AperEgo（头部视角）、AperWrist（腕部视角）、AperFinger（夹爪状态）——覆盖了全局环境、手部细节、接触状态三个core维度。模块化设计意味着你可以根据任务需要选择戴哪些模块：插接任务三路全开，折叠任务头部加腕部，导航任务只用头部。维度相关性由任务配置保证，不会出现"采简单任务还戴着全配置"的浪费。

 200 微秒的硬件级全局同步，保证了三个维度的数据在时间上严格对齐。不是软件打时间戳的近似对齐，是硬件级的精确同步。

 开放接口意味着未来可以加入新的维度——触觉手套、环境深度相机、全身动捕——只要符合接口标准，就能直接加入组合。维度完整性不是一个固定状态，是可以随着任务需求扩展的能力。

 core逻辑很简单：数据质量不是靠"参数高"堆出来的，是靠"维度齐、对齐准、配置对"设计出来的。

 回到非常开始的问题：为什么缺一个维度比帧率低更致命？

 因为帧率低，多是采不到极快的动作。大多数日常操作的动作速度，30帧就够了。但缺一个维度，你是根本采不到关键信息。没有力觉，接触丰富的任务成功率几乎为零。没有腕部视角，手部操作细节被遮挡。没有头部视角，环境上下文缺失。

 帧率是一个连续变量——从30帧到60帧到120帧，性能是渐进提升的。维度是一个二进制变量——有就是有，没有就是没有。缺了，就是能力缺失，不是性能下降。

 机器人训练数据的质量评估，正在从"帧率高不高、清不清楚"转向"维度齐不齐、对不对齐、配不配套"。这个转变，意味着数采设备的设计重心也要跟着变——从堆参数，转向设计完整的多模态维度和精确的同步机制。

 因为非常终决定模型能力上限的，不是你采到了多清晰的画面，而是你有没有采到模型真正需要的信息。

 资料来源：DexForce (Stanford, 2025)、T3 (MIT)、RH20T (CoRL 2023)、EgoDex (Apple, 2025)、UMI (Stanford, 2024)。