如祺数据正式发布具身智能数据平台,构建Ego-centric数据的自动化处理流水线

2026/06/22

6月22日,如祺出行旗下数据业务板块(以下简称“如祺数据”)正式发布具身智能数据平台,展示面向具身智能模型训练的 Ego-centric 第一人称操作视频自动化处理流水线。该平台围绕第一人称操作视频从采集到训练就绪之间的关键数据工程环节,能力覆盖数据导入、AI 预处理、动作标注、多级审核与自动质检、标准化格式导出等核心流程,将原始视频处理、标注和质检过程标准化、自动化、可追溯,降低具身智能数据从采集到模型训练之间的工程门槛。


Ego-centric(第一人称视角)数据由头戴相机采集,其视角与执行者一致。相比第三人称观察,第一人称视角保留了真实的遮挡关系、视野边界与运动视差,视觉分布与机器人头部相机的感知输入高度一致。


NVIDIA在Ego-Scale中的研究表明,Ego-centric数据规模与验证损失之间呈现近对数线性的scaling law。这意味着它不仅是遥操作数据的补充,而是具有可预测增益的独立监督来源。


但从原始视频到训练就绪的数据集,需要经过手部检测、相机位姿估计、动作标注与格式转换等多个环节。依赖本地脚本处理会带来环境配置复杂、结果难以复现、格式不统一等问题。


如祺数据自研的具身智能数据平台,搭建了一条自动化处理流水线,将Ego-centric数据的导入、标注、验核全流程标准化、自动化,形成可追溯、可质检的闭环。

                                                      

数据导入:本地零配置,云端全自动化上传与预处理


如祺具身智能数据平台支持快速路径和纯视频模式两种导入方式:

· 快速路径:上传视频及已有预处理结果,直接进入标注环节

· 纯视频模式:仅上传原始MP4,由后台自动触发后续处理


上传与算法执行解耦,无需在本地维护复杂依赖环境,处理进度通过前端实时反馈。对于使用手机采集的场景,支持扫码匹配,可在云端Web平台实时监控采集情况并自动上传数据。


AI预处理:全自动三阶段流水线,无需人工干预


如祺具身智能数据平台将AI预处理拆分为手部检测、位姿估计与手部3D姿态优化三个阶段:

· 手部检测:支持单目图像下的3D关键点与形状恢复

· 位姿估计:提供连续、准确的6DoF相机运动轨迹

· 手部3D姿态优化:将手部运动从相机坐标系映射到世界坐标系


上述三个阶段全自动执行,在云端完成,无需本地环境配置。


标注工作台:解决VLA长序列标注难题,自动防冲突

VLA(视觉-语言-动作模型)训练需要带自然语言指令的连续动作序列,而非静态目标框选。

如祺具身智能数据平台支持对长视频进行动作边界标注,生成结构化的动作切片。然而,切片质量直接影响策略学习收敛性。精确的时序边界帮助模型建立视觉-语言-动作的对应关系,完整的长序列上下文保留动作的前置状态与过渡信息,对理解"如何修正"与"为何失败"尤为重要。


标注工作台能实时展示手部关键点在3D空间中的运动轨迹,并将当前帧及未来20帧的腕部轨迹投影到图像上。标注人员可提前感知手腕运动趋势,精准判断切片边界。平台通过状态机管理标注流程,保存时自动检测时间区间重叠,避免切片冲突。

五维自动质检:定位精度更高,审核效率提升 50%

标注提交后,系统将自动生成五维质检报告,包括:

· 切片完整性:覆盖率与盲区检测

· 手部检测质量:关键点缺失率、重投影一致性、遮挡评估

· 相机轨迹质量:跳变检测与平滑度评分

· 语义一致性:语言描述完整性、动词包含检查

· 样本分布均衡性:类别分布与时长异常值


审核界面叠加手部骨架渲染、手腕轨迹图与重投影误差折线图。审核员可依据异常高亮区域快速定位风险帧,无需逐帧人工检查。实测表明,这种方式可将单条视频审核时间压缩50%。

审核流程采用多级状态机:标注员提交后,审核员参考质检报告批注或决策,经质检员二次检验,最终由验收员确认交付。返修基于上一轮批注意见定向修正,全流程状态、操作人与时间戳均留痕。


导出:直连主流训练框架,打通数据标注到机器人部署全链路


如祺具身智能数据平台支持多种输出格式,根据下游用途提供三类定制化输出,包括:

训练框架原生格式

· LeRobot:Hugging Face生态的标准数据集格式,直接兼容lerobot训练库。

· HDF5:面向高效随机读取的压缩存储格式,适合大规模数据并行训练

通用交换格式

· JSON:完整标注数据(轨迹 + 语言指令 + 元信息),便于与其他数据系统或自研训练流程对接

机器人中间件格式

· MCap:ROS2生态的标准日志格式,可直接回放至机器人仿真环境或实机控制栈,打通从数据标注到策略部署的链路


这种多格式输出,优势在于:

第一,数据直接可用,无需二次转换,省去格式匹配的工程成本;

第二,提供最大灵活性,客户可自行对接任何自研系统或非标准流程,不被特定框架绑定;

第三,端到端打通,意味着更短的迭代周期和更低的出错概率。


结语


具身智能的竞争,正在从模型架构转向数据基础设施。Ego-centric数据的价值已被验证,但其规模化的前提是预处理、标注、审核与导出环节的标准化与自动化。

作为全行业AI数据沃土,如祺数据致力于凭借亿级多模态全场景数据助力模型高效迭代。如祺具身智能数据平台已完成数据导入、AI预处理、动作标注、多级审核与自动质检的全量支持,正在持续扩展标准化导出格式,将为客户大幅降低 Ego-centric数据从采集到训练的边际成本。

  • 如祺出行荣获“粤港澳大湾区港股新锐”奖项

  • 如祺出行共三件商标入选2025年度广东省重点商标保护名录