一套符合通用標準、由模型驗證有效且具備通用性的數據集,已成為當前具身智能行業最大的剛需。
自1950年由艾倫·圖靈提出具身智能概念以來,經過70多年的探索實踐,具身智能已經逐步走近人類生產生活的方方面面。作為具身智能的重要載體,具身智能機器人賽道今年異常火爆,受到學術、產業、資本以及各國政府的廣泛關注與支持。
正如ChatGPT需要海量文本數據來訓練一樣,高質量、多樣化數據集是實現具身智能快速突破和具身機器人快速落地應用的關鍵。優質的數據集能夠加速具身智能模型的訓練與部署,幫助其控制各種類型的機器人遵循不同的指令,對復雜任務進行基本推理,并有效地完成這些任務。
但不同于大語言模型可以使用互聯網海量信息作為訓練數據,機器人所用的具身智能模型并無現成數據可供直接使用。一套符合通用標準、由模型驗證有效且具備通用性的數據集,已成為當前具身智能行業最大的剛需。
2024年12月27日,國家地方共建具身智能機器人創新中心(以下簡稱“創新中心”)與北京大學計算機學院聯合推出了一個大規模多構型具身智能數據集和Benchmark——RoboMIND,基于成型標準采集,經多個模型訓練驗證有效,支持多本體多任務并具備通用性,充分解決了目前全球開源數據集,量大但數據質量參差不齊、通用性復用性差、部分數據實測效果不理想等問題,有效滿足復雜場景具身智能高效率和針對性的訓練。
適用于多平臺、多場景、多技能的數據集價值更大
當前具身智能本體形態多種多樣,應用場景千差萬別,對于具身智能訓練數據的需求也更為多元。目前業內仍有部分數據集主要聚焦在特定機器人、特定場景和特定技能等方面,在整體通用性上有待提升。
創新中心發布的RoboMind數據集,采用了包括含單臂機器人、雙臂機器人、人形機器人,手臂末端使用夾爪或者靈巧手等多種形態的機器人本體進行數據采集,包含了涉及279項不同的任務多類場景,涵蓋了高達61種不同的物體,覆蓋了家居、廚房、工廠、辦公、零售等大部分生活服務場景,對科研突破和場景應用均十分友好。創新中心持續采集長程復雜任務,目前已經積累數十萬條高質量數據,以真機數據為主,配以仿真遙操作數據。在數據質量與使用價值上,一條數據等同于目前現有數據集的多條存量數據。創新中心計劃首批開源10萬條,后續逐步釋放,涵蓋更多機器人本體和場景任務。
據谷歌Open X-Embodiment公開資料顯示,其數據集匯集了來自各個機構的數據,整合了70余個獨立數據集,合計百萬量級數據片段,涵蓋了從單臂機器人到雙臂機器人,再到四足機器人等多種不同形態的機器人。值得一提的是,雖然OpenX發布數據集高達百萬條量級,但是大小只有3TB左右,且數據質量和一致性差,真正可用的有效數據不足一半。此外,其實測效果較差,在其官方的小參數量模型(RT-1 35M)上,甚至不如原版RT-1的13萬條數據訓練的效果。創新中心本次發布的數據集大小是20TB,并且保證了所有數據的統一可用,在benchmark測試中大小模型已跑通了數據集中涵蓋的所有機器人本體。
多款模型驗證有效,具身智能數據集邁入下一個階段
當前市場上已有多家機構開源具身智能數據集,但由于是多個數據集整合,存在一定數據格式不統一,數據質量參差不齊,需要進行大量的二次調試、整合,難以有效滿足復雜場景具身智能高效率和針對性的訓練等問題,并且基于開源的數據集測試訓練效果也不盡相同。經過驗證后“能用”、“好用”的高質量具身智能數據集成為了行業關注的重點,也是許多高校、科研機構和企業重點攻克的難題。
創新中心發布的RoboMIND,已在主流單任務模仿學習模型(如ACT、BAKU)和具身多模態大模型(如OpenVLA、RDT-1B)進行了評測,經多本體和多任務的系統評測,證明RoboMIND數據集有效提升了模仿學習模型在現實場景下任務的成功率,率先進入了數據集使用的下一個階段。
行業引領者,創新中心打造國內首個具身智能數據采集標準
具身智能數據采集需要投入大量時間和資源進行機器人操作實踐或者仿真模擬,來收集視覺、觸覺、力覺、運動軌跡以及機器人本體狀態等多源異構數據。目前業內發布的數據集標準不一,存在數據質量參差不齊、數據通用性復用性差、部分數據實測效果不理想等問題。
今年11月,作為行業的引領者,國家地方共建具身智能機器人創新中心牽頭立項《人工智能 具身智能 數據采集規范》工信部行業標準,這是國內第一個具身智能數據集的行業標準,規范了具身智能數據集采集的格式,使不同公司采集的數據可以互相共享開源,能夠加速模型“涌現”。創新中心未來還將設計一系列數據集標準,為模型泛化保駕護航。
在12月的具身智能創新發展研討會上,創新中心正式發布了《具身智能標準化研究報告》、《具身智能數據集及評測研究報告》(即RoboMIND)兩項重磅報告,為行業的標準化與數據集建設提供指引。具身智能數據集采集標準的建立將進一步明確具身智能數據要求及質量等,從而加速具身智能行業的良性發展。
作為訓練具身智能大模型的重要原料,數據集采集是否符合標準、在訓練上是否“能用”、“好用”,是否能更有效支持模型泛化,已經成為機器人變“聰明”的關鍵。本次創新中心數據集的開放和benchmark的發布,在標準化、有效性和通用性方面均給出了令人矚目的突破性結果,并為此后行業的高質量數據集采集打下了堅實基礎。具身智能行業有望以此為開端,在2025年實現更多的落地應用。
新時代鞋服物流與供應鏈面臨的變革和挑戰03月07日 20:38
點贊:這個雙11,物流大佬一起做了這件事11月22日 21:43
物流管理機構及政策分布概覽12月04日 14:10
盤點:2017中國零售業十大事件12月12日 13:57
2017年中國零售電商十大熱點事件點評12月28日 09:58