午夜国产在线观看_69xx视频在线观看_五月久久六月婷婷俺也去_国产精品一区二区日韩新区_国产精品第一页爽爽影院_靠比视频免费观看

導 言 

智元發布首個通用具身基座模型——智元啟元大模型（Genie Operator-1），它開創性地提出了Vision-Language-Latent-Action (ViLLA) 架構，該架構由VLM(多模態大模型) + MoE(混合專家)組成，其中VLM借助海量互聯網圖文數據獲得通用場景感知和語言理解能力，MoE中的Latent Planner(隱式規劃器)借助大量跨本體和人類操作視頻數據獲得通用的動作理解能力，MoE中的Action Expert(動作專家)借助百萬真機數據獲得精細的動作執行能力，三者環環相扣，實現了可以利用人類視頻學習，完成小樣本快速泛化，降低了具身智能門檻，并成功部署到智元多款機器人本體，持續進化，將具身智能推上了一個新臺階。

研究論文:

https://agibot-world.com/blog/agibot_go1.pdf

2024年底，智元推出了 AgiBot World，包含超過100萬條軌跡、涵蓋217個任務、涉及五大場景的大規模高質量真機數據集。基于AgiBot World，智元今天正式發布智元通用具身基座大模型 Genie Operator-1（GO-1）。

01、GO-1: VLA進化到ViLLA

為了有效利用高質量的AgiBot World數據集以及互聯網大規模異構視頻數據，增強策略的泛化能力，智元提出了 Vision-Language-Latent-Action (ViLLA) 這一創新性架構。GO-1作為首個通用具身基座大模型，基于ViLLA構建。與Vision-Language-Action (VLA) 架構相比，ViLLA 通過預測Latent Action Tokens(隱式動作標記)，彌合圖像-文本輸入與機器人執行動作之間的鴻溝。在真實世界的靈巧操作和長時任務方面表現卓越，遠遠超過了已有的開源SOTA模型。

ViLLA架構是由VLM(多模態大模型) + MoE(混合專家)組成，其中VLM借助海量互聯網圖文數據獲得通用場景感知和語言理解能力，MoE中的Latent Planner(隱式規劃器)借助大量跨本體和人類操作數據獲得通用的動作理解能力，MoE中的Action Expert(動作專家)借助百萬真機數據獲得精細的動作執行能力。在推理時，VLM、Latent Planner和Action Expert三者協同工作：

1. VLM 采用InternVL-2B，接收多視角視覺圖片、力覺信號、語言輸入等多模態信息，進行通用的場景感知和指令理解；

2. Latent Planner是MoE中的一組專家，基于VLM的中間層輸出預測Latent Action Tokens作為CoP(Chain of Planning，規劃鏈)，進行通用的動作理解和規劃；

3. Action Expert是MoE中的另外一組專家，基于VLM的中間層輸出以及Latent Action Tokens，生成最終的精細動作序列；

下面展開介紹下MoE里2個關鍵的組成Latent Planner和Action Expert：

混合專家一：

Latent Planner（隱式規劃器）

混合專家二：

Action Expert（動作專家）

實驗效果

通過Vision-Language-Latent-Action (ViLLA) 創新性架構，我們在五種不同復雜度任務上測試 GO-1，相比已有的最優模型，GO-1成功率大幅領先，平均成功率提高了32%(46%->78%)。其中 “Pour Water”（倒水）、“Table Bussing”（清理桌面） 和 “Restock Beverage”（補充飲料） 任務表現尤為突出。此外我們還單獨驗證了ViLLA 架構中Latent Planner的作用，可以看到增加Latent Planner可以提升12%的成功率(66%->78%)。

02、GO-1具身智能的全面創新

GO-1大模型借助人類和多種機器人數據，讓機器人獲得了革命性的學習能力，可泛化應用到各類的環境和物品中，快速適應新任務、學習新技能。同時，它還支持部署到不同的機器人本體，高效地完成落地，并在實際的使用中持續不斷地快速進化。

這一系列的特點可以歸納為4個方面：

GO-1大模型將加速具身智能的普及，機器人將從依賴特定任務的工具，向著具備通用智能的自主體發展，在商業、工業、家庭等多領域發揮更大的作用，通向更加通用全能的智能未來。