午夜国产在线观看_69xx视频在线观看_五月久久六月婷婷俺也去_国产精品一区二区日韩新区_国产精品第一页爽爽影院_靠比视频免费观看

智元機器人聯合香港大學推出的UniVLA入選 RSS 2025 并開源! 發布時間:2025-05-14 18:01:00


導 言 

現有具身模型沒有充分利用更加多樣的視頻數據,難以適應未訓練過的新任務與新場景,通用性受限。為此,智元機器人聯合香港大學提出UniVLA:一個具備跨機器人本體、場景與任務泛化能力的通用策略學習系統。它構建了以任務為中心的隱式動作空間,充分利用語言描述與視頻示范進行策略學習,實現了從“看視頻”、“聽指令”到“動手操作”的通用控制。該成果已被機器人頂會 RSS 2025 認可,同時代碼也已經開源,并成為全球頂尖機器人賽事 AgiBot World Challenge @ IROS 2025【點擊文字跳轉相關文章】 的baseline之一。


想象一下在不遠的未來,通用機器人真正走進了日常生活。我們希望當你發出一條自然語言指令,無論是“幫我給貓喂食”,還是“幫我關掉臺燈”,它都能夠理解你的意圖,并準確地完成動作——不依賴預定義的任務模板,也不受限于曾經訓練過的數據分布。


然而,現有的機器人系統往往依賴人工標注的數據與固定的動作空間,面對那些未被明確訓練過的任務或非典型場景,它們常常會因為“未見過”“無定義”而選擇拒絕執行,嚴重限制了通用性的發揮。有沒有一種能夠從更廣泛的數據來源,如從互聯網上的人類視頻中學習動作的方法,并實現多種場景、任務的真正通用和泛化呢?


最近,智元機器人聯合香港大學基于此提出了全新框架——UniVLA,一個跨本體、跨場景、跨任務的通用策略學習系統,就像為機器人安裝了“跨界大腦”,實現了從“看視頻”、“聽指令”到“動手操作”的通用控制。


圖片

UniVLA:跨本體、跨場景、跨任務的通用策略


論文地址:

https://www.arxiv.org/abs/2505.06111

? 開源代碼

https://github.com/OpenDriveLab/UniVLA


以往的通用模型如 RT-2、OpenVLA 雖已初具通用模型之勢,但依然存在諸多瓶頸:


  • 訓練數據源單一:訓練時只使用大量人工采集的真機示范數據,沒有充分利用更加多樣的視頻數據。

  • 缺乏通用性和跨平臺適配能力:換個機器人,動作空間就全得重來。

  • 推理慢且精度不穩:自回歸預測方式對錯誤累積敏感,執行效率不高。


UniVLA 選擇了一條更具前瞻性的路徑:不再直接預測每一步動作,而是構建一個任務中心的隱式動作空間,在這個“中間表征”上統一訓練與泛化策略,不僅可以有效解決上述瓶頸,同時也能夠以更低的計算資源消耗實現更優的效果。


UniVLA的核心創新在于構建了以任務為中心的隱式動作空間(task-centric latent action space),讓模型可以從海量無標簽視頻中學習任務相關且高效泛化的動作表示,只在人類視頻數據(Ego4D)上預訓練,就可以在LIBERO仿真平臺上達到SOTA級別效果。經過預訓練后同一模型可以同時完成操作與導航等任務,實現了通用的動作學習。



為什么是隱式動作?

因為它既“壓縮信息”,又“對齊知識”


傳統的通用模型如OpenVLA采用自回歸策略直接預測每一步動作,推理速度慢且魯棒性不強。UniVLA則另辟蹊徑,將動作預測劃分為三個階段:


1. 隱式動作學習:

從海量跨領域視頻中“默默學習”,通過逆動力學建模并使用VQ-VAE進行離散化,構建出對任務理解更強、更緊湊的隱式動作空間;

2. 通用策略預訓練:

借助Prismatic-7B等大模型架構,將視覺觀察與語言指令編碼為統一輸入,預測隱式動作序列,從而實現具身無關的通用策略;

3. 動作解碼與部署:

使用輕量化解碼器將隱式動作轉譯為真實機器人控制信號,作為下游的控制策略,從而能夠在多款機器人平臺上進行快速適配和部署,輕裝上陣、高效執行


圖片

UniVLA的前兩階段訓練策略


相比 OpenVLA 那種直接在動作空間里“硬解”的做法,UniVLA 的“隱式編碼”(Latent Encoding)策略有幾個顯著優勢:


1. 可以更好的利用視頻數據,泛化范圍大:

只需視頻和語言,就能從互聯網視頻數據中學技能,提取動作;

2. 壓縮維度,降低計算成本:

動作空間被有效壓縮,推理速度從<5Hz 提升至 10Hz+;

3. 適配靈活,遷移效率高:

由于隱式動作具有通用性,故只需輕量微調,就能部署到不同機器人上,下游數據效率拉滿。


數據算力所需更少,性能反而更強


相比OpenVLA,UniVLA在計算效率和適配能力上表現出壓倒性優勢:預訓練GPU時長僅為其1/20,卻在多個任務和平臺上實現性能的全面超越。


在LIBERO、CALVIN等多個操控基準測試中,UniVLA展現出優越的通用性與任務適應能力,在四項評估指標中成功率平均提升達18.5%。更值得注意的是,僅使用人類視頻預訓練(Ego4D),UniVLA也能在LIBERO-Goal中達到SOTA效果。同時只需要10%的數據就在LIBERO-Goal上達到了SOTA效果(62.4%),優于同樣數據量訓練下的OpenVLA(11.6%)和 OpenVLA-OFT(43.0%),數據利用效率如同開掛。


圖片

LIBERO 實驗結果


更重要的是,UniVLA以其結構化的隱式動作空間設計,天然具備擴展性與數據可擴展性:無論是引入更多人類示范作為提取隱空間表征的與訓練,還是增加新的機器人平臺僅通過輕量微調即可遷移適配,實現跨具身、跨視角、跨任務的全面通用。


在真實機器部署中,受益于僅12M參數的簡單動作解碼器以及高效的隱空間動作表征,UniVLA可以實現(閉環)10Hz以上的實時推理控制,在多個任務中(如“清理案板”、“疊漢諾塔”等)展現出高精度、高魯棒的操作能力,平均成功率達到80%+,推理時延遠低于OpenVLA,打通了通用大模型到落地應用的可能路徑。


圖片

UniVLA在真機實驗表現出色


同時在設計的若干泛化實驗中,面對各種泛化挑戰,它不僅不社恐,還能“快準穩”上手。通用的隱式動作空間+異構數據的預訓練,讓它不止是“聰明”,而且真“通用”。


圖片

UniVLA在不同泛化條件下的表現


多虧了UniVLA的‘隱式動作+通用訓練’,UniVLA能夠充分在大量異構數據(操作、導航甚至人類視頻)中進行學習,并能夠有效容納足夠多的知識,單全收,越學越強。


圖片

UniVLA的異構數據擴展能力


少樣本情況下UniVLA性能優勢盡顯,在LIBERO長程任務基準上僅用10%數據(不到50條demo,平均每個任務僅5條)擊敗了全量數據微調的OpenVLA。


圖片

UniVLA在少樣本情況下的表現


UniVLA的方法不僅代表了視覺語言動作模型(VLA)領域的一次突破,更為“通用機器人智能”提供了新的思考與貢獻:從像素重建走向語義解耦的隱式動作學習、從高耗能預訓練走向輕量高效的跨本體適配、從單一機器人數據閉環走向人類視頻與多本體數據的開放協同。


- END -


主站蜘蛛池模板: 亚洲欧美中文在线视频_国产的毛片_老司机av福利_久久伊人免费视频_无码毛片一级高潮免费视频_精品欧美久久久_亚洲第一狼人天堂久久_精品区2区3区4区产品乱码9 | 免费偷拍视频_免费看黄网站在线观看_久久www色情成人免费观看_狠狠人妻久久久久久综合_一区二区精品在线_99国产精品久久久久久久久久久_亚洲中又文字幕精品av_一二三不卡视频 | 久久国产播_www.狠狠撸.com_国内精品少妇在线播放_打屁股狠网站spαnkvieos_国产农村乱辈无码_国产亚洲精久久久久久蜜臀_2020年国产精品_一区二区三区产品乱码的解决方法 | 国产欧洲精品色在线_自拍偷自拍亚洲精品一区_国产区一区二区三区_亚洲区一区二区三_国产浓毛大BBWBBW_五月婷婷一区二区三区_ririai66在线视频观看_欧美成人基地 | 好男人在线影院官网WWW_漂亮人妻被强中文字幕久久_公和熄小婷乱中文字幕_CHESE老妇MON熟女_日色视频_一级黄色在线播放_特级bbbbbbbbb视频_亚洲精品久久久久国产 | www.夜夜骑.com_亚洲一级毛片视频_精品久久久久久乱码天堂_亚洲视频三区_欧美亚洲_美女视频黄频大全免费_青青草原在线免费观看视频_草逼欧美 亚洲精品乱码日本按摩久久久久_免费久久精品视频_九九色网站_久久成人秘免费无码_女友的滋味在线观看_极品少妇hdxx麻豆hdxx_伊人婷婷涩六月丁香七月_香港午夜三级A三级三点在线观看 | 日产一级毛片_日韩精品www_午夜老司机在线观看_国产欧美二区_亚洲av产在线精品亚洲第一站_日本少妇色xxxxx中国免费看_香港一级毛片_色男人天堂 | 在线观看亚洲av每日更新_伊人55_久久久久久久久久久久久久久99_国产午夜精品理论片_波多野结衣久久_国产碰碰_国产一级淫片久久久片a级_国产免费女同互wei观看 | 欧美一级大片免费看_在线日韩小视频_精品无码久久久久久尤物_一道本AV免费不卡播放_91麻豆产精品久久久久久_毛片91_99久久99久久久精品齐齐_无码人妻丰满熟妇奶水区码 久久亚洲免费视频_韩国一级黄色录像_国产极品美女到高潮_妺妺窝人体色WWW视频_日韩精品真人荷官无码_日韩AV无码一网二网三网_91亚洲精品久久久久图片蜜桃_segui88久久综合9999 | 国产在线观看免费嗯呐_办公室高h荡肉呻吟在线观看_国产区精品_色aⅴ色av色av偷拍_亚洲精品在线视频观看_婷婷视频导航_国产一级大片_hdsex麻豆 | 国产情侣酒店自拍_jojo的奇妙冒险星尘斗士埃及篇免费观看_孕交VIDEOSGRATIS孕妇性欧美_日韩影院一区二区_日韩视频中文字幕精品偷拍_91麻豆国产级在线_国产人久久人人人人爽_久久夜av | 台湾无码一区二区_中国黄色毛片视频_日本国产在线观看_黄色片毛片_神马视频在线观看_欧美日韩在线看_一本大道久久精品懂色aⅴ_午夜影片 | 久久综合久久受_日韩成人不卡_精品国产一区二区精华_怡春院快播_a级黄色毛片_亚洲福利精品_成人视屏网站_久久91精品国产91久久 | 欧美a色_午夜光棍福利_91夜夜_大尺度露器官的三级_色爱区成人综合网_99视频国产热精品_国产精品免费久久久久软件_99亚洲男女激情在线观看 | 国产精品久久久久久久久齐齐_亚洲理论_少妇人妻14页_麻花色_中文屏幕乱码av_久久久久久福利视频_60老熟女多次高潮露脸视频_精品国产一区二区三区av小说_毛片123 精品av中文字幕在线毛片_中国一级片_日批一级片_高清成人爽a毛片免费_美景之屋5在线观看_欧美乱妇无码毛片_中文亚洲成A人片在线观看_国产成人无码A区在线观看视频不卡 | 亚洲欧美中文在线视频_国产的毛片_老司机av福利_久久伊人免费视频_无码毛片一级高潮免费视频_精品欧美久久久_亚洲第一狼人天堂久久_精品区2区3区4区产品乱码9 | 欧美国产日韩一区在线观看_国产精品入口免费视_国产精品一区二区女厕厕_91精神视频在线_国产乱子伦普通话对白_亚洲一卡二卡三卡四卡_国产女人高潮视频在线观看_欧美一级视频网站 | 麻豆第一区mv免费观看网站_国产精品久久久久9999赢消_麻豆亚洲精品_亚洲美女高潮久久久久潘金莲_色视在线_www.日本久久_伊人啪啪网_男女拍拍免费视频 | 永久免费AV无码网站在线观看_成人三级在线_成人无码精品一区二区三区_成品片a免人视频_国产嫖妓一区二区三区无码_色欧美99_国产人妖在线播放_亚洲av人人澡人人爽人人夜夜 | 美女高潮久久久_久久久99999_91多人xxx少妇_亚洲精品午睡沙发系列_两个人免费高清视频WWW_国产成人免费视频网站高清观看视频_丝袜一区二区三区_国产成年无码AV新网站 | 四虎在线免费观看_精品久久久亚洲_亚洲国产精品久久久久婷蜜芽_麻豆网在线观看_中国一级黄色毛片_久久综合久久鬼色_中文字幕在线_国产精品久久久久一区二区三区 | 欧美日韩另类一区二区_人人人人人你人人人人人_国产精品久久久久av免费_亚洲精品无码久久千人斩_欧美日韩在线精品一区二区三区激情综合_久久精品视频播放_午夜影院在线免费观看_国产黄片av毛片系列 | 欧美激情高潮无遮挡_成人无码区免费a片www_成年女人免费视频播放人_2015天堂网_精品一二三区视频_久久久天堂国产精品女人_成人无码潮喷在线观看_亚洲AV永久无码天堂网毛片 | 国产成人精品无码A区在线观看_日本黄色免费在线_妺妺窝人体色WWW在线_91一区视频_天堂一区一卡二卡视频_老师洗澡让我吃她胸视频_国产精产国品一二AAA片_国产综合?V一区二区三区无码 | 男女av免费观看_蜜臀一二三_懂色av色香蕉一区二区蜜桃_japanese爆乳boobvideos巨大_青青草成人自拍_成人免费ā片在线观看_1000部啪啪未满十八勿入免费_最近中文字幕完整在线看一 | 91精品啪在线观看国产足疗_特级毛片全部免费播放_日本一区二区三区免费在线_国产va在线观看_中文字幕日韩综合av_91在线视频网址_一级片在线免费看_久久久91精品国产一区二区三区 | 精品专区一区二区_无码中文资源在线播放_潮喷无码正在播放_99热这里只精品_香蕉欧美_黄片毛片_九九香蕉视频_午夜影院一区 | 黑人狂躁日本妞hd_亚洲欧洲日产国码无码_日韩一区二区a片免费观看_久久之久久_日本va在线视频播放_欧美日韩欧美_在线免费观看国产_自拍偷拍99 | 成人无毒网_2021国产va在线_亚洲欧美国产另类视频_欧美一级淫_免费观看裸体美女网站_中国av高清_国产精品99久久精品_免费精品在线视频 欧美人与动牲交A免费观看_一本色道综合久久亚洲精品_变态孕交videosgratis孕妇_国模无码视频一区二区三区_无码精品人妻一区二区三刘亦菲_一级片视频播放_一级成人毛片_FUCK东北老女人HD对话 | 女人高潮娇喘抽搐喷水视频_萍萍的性荡生活第六季_亚洲欧美日韩久久精品第一区_亚洲一区二区中文字幕在线观看_伊人WWW22综合色_亚洲国产欧美国产第一区_日韩性做爰免费A片AA片_黄色录像在线免费观看 | 一般男女モニタリングav_大地影院高清mv在线观看_在线国产一区二区_久久无码中文字幕东京热_国产精品视频一区二区三区四蜜臂_新呦u视频一区二区_中文字幕一二三_中文字幕一级毛片无码视频 | 欧美大码少妇_超碰一区二区_狠狠久久精品中文字幕无码_久久综合射_亚洲精品无码成人AAA片_色wwww全部免费_免费毛片一级_希岛爱理aⅴ在线中文字幕 | 最新综合精品亚洲网址_粉嫩绯色av一区二区在线观看_91视频插插插_日日操爱视频_久久精品牌麻豆国产大山_久久精品视频网_日韩精品一区二区在线观看视频_亚洲精品一区二区三天美 | 波萝蜜A毛黄AAA片_国产高清在线精品_久久久视频免费观看_欧美一区二区三区性视频_免费无码成人av在线播_91av国产在线_亚洲第一AAAAA片_米奇777在线观看 | 少妇日p_国产女同91疯狂高潮互磨_精品一区在线免费观看_铠甲勇士第一部免费观看_国产精口品美女乱子伦高潮_日韩精品在线免费_日韩亚洲视频在线_操人视频免费 | 中日韩精品无码一区二区三区_国产精品福利视频一区_国产成人一区二区视频免费_国产精品麻豆视频国产馆_日本国产一区二区三区在线观看_free国产粉嫩熟妇xxxhd_国产精品无码久久综合_激情影院内射美女 | 国产精品99久久99久久久_欧美韩日精品_久久的久久爽亚洲精品aⅴ_善良的人妻被水电工侵犯_国产精品亚洲产品一区二区三区_日本欧美一区二区三区在线观看_久久久久国产亚洲AV麻豆_中国一级簧片 | 色欲AV蜜桃一区二区三_日韩激情中文字幕_亚洲一区二区三区免费看_日韩深夜视频_国产精品久国产精品_久久福利视频一区_日本高清WWW午色夜在线视频_人与性动交AAAABBBB视频 | 毛片免费视频在线观看_日韩伦乱_97欧美精品系列一区二区_国产精品亲子乱子伦xxxx裸_操喷视频_欧美蜜桃视频_天上人间av网_亚洲日韩中文字幕日本 | 米奇狠狠鲁_一级空姐毛片_999精品国产人妻无码系列_91福利在线视频_JULIA无码人妻中文字幕在线_国产精品久久福利网站_极品少妇被猛的白浆直喷白浆_91麻豆精品国产自产 | 一夲道无码人妻精品一区二区_视频一区三区_国产精品一区二区日韩新区_在线精品自拍视频_九一嫩草_日本黄区免费视频观看_CHINESE性内射高清国产_国产精品一区在线 |