午夜国产在线观看_69xx视频在线观看_五月久久六月婷婷俺也去_国产精品一区二区日韩新区_国产精品第一页爽爽影院_靠比视频免费观看

智元機器人聯合香港大學推出的UniVLA入選 RSS 2025 并開源! 發布時間:2025-05-14 18:01:00


導 言 

現有具身模型沒有充分利用更加多樣的視頻數據,難以適應未訓練過的新任務與新場景,通用性受限。為此,智元機器人聯合香港大學提出UniVLA:一個具備跨機器人本體、場景與任務泛化能力的通用策略學習系統。它構建了以任務為中心的隱式動作空間,充分利用語言描述與視頻示范進行策略學習,實現了從“看視頻”、“聽指令”到“動手操作”的通用控制。該成果已被機器人頂會 RSS 2025 認可,同時代碼也已經開源,并成為全球頂尖機器人賽事 AgiBot World Challenge @ IROS 2025【點擊文字跳轉相關文章】 的baseline之一。


想象一下在不遠的未來,通用機器人真正走進了日常生活。我們希望當你發出一條自然語言指令,無論是“幫我給貓喂食”,還是“幫我關掉臺燈”,它都能夠理解你的意圖,并準確地完成動作——不依賴預定義的任務模板,也不受限于曾經訓練過的數據分布。


然而,現有的機器人系統往往依賴人工標注的數據與固定的動作空間,面對那些未被明確訓練過的任務或非典型場景,它們常常會因為“未見過”“無定義”而選擇拒絕執行,嚴重限制了通用性的發揮。有沒有一種能夠從更廣泛的數據來源,如從互聯網上的人類視頻中學習動作的方法,并實現多種場景、任務的真正通用和泛化呢?


最近,智元機器人聯合香港大學基于此提出了全新框架——UniVLA,一個跨本體、跨場景、跨任務的通用策略學習系統,就像為機器人安裝了“跨界大腦”,實現了從“看視頻”、“聽指令”到“動手操作”的通用控制。


圖片

UniVLA:跨本體、跨場景、跨任務的通用策略


論文地址:

https://www.arxiv.org/abs/2505.06111

? 開源代碼

https://github.com/OpenDriveLab/UniVLA


以往的通用模型如 RT-2、OpenVLA 雖已初具通用模型之勢,但依然存在諸多瓶頸:


  • 訓練數據源單一:訓練時只使用大量人工采集的真機示范數據,沒有充分利用更加多樣的視頻數據。

  • 缺乏通用性和跨平臺適配能力:換個機器人,動作空間就全得重來。

  • 推理慢且精度不穩:自回歸預測方式對錯誤累積敏感,執行效率不高。


UniVLA 選擇了一條更具前瞻性的路徑:不再直接預測每一步動作,而是構建一個任務中心的隱式動作空間,在這個“中間表征”上統一訓練與泛化策略,不僅可以有效解決上述瓶頸,同時也能夠以更低的計算資源消耗實現更優的效果。


UniVLA的核心創新在于構建了以任務為中心的隱式動作空間(task-centric latent action space),讓模型可以從海量無標簽視頻中學習任務相關且高效泛化的動作表示,只在人類視頻數據(Ego4D)上預訓練,就可以在LIBERO仿真平臺上達到SOTA級別效果。經過預訓練后同一模型可以同時完成操作與導航等任務,實現了通用的動作學習。



為什么是隱式動作?

因為它既“壓縮信息”,又“對齊知識”


傳統的通用模型如OpenVLA采用自回歸策略直接預測每一步動作,推理速度慢且魯棒性不強。UniVLA則另辟蹊徑,將動作預測劃分為三個階段:


1. 隱式動作學習:

從海量跨領域視頻中“默默學習”,通過逆動力學建模并使用VQ-VAE進行離散化,構建出對任務理解更強、更緊湊的隱式動作空間;

2. 通用策略預訓練:

借助Prismatic-7B等大模型架構,將視覺觀察與語言指令編碼為統一輸入,預測隱式動作序列,從而實現具身無關的通用策略;

3. 動作解碼與部署:

使用輕量化解碼器將隱式動作轉譯為真實機器人控制信號,作為下游的控制策略,從而能夠在多款機器人平臺上進行快速適配和部署,輕裝上陣、高效執行


圖片

UniVLA的前兩階段訓練策略


相比 OpenVLA 那種直接在動作空間里“硬解”的做法,UniVLA 的“隱式編碼”(Latent Encoding)策略有幾個顯著優勢:


1. 可以更好的利用視頻數據,泛化范圍大:

只需視頻和語言,就能從互聯網視頻數據中學技能,提取動作;

2. 壓縮維度,降低計算成本:

動作空間被有效壓縮,推理速度從<5Hz 提升至 10Hz+;

3. 適配靈活,遷移效率高:

由于隱式動作具有通用性,故只需輕量微調,就能部署到不同機器人上,下游數據效率拉滿。


數據算力所需更少,性能反而更強


相比OpenVLA,UniVLA在計算效率和適配能力上表現出壓倒性優勢:預訓練GPU時長僅為其1/20,卻在多個任務和平臺上實現性能的全面超越。


在LIBERO、CALVIN等多個操控基準測試中,UniVLA展現出優越的通用性與任務適應能力,在四項評估指標中成功率平均提升達18.5%。更值得注意的是,僅使用人類視頻預訓練(Ego4D),UniVLA也能在LIBERO-Goal中達到SOTA效果。同時只需要10%的數據就在LIBERO-Goal上達到了SOTA效果(62.4%),優于同樣數據量訓練下的OpenVLA(11.6%)和 OpenVLA-OFT(43.0%),數據利用效率如同開掛。


圖片

LIBERO 實驗結果


更重要的是,UniVLA以其結構化的隱式動作空間設計,天然具備擴展性與數據可擴展性:無論是引入更多人類示范作為提取隱空間表征的與訓練,還是增加新的機器人平臺僅通過輕量微調即可遷移適配,實現跨具身、跨視角、跨任務的全面通用。


在真實機器部署中,受益于僅12M參數的簡單動作解碼器以及高效的隱空間動作表征,UniVLA可以實現(閉環)10Hz以上的實時推理控制,在多個任務中(如“清理案板”、“疊漢諾塔”等)展現出高精度、高魯棒的操作能力,平均成功率達到80%+,推理時延遠低于OpenVLA,打通了通用大模型到落地應用的可能路徑。


圖片

UniVLA在真機實驗表現出色


同時在設計的若干泛化實驗中,面對各種泛化挑戰,它不僅不社恐,還能“快準穩”上手。通用的隱式動作空間+異構數據的預訓練,讓它不止是“聰明”,而且真“通用”。


圖片

UniVLA在不同泛化條件下的表現


多虧了UniVLA的‘隱式動作+通用訓練’,UniVLA能夠充分在大量異構數據(操作、導航甚至人類視頻)中進行學習,并能夠有效容納足夠多的知識,單全收,越學越強。


圖片

UniVLA的異構數據擴展能力


少樣本情況下UniVLA性能優勢盡顯,在LIBERO長程任務基準上僅用10%數據(不到50條demo,平均每個任務僅5條)擊敗了全量數據微調的OpenVLA。


圖片

UniVLA在少樣本情況下的表現


UniVLA的方法不僅代表了視覺語言動作模型(VLA)領域的一次突破,更為“通用機器人智能”提供了新的思考與貢獻:從像素重建走向語義解耦的隱式動作學習、從高耗能預訓練走向輕量高效的跨本體適配、從單一機器人數據閉環走向人類視頻與多本體數據的開放協同。


- END -


主站蜘蛛池模板: 久久夜夜操_欧美午夜寂寞影院_老美黑人狂躁亚洲女_欧美a级黄_青青草视频免费看_男人深夜影院_欧美性黑人极品hd_69影院少妇在线观看 | 亚洲一区二区黄_成人网6969conwww_欧美1页_女人高潮潮叫免费视频_ririai886国产在线观看_蜜桃视频观看麻豆_哥也色视频_99热成人 精品av天堂毛片久久久_99热com_99re在线国产_夜色爽爽影院18禁妓女影院_亚洲国产片在线观看_麻豆91精品91久久久的内涵_最新中文字幕在线资源_日韩中文幕 | 国产欧美自拍_亚洲色噜噜噜在线观看_国产成人精品微拍视频_嫩草在线视频WWW免费看_a中文字幕解说在线_本土又黄又粗天天躁性爱视频_在线观看美女网站大全免费_一级做人爱c黑人影片 | 日本不卡视频一二三区_亚洲区成人_插下面视频_aaa在线免费观看_av中文字幕久久专区_亚洲一区二区三区四区五区_日本一区二区精品视频_曰曰摸天天添天天湿 | 真实国产乱人伦在线视频播放_国产一区二区免费网站_青娱乐这里只有精品_亚洲国产天堂一区二区三区_久久第三页_精品熟人妻一区二区三区四区不卡_日本a片大尺度高潮无码_午夜视频在线观看一区 | 九色porny丨首页入口网页_国产在线观看高清视频黄网_影音先锋中文字幕一区二区_99人人看_日韩成人一区_91高清观看_中文字幕亚洲综合久久_婷婷夜色潮精品综合在线 | 麻豆亚洲_一级毛片在线免费观看_久久伊人精品波多野结衣_国产福利精品导航_色91精品久久久久久久久_白丝无内液液酱夹腿自慰_亚洲专区av_男女在一起拔萝卜免费视频大全 | 浪潮av色综合久久天堂_澳门久久精品_免费观看国产成人_老子影院午夜_伦理三区_久久久7_久久国产精品一区二区_久久泄欲网久久精品性色 | av久久网站_中文字幕永久免费_免费人成激情视频在线观看冫_狠狠丁香_久久伊人综合_色婷婷综合久久久中字幕精品久久_亚洲免费视频网址_深夜福利亚洲 | 99精选视频_一区二区国产日产_蜜桃a∨噜噜一区二区三区_三级av在线_a视频免费在线观看_精品日韩在线播放_国产成人久久精品激情_国产69精品久久久久999小说 | 日本a优视频_AV日韩人妻黑人综合无码_亚洲精品永久视频_一级片日韩_www.噜噜噜_2018天天干夜夜操_内谢69ⅹxxx免费视频_69久久无码一区人妻A片 | 国产精品99久久99久久久_欧美韩日精品_久久的久久爽亚洲精品aⅴ_善良的人妻被水电工侵犯_国产精品亚洲产品一区二区三区_日本欧美一区二区三区在线观看_久久久久国产亚洲AV麻豆_中国一级簧片 | 欧美性战a久久久久久_欧美性爱一区三区_大地免费资源观看_精品1区2区3区4区_国产在线榴莲视频导航_97久久精品人人槡人妻人人玩_一级红色毛片_国产AV无码专区亚洲版 | 亚洲国产精品成人综合色在线_中文字幕国语版毛片免费_精品视频第一页_国内高清久久久久久_亚洲精品国产suv_成人毛片视频免费_欧美成人综合视频_一区二区三区在线 | 日韩av视屏_久久麻花精品一二三区_99福利影院_国产激情精品久久久第一区二区_奇米在线_女女女女擦bbb毛片_日本天堂在线播放_www日韩 | 国产在线一区视频播放_狠狠操91_免费看男女高潮又爽又猛视_欧美色蜜桃97_亚洲欧洲综合有码无码_日本人伦一区二区三区_日本逼视频_国产一级牲交高潮片16 | 老师黑色丝袜被躁翻了AV_国产性在线观看_国产精品久久久视频_av影片在线_无遮无挡三级动态图_亚洲AV无码片VR一区二区三区_日日干b_欧美一级在线 | 国产19页_亚洲日韩精品欧美一区二区_日本中文字幕视频在线观看_国产在线看片_中文字幕AⅤ在线视频_亚洲鲁丝片一区二区三区_亚洲1区_亚洲午夜一区 | 国产成人亚洲精品另类动态图_国内色视频_四虎影视1515www_日本乱偷中文字幕久久久_青青草AV国产精品_丁香五月天缴清在线_很黄很色的动态图_fset一633在线播放 | 欧美精品欧美精品系列c_国产a一级毛片_少妇人妻系列无码专视频区_韩日av网站_色婷婷久久久久swag精品_JULIA无码中文字幕一区_日日骚视频_能在线看的av | 国产午夜精品理论片a大结局_69激情视频_欧美人与动性xxxxBBBB_久久人爽人人爽人人片AV_少妇人妻88久久中文字幕_日本国产精品视频_在线观看av播放_亚洲欧美另类在线图片区 | 欧美肥妇毛多水多BBXX_亚洲国产制服_国产成人久久精品77777综合_永久天堂网AV手机版_久久天堂网_人人天干天干啦夜天干天天爽_成人深夜www视频免费软件_欧美区视频 | 97视频入口_美女夫妻内射潮视频_欧美3p两根一起进高清视频_国产在线不卡_超碰在线最新地址_国产视频只有这里有精品最新_99国产精品99久久久久久粉嫩_成人在线视频国产 | 91精品在线播放视频_国产黄色视_中文字幕视频在线观看_一区二区三区入口_中文字幕在线1_爽死你欧美大白屁股在线_久免费视频_成人天堂入口网站 | 99ri精品国产亚洲_精品国产乱码久久久久久蜜臀_制服在线无码专区_中文字幕无线乱码人妻_国产精品毛片一区二区在线_丁香婷婷六月综合网_亚洲永久av_久久久亚洲欧美 | 精品99久久_日本人妻人人人澡人人爽_黄色片免费看_黄绝一级毛片_国产精品性色一区二区三区_天天做爰天天爽_性暴力欧美猛交在线播放_久久精品国产亚洲77788 | 日韩国产高清在线_亚洲成人日本_亚洲综合播放_色九九影院_在线一级成人_亚洲午夜精品视频_欧美a级在线观看_亚洲自偷自偷偷色无码中文 | 久久久久久臀欲欧美日韩_国产免费片_五月久久六月婷婷俺也去_久草在线欧美_一级片片_91大神精品视频_91麻豆精品国产91久久久_国产欧美精品 | 亚洲av制服丝袜日韩高清_亚洲国产综合专区在线播放_一二三四在线观看视频韩国_最近免费观看在线中文2019_亚洲综合色久_日韩网站在线播放_亚洲成av人片在线观看高清_大地资源网高清视频免费观看 | 久久久久中精品中文字幕19_奇米影视777四色狠狠_日本高清在线播放_国产人妻aⅴ色偷_av最新地址_国产无人区二卡三卡四卡不见星空_一级黄色带片_18成人片黄网站WWW | KTV少少爷互囗交Gaygv_99中文字幕一区_99综合网_亚洲第一大网站_超碰网在线观看_成人免费毛片果冻_99国产精成人午夜视频一区二区_欧美亚洲专区 | 欧美成aⅴ人高清WW_亚洲色大成网站WWW永久麻豆_成全视频免费高清观看在线动漫_亚洲VA在线VA天堂VA欧美VA_2023天天操_视屏一区_a视频免费观看_国产成人综合久久精品 | 久久久久国产精品免费a片记大片_国产五月色婷婷六月丁香视频_亚洲人体一区二区_成人国产网址_51社区精品视频在线视频观看软件_日本一道高清_手机午夜看片_小箩莉h文徐韵婷合集小说 | 夜夜艹天天干_亚洲情区_超碰在线官网_欧美人与禽2O2O性论交_欧美精品日日鲁夜夜添_成年免费无码动漫AV片在线观看_日本老肥婆BBBWBBBWZR_成人AV综合在线网站 | 久久亚洲99精品2021_亚洲无码偷拍福利_日批视频在线观看网站_俄罗斯freeⅹ性欧美_操欧美丝袜_最好看免费中文字幕2018_国产精品丝袜黑色高跟鞋_天天草天天干 | 99re热这里只有精品18_六度影院鲁鲁片在线看_亚洲综合另类欧在线美_一级片影院_91精品国产综合久久精品_久久黄视频_国产欧美精品一区二区三区-老狼_玖玖爱国产精品 | 伊人久久精品一区二区三区_男人的午夜影院_aaaa视频_青青伊人影院_国产91精品入口_97影院理论片手机在线观看_国产97色在线_久久最新最热 | 老头天天吃我奶躁我的视频_男人的天堂AV亚洲一区2区_亚洲高清不卡视频_超碰在线c_亚洲A∨无码男人的天堂_无码色av一二区在线播放_99热最新精品_国产裸体视频网站 | 性色欲情侣网站WWW_免费a级毛片无码∨_高清免费在线视频_日本三级在线看一区二区_天下第一社区视频WWW国语_黄色免费大全_欧美三日本三级少妇三99大粗_久久厕所偷拍视频 | 国产精品人成视频免费播放_亚洲欧美一区二区三区_精品中国亚洲_强奷人妻日本中文字幕_免费国产一级_亚洲а∨天堂久久精品喷水_热re91久久精品国99热蜜臀_亚洲成人精品网 | 亚洲精品久久久久无码AV片软件_日本国产欧美大码a视频_欧美一区二区三区视频在线_久久国产精品偷_日本午夜精品视频_日日干夜夜撸_www.久色_欧美视频完全免费看 |