多模態、動作頻率和泛化能力三條主線驅動技術衍變。

1)多模態： 22年4月Saycan發布，能夠根據任務指令在動作庫中輸出Z優動作。22年12月RT1 發布， 動作輸出升J為由Transformer生成的動作Token 。23年3月PaLM-E 發布，較Saycan 在任務理解能力上 顯著升J。23年7月RT2發布，結合RT1和PaLM-E兩者優勢，將動作信息納入模型輸出空間。

2)動作頻率： RT2 只能輸出1-5Hz 的動作序列，為克服這一問題。24年10月π0發布，引入采用 FlowMatch 模型的動作專家，動作輸出升J為50Hz 的動作軌跡。25年2月Helix發布，采用快慢腦結構， 操縱頻率進一步提高，輸出200Hz動作序列。

3)泛化能力： 由于現實世界極其復雜，不可能通過枚舉窮盡所有場景，因此機器人需要具備“零樣本 泛化”能力。縱觀模型發展史，各模型均強調多任務聯合訓練、預訓練遷移能力以及跨平臺遷移能力， 核心目的就是提升零樣本泛化表現。

RT-1: 端到端Transformer控制模型

RT-1實現了端到端的高效控制流程，在真實環境中的多任務執行中展現出極高的穩定性、泛化能力與工 程適應性。實驗表明：1)RT-1可在家庭廚房場景中執行超過700項具體任務，在3000多次真實測試中 平均成功率達97%,典型操作如“移動物品” “打開抽屜”等成功率超過90%;2)模型具備較強的語義 泛化能力，能夠理解并正確響應指令的多種表達方式，例如“請遞杯子”與“幫我拿那個水杯”均能正 確執行；3)具備良好的任務擴展能力，新任務可通過行為克隆(Behavior Cloning) 快速適配，無需重訓 練整個模型，顯著提升數據利用效率與部署靈活性。

RT-1仍受限于任務平臺耦合、語義理解能力弱等問題，在通用性與認知層智能上尚未突破。1)模型在 特定機器人平臺和場景(如廚房)上訓練，遷移到其他平臺需重新收集大量數據，缺乏跨平臺泛化能力； 2)僅使用圖像和指令做輸入，缺乏觸覺、語音等其他模態的感知，對復雜任務(如操作失敗后的反饋修 正)處理力有限；3)缺乏高階規劃機制，執行策略主要依賴短期視覺反饋，難以完成邏輯順序復雜的任 務鏈；4)語言指令解析深度不夠，面對多條件或因果邏輯類表達(如“先清理再放杯子”)的執行準確 率仍不理想。

PaLM-E: 多模態具身語言模型

PaLM-E 在多個具身任務和視覺語言任務中展現出優秀的泛化能力和任務遷移性能。在桌面操作與移動操作 環境中，PaLM-E 能生成多步語言計劃并驅動真實機器人完成如“分類推積木”“從抽屜中取物”等任務， 實現one-shot 和 zero-shot 泛化。此外，PaLM-E-562B 在OK-VQA 等通用視覺語言任務中取得L先成績，并 能進行多圖推理、數學運算與時序感知問答等復雜推理。聯合訓練實驗表明，通過融合多源數據， PaLM-E 在僅用少量具身數據時依然能維持高性能表現。

PaLM-E 在實際部署中仍面臨一定挑戰，主要包括模型規模、推理效率與訓練門檻問題。1)模型體量龐大： 如 PaLM-E-562B 包含540B 的語言模型與22B 的視覺編碼器，推理速度與資源需求高，不適合部署在資源受 限的機器人邊緣設備上；2)訓練成本高：需要預訓練的大模型、圖像編碼器與高質量具身數據，訓練門檻高， 數據采集效率有限；3)低層控制依賴預設策略：高層生成的文本決策仍需靠RT-1等低層策略執行，系統整體 仍未完全閉環自動學習；4)對三維感知場景效果有限：雖然OSRT 引入了神經三維結構表示，但在高度復雜、 動態交互場景中的空間理解仍有提升空間。

RT2

架構&輸出：采用經動作信息訓練的VLA 模型，輸出1-5Hz 的動作序列。 VLM 模型以PaLM-X 或 PaLM-E 為骨干，經過上述方法訓練后成為端到端的VLA 模型。后者在應用中可直接分析經ViT處 理的圖像信息和語言信息，Z后視模型大小輸出1-5Hz的動作序列。

具體流程：當聽到“幫我從冰箱里拿一瓶水的指令時”,由VLM 模型分析圖像和語言信息，直接理 解任務要求，并輸出如手臂旋轉幾度、電機如何運行的動作Token 序列。其相較于RT1, 主要結合 了PaLM-E 推理和決策的優勢，增強了對任務的理解能力。

π0/π0-Fast/π0.5: 引入動作專家，輸出50Hz 動作軌跡

π0: 采 用VLM+ 動作專家，輸出50Hz動作軌跡。 π0由預訓練的VLM (視覺模型SigLIP+LLM 模型 Gemma) 和使用Flowmatch 模型的動作專家組成。圖像信息經ViT后和語言信息一同輸入給VLM, 經其處理后輸入給動作專家，后者結合當前狀態q, 輸出50Hz連續動作軌跡。

π0-Fast: 采用Fast算法+Transformer 動作專家，訓練時間縮短5倍。 Fast算法先將動作軌跡用DCT (離散余弦變換)壓縮，再由BPE (字節對編碼)后生成離散動作Token, 進而可將運動數據放入 動作專家模型中訓練，實際應用中Transformer輸出的動作Token 經Fast解碼后轉為動作軌跡。

π0.5:采用內置策略規劃器的VLA。 類似π0-Fast,將VLM 訓練為VLA, 同時內嵌任務分J模塊。

Helix

●架構&輸出：采用端到端的快慢腦架構，輸出200Hz 動作序列。Helix采用一個7B 參數量的預訓練 VLM 作為慢腦，以及一個80M 參數量的Transformer模型作為快腦。兩個模型解耦，在實際應用中 以不同頻率同時處理圖像及語言訊息，慢腦負責思考高層目標，并以潛在向量指揮快腦，快腦負 責實時執行和調整動作，并輸出200Hz動作序列。同時由于潛在向量的存在，快慢腦可進行梯度 回傳，從而兩者構成一個整體的端到端模型。

● 創新點：實現零樣本多機器人協同以及拾取能力涌現。實驗中，兩臺Figure 02使用Helix次實現 了多機器人間的協作任務。同時， Figure發現，Helix涌現了拾取任意物品的能力。

● 優勢：雙系統架構符合人類思考方式，同時由于模型參數增多會拉慢推理速度，因此若想在兼具 較強推理和運動輸出能力，思考執行分層的快慢腦架構必不可少。

● 改進方向1-優化雙系統架構的融合性：智平方的FiS-VLA 為雙系統架構的融合性提出了創新。現 有的雙系統模型存在兩個系統相對d立，無法充分共享“慢思考”系統預訓練知識的問題，協同 效率低，“快執行”系統缺乏對“慢思考”系統語義推理結果的充分利用。FiS-VLA 提出創新架 構，將VLM末端2層Transformer 模塊重構為“快執行”的執行模塊，嵌入“慢思考”內部，形成 統一的高效推理與控制模型。這種思路既保留了雙系統架構的動作輸出能力，又擁有融合型模型 的貫通理解能力。

● 改進方向2-優化動作輸出模塊能力：FiS-VLA 采用了雙系統感知協同訓練策略，利用擴散建模增 強了“快執行”系統的動作生成能力，更好適配Action Chunking的優勢，動作輸出穩定性提升。