VLAモデルとは? RT-2・π0・GR00Tの論文で行動の出し方を比べる

カメラ画像と言葉の指示からロボットの動きを出すVLAモデルを、RT-2・π0・GR00T N1の論文原文で比べます。行動の表し方、推論の速さ、学習に使ったロボット、評価の条件を整理し、製造・物流で導入を考えるときに確かめる点をまとめました。

研究用の双腕ロボット PR2 / Oleg Alexandrov, CC BY-SA 3.0

結論

2023年7月に公開された Google DeepMind の RT-2 の論文は、ロボットの手先の動きを256段階の数字に区切り、言葉と同じ「トークン(AIが扱う文字の単位)」として出力させました。最大の550億パラメータのモデルはクラウドの TPU でネットワーク越しに動かし、指令は1秒に1〜3回でした。1 1年あまり後の π0 は連続した動きをまとめて作る方式をとり、洗濯物をたたむような作業で最大50Hz(1秒に50回)の制御を示しました。2

VLA(Vision-Language-Action)モデルは、カメラ画像と言葉の指示からロボットの動きを出すAIです。この記事の3つのモデルはどれも研究段階で、数字は論文の実験条件での結果です。工場や倉庫で継続して稼働した記録ではありません。

根拠

RT-2:動きを文字として出す

RT-2 は、画像と文章で学んだ視覚言語モデル(VLM)をロボットの操作データと一緒に学習し直し、この種のモデルを VLA と呼びました。行動は、手先の位置と向きの変化(6自由度)、グリッパーの開き具合、終了の合図の8つの整数です。連続値は256段階に等分し、モデルのトークンのうち256個を行動用に割り当てました。1

評価は約6,000回の試行で、主に7自由度の移動型アームを使いました。データは13台で17か月かけてオフィスのキッチンで集めたものです。学習で見た作業の成功率は RT-1 の92%に対し RT-2 は91〜93%で同程度、初めて見る物体・背景・環境での平均は32%に対し62%でした。一方で、ロボットのデータにない新しい動作は身に付かないという限界も書いています。1

π0:連続した動きをまとめて作る

π0 は、30億パラメータの VLM(PaliGemma)に行動用の3億パラメータを足した33億パラメータのモデルです。入力はカメラ2〜3台の画像、指示、関節角度などの状態です。行動は「フローマッチング」(ノイズから少しずつ形を整えて連続値を作る、拡散モデルの一種)で、1回に50ステップ分(アクションチャンク)を出します。2

市販のGPU(RTX 4090)での推論1回は73ミリ秒で、50Hz のロボットでは0.5秒おきに推論しました。事前学習には、7種類のロボット構成・68作業で集めた約1万時間のデータに、公開データセット OXE を組み合わせて使いました(集め方は別の記事で扱います)。難しい作業は各10回の試行の平均点で、どの作業も満点の50%を超えたとしつつ、「評価したすべての作業が確実に動くわけではない」(編集部訳)とも書いています。2

後継の π0.5 は、同じモデルが「皿を拾う」といった次の小さな作業を言葉で予測してから動きを出し、学習に含まれない家で台所や寝室を片付けました。それでも失敗はあると論文は書いています。4

GR00T N1:考える層と動かす層を分ける

NVIDIA の GR00T N1 では、画像と指示を解釈する VLM(System 2)が L40 GPU 上で10Hz、その出力を受けて動きを作る拡散トランスフォーマー(System 1)が120Hz で動作を出します。公開版は22億パラメータで、16ステップ分を1回63.9ミリ秒で生成します。学習には実機のデータに加え、人の動画や合成データも使いました。3

実機は人型ロボット Fourier GR-1 で、作業のデータで追加学習して試しました。全データでの平均成功率は76.8%で、比べた Diffusion Policy の46.4%を上回りました。部品や工具を箱に入れる、ねじの入ったカップの中身を空けるといった「工業」の3作業では70.0%です。採点は部分点を含み、原則は各作業10回の平均です。対象は主に短い卓上の作業だと、論文は限界を書いています。3

項目 RT-2 π0 GR00T N1
論文の公開 2023年7月(Google DeepMind) 2024年10月(Physical Intelligence) 2025年3月(NVIDIA)
行動の表し方 256段階の行動トークン フローマッチングで50ステップ分の連続値 System 1 がフローマッチングで16ステップ分の連続値
モデルの大きさ 最大550億パラメータ 33億パラメータ 22億パラメータ
速さ(論文の条件) 1秒に1〜3回(550億、クラウドの TPU) 推論1回73ミリ秒(RTX 4090)、制御は最大50Hz 16ステップを63.9ミリ秒(L40)
実機評価の主なロボット 7自由度の移動型アーム 単腕・双腕・移動型の7構成 人型ロボット Fourier GR-1

編集部の見方:導入判断で確かめる3つの点

1つ目は「Hz」が何の周期かです。π0 の50Hz は動きを実行する周期で、推論は0.5秒おきでした。2 Physical Intelligence は2025年6月のブログで、π0・π0-FAST・π0.5 では動きのまとまりを実行し終えてから次の推論を待つ方式を使い、その間に止まる時間があったと説明しています。ネットワーク越しに推論する移動ロボットの例では、モデルの97ミリ秒を含め1回139ミリ秒でした。5 ラインの速度に合わせる工程では、推論1回の時間、計算機、ロボットの中で動かすかネットワーク越しかを分けて聞く必要があります。

2つ目は、学習に使ったロボットと自社の機体の違いです。π0 の難しい作業や GR00T N1 の実機の数字は、その作業のデータで追加学習した後の結果です。追加学習のデータは GR00T N1 で1作業15分〜3時間3、π0 で5時間から100時間以上でした。2 自社の機体と作業でこのデータを誰が何時間集めるかが、導入の費用と期間を左右すると考えます。

3つ目は成功率の条件です。試行回数、部分点の付け方、学習で見た物か初めての物かで、同じ「成功率」でも意味が変わります。

Physical Intelligence は2026年10月13日、データを預けて追加学習し、クラウドで推論できる API のベータ版を発表し、一部でネットワーク接続の課題があったとも書いています。6 同社のブログには π*0.6(2025年11月)と π0.7(2026年4月)も並び7、NVIDIA は後継の GR00T N1.6 を公開しています。8 こうした提供開始やモデルの更新は、各現場での稼働時間や品質の記録とは別の情報として読みます。

よくある質問

Q. VLAは ChatGPT のような言語モデルと何が違いますか?

出力がロボットの動きである点です。RT-2 も π0 も、画像と言葉を学んだモデルを土台に、ロボットの操作データで学習を加えています。12 言葉の知識で「どれをつかむか」の判断は広がりますが、RT-2 の論文は、ロボットのデータにない動作は身に付かないとしています。1

Q. 論文の成功率が高ければ、自社の工場でも同じ結果になりますか?

そうとは限りません。論文の数字は、決まったロボット・作業・試行回数での結果です。GR00T N1 の「工業」の作業も、研究のために用意された卓上の作業です。3 自社の部品と機体で、同じ条件の試験を組んで確かめる必要があります。

表紙写真: Oleg Alexandrov(CC BY-SA 3.0 https://creativecommons.org/licenses/by-sa/3.0/ /https://commons.wikimedia.org/wiki/File:PR2_robot_with_advanced_grasping_hands.JPG 、幅1600pxに縮小)。写っているのは2本の腕を持つ移動ロボット PR2 で、本文の論文で使われた機体ではありません。

出典


  1. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control(Google DeepMind、2023-07-28) https://arxiv.org/abs/2307.15818 (2026-11-02 確認) ↩↩↩↩↩

  2. π0: A Vision-Language-Action Flow Model for General Robot Control(Physical Intelligence、2024-10-31 初版・2026-01-08 改訂v4) https://arxiv.org/abs/2410.24164 (2026-11-02 確認) ↩↩↩↩↩↩

  3. GR00T N1: An Open Foundation Model for Generalist Humanoid Robots(NVIDIA、2025-03-18 初版・2025-03-27 改訂v2) https://arxiv.org/abs/2503.14734 (2026-11-02 確認) ↩↩↩↩

  4. π0.5: a Vision-Language-Action Model with Open-World Generalization(Physical Intelligence、2025-04-22) https://arxiv.org/abs/2504.16054 (2026-11-02 確認) ↩

  5. Real-Time Action Chunking with Large Models(Physical Intelligence、2025-06-09) https://www.pi.website/research/real_time_chunking (2026-11-02 確認) ↩

  6. Frontier Models for Every Robot: Announcing our API beta(Physical Intelligence、2026-10-13) https://www.pi.website/blog/api-beta (2026-11-02 確認) ↩

  7. Physical Intelligence Blog 記事一覧(Physical Intelligence、発行日の記載なし) https://www.pi.website/blog (2026-11-02 確認) ↩

  8. GR00T-N1.6-3B モデルカード(NVIDIA、発行日の記載なし) https://huggingface.co/nvidia/GR00T-N1.6-3B (2026-11-02 確認) ↩

関連記事

記事一覧 →