Robot learning, explained: reinforcement learning, teacher–student distillation and the trends

Three ways to get a policyBa cách để có một chính sách

A robot policy $\pi_\theta(a \mid o)$ maps what the robot observes to what it does, and its parameters $\theta$ have to be learned from some signal. Almost every robot learning method uses one of three:

Một chính sách robot $\pi_\theta(a \mid o)$ ánh xạ những gì robot quan sát được thành hành động, và tham số $\theta$ của nó phải được học từ một tín hiệu nào đó. Gần như mọi phương pháp học robot dùng một trong ba loại:

RewardPhần thưởng

Reinforcement learning. The robot tries actions and is scored; it needs no examples, but many trials, usually in simulation.Học tăng cường. Robot thử các hành động và được chấm điểm; không cần ví dụ mẫu, nhưng cần rất nhiều lần thử, thường là trong mô phỏng.

DemonstrationsTrình diễn

Imitation learning. A person shows the task, for example by teleoperation, and the policy copies it; data is expensive and only covers what was shown.Học bắt chước. Con người làm mẫu nhiệm vụ, ví dụ bằng điều khiển từ xa, và chính sách sao chép lại; dữ liệu đắt và chỉ phủ những gì đã được làm mẫu.

Another policyMột chính sách khác

Distillation. A teacher that knows more, often a policy trained with RL on privileged simulator state, labels the actions for a student.Chưng cất. Một người thầy biết nhiều hơn, thường là chính sách học bằng RL trên trạng thái đặc quyền của trình mô phỏng, gán nhãn hành động cho người trò.

Reinforcement learning, from the objective to PPOHọc tăng cường, từ hàm mục tiêu đến PPO

Figure 1. The policy acts, the environment returns the next state and a reward, and learning changes $\theta$ so that the total reward grows.Hình 1. Chính sách hành động, môi trường trả về trạng thái kế tiếp và phần thưởng, và việc học thay đổi $\theta$ để tổng phần thưởng tăng lên.

The problem is a Markov decision process: states $s$, actions $a$, dynamics $P(s' \mid s, a)$, a reward $r(s, a)$ and a discount $\gamma$. RL maximizes the expected discounted return of the trajectories $\tau$ that the policy produces:

Bài toán là một quá trình quyết định Markov: trạng thái $s$, hành động $a$, động lực học $P(s' \mid s, a)$, phần thưởng $r(s, a)$ và hệ số chiết khấu $\gamma$. RL tối đa hóa kỳ vọng tổng phần thưởng chiết khấu trên các quỹ đạo $\tau$ mà chính sách tạo ra:

$$J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\Big[\sum_{t=0}^{T-1}\gamma^t\, r(s_t, a_t)\Big]$$

Value functions say how good a state or an action is under the current policy, and satisfy the Bellman equations:

Các hàm giá trị cho biết một trạng thái hay một hành động tốt đến đâu dưới chính sách hiện tại, và thỏa mãn phương trình Bellman:

$$Q^\pi(s,a) = r(s,a) + \gamma\,\mathbb{E}_{s'\sim P(\cdot\mid s,a)}\big[V^\pi(s')\big], \qquad V^\pi(s) = \mathbb{E}_{a\sim\pi(\cdot\mid s)}\big[Q^\pi(s,a)\big]$$

Policy-gradient methods raise the log-probability of actions that turned out better than expected. The advantage $\hat{A}_t$ measures "better than expected", and generalized advantage estimation (GAE) computes it from the temporal-difference errors $\delta_t$ of a learned value function, with $\lambda$ trading bias against variance:

Các phương pháp gradient chính sách tăng log-xác suất của những hành động hóa ra tốt hơn kỳ vọng. Lợi thế (advantage) $\hat{A}_t$ đo mức "tốt hơn kỳ vọng", và ước lượng lợi thế tổng quát (GAE) tính nó từ các sai số sai phân thời gian $\delta_t$ của một hàm giá trị học được, với $\lambda$ cân bằng giữa độ chệch và phương sai:

$$\nabla_\theta J(\theta) = \mathbb{E}\Big[\sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t)\,\hat{A}_t\Big]$$ $$\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t), \qquad \hat{A}_t = \sum_{l=0}^{\infty}(\gamma\lambda)^l\,\delta_{t+l}$$

A step that is too large can ruin the policy, and with it the data it collects next. TRPO bounds each step with a trust region; PPO gets a similar effect with a clipped objective on the probability ratio $\rho_t$ between the new and the old policy:

Một bước cập nhật quá lớn có thể làm hỏng chính sách, kéo theo cả dữ liệu mà nó thu thập tiếp theo. TRPO giới hạn mỗi bước bằng một vùng tin cậy; PPO đạt hiệu quả tương tự bằng một hàm mục tiêu có cắt ngưỡng trên tỉ số xác suất $\rho_t$ giữa chính sách mới và cũ:

$$L^{\text{CLIP}}(\theta) = \mathbb{E}_t\Big[\min\big(\rho_t\hat{A}_t,\ \operatorname{clip}(\rho_t, 1-\epsilon, 1+\epsilon)\,\hat{A}_t\big)\Big], \qquad \rho_t = \frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_{\text{old}}}(a_t\mid s_t)}$$

Clip rangeNgưỡng cắt

The plots show why the clip works. When an action was good ($\hat{A} > 0$), raising its probability beyond $1+\epsilon$ times the old one earns nothing more, so there is no gradient to push further; when it was bad, lowering it below $1-\epsilon$ earns nothing more. A common choice is $\epsilon = 0.2$. Because PPO is on-policy, it throws its data away after each update, which is acceptable when simulation is cheap: Rudin et al. trained ANYmal to walk with thousands of simulated robots on one GPU, in under four minutes on flat ground and twenty on rough terrain.

Hai biểu đồ cho thấy vì sao phép cắt có tác dụng. Khi một hành động tốt ($\hat{A} > 0$), tăng xác suất của nó vượt quá $1+\epsilon$ lần xác suất cũ không đem lại thêm gì, nên không còn gradient để đẩy tiếp; khi hành động tệ, giảm xuống dưới $1-\epsilon$ cũng không đem lại thêm gì. Một lựa chọn phổ biến là $\epsilon = 0.2$. Vì PPO là phương pháp trên chính sách (on-policy), nó bỏ dữ liệu sau mỗi lần cập nhật, điều chấp nhận được khi mô phỏng rẻ: Rudin và cộng sự huấn luyện ANYmal đi bộ với hàng nghìn robot mô phỏng trên một GPU, trong chưa đến bốn phút trên nền phẳng và hai mươi phút trên địa hình gồ ghề.

Off-policy methods reuse old experience from a replay buffer, which matters when every sample costs robot time. Soft actor-critic (SAC) also rewards the policy for staying random, through its entropy $\mathcal{H}$, which helps exploration:

Các phương pháp ngoài chính sách (off-policy) dùng lại kinh nghiệm cũ từ bộ đệm phát lại, điều quan trọng khi mỗi mẫu đều tốn thời gian của robot. Soft actor-critic (SAC) còn thưởng cho chính sách khi nó giữ được tính ngẫu nhiên, qua entropy $\mathcal{H}$, giúp việc khám phá:

$$J_{\text{SAC}}(\pi) = \sum_{t}\mathbb{E}_{(s_t,a_t)\sim\rho_\pi}\big[r(s_t,a_t) + \alpha\,\mathcal{H}\big(\pi(\cdot\mid s_t)\big)\big]$$

From simulation to the real robotTừ mô phỏng đến robot thật

Simulators are fast but never exact: masses, friction, motor strength, latency and appearance all differ on the real robot. Domain randomization trains for a whole distribution of simulators at once, with parameters $\xi$ drawn at random, so that the real world looks like one more sample:

Trình mô phỏng nhanh nhưng không bao giờ chính xác tuyệt đối: khối lượng, ma sát, lực động cơ, độ trễ và hình ảnh đều khác trên robot thật. Ngẫu nhiên hóa miền huấn luyện cho cả một phân phối trình mô phỏng cùng lúc, với tham số $\xi$ được lấy ngẫu nhiên, để thế giới thật trông như chỉ là thêm một mẫu nữa:

$$\pi^* = \arg\max_\pi\ \mathbb{E}_{\xi\sim p(\xi)}\big[J(\pi;\xi)\big]$$

Tobin et al. randomized textures, lighting and cameras so that a network trained only on rendered images worked on real ones; Peng et al. randomized dynamics for a real arm; Hwangbo et al. added a learned model of ANYmal's actuators; and OpenAI trained a Shadow hand to reorient a block entirely in heavily randomized simulation. The catch is that a policy which cannot observe $\xi$ must work for every $\xi$ at once, which makes it cautious. If it could estimate $\xi$, it could adapt. That is what teacher–student training provides.

Tobin và cộng sự ngẫu nhiên hóa kết cấu, ánh sáng và camera để một mạng chỉ học từ ảnh kết xuất vẫn chạy được trên ảnh thật; Peng và cộng sự ngẫu nhiên hóa động lực học cho một cánh tay thật; Hwangbo và cộng sự thêm một mô hình học được của bộ truyền động ANYmal; còn OpenAI huấn luyện bàn tay Shadow xoay một khối vật hoàn toàn trong mô phỏng được ngẫu nhiên hóa mạnh. Điểm vướng là một chính sách không quan sát được $\xi$ phải chạy tốt với mọi $\xi$ cùng lúc, nên nó trở nên dè dặt. Nếu ước lượng được $\xi$, nó có thể thích nghi. Đó là điều mà huấn luyện thầy–trò mang lại.

Teacher–student distillationChưng cất thầy–trò

The idea is to split one hard problem into two easier ones. In simulation, a teacher may use privileged information that no real robot has: the terrain map, friction, contact states, the exact pose of an object. With that, RL becomes much easier. A student that sees only onboard sensors, usually a short history of them, then learns to reproduce the teacher's actions by supervised learning.

Ý tưởng là tách một bài toán khó thành hai bài toán dễ hơn. Trong mô phỏng, người thầy được dùng thông tin đặc quyền mà không robot thật nào có: bản đồ địa hình, ma sát, trạng thái tiếp xúc, tư thế chính xác của vật. Nhờ đó RL trở nên dễ hơn nhiều. Sau đó người trò, chỉ thấy cảm biến trên robot, thường là một đoạn lịch sử ngắn của chúng, học tái tạo hành động của người thầy bằng học có giám sát.

Figure 2. Teacher–student training. Only the student is deployed, so the privileged information is needed only in simulation.Hình 2. Huấn luyện thầy–trò. Chỉ người trò được triển khai, nên thông tin đặc quyền chỉ cần có trong mô phỏng.

The student either copies the teacher's actions directly, or, as in RMA, reproduces the teacher's internal estimate of the environment. In RMA the teacher encodes 17 environment parameters $e_t$ (friction, payload, motor strength and more) into a latent $z_t$; the student's adaptation module estimates it from the last $k = 50$ states and actions (0.5 s), and runs at 10 Hz next to the 100 Hz base policy on a Unitree A1:

Người trò hoặc chép trực tiếp hành động của người thầy, hoặc, như trong RMA, tái tạo ước lượng nội bộ của người thầy về môi trường. Trong RMA, người thầy mã hóa 17 tham số môi trường $e_t$ (ma sát, tải trọng, lực động cơ và các tham số khác) thành biến tiềm ẩn $z_t$; mô-đun thích nghi của người trò ước lượng nó từ $k = 50$ trạng thái và hành động gần nhất (0,5 giây), và chạy ở 10 Hz bên cạnh chính sách cơ sở 100 Hz trên Unitree A1:

$$\min_\phi\ \mathbb{E}_{s\sim d^{\pi_S}}\Big[\big\|\pi_S(o_{t-H:t};\phi) - \pi_T(o_t, x_t^{\text{priv}})\big\|^2\Big]$$ $$z_t = \mu(e_t), \quad a_t = \pi(x_t, a_{t-1}, z_t), \qquad \hat{z}_t = \phi(x_{t-k:t-1}, a_{t-k:t-1}), \quad \min_\phi\ \big\|\hat{z}_t - z_t\big\|^2$$

Note the subscript in the first loss: the states come from $d^{\pi_S}$, the distribution the student visits. Copying the teacher only on the teacher's own trajectories is behavior cloning, and it fails in a characteristic way: the student makes a small mistake, reaches a state the teacher never visited, makes a larger one there, and drifts away. DAgger fixes this by running the learner, asking the expert to label the states it visits, and retraining on everything collected so far, with $\beta_i$ mixing in the expert early on:

Lưu ý chỉ số dưới trong hàm mất mát thứ nhất: các trạng thái lấy từ $d^{\pi_S}$, phân phối mà người trò đi qua. Chỉ chép người thầy trên quỹ đạo của chính người thầy là behavior cloning, và nó thất bại theo một kiểu đặc trưng: người trò mắc một lỗi nhỏ, đi đến trạng thái người thầy chưa từng qua, mắc lỗi lớn hơn ở đó, rồi trôi xa dần. DAgger khắc phục bằng cách chạy người học, nhờ chuyên gia gán nhãn cho các trạng thái nó đi qua, rồi huấn luyện lại trên toàn bộ dữ liệu đã thu, với $\beta_i$ trộn chuyên gia vào ở các vòng đầu:

$$\mathcal{D} \leftarrow \mathcal{D}\cup\big\{(o, \pi^*(s)) : s\sim d^{\pi_i}\big\}, \qquad \pi_i = \beta_i\,\pi^* + (1-\beta_i)\,\hat{\pi}_i$$ $$J(\hat\pi_{\text{BC}}) \le J(\pi^*) + T^2\epsilon \qquad\qquad J(\hat\pi_{\text{DAgger}}) \le J(\pi^*) + u\,T\,\epsilon_N + O(1)$$

Here $J$ is the expected total cost over $T$ steps, with each step's cost in $[0, 1]$, $\epsilon$ the learner's error rate on the expert's states, $\epsilon_N$ the error of the best policy on the aggregated data, and $u$ a bound on how much one mistake can add to the remaining cost. Behavior cloning's error can grow with the square of the horizon; DAgger's grows linearly (Ross and Bagnell 2010; Ross, Gordon and Bagnell 2011). RMA makes the same point in practice: data collected by unrolling the teacher "will contain examples of only good trajectories", so the adaptation module is trained on data collected with its own estimate in control.

Ở đây $J$ là kỳ vọng tổng chi phí trên $T$ bước, với chi phí mỗi bước nằm trong $[0, 1]$, $\epsilon$ là tỉ lệ lỗi của người học trên trạng thái của chuyên gia, $\epsilon_N$ là lỗi của chính sách tốt nhất trên dữ liệu đã gộp, và $u$ là cận trên của chi phí mà một lỗi có thể thêm vào phần còn lại. Sai số của behavior cloning có thể tăng theo bình phương độ dài; của DAgger tăng tuyến tính (Ross và Bagnell 2010; Ross, Gordon và Bagnell 2011). RMA cho thấy điều tương tự trong thực tế: dữ liệu thu được khi chạy người thầy "chỉ chứa các quỹ đạo tốt", nên mô-đun thích nghi được huấn luyện trên dữ liệu thu khi chính ước lượng của nó điều khiển robot.

Try it: behavior cloning against DAggerThử nghiệm: behavior cloning so với DAgger

A car must stay on an 80 m road. The teacher steers with the true lateral offset, heading error and curvature, available only in simulation; the student sees noisy estimates of them, as a lane detector would give, and copies the teacher's steering from its nearest stored examples. Both students start from one teacher drive along the centre line. Each round, behavior cloning gets one more teacher drive; DAgger instead drives with its own student and asks the teacher to label the states it reached.

Một chiếc xe phải giữ mình trên con đường dài 80 m. Người thầy lái bằng độ lệch ngang, sai số hướng và độ cong thật, chỉ có trong mô phỏng; người trò thấy các ước lượng có nhiễu của chúng, như một bộ phát hiện làn đường sẽ cho, và chép cách lái của người thầy từ các ví dụ gần nhất đã lưu. Cả hai người trò bắt đầu từ một lượt lái của người thầy dọc tim đường. Mỗi vòng, behavior cloning nhận thêm một lượt lái của người thầy; còn DAgger để chính người trò lái và nhờ người thầy gán nhãn cho các trạng thái nó đã đến.

behavior cloningbehavior cloningDAggerroad edges and centre linemép đường và tim đường

More demonstrations do not help. Over 20 runs with different noise, one demonstration gets both students through 37% of the road on average. Six more teacher drives lift behavior cloning only to 46%, because they all follow the same centre line.
Labels on the student's states do. DAgger completes the whole road in all 20 runs after two rounds, with fewer labels than behavior cloning (998 against 1,170 after two rounds of the default run).
The data shows why. Behavior cloning's training states sit in a thin band around zero offset; DAgger's spread to the offsets and headings the student actually reaches, where the teacher's labels say how to come back.

Thêm trình diễn không giúp được. Qua 20 lần chạy với nhiễu khác nhau, một lượt trình diễn giúp cả hai người trò đi được trung bình 37% con đường. Sáu lượt lái nữa của người thầy chỉ đưa behavior cloning lên 46%, vì tất cả đều đi theo cùng tim đường.
Nhãn trên trạng thái của người trò thì giúp được. DAgger đi hết con đường ở cả 20 lần chạy sau hai vòng, với ít nhãn hơn behavior cloning (998 so với 1.170 sau hai vòng của lần chạy mặc định).
Dữ liệu cho thấy lý do. Các trạng thái huấn luyện của behavior cloning nằm trong một dải hẹp quanh độ lệch bằng 0; của DAgger trải rộng ra các độ lệch và hướng mà người trò thực sự gặp, nơi nhãn của người thầy chỉ cách quay về.

A teaching toy, not a benchmark: the student is a nearest-neighbour regressor, an extreme stand-in for a network that has only seen data near the teacher's path. The numbers above come from running this page's code (dagger-core.js) in Node.Đây là mô hình minh họa, không phải phép đo hiệu năng: người trò là một bộ hồi quy láng giềng gần nhất, một phiên bản cực đoan của mạng nơ-ron chỉ thấy dữ liệu gần quỹ đạo của người thầy. Các con số ở trên có được khi chạy chính mã của trang này (dagger-core.js) trong Node.

Teachers and students in practiceThầy và trò trong thực tế

SystemHệ thống	The teacher seesNgười thầy thấy	The student seesNgười trò thấy	The student learns byNgười trò học bằng
Learning by Cheating (driving)Learning by Cheating (lái xe)	the ground-truth layout and all traffic participantsbố cục thật và mọi phương tiện giao thông	camera imagesảnh camera	imitating the privileged agentbắt chước tác tử đặc quyền
Proprioceptive ANYmalANYmal bản thể	privileged terrain informationthông tin đặc quyền về địa hình	a history of proprioceptionlịch sử cảm biến bản thể	DAgger
RMA (Unitree A1)	17 environment parameters, as a latent z17 tham số môi trường, dưới dạng biến tiềm ẩn z	the last 0.5 s of states and actions0,5 giây trạng thái và hành động gần nhất	regressing z on its own datahồi quy z trên dữ liệu của chính nó
Perceptive ANYmalANYmal có tri giác	the privileged statetrạng thái đặc quyền	proprioception and noisy terrain heightscảm biến bản thể và độ cao địa hình có nhiễu	imitating the teacher through a belief encoderbắt chước người thầy qua bộ mã hóa niềm tin
Visual dexterity (hand)Visual dexterity (bàn tay)	a low-dimensional privileged statetrạng thái đặc quyền ít chiều	a single depth cameramột camera độ sâu	supervised imitation, in two stagesbắt chước có giám sát, qua hai giai đoạn
Robot parkour	privileged physics informationthông tin vật lý đặc quyền	an egocentric depth cameracamera độ sâu gắn trên robot	distillation into one vision policychưng cất thành một chính sách thị giác
Extreme parkour	scandots (terrain points) and environment parametersscandots (các điểm địa hình) và tham số môi trường	one front depth cameramột camera độ sâu phía trước	DAgger

Imitation learning and expressive policiesHọc bắt chước và chính sách giàu biểu đạt

Behavior cloning maximizes the likelihood of the demonstrated actions; with a Gaussian of fixed variance this is plain mean-squared-error regression:

Behavior cloning tối đa hóa khả năng của các hành động đã được trình diễn; với một phân phối Gauss có phương sai cố định, đó chính là hồi quy bình phương sai số trung bình:

$$\min_\theta\ \mathbb{E}_{(o,a)\sim\mathcal{D}}\big[-\log\pi_\theta(a\mid o)\big]$$

Human demonstrations are often multimodal: one person passes an obstacle on the left, another on the right. Regression then predicts the average of the two, which goes straight into the obstacle. Generative policies sample one mode instead. The figure integrates the exact flow-matching velocity field for demonstrations at $-1$ and $+1$: each noise sample flows to one of the two actions, and none ends in between.

Trình diễn của con người thường đa mode: người này vòng qua vật cản bên trái, người kia bên phải. Hồi quy khi đó dự đoán trung bình của hai cách, tức là lao thẳng vào vật cản. Chính sách sinh (generative) thì lấy mẫu một mode. Hình dưới tích phân trường vận tốc flow matching chính xác cho các trình diễn tại $-1$ và $+1$: mỗi mẫu nhiễu trôi về một trong hai hành động, và không mẫu nào dừng ở giữa.

Figure 3. Sixty noise samples carried by the flow from $\tau = 0$ to $\tau = 1$. Hình 3. Sáu mươi mẫu nhiễu được dòng chảy mang từ $\tau = 0$ đến $\tau = 1$.

Diffusion Policy learns to remove noise from a whole sequence of future actions $A_t$, conditioned on the recent observations $O_t$. It is trained to predict the added noise, and samples by repeated denoising:

Diffusion Policy học cách khử nhiễu cho cả một chuỗi hành động tương lai $A_t$, có điều kiện theo các quan sát gần đây $O_t$. Nó được huấn luyện để dự đoán phần nhiễu đã thêm vào, và lấy mẫu bằng cách khử nhiễu lặp lại:

$$\mathcal{L} = \operatorname{MSE}\big(\varepsilon^k,\ \varepsilon_\theta(O_t, A_t^0 + \varepsilon^k, k)\big), \qquad A_t^{k-1} = \alpha\big(A_t^k - \gamma\,\varepsilon_\theta(O_t, A_t^k, k) + \mathcal{N}(0, \sigma^2 I)\big)$$

Flow matching, used by π0, learns a velocity field instead. With noisy actions $A_t^\tau = \tau A_t + (1-\tau)\epsilon$, the network learns the direction $A_t - \epsilon$ from noise to data, and actions are generated by integrating it from $\tau = 0$ to $\tau = 1$:

Flow matching, được π0 sử dụng, thì học một trường vận tốc. Với hành động nhiễu $A_t^\tau = \tau A_t + (1-\tau)\epsilon$, mạng học hướng $A_t - \epsilon$ từ nhiễu đến dữ liệu, và hành động được sinh ra bằng cách tích phân trường đó từ $\tau = 0$ đến $\tau = 1$:

$$L^\tau(\theta) = \mathbb{E}\,\big\|v_\theta(A_t^\tau, o_t) - (A_t - \epsilon)\big\|^2, \qquad A_t^{\tau+\delta} = A_t^\tau + \delta\, v_\theta(A_t^\tau, o_t)$$

Both predict a chunk of actions at once rather than one step. Diffusion Policy predicts $T_p$ future steps from the last $T_o$ observations and executes $T_a$ of them before replanning; ACT (action chunking with transformers) uses chunks to reduce the compounding errors of imitation on low-cost arms.

Cả hai đều dự đoán một khối hành động cùng lúc thay vì từng bước. Diffusion Policy dự đoán $T_p$ bước tương lai từ $T_o$ quan sát gần nhất và thực hiện $T_a$ bước trong số đó trước khi lập kế hoạch lại; ACT (action chunking với transformer) dùng các khối hành động để giảm sai số tích lũy của học bắt chước trên các cánh tay giá rẻ.

Generalist policies: vision-language-action modelsChính sách tổng quát: mô hình thị giác-ngôn ngữ-hành động

Figure 4. A generalist policy in the style of π0: images, an instruction and the robot state go into a pretrained vision-language model, and an action expert turns noise into a chunk of H actions.Hình 4. Một chính sách tổng quát theo kiểu π0: ảnh, câu lệnh và trạng thái robot đi vào một mô hình thị giác-ngôn ngữ đã học trước, và bộ phận hành động biến nhiễu thành một khối H hành động.

The newest step is to train one policy for many robots and tasks, starting from a model pretrained on web images and text. π0 writes it as a distribution over an action chunk given the images $I_t^{1..n}$, the language command $\ell_t$ and the joint angles $q_t$:

Bước mới nhất là huấn luyện một chính sách cho nhiều robot và nhiệm vụ, xuất phát từ một mô hình đã học trước trên ảnh và văn bản web. π0 viết nó dưới dạng phân phối trên một khối hành động khi biết các ảnh $I_t^{1..n}$, câu lệnh ngôn ngữ $\ell_t$ và các góc khớp $q_t$:

$$p\big(A_t \mid o_t\big), \qquad A_t = [a_t, a_{t+1}, \dots, a_{t+H-1}], \qquad o_t = [I_t^1, \dots, I_t^n, \ell_t, q_t]$$

RT-1 and RT-2. RT-1 trained a transformer on a large real-robot dataset. RT-2 co-fine-tuned a vision-language model on robot data by writing actions as text tokens, and named the result a vision-language-action (VLA) model.
Shared data. Open X-Embodiment pooled data from 22 robots and 21 institutions in one format; Octo is an open policy trained on 800k of its trajectories, and DROID added a large in-the-wild manipulation dataset.
Open VLAs. OpenVLA is a 7B model on Llama 2 with DINOv2 and SigLIP features, trained on 970k robot demonstrations, and it outperformed the 55B RT-2-X by 16.5% in absolute task success.
Flow-matching action experts. π0 attaches a flow-matching action expert to a VLM and outputs chunks of H = 50 actions, at up to 50 Hz for dexterous tasks such as folding laundry.

RT-1 và RT-2. RT-1 huấn luyện một transformer trên bộ dữ liệu robot thật quy mô lớn. RT-2 đồng tinh chỉnh một mô hình thị giác-ngôn ngữ trên dữ liệu robot bằng cách viết hành động thành token văn bản, và gọi kết quả là mô hình thị giác-ngôn ngữ-hành động (VLA).
Dữ liệu dùng chung. Open X-Embodiment gộp dữ liệu từ 22 robot và 21 tổ chức vào cùng một định dạng; Octo là chính sách mở huấn luyện trên 800 nghìn quỹ đạo trong số đó, và DROID bổ sung một bộ dữ liệu thao tác quy mô lớn thu ngoài phòng thí nghiệm.
VLA mở. OpenVLA là mô hình 7 tỉ tham số dựa trên Llama 2 với đặc trưng DINOv2 và SigLIP, huấn luyện trên 970 nghìn lần trình diễn, và vượt RT-2-X 55 tỉ tham số 16,5% về tỉ lệ hoàn thành nhiệm vụ tuyệt đối.
Bộ phận hành động flow matching. π0 gắn một bộ phận hành động dùng flow matching vào VLM và xuất ra các khối H = 50 hành động, tới 50 Hz cho các việc khéo léo như gấp quần áo.

What the titles sayTiêu đề bài báo nói gì

How often each idea appears in paper titles at five robotics venues that dblp covers up to 2026 (ICRA, RA-L, T-RO, IJRR and Science Robotics), per 1,000 papers per year. All panels share one axis.

Tần suất mỗi ý tưởng xuất hiện trong tiêu đề bài báo tại năm hội nghị và tạp chí robot mà dblp có dữ liệu đến 2026 (ICRA, RA-L, T-RO, IJRR và Science Robotics), tính trên 1.000 bài mỗi năm. Mọi ô dùng chung một trục.

RL went mainstream, then levelled off. From 6 per 1,000 titles in 2015 to 42 in 2021, and between 40 and 52 since.
Generative policies arrived fast. Diffusion and flow matching went from 3 per 1,000 in 2023 to 42 in 2026.
Language and foundation models caught up with RL. From 1 per 1,000 in 2023 to 48 in 2026, as often as RL (49).
Distillation is growing quietly, from almost none before 2019 to 8 per 1,000 in 2026, while sim-to-real holds at 8 to 11.
Inside CoRL the picture is sharper. In our map of CoRL 2017–2025, RL fell from 31% of papers in 2017–2019 to 16% in 2023–2025, and foundation models rose from 1% before 2022 to 18% in 2025: RL is spreading to general robotics while learning venues move to imitation and foundation models.

RL trở nên phổ biến, rồi chững lại. Từ 6 trên 1.000 tiêu đề năm 2015 lên 42 vào năm 2021, và dao động từ 40 đến 52 kể từ đó.
Chính sách sinh xuất hiện rất nhanh. Khuếch tán và flow matching tăng từ 3 trên 1.000 năm 2023 lên 42 năm 2026.
Mô hình ngôn ngữ và nền tảng đuổi kịp RL. Từ 1 trên 1.000 năm 2023 lên 48 năm 2026, ngang với RL (49).
Chưng cất tăng lặng lẽ, từ gần như không có trước 2019 lên 8 trên 1.000 năm 2026, trong khi chuyển từ mô phỏng sang thực tế giữ ở mức 8 đến 11.
Trong CoRL, xu hướng rõ hơn. Trong bản đồ CoRL 2017–2025 của chúng tôi, RL giảm từ 31% số bài giai đoạn 2017–2019 xuống 16% giai đoạn 2023–2025, còn mô hình nền tảng tăng từ 1% trước 2022 lên 18% năm 2025: RL lan sang robot học nói chung, trong khi các hội nghị về học chuyển sang học bắt chước và mô hình nền tảng.

Where robot learning is goingHọc robot đang đi về đâu

The methods above are converging rather than competing. Agile skills such as locomotion and dexterity still come from RL in massively parallel simulation, made deployable by teacher–student distillation. Manipulation from demonstrations moves to generative action heads and to generalist models pretrained on web data. Open questions sit at the joints between them:

Các phương pháp ở trên đang hội tụ chứ không cạnh tranh nhau. Các kỹ năng linh hoạt như di chuyển và thao tác khéo léo vẫn đến từ RL trong mô phỏng song song quy mô lớn, được làm cho triển khai được nhờ chưng cất thầy–trò. Thao tác học từ trình diễn chuyển sang các đầu ra hành động dạng sinh và các mô hình tổng quát học trước trên dữ liệu web. Các câu hỏi mở nằm ở chỗ giao nhau giữa chúng:

DataDữ liệu

Teleoperated robot data is slow to collect; human video (as in HumanPlus), simulation and shared datasets each cover part of the gap.Dữ liệu robot điều khiển từ xa thu chậm; video người (như HumanPlus), mô phỏng và các bộ dữ liệu dùng chung mỗi thứ lấp được một phần khoảng trống.

Improving after deploymentCải thiện sau khi triển khai

Imitation stops at the quality of its demonstrations; combining generalist policies with RL or interactive corrections, DAgger-style, is how they could keep improving.Học bắt chước dừng ở chất lượng của các trình diễn; kết hợp chính sách tổng quát với RL hoặc sửa lỗi tương tác kiểu DAgger là cách để chúng tiếp tục tiến bộ.

EvaluationĐánh giá

Real-robot trials are slow and hard to compare across labs; learned simulators and world models may help, but have to be validated against reality.Thử nghiệm trên robot thật chậm và khó so sánh giữa các phòng thí nghiệm; trình mô phỏng học được và mô hình thế giới có thể giúp, nhưng phải được kiểm chứng với thực tế.

Privileged information at scaleThông tin đặc quyền ở quy mô lớn

Teacher–student training needs a simulator that knows the state; extending it beyond locomotion and in-hand tasks needs simulators for cluttered, deformable and contact-rich scenes.Huấn luyện thầy–trò cần một trình mô phỏng biết trạng thái; mở rộng nó ra ngoài di chuyển và thao tác trong lòng bàn tay cần trình mô phỏng cho cảnh lộn xộn, vật biến dạng và nhiều tiếp xúc.

A reading mapBản đồ đọc

: papersbài báo
: lines of workhướng nghiên cứu
: branchesnhánh
: yearsgiai đoạn

The papers behind this post, from RL algorithms to generalist policies; a selection, not a complete list. Pick a line of work or a paper to see what it did and open it.Các bài báo đứng sau bài viết này, từ thuật toán RL đến chính sách tổng quát; một tuyển chọn, không phải danh sách đầy đủ. Chọn một hướng nghiên cứu hoặc một bài báo để xem nó làm gì và mở bài báo.

Robot learning, explained: reinforcement learning, teacher–student distillation and the trendsGiải thích học robot: học tăng cường, chưng cất thầy–trò và xu hướng