World models and SLAM: fundamentals, key insights and open directions

1. Fundamentals1. Nền tảng

What a world model isMô hình thế giới là gì

A world model is a model of how an environment works that an agent can run forward in its head. In its most common form it has three learned parts: an encoder that infers a compact state from what the agent has seen, a dynamics model that predicts the next state from the current state and an action, and a decoder that predicts what the agent would observe in that state. It is trained mostly by predicting observations, so unlabeled experience is enough, and it is used to plan or to learn behaviour by imagining the future instead of trying everything in the real world (World Models, 2018; PlaNet, 2019; Dreamer, 2020).

Mô hình thế giới là một mô hình về cách môi trường vận hành mà tác tử có thể "chạy thử trong đầu". Ở dạng phổ biến nhất, nó gồm ba phần được học: một bộ mã hóa suy ra trạng thái nén từ những gì tác tử đã thấy, một mô hình động lực học dự đoán trạng thái kế tiếp từ trạng thái hiện tại và hành động, và một bộ giải mã dự đoán tác tử sẽ quan sát thấy gì ở trạng thái đó. Nó được huấn luyện chủ yếu bằng cách dự đoán quan sát, nên chỉ cần dữ liệu không nhãn, và được dùng để lập kế hoạch hoặc học hành vi bằng cách tưởng tượng tương lai thay vì thử mọi thứ ngoài thế giới thực (World Models, 2018; PlaNet, 2019; Dreamer, 2020).

s_t ~ q(s_t | s_t−1, a_t−1, o_t) · ŝ_t ~ p(s_t | s_t−1, a_t−1) · o_t ~ p(o_t | s_t)

max Σ_t ln p(o_t | s_t) − KL[ q(s_t | s_t−1, a_t−1, o_t) ‖ p(s_t | s_t−1, a_t−1) ]

This is the recurrent state-space model of PlaNet and Dreamer: o is the observation, a the action and s the latent state. The first term asks the state to explain the image; the second asks the prediction made before seeing the image to agree with the state inferred after seeing it. In other words, the model is trained to predict.

Đây là mô hình không gian trạng thái hồi quy của PlaNet và Dreamer: o là quan sát, a là hành động và s là trạng thái ẩn. Số hạng thứ nhất yêu cầu trạng thái giải thích được ảnh; số hạng thứ hai yêu cầu dự đoán đưa ra trước khi thấy ảnh khớp với trạng thái suy ra sau khi thấy ảnh. Nói cách khác, mô hình được huấn luyện để dự đoán.

SLAM was a world model all alongSLAM vốn đã là một mô hình thế giới

Probabilistic SLAM has the same three parts, written by hand instead of learned (Durrant-Whyte and Bailey, 2006):

SLAM xác suất có đúng ba phần như vậy, nhưng được viết tay thay vì học (Durrant-Whyte và Bailey, 2006):

p(x_t | x_t−1, u_t) · p(z_t | x_t, m) · p(x_0:t, m | z_1:t, u_1:t)

Here x is the robot pose, m the map, u the odometry or control and z the measurements. The motion model plays the role of the dynamics, the observation model the role of the decoder, and filters or factor graphs (such as iSAM2) do the inference. The structure is the same; what differs are three assumptions. In SLAM the parts are designed rather than learned, the world is static (the map does not move), and the model is used to estimate the present rather than to predict the future.

Ở đây x là tư thế robot, m là bản đồ, u là đo hành trình hoặc lệnh điều khiển và z là các phép đo. Mô hình chuyển động đóng vai động lực học, mô hình quan sát đóng vai bộ giải mã, còn bộ lọc hoặc đồ thị nhân tử (như iSAM2) thực hiện suy luận. Cấu trúc giống nhau; khác biệt nằm ở ba giả thiết. Trong SLAM, các phần được thiết kế chứ không học, thế giới tĩnh (bản đồ không thay đổi), và mô hình được dùng để ước lượng hiện tại chứ không dự đoán tương lai.

1. Observe1. Quan sát Camera, IMU and wheel measurements arrive.Phép đo từ camera, IMU và bánh xe được đưa vào. Images arrive, with the action just taken.Ảnh được đưa vào, cùng hành động vừa thực hiện.

2. Infer the state2. Suy ra trạng thái A filter or factor graph updates the pose and the map.Bộ lọc hoặc đồ thị nhân tử cập nhật tư thế và bản đồ. An encoder updates a latent state from the history.Bộ mã hóa cập nhật trạng thái ẩn từ lịch sử.

3. Predict3. Dự đoán The motion model predicts the next pose; the map is assumed fixed.Mô hình chuyển động dự đoán tư thế kế tiếp; bản đồ được giả định cố định. The dynamics model imagines several steps ahead, moving objects included.Mô hình động lực học tưởng tượng nhiều bước phía trước, kể cả vật thể đang chuyển động.

4. Use it4. Sử dụng A separate planner reads the pose and the map.Một bộ lập kế hoạch riêng đọc tư thế và bản đồ. The agent plans, or learns a policy, by rolling the model forward.Tác tử lập kế hoạch, hoặc học chính sách, bằng cách cho mô hình chạy về phía trước.

	Classic SLAMSLAM cổ điển	Learned world modelMô hình thế giới học được
StateTrạng thái	Pose and map: explicit geometryTư thế và bản đồ: hình học tường minh	A latent vector, or a learned 3D representationVectơ ẩn, hoặc biểu diễn 3D học được
DynamicsĐộng lực học	Kinematic motion model; the world does not moveMô hình chuyển động động học; thế giới đứng yên	Learned; the world itself can changeHọc được; bản thân thế giới có thể thay đổi
Observation modelMô hình quan sát	Projection or ray castingPhép chiếu hoặc dò tia	Learned decoder, renderer or video generatorBộ giải mã, bộ kết xuất hoặc bộ sinh video học được
InferenceSuy luận	Filter or factor graphBộ lọc hoặc đồ thị nhân tử	Learned encoder (amortized inference)Bộ mã hóa học được (suy luận khấu hao)
Comes fromNguồn gốc	Hand design and tuningThiết kế và tinh chỉnh thủ công	Predicting observations from dataHọc dự đoán quan sát từ dữ liệu
Looks atHướng tới	The presentHiện tại	The future, through imagined rolloutsTương lai, qua các lần chạy thử tưởng tượng
GuaranteesBảo đảm	Metric accuracy, with uncertaintyĐộ chính xác theo mét, kèm độ bất định	Plausible predictions; metric accuracy is not guaranteedDự đoán hợp lý; không bảo đảm chính xác theo mét
Used forDùng để	Localization and mappingĐịnh vị và lập bản đồ	Planning, simulation and generating dataLập kế hoạch, mô phỏng và sinh dữ liệu

Four kinds of world models you will meet in SLAM papersBốn loại mô hình thế giới thường gặp trong các bài về SLAM

Latent dynamics models (World Models, PlaNet, Dreamer, TD-MPC2): very good for control, but the state is a vector without explicit geometry, so long-term spatial memory is weak.
Generative video world models (Genie, UniSim, and driving models such as DriveDreamer and Vista): predict images from actions and can act as simulators; keeping the world consistent over long horizons is hard.
3D occupancy world models (4D occupancy forecasting, Copilot4D, UnO, OccWorld, GaussianWorld): forecast geometry, mostly for driving; the closest thing to a SLAM map that moves.
Explicit 3D maps as the world state (Hydra, ConceptGraphs, 3D-Mem), now often built with geometry foundation models (DUSt3R, MASt3R, VGGT): the map is the memory.

Mô hình động lực học ẩn (World Models, PlaNet, Dreamer, TD-MPC2): rất tốt cho điều khiển, nhưng trạng thái là một vectơ không có hình học tường minh, nên bộ nhớ không gian dài hạn yếu.
Mô hình thế giới sinh video (Genie, UniSim, và các mô hình lái xe như DriveDreamer, Vista): dự đoán ảnh theo hành động và có thể đóng vai bộ mô phỏng; giữ thế giới nhất quán trong thời gian dài là điều khó.
Mô hình thế giới chiếm chỗ 3D (dự báo chiếm chỗ 4D, Copilot4D, UnO, OccWorld, GaussianWorld): dự báo hình học, chủ yếu cho lái xe; gần nhất với một bản đồ SLAM biết chuyển động.
Bản đồ 3D tường minh làm trạng thái thế giới (Hydra, ConceptGraphs, 3D-Mem), ngày càng được xây bằng mô hình nền tảng hình học (DUSt3R, MASt3R, VGGT): bản đồ chính là bộ nhớ.

2. Key insights2. Những ý tưởng cốt lõi

SLAM is a world model with three assumptions: designed, static and present-only. Relaxing each one is a research direction: learn the models from data, let the world change, and predict ahead.
Prediction is free supervision. Predicting the next frame or the next occupancy needs no labels, and it trains the state, its dynamics and the geometry together. Driving world models learn 4D occupancy and future point clouds from raw LiDAR sequences (4D occupancy forecasting, 2023; Copilot4D and UnO, 2024).
World models need memory, and memory is a map. A video model that only sees its last frames forgets what it generated: when the camera comes back, it may imagine a different room. Recent work adds memory indexed by geometry, such as past views with their poses (WorldMem), views indexed by 3D surfels (VMem) and explicit spatial or 3D geometric memories (long-term spatial memory, Spatia, WorldStereo). That memory is SLAM's map, and coming back to a place is a loop closure.
Geometry foundation models turn reconstruction into prediction. DUSt3R, MASt3R and VGGT predict 3D points and cameras from images in one forward pass. They now serve as SLAM front-ends (MASt3R-SLAM, VGGT-SLAM), and the same kind of 3D reconstruction is what recent video world models keep as their memory.
Actions turn a video generator into a world model. To plan, a prediction must depend on what the robot does. Genie infers latent actions from unlabeled video, UniSim responds to language and robot actions, and driving models condition the future on the ego trajectory (SparseWorld-TC, implicit residual world models for planning).
Plausible is not the same as correct. A generative prior fills unseen space with something likely. For localization and mapping, a confidently imagined wall in the wrong place is an error, not a detail. Keep observed and imagined content apart, and give imagined content its own uncertainty.

SLAM là một mô hình thế giới với ba giả thiết: được thiết kế, tĩnh và chỉ nhìn hiện tại. Nới lỏng từng giả thiết là một hướng nghiên cứu: học các mô hình từ dữ liệu, cho phép thế giới thay đổi, và dự đoán về phía trước.
Dự đoán là nguồn giám sát miễn phí. Dự đoán khung hình hoặc trạng thái chiếm chỗ kế tiếp không cần nhãn, và nó huấn luyện cùng lúc trạng thái, động lực học và hình học. Các mô hình thế giới cho lái xe học chiếm chỗ 4D và đám mây điểm tương lai từ chuỗi LiDAR thô (dự báo chiếm chỗ 4D, 2023; Copilot4D và UnO, 2024).
Mô hình thế giới cần bộ nhớ, và bộ nhớ chính là bản đồ. Một mô hình video chỉ nhìn vài khung hình gần nhất sẽ quên những gì nó đã sinh ra: khi camera quay lại, nó có thể tưởng tượng ra một căn phòng khác. Các công trình gần đây thêm bộ nhớ được đánh chỉ mục theo hình học, như các góc nhìn cũ kèm tư thế (WorldMem), góc nhìn đánh chỉ mục theo surfel 3D (VMem) và các bộ nhớ không gian hay hình học 3D tường minh (bộ nhớ không gian dài hạn, Spatia, WorldStereo). Bộ nhớ đó chính là bản đồ của SLAM, và việc quay lại một nơi cũ chính là đóng vòng.
Mô hình nền tảng hình học biến tái tạo thành dự đoán. DUSt3R, MASt3R và VGGT dự đoán điểm 3D và camera từ ảnh chỉ trong một lượt truyền thẳng. Chúng nay được dùng làm front-end cho SLAM (MASt3R-SLAM, VGGT-SLAM), và cũng chính kiểu tái tạo 3D này là thứ các mô hình thế giới video gần đây giữ làm bộ nhớ.
Hành động biến một bộ sinh video thành mô hình thế giới. Để lập kế hoạch, dự đoán phải phụ thuộc vào việc robot làm. Genie suy ra hành động tiềm ẩn từ video không nhãn, UniSim phản hồi theo ngôn ngữ và hành động robot, còn các mô hình lái xe dự đoán tương lai theo quỹ đạo của xe (SparseWorld-TC, mô hình thế giới phần dư ngầm định cho lập kế hoạch).
Hợp lý không có nghĩa là đúng. Một tiền nghiệm sinh sẽ lấp vùng chưa thấy bằng thứ có khả năng xảy ra. Với định vị và lập bản đồ, một bức tường được tưởng tượng tự tin nhưng sai chỗ là lỗi, không phải chi tiết nhỏ. Hãy tách phần quan sát được khỏi phần tưởng tượng, và gán cho phần tưởng tượng độ bất định riêng.

3. Open directions3. Các hướng mở

Loop closure for world modelsĐóng vòng cho mô hình thế giới

How should a generative world model notice that it is back in a known place, and correct itself instead of drifting? SLAM has decades of tools for this, such as place recognition and pose graphs, that video models barely use.Làm sao để một mô hình thế giới sinh nhận ra nó đã quay lại một nơi quen thuộc, và tự sửa thay vì trôi dần? SLAM có hàng chục năm công cụ cho việc này, như nhận dạng địa điểm và đồ thị tư thế, mà các mô hình video hầu như chưa dùng.

Metric grounding and calibrated uncertaintyGắn với hệ mét và độ bất định hiệu chuẩn

Which parts of a predicted map can a robot trust? Uncertainty should be calibrated, separate observed from imagined content, and feed risk-aware planning.Robot có thể tin phần nào của một bản đồ được dự đoán? Độ bất định cần được hiệu chuẩn, tách phần quan sát khỏi phần tưởng tượng, và đưa vào lập kế hoạch có tính đến rủi ro.

A world that changesMột thế giới luôn thay đổi

Classic SLAM treats moving things as outliers. A world model should predict where objects go and what persists over hours and days: lifelong maps that expect change instead of fighting it.SLAM cổ điển coi vật chuyển động là điểm ngoại lai. Một mô hình thế giới nên dự đoán vật sẽ đi đâu và cái gì còn tồn tại sau nhiều giờ, nhiều ngày: bản đồ trọn đời đón đầu sự thay đổi thay vì chống lại nó.

Action-conditioned 3D models for manipulationMô hình 3D theo hành động cho thao tác

Driving world models predict free space. Robots that manipulate need to predict contact, articulation and deformation in 3D, as a result of their own actions.Mô hình thế giới lái xe dự đoán không gian trống. Robot thao tác cần dự đoán tiếp xúc, khớp động và biến dạng trong 3D, như hệ quả từ chính hành động của nó.

Efficiency on the robotChạy hiệu quả trên robot

Video world models run on large GPUs. Robots need real-time models with bounded memory, compact 3D latent maps and distilled predictors.Mô hình thế giới video chạy trên GPU lớn. Robot cần mô hình thời gian thực với bộ nhớ có giới hạn, bản đồ ẩn 3D gọn và bộ dự đoán được chưng cất.

Evaluation that matters for robotsĐánh giá có ý nghĩa cho robot

Trajectory error measures the past and image metrics measure realism. Missing are benchmarks for consistency on revisits, the geometric accuracy of predictions, calibration, and whether the model actually helps a robot plan.Sai số quỹ đạo đo quá khứ, còn các chỉ số ảnh đo độ chân thực. Còn thiếu các chuẩn đánh giá về tính nhất quán khi quay lại, độ chính xác hình học của dự đoán, độ hiệu chuẩn, và việc mô hình có thực sự giúp robot lập kế hoạch hay không.

Semantics and languageNgữ nghĩa và ngôn ngữ

Open-vocabulary world models that answer both "where did I leave the cup?" and "what happens if I open this door?", by joining scene graphs with predictive models.Mô hình thế giới từ vựng mở trả lời được cả "mình để cái cốc ở đâu?" lẫn "chuyện gì xảy ra nếu mở cánh cửa này?", bằng cách kết hợp đồ thị cảnh với mô hình dự đoán.

Knowing when the model is wrongBiết khi nào mô hình sai

Detect situations the world model has never seen, and failures of its predictions, before the robot acts on them.Phát hiện các tình huống mô hình thế giới chưa từng gặp, và các dự đoán sai của nó, trước khi robot hành động dựa trên chúng.

Several of these questions, uncertainty and lifelong change in particular, are the subject of our survey on open-world semantic SLAM.Một số câu hỏi trên, nhất là độ bất định và thay đổi dài hạn, là chủ đề của bài khảo sát của chúng tôi về SLAM ngữ nghĩa thế giới mở.

4. How fast is it growing?4. Lĩnh vực đang phát triển nhanh đến đâu?

Papers with “world model” in the title in the 14 venues of the Paper Explorer, per year, split by whether the title is about a 3D or spatial world.Số bài có “world model” trong tiêu đề trên 14 hội nghị và tạp chí của Paper Explorer, theo năm, chia theo việc tiêu đề có nói về thế giới 3D hay không gian hay không.

5. A reading map5. Bản đồ đọc

: papersbài báo
: lineagesdòng
: yearsgiai đoạn

Key papers behind the ideas above, from probabilistic SLAM to video world models with 3D memory. Pick one to see what it does and open it.Các bài báo chính đứng sau những ý tưởng trên, từ SLAM xác suất đến mô hình thế giới video có bộ nhớ 3D. Chọn một bài để xem nó làm gì và mở bài báo.

World models and SLAM: fundamentals, key insights and open directionsMô hình thế giới và SLAM: nền tảng, ý tưởng cốt lõi và hướng mở