Foundation models and world models for SLAMMô hình nền tảng và mô hình thế giới cho SLAM

Large pretrained models are changing SLAM in four ways. Vision-language models such as CLIP put words into maps, so a robot can find "the red mug" or let a language model plan over its map. Geometry foundation models such as DUSt3R, MASt3R and VGGT predict depth and 3D points directly from images. Pretrained features and masks from DINO and Segment Anything make matching, place recognition and dynamic-object handling more robust. And world models and generative models predict how a scene will look or change, to complete maps, forecast occupancy or simulate.

Các mô hình tiền huấn luyện lớn đang thay đổi SLAM theo bốn cách. Mô hình thị giác-ngôn ngữ như CLIP đưa từ ngữ vào bản đồ, để robot tìm được "chiếc cốc màu đỏ" hoặc để mô hình ngôn ngữ lập kế hoạch trên bản đồ. Mô hình nền tảng hình học như DUSt3R, MASt3R và VGGT dự đoán độ sâu và điểm 3D trực tiếp từ ảnh. Đặc trưng và mặt nạ tiền huấn luyện từ DINO và Segment Anything giúp so khớp, nhận dạng địa điểm và xử lý vật thể động bền vững hơn. Còn mô hình thế giới và mô hình sinh dự đoán cảnh sẽ trông thế nào hoặc thay đổi ra sao, để hoàn thiện bản đồ, dự báo trạng thái chiếm chỗ hoặc mô phỏng.

This post collects the papers of the Paper Explorer venues whose titles name both SLAM or mapping and a foundation or world model, and places each in one of these four lineages.

Bài viết này tập hợp các bài báo thuộc các hội nghị và tạp chí của Paper Explorer có tiêu đề nhắc đến cả SLAM hoặc lập bản đồ và một mô hình nền tảng hay mô hình thế giới, rồi xếp mỗi bài vào một trong bốn dòng trên.