Visual SLAM datasets: what each one tests and how to evaluate on it

What a dataset decidesBộ dữ liệu quyết định điều gì

An accuracy number for a visual SLAM system is a statement about a dataset as much as about the method: which sensors it had, where it moved, and what the estimate was compared with. The same system can look excellent on one benchmark and fail on another, and a reference trajectory is only as good as the way it was measured. Five questions tell you what a dataset can and cannot show:

Một con số về độ chính xác của hệ SLAM thị giác nói về bộ dữ liệu không kém gì về phương pháp: hệ có những cảm biến nào, di chuyển ở đâu, và ước lượng được so với cái gì. Cùng một hệ có thể rất tốt trên bộ đánh giá này nhưng thất bại trên bộ khác, và một quỹ đạo tham chiếu chỉ tốt bằng cách nó được đo. Năm câu hỏi cho biết một bộ dữ liệu có thể và không thể cho thấy điều gì:

1. Sensors1. Cảm biếnWhich cameras, IMU, depth or LiDAR; synchronized and calibrated, photometrically too for direct methods?Những camera, IMU, cảm biến độ sâu hay LiDAR nào; có đồng bộ và hiệu chuẩn không, kể cả hiệu chuẩn trắc quang cho phương pháp trực tiếp?

2. Ground truth2. Ground truthWhere does the reference come from, and does it cover the whole trajectory?Quỹ đạo tham chiếu đến từ đâu, và có phủ toàn bộ quỹ đạo không?

3. Scene and motion3. Cảnh và chuyển độngIndoor or outdoor; carried by hand, a robot, a car or a drone; how fast and how far?Trong nhà hay ngoài trời; cầm tay, trên robot, ô tô hay drone; nhanh đến đâu và xa đến đâu?

4. Challenge4. Thách thứcMoving objects, darkness, little texture, change over months, large scale.Vật chuyển động, bóng tối, ít kết cấu, thay đổi qua nhiều tháng, quy mô lớn.

5. Protocol and license5. Quy trình và giấy phépPublic or hidden test ground truth, an online benchmark, and whether commercial use is allowed.Ground truth của tập kiểm tra công khai hay được giữ kín, có bảng xếp hạng trực tuyến không, và có được dùng cho mục đích thương mại không.

datasets at a glanceTổng quan bộ dữ liệu

Each row is one dataset, with its sensors, setting, challenges and the source of its ground truth. Pick one or more features to keep only the datasets that have all of them; the name links to the dataset's page.Mỗi hàng là một bộ dữ liệu, với cảm biến, bối cảnh, thách thức và nguồn ground truth. Chọn một hoặc nhiều đặc điểm để chỉ giữ lại những bộ có đủ tất cả; tên bộ dữ liệu dẫn đến trang của nó.

Where the ground truth comes fromGround truth đến từ đâu

The reference trajectory sets the floor for every error you report: a method cannot be shown to be more accurate than its reference. The datasets above use eight kinds:Quỹ đạo tham chiếu đặt ra giới hạn dưới cho mọi sai số bạn báo cáo: không thể chứng minh một phương pháp chính xác hơn chính tham chiếu của nó. Các bộ dữ liệu ở trên dùng tám loại:

SourceNguồn	How it worksCách hoạt động	Used byĐược dùng bởi	Watch out forCần lưu ý
Motion captureHệ bắt chuyển động	Fixed cameras track markers on the sensor rig (100 Hz in TUM RGB-D, 120 Hz in TUM VI).Các camera cố định theo dõi điểm đánh dấu trên giá cảm biến (100 Hz trong TUM RGB-D, 120 Hz trong TUM VI).	TUM RGB-D, TUM VI, Bonn, ETH3D, OpenLORIS (officevăn phòng)	Works only inside the capture volume: TUM VI has it for the whole path only in its room sequences.Chỉ hoạt động trong vùng thu: TUM VI chỉ có ground truth cho toàn bộ quỹ đạo ở các chuỗi trong phòng.
Total stationMáy toàn đạc	A surveying instrument tracks a prism on the platform.Một thiết bị trắc địa theo dõi lăng kính gắn trên robot.	OIVIO (3 sequences3 chuỗi)	Gives positions (here at 10 Hz), not orientations.Cho vị trí (ở đây 10 Hz), không cho hướng.
GNSS/INS	Satellite positioning fused with inertial sensing, sometimes also with visual odometry.Định vị vệ tinh hợp nhất với cảm biến quán tính, đôi khi cả với đo hành trình thị giác.	KITTI, SemanticKITTI, 4Seasons	Errors dominate over short distances: in 2013 KITTI moved its evaluation from segments as short as 5 m to segments of 100 to 800 m for this reason.Sai số lấn át trên quãng ngắn: năm 2013 KITTI chuyển việc đánh giá từ các đoạn ngắn chỉ 5 m sang các đoạn 100 đến 800 m vì lý do này.
Structure from motion with GPSCấu trúc từ chuyển động kèm GPS	Bundle adjustment over all images, regularized by GPS, with LiDAR loop closures.Tối ưu bó trên mọi ảnh, có ràng buộc theo GPS, kèm các vòng lặp từ LiDAR.	KITTI-360	A visual estimate itself, made offline with all images and GPS.Bản thân nó cũng là một ước lượng thị giác, được tính ngoại tuyến với mọi ảnh và GPS.
LiDAR and laser scansLiDAR và quét laser	Poses from an offline LiDAR SLAM, or camera images registered to a laser-scanned model.Tư thế từ LiDAR SLAM ngoại tuyến, hoặc ảnh camera được đăng ký vào mô hình quét laser.	OpenLORIS, RELLIS-3D, AutoSense, ScanNet++	The reference has its own errors; check what built it.Tham chiếu có sai số riêng; hãy kiểm tra nó được tạo bằng gì.
The dataset's own reconstructionBản tái tạo của chính bộ dữ liệu	RGB-D reconstruction, or odometry corrected with loop closures.Tái tạo RGB-D, hoặc đo hành trình được hiệu chỉnh bằng đóng vòng.	ScanNet, RGB-D Scenes v2, ScaleMaster	A reference, not an independent measurement: errors smaller than its own accuracy mean little.Là tham chiếu, không phải phép đo độc lập: sai số nhỏ hơn độ chính xác của chính nó không có nhiều ý nghĩa.
Start equals endĐiểm đầu trùng điểm cuối	The path ends where it started; the drift is measured between the start and end segments.Quỹ đạo kết thúc tại nơi bắt đầu; sai số trôi được đo giữa đoạn đầu và đoạn cuối.	TUM monoVO, OIVIO, TUM VI (outside the roomngoài phòng)	Measures the accumulated drift, not the shape of the path in between.Đo sai số trôi tích lũy, không đo hình dạng quỹ đạo ở giữa.
SyntheticTổng hợp	The renderer knows the camera exactly.Trình kết xuất biết chính xác camera.	ICL-NUIM, TartanAir	Exact, but noise, blur and lighting are only as real as the renderer.Chính xác tuyệt đối, nhưng nhiễu, nhòe và ánh sáng chỉ thật bằng trình kết xuất.

RUGD and STONE provide labels for perception and no reference trajectories.RUGD và STONE cung cấp nhãn cho tri giác và không có quỹ đạo tham chiếu.

How results are reportedKết quả được báo cáo thế nào

The estimate and the ground truth live in different coordinate frames, so they are first aligned. With ground-truth positions $\mathbf{p}_i$ and estimated positions $\hat{\mathbf{p}}_i$, associated by timestamp, the Umeyama (or Horn) method finds the rotation, translation and, for a single camera, the scale that fit best:

Ước lượng và ground truth nằm trong các hệ tọa độ khác nhau, nên trước hết phải được căn chỉnh. Với vị trí thật $\mathbf{p}_i$ và vị trí ước lượng $\hat{\mathbf{p}}_i$, ghép cặp theo dấu thời gian, phương pháp Umeyama (hoặc Horn) tìm phép quay, phép tịnh tiến và, với một camera đơn, cả tỉ lệ khớp nhất:

$$(s^*, \mathbf{R}^*, \mathbf{t}^*) = \arg\min_{s,\,\mathbf{R},\,\mathbf{t}}\; \sum_{i=1}^{n} \big\|\mathbf{p}_i - (s\,\mathbf{R}\,\hat{\mathbf{p}}_i + \mathbf{t})\big\|^2$$

Fixing $s = 1$ gives an SE(3) alignment, right for stereo, RGB-D and visual-inertial systems, which observe metric scale. A monocular camera cannot see scale, so its estimate is aligned with Sim(3), with free $s$. The absolute trajectory error (ATE) is the root mean square of what remains:

Cố định $s = 1$ cho phép căn chỉnh SE(3), phù hợp với hệ stereo, RGB-D và thị giác-quán tính, vốn quan sát được tỉ lệ thực. Camera đơn không thấy được tỉ lệ, nên ước lượng của nó được căn chỉnh bằng Sim(3), với $s$ tự do. Sai số quỹ đạo tuyệt đối (ATE) là căn bậc hai trung bình bình phương của phần còn lại:

$$\text{ATE} = \sqrt{\frac{1}{n}\sum_{i=1}^{n} \big\|\mathbf{p}_i - (s^*\mathbf{R}^*\hat{\mathbf{p}}_i + \mathbf{t}^*)\big\|^2}$$

ATE measures the global consistency of the whole trajectory, so it rewards loop closure. The relative pose error (RPE) compares motions over a fixed interval $\Delta$ instead, so it measures local drift and needs no global alignment. With ground-truth poses $\mathbf{Q}_i$ and estimated poses $\hat{\mathbf{P}}_i$, as in the TUM RGB-D benchmark:

ATE đo độ nhất quán toàn cục của cả quỹ đạo, nên nó ưu ái việc đóng vòng. Sai số tư thế tương đối (RPE) thì so sánh chuyển động trên một khoảng cố định $\Delta$, nên nó đo sai số trôi cục bộ và không cần căn chỉnh toàn cục. Với tư thế thật $\mathbf{Q}_i$ và tư thế ước lượng $\hat{\mathbf{P}}_i$, như trong bộ đánh giá TUM RGB-D:

$$\mathbf{E}_i = \big(\mathbf{Q}_i^{-1}\mathbf{Q}_{i+\Delta}\big)^{-1}\big(\hat{\mathbf{P}}_i^{-1}\hat{\mathbf{P}}_{i+\Delta}\big), \qquad \text{RPE}_{\text{trans}} = \sqrt{\frac{1}{m}\sum_{i=1}^{m} \big\|\operatorname{trans}(\mathbf{E}_i)\big\|^2}$$

KITTI uses relative errors over distance rather than time: for all subsequences of 100, 200, … 800 m it averages the translation error as a percentage of the distance and the rotation error in degrees per metre. Other benchmarks add their own scores: OpenLORIS scores robustness separately from accuracy, TUM monoVO measures the drift between the start and end segments, and Bonn, ICL-NUIM and ScaleMaster provide reference models to score the map as well, ScaleMaster for example with the Chamfer distance.

KITTI dùng sai số tương đối theo quãng đường thay vì thời gian: với mọi đoạn con dài 100, 200, … 800 m, nó lấy trung bình sai số tịnh tiến tính theo phần trăm quãng đường và sai số quay tính theo độ trên mét. Các bộ đánh giá khác có thêm điểm số riêng: OpenLORIS chấm độ bền vững tách biệt với độ chính xác, TUM monoVO đo sai số trôi giữa đoạn đầu và đoạn cuối, còn Bonn, ICL-NUIM và ScaleMaster cung cấp mô hình tham chiếu để chấm cả bản đồ, ví dụ ScaleMaster dùng khoảng cách Chamfer.

Try it: what ATE and RPE seeThử nghiệm: ATE và RPE nhìn thấy gì

A ground-truth loop of 53 m (grey) and an estimate (blue) built from the same motions with the errors you choose, aligned to the truth by the Umeyama method above. Thin lines connect matching poses; the orange ring marks the rotation error.

Một vòng ground truth dài 53 m (màu xám) và một ước lượng (màu xanh) dựng từ chính các chuyển động đó với các sai số bạn chọn, được căn chỉnh với giá trị thật bằng phương pháp Umeyama ở trên. Các đường mảnh nối các tư thế tương ứng; vòng tròn màu cam đánh dấu sai số quay.

Try:Thử:

ScaleTỉ lệ Scale driftTrôi tỉ lệ Heading driftTrôi hướng Rotation errorSai số quay … where on the path… ở đâu trên quỹ đạo Noise per stepNhiễu mỗi bước

ground truthground truthaligned estimateước lượng đã căn chỉnhstartđiểm xuất phát

Scale. An estimate at half the true scale has an ATE of 3.87 m with an SE alignment and 0.00 m with Sim, which finds s = 2. This is why monocular results are reported after a Sim(3) alignment, and why such an ATE says nothing about metric scale.
Scale drift. A scale that grows by 3% every 10 m gives 0.75 m with SE and still 0.34 m with Sim: one scale cannot fit a trajectory whose scale changes. ScaleMaster tests exactly this in large buildings.
Where the error happens. The same 10° rotation error gives an ATE of 0.18 m near either end of the loop and 0.84 m in the middle, because the error splits the trajectory into two rigid parts and one alignment cannot fit both: near an end one part is short, in the middle both are long. The rotation RPE changes much less (0.56 to 0.84 °/m), so report both.
Drift versus noise. A heading drift of 0.3 °/m gives an ATE of 0.64 m but a translation RPE of only 1.3 %; 2 cm of noise per step does the opposite, with an RPE of 3.7 % and an ATE of 0.19 m.

Tỉ lệ. Một ước lượng chỉ bằng nửa tỉ lệ thật có ATE 3,87 m với căn chỉnh SE và 0,00 m với Sim, khi Sim tìm được s = 2. Đó là lý do kết quả đơn camera được báo cáo sau căn chỉnh Sim(3), và vì sao ATE như vậy không nói gì về tỉ lệ thực.
Trôi tỉ lệ. Tỉ lệ tăng 3% sau mỗi 10 m cho ATE 0,75 m với SE và vẫn còn 0,34 m với Sim: một tỉ lệ duy nhất không khớp được quỹ đạo có tỉ lệ thay đổi. ScaleMaster kiểm tra đúng điều này trong các tòa nhà lớn.
Sai số xảy ra ở đâu. Cùng một sai số quay 10° cho ATE 0,18 m khi nằm gần một trong hai đầu vòng và 0,84 m khi nằm ở giữa, vì sai số chia quỹ đạo thành hai phần cứng và một phép căn chỉnh không khớp được cả hai: gần một đầu thì một phần rất ngắn, ở giữa thì cả hai phần đều dài. RPE về quay thay đổi ít hơn nhiều (0,56 đến 0,84 °/m), nên hãy báo cáo cả hai.
Trôi và nhiễu. Trôi hướng 0,3 °/m cho ATE 0,64 m nhưng RPE tịnh tiến chỉ 1,3 %; nhiễu 2 cm mỗi bước thì ngược lại, với RPE 3,7 % và ATE 0,19 m.

A teaching toy, not a benchmark: a 2D loop of 400 poses, RPE over 5 m. The numbers above come from running this page's code (eval-core.js) in Node.Đây là mô hình minh họa, không phải phép đo hiệu năng: một vòng 2D gồm 400 tư thế, RPE trên 5 m. Các con số ở trên có được khi chạy chính mã của trang này (eval-core.js) trong Node.

Which dataset for which questionBộ dữ liệu nào cho câu hỏi nào

To testĐể kiểm tra	Start withBắt đầu với	ThenSau đó
Indoor RGB-D trackingTheo dõi RGB-D trong nhà	TUM RGB-D, ETH3D SLAM	ICL-NUIM (synthetic, with a surface model)ICL-NUIM (tổng hợp, có mô hình bề mặt)
Monocular and direct methodsPhương pháp đơn camera và trực tiếp	TUM monoVO (photometric calibration)TUM monoVO (hiệu chuẩn trắc quang)	TUM VI, ScaleMaster
Visual-inertial odometryĐo hành trình thị giác-quán tính	TUM VI, ETH3D SLAM	OpenLORIS, 4Seasons, EuRoC MAV
Moving people and objectsNgười và vật chuyển động	Bonn RGB-D Dynamic, TUM RGB-D (dynamic objects)Bonn RGB-D Dynamic, TUM RGB-D (nhóm vật chuyển động)	OpenLORIS, TartanAir, SemanticKITTI (moving-object labels)OpenLORIS, TartanAir, SemanticKITTI (nhãn vật chuyển động)
Long-term change and relocalizationThay đổi dài hạn và tái định vị	OpenLORIS-Scene, 4Seasons	–
Driving at city scaleLái xe ở quy mô thành phố	KITTI odometry, KITTI-360	4Seasons (seasons, night)4Seasons (các mùa, ban đêm)
DarknessBóng tối	OIVIO	TUM VI (slides), ScaleMaster (night, low light), TartanAirTUM VI (ống trượt), ScaleMaster (ban đêm, thiếu sáng), TartanAir
Scale over long indoor routesTỉ lệ trên lộ trình dài trong nhà	ScaleMaster	TUM monoVO (drift over long loops)TUM monoVO (sai số trôi trên các vòng dài)
Semantic SLAM and scene graphsSLAM ngữ nghĩa và đồ thị cảnh	KITTI-360 (semantic SLAM benchmark), AutoSense (walls, rooms, floors)KITTI-360 (bảng xếp hạng SLAM ngữ nghĩa), AutoSense (tường, phòng, tầng)	SemanticKITTI, ScanNet, ScanNet++, RGB-D Scenes v2
Dense reconstructionTái tạo dày đặc	ICL-NUIM, Bonn (laser-scanned model)ICL-NUIM, Bonn (mô hình quét laser)	ScanNet++, ScaleMaster (LiDAR maps)ScanNet++, ScaleMaster (bản đồ LiDAR)
Off-road robotsRobot địa hình	RELLIS-3D	STONE, RUGD (perception only, no trajectories)STONE, RUGD (chỉ cho tri giác, không có quỹ đạo)
Training learned odometryHuấn luyện đo hành trình học sâu	TartanAir	ScanNet, ScanNet++

Good practiceThực hành tốt

Same evaluation for everyone. Use one script, one timestamp association, one alignment (SE(3) for metric sensors, Sim(3) only for monocular) and the same sequences for every method you compare.
Count failures. Report the sequences where tracking was lost instead of dropping them; a mean over the sequences that worked hides the most important result.
Run more than once. Multi-threaded SLAM is not deterministic; give the mean and spread over several runs (vS-Graphs, for example, reports eight per sequence).
Respect the test split. KITTI keeps the ground truth of sequences 11–21 hidden and asks that minor variants of existing methods be evaluated on a split of the training set; ETH3D also scores its test sequences online.
Check the license. KITTI-360, RELLIS-3D and 4Seasons are CC BY-NC-SA and ScanNet++ is for non-commercial research under signed terms, while TUM RGB-D, TUM monoVO, TUM VI and TartanAir are CC BY 4.0.

Cùng một cách đánh giá cho mọi phương pháp. Dùng một script, một cách ghép cặp dấu thời gian, một kiểu căn chỉnh (SE(3) cho cảm biến đo được tỉ lệ thực, Sim(3) chỉ cho đơn camera) và cùng các chuỗi cho mọi phương pháp được so sánh.
Đếm cả thất bại. Báo cáo các chuỗi bị mất dấu thay vì bỏ chúng đi; trung bình trên các chuỗi chạy được che mất kết quả quan trọng nhất.
Chạy nhiều lần. SLAM đa luồng không tất định; hãy đưa ra trung bình và độ phân tán qua nhiều lần chạy (ví dụ vS-Graphs báo cáo tám lần cho mỗi chuỗi).
Tôn trọng tập kiểm tra. KITTI giữ kín ground truth của các chuỗi 11–21 và yêu cầu các biến thể nhỏ của phương pháp đã có được đánh giá trên một phần của tập huấn luyện; ETH3D cũng chấm điểm tập kiểm tra trực tuyến.
Kiểm tra giấy phép. KITTI-360, RELLIS-3D và 4Seasons dùng CC BY-NC-SA, ScanNet++ chỉ cho nghiên cứu phi thương mại theo điều khoản có chữ ký, còn TUM RGB-D, TUM monoVO, TUM VI và TartanAir dùng CC BY 4.0.

The datasets, one by oneTừng bộ dữ liệu

: datasetsbộ dữ liệu
: settingsbối cảnh
: branchesnhánh
: yearsgiai đoạn

Browse by setting or by ground truth, search by name, sensor or author, and pick a dataset to read what it contains and open its page and paper.Duyệt theo bối cảnh hoặc theo ground truth, tìm theo tên, cảm biến hoặc tác giả, rồi chọn một bộ dữ liệu để xem nội dung và mở trang cùng bài báo của nó.

Over timeTheo thời gian

Setting × ground truthBối cảnh × ground truth

Each cell counts the datasets of one setting that use one kind of ground truth. Click a cell to filter the list above; click it again to clear.Mỗi ô đếm số bộ dữ liệu thuộc một bối cảnh dùng một loại ground truth. Nhấn vào một ô để lọc danh sách ở trên; nhấn lại để bỏ lọc.

Visual SLAM datasets: what each one tests and how to evaluate on itBộ dữ liệu SLAM thị giác: mỗi bộ kiểm tra điều gì và đánh giá ra sao