Lập kế hoạch dựa trên giá trị

🧪 Đây là một pipeline thử nghiệm cho học tăng cường!

Pipeline này dựa trên bài báo Planning with Diffusion for Flexible Behavior Synthesis của Michael Janner, Yilun Du, Joshua B. Tenenbaum, Sergey Levine.

Tóm tắt từ bài báo là:

Các phương pháp học tăng cường dựa trên mô hình thường chỉ sử dụng quá trình học để ước lượng một mô hình động lực học gần đúng, và giao phần còn lại của công việc ra quyết định cho các bộ tối ưu hóa quỹ đạo cổ điển. Mặc dù đơn giản về mặt khái niệm, sự kết hợp này có một số điểm yếu thực nghiệm, cho thấy các mô hình học được có thể không phù hợp với tối ưu hóa quỹ đạo tiêu chuẩn. Trong bài báo này, chúng tôi xem xét việc tích hợp càng nhiều càng tốt của quy trình tối ưu hóa quỹ đạo vào bài toán mô hình hóa, sao cho việc lấy mẫu từ mô hình và lập kế hoạch bằng mô hình trở nên gần như giống hệt nhau. Nền tảng của cách tiếp cận kỹ thuật của chúng tôi nằm ở một mô hình xác suất khuếch tán, lập kế hoạch bằng cách khử nhiễu các quỹ đạo một cách lặp đi lặp lại. Chúng tôi chỉ ra cách lấy mẫu có hướng dẫn bằng bộ phân loại và lấp đầy hình ảnh (image inpainting) có thể được diễn giải lại như các chiến lược lập kế hoạch nhất quán, khám phá các đặc tính bất thường và hữu ích của các phương pháp lập kế hoạch dựa trên khuếch tán, và chứng minh hiệu quả của khung làm việc của chúng tôi trong các thiết lập điều khiển nhấn mạnh vào ra quyết định tầm xa và tính linh hoạt tại thời điểm chạy.

Bạn có thể tìm thêm thông tin về mô hình trên trang dự án, mã nguồn gốc, hoặc thử nghiệm trong một notebook demo.

Script để chạy model có sẵn tại đây.

Hãy chắc chắn xem qua hướng dẫn về Schedulers để tìm hiểu cách khám phá sự đánh đổi giữa tốc độ và chất lượng của scheduler, và xem phần tái sử dụng các thành phần giữa các pipeline để tìm hiểu cách nạp các thành phần giống nhau vào nhiều pipeline một cách hiệu quả.

ValueGuidedRLPipeline