Tóm tắt từ bài báo là:

Thiết kế mô-đun khuyến khích các mô hình nơ-ron tách rời và tái tổ hợp các khía cạnh khác nhau của kiến thức để tổng quát hóa một cách có hệ thống hơn sang các tác vụ mới. Trong công việc này, chúng tôi giả định rằng mỗi tác vụ được liên kết với một tập con các kỹ năng rời rạc tiềm ẩn từ một kho (có thể nhỏ). Ngược lại, các kỹ năng tương ứng với các tham số hóa mô hình hiệu quả về mặt tham số (sparser / bậc thấp). Bằng cách đồng thời học các kỹ năng này và một ma trận phân bổ tác vụ-kỹ năng, mạng cho mỗi tác vụ được khởi tạo là trung bình các tham số của các kỹ năng đang hoạt động. Để ưu tiên các phân vùng mềm không tầm thường của kỹ năng giữa các tác vụ, chúng tôi thử nghiệm với một loạt các thiên kiến cảm ứng, chẳng hạn như tiên nghiệm Indian Buffet Process và tốc độ học hai tốc độ. Chúng tôi đánh giá mô hình kỹ năng tiềm ẩn của mình trên hai cài đặt chính: 1) học tăng cường đa tác vụ cho việc tuân theo chỉ dẫn có cơ sở trên 8 cấp độ của nền tảng BabyAI; và 2) thích ứng ít mẫu của các mô hình sinh văn bản-từ-văn-bản được huấn luyện trước trên CrossFit, một bộ chuẩn bao gồm 160 tác vụ NLP. Chúng tôi phát hiện ra rằng thiết kế mô-đun của một mạng tăng đáng kể hiệu quả mẫu trong học tăng cường và khả năng tổng quát hóa ít mẫu trong học có giám sát, so với các đường cơ sở có tham số chia sẻ hoàn toàn, cụ thể cho tác vụ, hoặc được sinh có điều kiện, trong đó kiến thức bị vướng víu giữa các tác vụ. Ngoài ra, chúng tôi chỉ ra cách các kỹ năng rời rạc hỗ trợ khả năng diễn giải, vì chúng tạo ra một hệ phân cấp rõ ràng của các tác vụ.

Tóm tắt từ bài báo là:

Việc tinh chỉnh hiệu quả tham số (PEFT) cho khả năng tổng quát hóa liên nhiệm vụ bao gồm việc tiền huấn luyện các adapter trên một tập huấn luyện đa nhiệm vụ trước khi thích ứng few-shot sang các nhiệm vụ kiểm tra. Polytropon [Ponti et al., 2023] (Poly) đồng thời học một danh mục các adapter và một hàm định tuyến chọn một tập con (kích thước thay đổi) các adapter cho mỗi nhiệm vụ trong cả giai đoạn tiền huấn luyện và thích ứng few-shot. Trong bài báo này, chúng tôi nghiên cứu vai trò của việc định tuyến adapter đóng góp vào thành công của nó và thiết kế các biến thể mới dựa trên những phát hiện của chúng tôi. Trước tiên, chúng tôi xây dựng dựa trên trực giác rằng định tuyến ở mức độ chi tiết hơn cung cấp khả năng biểu diễn cao hơn. Do đó, chúng tôi đề xuất MHR (Multi-Head Routing), kết hợp các tập con tham số adapter và vượt trội hơn Poly với ngân sách tham số tương đương; bằng cách chỉ tinh chỉnh hàm định tuyến mà không tinh chỉnh các adapter (MHR-z), chúng tôi đạt được hiệu suất cạnh tranh với hiệu quả tham số cực cao. Thứ hai, chúng tôi phát hiện thấy rằng hiệu suất của Poly/MHR là kết quả của việc tối ưu hóa đa nhiệm vụ tốt hơn, chứ không phải là các thiên kiến cảm ứng mô-đun giúp tái tổ hợp adapter và thích ứng cục bộ, như đã được giả định trước đó. Thực tế, chúng tôi phát hiện thấy MHR thể hiện sự căn chỉnh gradient cao hơn giữa các nhiệm vụ so với bất kỳ phương pháp nào khác. Vì điều này ngụ ý rằng định tuyến chỉ quan trọng trong giai đoạn tiền huấn luyện đa nhiệm vụ, chúng tôi đề xuất MHR-mu, loại bỏ định tuyến và tinh chỉnh trung bình của các adapter đã tiền huấn luyện trong quá trình thích ứng few-shot. Điều này xác lập MHR-mu như một phương pháp hiệu quả cho việc tinh chỉnh đơn adapter..