Аннотация из статьи:

Модульная архитектура поощряет нейронные модели разделять и повторно комбинировать различные аспекты знаний, чтобы более систематически обобщать их на новые задачи. В данной работе мы предполагаем, что каждая задача связана с подмножеством латентных дискретных навыков из (потенциально небольшого) набора. В свою очередь, навыки соответствуют параметрически эффективным (разреженным / низкоранговым) параметризациям модели. Совместно обучая их и матрицу распределения задач по навыкам, сеть для каждой задачи инстанцируется как среднее параметров активных навыков. Чтобы поощрять нетривиальные мягкие разделения навыков между задачами, мы экспериментируем с рядом индуктивных смещений, таких как априорное распределение индийского буфетного процесса (Indian Buffet Process) и двухскоростная скорость обучения. Мы оцениваем нашу модель латентных навыков в двух основных сценариях: 1) многозадачное обучение с подкреплением для выполнения инструкций в контексте среды на 8 уровнях платформы BabyAI; и 2) few-shot адаптация предобученных генеративных моделей текст-в-текст на CrossFit, бенчмарке, состоящем из 160 задач NLP. Мы обнаруживаем, что модульная архитектура сети значительно повышает эффективность использования данных в обучении с подкреплением и обобщение в few-shot сценариях в обучении с учителем по сравнению с базовыми моделями с полностью общими, специфичными для задачи или условно генерируемыми параметрами, где знания переплетены между задачами. Кроме того, мы показываем, как дискретные навыки способствуют интерпретируемости, поскольку они формируют явную иерархию задач.

Аннотация из статьи:

Параметрически эффективная дообучаемость (PEFT) для кросс-задачной генерализации заключается в предварительном обучении адаптеров на многозадачном обучающем наборе перед few-shot адаптацией к тестовым задачам. Polytropon [Ponti et al., 2023] (Poly) совместно обучает набор адаптеров и функцию маршрутизации, которая выбирает подмножество адаптеров (переменного размера) для каждой задачи как на этапе предварительного обучения, так и на этапе few-shot адаптации. В данной статье мы исследуем роль, которую играет маршрутизация адаптеров в успехе этого подхода, и проектируем новые варианты на основе наших выводов. Во-первых, мы опираемся на интуицию о том, что более тонкая маршрутизация обеспечивает большую выразительность. Следовательно, мы предлагаем MHR (Multi-Head Routing), который комбинирует подмножества параметров адаптеров и превосходит Poly при сопоставимом бюджете параметров; дообучая только функцию маршрутизации, но не адаптеры (MHR-z), мы достигаем конкурентоспособной производительности с экстремальной параметрической эффективностью. Во-вторых, мы обнаруживаем, что производительность Poly/MHR является результатом более эффективной многозадачной оптимизации, а не модульных индуктивных смещений, облегчающих рекомбинацию адаптеров и локальную адаптацию, как предполагалось ранее. Фактически, мы находим, что MHR демонстрирует более высокое выравнивание градиентов между задачами, чем любой другой метод. Поскольку это подразумевает, что маршрутизация критична только на этапе многозадачного предварительного обучения, мы предлагаем MHR-mu, который отказывается от маршрутизации и дообучает среднее значение предварительно обученных адаптеров на этапе few-shot адаптации. Это утверждает MHR-mu как эффективный метод дообучения одиночного адаптера.