O resumo do artigo é:

Um design modular incentiva os modelos neurais a desvincular e recombinar diferentes facetas do conhecimento para generalizar de forma mais sistemática para novas tarefas. Neste trabalho, assumimos que cada tarefa está associada a um subconjunto de habilidades latentes discretas de um inventário (potencialmente pequeno). Por sua vez, as habilidades correspondem a parametrizações de modelo eficientes em termos de parâmetros (esparso / de baixo posto). Ao aprender conjuntamente essas parametrizações e uma matriz de alocação tarefa-habilidade, a rede para cada tarefa é instanciada como a média dos parâmetros das habilidades ativas. Para favorecer partições suaves não triviais de habilidades entre as tarefas, experimentamos com uma série de vieses indutivos, como um prior de Indian Buffet Process e uma taxa de aprendizado de duas velocidades. Avaliamos nosso modelo de habilidades latentes em dois cenários principais: 1) aprendizado por reforço multitarefa para seguir instruções fundamentadas em 8 níveis da plataforma BabyAI; e 2) adaptação few-shot de modelos generativos pré-treinados de texto-para-texto no CrossFit, um benchmark composto por 160 tarefas de NLP. Descobrimos que o design modular de uma rede aumenta significativamente a eficiência de amostragem no aprendizado por reforço e a generalização few-shot no aprendizado supervisionado, em comparação com baselines com parâmetros totalmente compartilhados, específicos da tarefa ou gerados condicionalmente, onde o conhecimento está entrelaçado entre as tarefas. Além disso, mostramos como as habilidades discretas auxiliam a interpretabilidade, pois geram uma hierarquia explícita de tarefas.

O resumo do artigo é:

O ajuste fino eficiente em parâmetros (PEFT) para generalização entre tarefas consiste em pré-treinar adaptadores em um conjunto de treinamento multitarefa antes da adaptação few-shot para as tarefas de teste. O Polytropon [Ponti et al., 2023] (Poly) aprende conjuntamente um inventário de adaptadores e uma função de roteamento que seleciona um subconjunto (de tamanho variável) de adaptadores para cada tarefa, tanto durante o pré-treinamento quanto durante a adaptação few-shot. Neste artigo, investigamos o papel que o roteamento de adaptadores desempenha em seu sucesso e projetamos novas variantes com base em nossas descobertas. Primeiro, partimos da intuição de que um roteamento mais granular fornece mais expressividade. Portanto, propomos o MHR (Multi-Head Routing), que combina subconjuntos de parâmetros de adaptadores e supera o Poly sob um orçamento de parâmetros comparável; ao ajustar apenas a função de roteamento e não os adaptadores (MHR-z), alcançamos desempenho competitivo com eficiência extrema de parâmetros. Segundo, descobrimos que o desempenho de Poly/MHR é resultado de uma melhor otimização multitarefa, em vez de vieses indutivos modulares que facilitam a recombinação de adaptadores e a adaptação local, conforme hipotetizado anteriormente. De fato, constatamos que o MHR exibe maior alinhamento de gradientes entre tarefas do que qualquer outro método. Como isso implica que o roteamento é crucial apenas durante o pré-treinamento multitarefa, propomos o MHR-mu, que descarta o roteamento e ajusta a média dos adaptadores pré-treinados durante a adaptação few-shot. Isso estabelece o MHR-mu como um método eficaz para ajuste fino de um único adaptador..