Ce modèle a été publié dans HF papers le 2022-05-10 et a été ajouté à Hugging Face Transformers le 2023-06-20.

UL2

Aperçu

Le modèle T5 a été présenté dans Unifying Language Learning Paradigms par Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler.

L'abstract de l'article est le suivant :

Les modèles pré-entraînés existants sont généralement conçus pour une classe de problèmes particulière. À ce jour, il ne semble pas y avoir de consensus sur l’architecture et la configuration de pré-entraînement appropriées. Cet article présente un cadre unifié pour pré-entraîner des modèles universellement efficaces sur divers jeux de données et configurations. Nous commençons par dissocier les archétypes architecturaux des objectifs de pré-entraînement, deux concepts souvent confondus. Ensuite, nous présentons une perspective généralisée et unifiée de l’auto-supervision en NLP et montrons comment différents objectifs de pré-entraînement peuvent être reformulés les uns en termes des autres, et comment l’interpolation entre différents objectifs peut être efficace. Nous proposons ensuite Mixture-of-Denoisers (MoD), un objectif de pré-entraînement qui combine divers paradigmes de pré-entraînement. Nous introduisons également une notion de commutation de mode, dans laquelle l’ajustement fin en aval est associé à des schémas de pré-entraînement spécifiques. Nous menons des expériences ablatives exhaustives pour comparer plusieurs objectifs de pré-entraînement et constatons que notre méthode repousse la frontière de Pareto en surpassant les modèles de type T5 et/ou GPT dans plusieurs configurations variées. Enfin, en passant notre modèle à l’échelle de 20 milliards de paramètres, nous atteignons des performances SOTA sur 50 tâches NLP supervisées bien établies, allant de la génération de langage (avec évaluation automatisée et humaine), la compréhension du langage, la classification de texte, la réponse aux questions, le raisonnement de bon sens, le raisonnement sur de longs textes, l’ancrage de connaissances structurées et la récupération d’informations. Notre modèle obtient également de solides résultats en apprentissage dans le contexte, surpassant GPT-3 de 175 milliards de paramètres sur SuperGLUE en zéro-shot et triplant les performances de T5-XXL sur la résumation en un-shot.

Ce modèle a été contribué par DanielHesslow. Le code d'origine peut être trouvé ici.

Conseils d'utilisation

• UL2 est un modèle encodeur-décodeur pré-entraîné sur un mélange de fonctions de débruitage, puis affiné sur une série de tâches en aval.
• UL2 possède la même architecture que T5v1.1 mais utilise la fonction d'activation Gated-SiLU au lieu de Gated-GELU.
• Les auteurs publient des points de contrôle d'une architecture que l'on peut consulter ici

Comme UL2 possède la même architecture que T5v1.1, veuillez consulter la page de documentation de T5 pour la référence de l’API, des conseils, des exemples de code et des notebooks.