该模型于 2022-05-10 在 HF papers 上发布，并于 2023-06-20 贡献至 Hugging Face Transformers。

UL2

概述

T5 模型由 Yi Tay、Mostafa Dehghani、Vinh Q. Tran、Xavier Garcia、Dara Bahri、Tal Schuster、Huaixiu Steven Zheng、Neil Houlsby 和 Donald Metzler 在 Unifying Language Learning Paradigms 中提出。

该论文的摘要如下：

现有的预训练模型通常针对特定类别的问题进行设计。迄今为止，关于正确的架构和预训练方案应该是什么，似乎仍未达成共识。本文提出了一个统一的框架，用于预训练在各类数据集和设置下均具有普适有效性的模型。我们首先将架构原型与预训练目标这两个常被混淆的概念区分开来。接着，我们提出了自然语言处理中自监督的广义统一视角，并展示了不同的预训练目标如何相互转化，以及在不同目标之间进行插值为何是有效的。随后，我们提出了混合去噪器（Mixture-of-Denoisers, MoD），这是一种将多种预训练范式结合在一起的预训练目标。此外，我们引入了模式切换的概念，其中下游微调与特定的预训练方案相关联。我们进行了大量的消融实验来比较多种预训练目标，发现我们的方法通过在多种不同设置下超越 T5 和/或 GPT 类模型，推动了帕累托前沿。最后，通过将模型规模扩展至 200 亿参数，我们在 50 个成熟的有监督 NLP 任务上取得了 SOTA 性能，这些任务涵盖语言生成（包含自动和人工评估）、语言理解、文本分类、问答、常识推理、长文本推理、结构化知识接地和信息检索。我们的模型在上下文学习中同样表现出色，在零样本 SuperGLUE 上超越了 1750 亿参数的 GPT-3，并将 T5-XXL 在单样本摘要任务上的性能提升了三倍。

该模型由 DanielHesslow 贡献。原始代码可在此处找到。

使用技巧

• UL2 是一种编码器-解码器模型，在多种去噪函数的混合数据上进行预训练，并在一系列下游任务上进行微调。
• UL2 与 T5v1.1 具有相同的架构，但使用 Gated-SiLU 激活函数而非 Gated-GELU。
• 作者发布了该架构的检查点，可在此处查看。

由于 UL2 与 T5v1.1 具有相同的架构，请参阅 T5 的文档页面 以获取 API 参考、技巧、代码示例和笔记本。