Функция вознаграждения, проверяющая, совпадает ли завершение с эталонным значением.

• Если и эталонный ответ, и предсказание можно распарсить → используйте проверку по математике.
• Если gold не распарсивается → верните None, чтобы пропустить пример.

>>> from trl.rewards import accuracy_reward

>>> solutions = [r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completions = [
...     [{"role": "assistant", "content": r"My answer is \boxed{\frac{1}{3}}"}],
...     [{"role": "assistant", "content": r"My answer is \boxed{\frac{1}{2}}"}],
... ]
>>> accuracy_reward(completions, solutions)
[1.0, 0.0]

Функция вознаграждения, которая удаляет содержимое рассуждений и проверяет, совпадает ли окончательный ответ с эталонным значением.

• Если и эталонный ответ, и предсказание можно распарсить → используйте проверку по математике.
• Если gold не распарсивается → верните None, чтобы пропустить пример.

>>> from trl.rewards import reasoning_accuracy_reward

>>> reasoning_delimiters = ["</think>"]
>>> solutions = [r"\frac{1}{3}", r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completions = [
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content </think> The final answer is \boxed{\frac{1}{3}}",
...         }
...     ],
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content </think> The final answer is \boxed{\frac{1}{2}}",
...         }
...     ],
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content with partial answers \boxed{\frac{1}{3}} but no final answer",
...         }
...     ],
... ]
>>> reasoning_accuracy_reward(completions, solutions, reasoning_delimiters=reasoning_delimiters)
[1.0, 0.0, 0.0]

Функция вознаграждения, масштабирующая награду за правильность в зависимости от длины завершения по косинусной шкале, чтобы поощрять лаконичное рассуждение. Ссылка: Приложение C.1 статьи «Demystifying Long Chain-of-Thought Reasoning» (https://huggingface.co/papers/2502.03373).

Корректность определяется математической проверкой (как в accuracy_reward()), а длина — количеством токенов завершения. Награда интерполируется по косинусной шкале между границей для короткого и длинного завершения: $$R_{\text{cosine}}(y) = v_{\min} + \frac{1}{2}(v_{\max} - v_{\min})\left(1 + \cos\left(\frac{|y|}{L_{\max}}\pi\right)\right)$$

Для верного завершения $(v{\min}, v{\max}) = (\texttt{min_value_correct}, \texttt{max_value_correct})$, поэтому более короткое завершение получает более высокую награду. Для неверного завершения границы меняются местами: $(v{\min}, v{\max}) = (\texttt{max_value_wrong}, \texttt{min_value_wrong})$, поэтому более короткое завершение наказывается сильнее (более длинное неверное завершение наказывается слабее, что сохраняет разведку). Если эталонное решение невозможно разобрать, пример пропускается (награда None), как в accuracy_reward().

>>> from trl.rewards import get_cosine_scaled_reward

>>> cosine_scaled_reward = get_cosine_scaled_reward(max_len=100)
>>> completions = [[{"content": r"\boxed{\frac{1}{3}}"}], [{"content": r"\boxed{\frac{1}{2}}"}]]
>>> solution = [r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completion_ids = [[1] * 50, [1] * 50]  # both completions are 50 tokens, half of max_len
>>> cosine_scaled_reward(completions, solution, completion_ids)
[0.75, -0.75]

Функция вознаграждения, проверяющая, заключён ли процесс рассуждения в теги "<think>" и "</think>". Функция возвращает вознаграждение 1.0, если формат корректен, иначе 0.0.

>>> from trl.rewards import think_format_reward

>>> completions = [
...     [{"content": "<think>\nThis is my reasoning.\n</think>\nThis is my answer."}],
...     [{"content": "<think>\nThis is my reasoning.\nThis is my answer."}],
... ]
>>> think_format_reward(completions)
[1.0, 0.0]

Функция вознаграждения, штрафующая за повторяющиеся n-граммы в завершении, используется для предотвращения дегенеративного, повторяющегося текста (типичный режим отказа и стратегия обмана вознаграждения при использовании вознаграждений, формирующих длину или формат). Ссылка: Приложение C.2 статьи «Demystifying Long Chain-of-Thought Reasoning» (https://huggingface.co/papers/2502.03373).

Штраф пропорционален доле повторяющихся n-грамм в завершении: $$R_{\text{repetition}}(y) = \left(1 - \frac{\#\,\text{unique } n\text{-grams}}{\#\,\text{total } n\text{-grams}}\right) \times p$$

где $p$ — это max_penalty. Завершение без повторяющихся n-грамм получает награду 0.0, а полностью повторяющееся стремится к max_penalty. N-граммы вычисляются по идентификаторам токенов завершения (в статье штраф применяется к повторяющимся токенам), поэтому награда определяется токенизатором и не зависит от языка. Завершения, содержащие менее ngram_size токенов, получают награду 0.0.

>>> from trl.rewards import get_repetition_penalty_reward

>>> repetition_penalty = get_repetition_penalty_reward(ngram_size=2, max_penalty=-1.0)
>>> completion_ids = [[1, 2, 3, 4], [5, 5, 5, 5, 5]]
>>> repetition_penalty(completion_ids)
[0.0, -0.75]

Функция вознаграждения, штрафующая за слишком длинные завершения. Она используется для наказания за слишком длинные завершения, но не для поощрения более коротких. Ссылка: уравнение (13) из статьи DAPO (https://huggingface.co/papers/2503.14476) $$R_{\text{length}}(y) = \begin{cases} 0, & |y| \le L_{\max} - L_{\text{cache}} \\ \dfrac{(L_{\max} - L_{\text{cache}}) - |y|}{L_{\text{cache}}}, & L_{\max} - L_{\text{cache}} < |y| \le L_{\max} \\ -1, & L_{\max} < |y| \end{cases}$$

>>> from trl.rewards import get_soft_overlong_punishment

>>> soft_overlong_punishment = get_soft_overlong_punishment(max_completion_len=100, soft_punish_cache=20)
>>> completion_ids = [[1] * 90]  # simulating a completion with 90 tokens. 90 is between 80 and 100.
>>> soft_overlong_punishment(completion_ids)
>>> [-0.5]