​
Доступ к функции оценки

Чтобы начать работу с инструментом оценки:

  1. Откройте Anthropic Console и перейдите к редактору промптов.
  2. После создания вашего промпта найдите вкладку ‘Evaluate’ в верхней части экрана.

Убедитесь, что ваш промпт включает как минимум 1-2 динамические переменные, используя синтаксис двойных фигурных скобок: {{variable}}. Это необходимо для создания тестовых наборов оценки.

​
Генерация промптов

Console предлагает встроенный генератор промптов, работающий на Claude Opus 4.1:

1

Нажмите 'Generate Prompt'

Нажатие на вспомогательный инструмент ‘Generate Prompt’ откроет модальное окно, которое позволит вам ввести информацию о вашей задаче.

2

Опишите вашу задачу

Опишите желаемую задачу (например, “Сортировка входящих запросов службы поддержки клиентов”) с любым количеством деталей. Чем больше контекста вы предоставите, тем лучше Claude сможет адаптировать сгенерированный промпт под ваши конкретные потребности.

3

Сгенерируйте ваш промпт

Нажатие оранжевой кнопки ‘Generate Prompt’ внизу заставит Claude сгенерировать высококачественный промпт для вас. Затем вы можете дополнительно улучшить эти промпты, используя экран оценки в Console.

Эта функция упрощает создание промптов с соответствующим синтаксисом переменных для оценки.

​
Создание тестовых случаев

Когда вы получаете доступ к экрану оценки, у вас есть несколько вариантов создания тестовых случаев:

  1. Нажмите кнопку ’+ Add Row’ в левом нижнем углу, чтобы вручную добавить случай.
  2. Используйте функцию ‘Generate Test Case’, чтобы Claude автоматически сгенерировал тестовые случаи для вас.
  3. Импортируйте тестовые случаи из CSV-файла.

Чтобы использовать функцию ‘Generate Test Case’:

1

Нажмите на 'Generate Test Case'

Claude сгенерирует тестовые случаи для вас, по одной строке за раз при каждом нажатии кнопки.

2

Редактируйте логику генерации (опционально)

Вы также можете отредактировать логику генерации тестовых случаев, нажав на выпадающую стрелку справа от кнопки ‘Generate Test Case’, затем на ‘Show generation logic’ в верхней части всплывающего окна Variables. Возможно, вам придется нажать `Generate’ в правом верхнем углу этого окна, чтобы заполнить начальную логику генерации.

Редактирование этого позволяет вам настроить и точно настроить тестовые случаи, которые генерирует Claude, для большей точности и специфичности.

Вот пример заполненного экрана оценки с несколькими тестовыми случаями:

Если вы обновите текст вашего исходного промпта, вы можете повторно запустить весь набор оценки против нового промпта, чтобы увидеть, как изменения влияют на производительность во всех тестовых случаях.

​
Советы для эффективной оценки

Используйте вспомогательный инструмент ‘Generate a prompt’ в Console для быстрого создания промптов с соответствующим синтаксисом переменных для оценки.

​
Понимание и сравнение результатов

Инструмент оценки предлагает несколько функций, которые помогут вам улучшить ваши промпты:

  1. Сравнение бок о бок: Сравните выходные данные двух или более промптов, чтобы быстро увидеть влияние ваших изменений.
  2. Оценка качества: Оценивайте качество ответов по 5-балльной шкале, чтобы отслеживать улучшения в качестве ответов для каждого промпта.
  3. Версионирование промптов: Создавайте новые версии вашего промпта и повторно запускайте тестовый набор для быстрой итерации и улучшения результатов.

Просматривая результаты по тестовым случаям и сравнивая различные версии промптов, вы можете выявить закономерности и внести обоснованные корректировки в ваш промпт более эффективно.

Начните оценивать ваши промпты сегодня, чтобы создавать более надежные AI-приложения с Claude!