​
Доступ к функции оценки

Чтобы начать работу с инструментом оценки:
  1. Откройте Claude Console и перейдите к редактору промптов.
  2. После создания промпта найдите вкладку ‘Evaluate’ в верхней части экрана.
Доступ к функции оценки
Убедитесь, что ваш промпт включает как минимум 1-2 динамические переменные, используя синтаксис двойных скобок: {{variable}}. Это необходимо для создания наборов тестов оценки.

​
Генерация промптов

Console предлагает встроенный генератор промптов, работающий на Claude Opus 4.1:
1

Нажмите 'Generate Prompt'

Нажатие на вспомогательный инструмент ‘Generate Prompt’ откроет модальное окно, которое позволит вам ввести информацию о вашей задаче.
2

Опишите вашу задачу

Опишите желаемую задачу (например, “Сортировка входящих запросов службы поддержки клиентов”) с любым количеством деталей. Чем больше контекста вы включите, тем лучше Claude сможет адаптировать сгенерированный промпт к вашим конкретным потребностям.
3

Сгенерируйте ваш промпт

Нажатие оранжевой кнопки ‘Generate Prompt’ внизу заставит Claude сгенерировать высококачественный промпт для вас. Затем вы можете дополнительно улучшить эти промпты, используя экран оценки в Console.
Эта функция упрощает создание промптов с соответствующим синтаксисом переменных для оценки. Генератор промптов

​
Создание тестовых случаев

Когда вы получаете доступ к экрану оценки, у вас есть несколько вариантов создания тестовых случаев:
  1. Нажмите кнопку ’+ Add Row’ в левом нижнем углу, чтобы вручную добавить случай.
  2. Используйте функцию ‘Generate Test Case’, чтобы Claude автоматически генерировал тестовые случаи для вас.
  3. Импортируйте тестовые случаи из CSV-файла.
Чтобы использовать функцию ‘Generate Test Case’:
1

Нажмите на 'Generate Test Case'

Claude будет генерировать тестовые случаи для вас, по одной строке за раз при каждом нажатии кнопки.
2

Редактируйте логику генерации (опционально)

Вы также можете редактировать логику генерации тестовых случаев, нажав на выпадающую стрелку справа от кнопки ‘Generate Test Case’, затем на ‘Show generation logic’ в верхней части всплывающего окна Variables. Возможно, вам придется нажать `Generate’ в правом верхнем углу этого окна, чтобы заполнить начальную логику генерации.Редактирование этого позволяет вам настраивать и точно настраивать тестовые случаи, которые генерирует Claude, для большей точности и специфичности.
Вот пример заполненного экрана оценки с несколькими тестовыми случаями: Заполненный экран оценки
Если вы обновите текст вашего исходного промпта, вы можете повторно запустить весь набор оценки против нового промпта, чтобы увидеть, как изменения влияют на производительность во всех тестовых случаях.

​
Советы для эффективной оценки

Чтобы максимально использовать инструмент оценки, структурируйте ваши промпты с четкими форматами ввода и вывода. Например:
В этой задаче вы будете генерировать милую историю из одного предложения, которая включает два элемента: цвет и звук.
Цвет, который нужно включить в историю:
<color>
{{COLOR}}
</color>
Звук, который нужно включить в историю:
<sound>
{{SOUND}}
</sound>
Вот шаги для генерации истории:
1. Подумайте об объекте, животном или сцене, которые обычно ассоциируются с предоставленным цветом. Например, если цвет "синий", вы можете подумать о небе, океане или синей птице.
2. Представьте простое действие, событие или сцену, включающую цветной объект/животное/сцену, которую вы определили, и предоставленный звук. Например, если цвет "синий" и звук "свист", вы можете представить синюю птицу, насвистывающую мелодию.
3. Опишите действие, событие или сцену, которую вы представили, в одном кратком предложении. Сосредоточьтесь на том, чтобы сделать предложение милым, выразительным и образным. Например: "Веселая синяя птица насвистывала веселую мелодию, паря в лазурном небе."
Пожалуйста, ограничьте вашу историю только одним предложением. Стремитесь сделать это предложение как можно более очаровательным и увлекательным, естественно включая данный цвет и звук.
Напишите вашу завершенную историю из одного предложения внутри тегов <story>.
Эта структура упрощает изменение входных данных ({{COLOR}} и {{SOUND}}) и последовательную оценку выходных данных.
Используйте вспомогательный инструмент ‘Generate a prompt’ в Console для быстрого создания промптов с соответствующим синтаксисом переменных для оценки.

​
Понимание и сравнение результатов

Инструмент оценки предлагает несколько функций, которые помогут вам улучшить ваши промпты:
  1. Сравнение бок о бок: Сравнивайте выходные данные двух или более промптов, чтобы быстро увидеть влияние ваших изменений.
  2. Оценка качества: Оценивайте качество ответов по 5-балльной шкале для отслеживания улучшений в качестве ответов на промпт.
  3. Версионирование промптов: Создавайте новые версии вашего промпта и повторно запускайте набор тестов для быстрой итерации и улучшения результатов.
Просматривая результаты по тестовым случаям и сравнивая различные версии промптов, вы можете выявлять закономерности и вносить обоснованные корректировки в ваш промпт более эффективно. Начните оценивать ваши промпты сегодня, чтобы создавать более надежные AI-приложения с Claude!