Определите, следует ли использовать Claude для маршрутизации заявок
Вот некоторые ключевые индикаторы того, что вам следует использовать LLM, такую как Claude, вместо традиционных подходов машинного обучения для вашей задачи классификации:У вас ограниченное количество размеченных обучающих данных
У вас ограниченное количество размеченных обучающих данных
Ваши категории классификации, вероятно, будут изменяться или развиваться со временем
Ваши категории классификации, вероятно, будут изменяться или развиваться со временем
Вам нужно обрабатывать сложные, неструктурированные текстовые входные данные
Вам нужно обрабатывать сложные, неструктурированные текстовые входные данные
Ваши правила классификации основаны на семантическом понимании
Ваши правила классификации основаны на семантическом понимании
Вам требуется интерпретируемое обоснование для решений классификации
Вам требуется интерпретируемое обоснование для решений классификации
Вы хотите более эффективно обрабатывать крайние случаи и неоднозначные заявки
Вы хотите более эффективно обрабатывать крайние случаи и неоднозначные заявки
Вам нужна многоязычная поддержка без поддержания отдельных моделей
Вам нужна многоязычная поддержка без поддержания отдельных моделей
Создайте и разверните ваш рабочий процесс поддержки LLM
Поймите ваш текущий подход к поддержке
Прежде чем погружаться в автоматизацию, крайне важно понять вашу существующую систему заявок. Начните с исследования того, как ваша команда поддержки в настоящее время обрабатывает маршрутизацию заявок. Рассмотрите такие вопросы, как:- Какие критерии используются для определения того, какое SLA/предложение услуг применяется?
- Используется ли маршрутизация заявок для определения того, к какому уровню поддержки или специалисту по продукту направляется заявка?
- Есть ли уже какие-либо автоматизированные правила или рабочие процессы? В каких случаях они терпят неудачу?
- Как обрабатываются крайние случаи или неоднозначные заявки?
- Как команда расставляет приоритеты заявок?
Определите категории намерений пользователей
Хорошо определенный список категорий намерений пользователей имеет решающее значение для точной классификации заявок поддержки с помощью Claude. Способность Claude эффективно направлять заявки в вашей системе прямо пропорциональна тому, насколько хорошо определены категории вашей системы. Вот некоторые примеры категорий намерений пользователей и подкатегорий.Техническая проблема
Техническая проблема
- Проблема с оборудованием
- Ошибка программного обеспечения
- Проблема совместимости
- Проблема производительности
Управление аккаунтом
Управление аккаунтом
- Сброс пароля
- Проблемы доступа к аккаунту
- Запросы по биллингу
- Изменения подписки
Информация о продукте
Информация о продукте
- Запросы о функциях
- Вопросы совместимости продукта
- Информация о ценах
- Запросы о доступности
Руководство пользователя
Руководство пользователя
- Вопросы “как сделать”
- Помощь в использовании функций
- Советы по лучшим практикам
- Руководство по устранению неполадок
Обратная связь
Обратная связь
- Отчеты об ошибках
- Запросы функций
- Общая обратная связь или предложения
- Жалобы
Связанное с заказом
Связанное с заказом
- Запросы о статусе заказа
- Информация о доставке
- Возвраты и обмены
- Изменения заказа
Запрос услуги
Запрос услуги
- Помощь в установке
- Запросы на обновление
- Планирование обслуживания
- Отмена услуги
Проблемы безопасности
Проблемы безопасности
- Запросы о конфиденциальности данных
- Отчеты о подозрительной активности
- Помощь с функциями безопасности
Соответствие и правовые вопросы
Соответствие и правовые вопросы
- Вопросы регулятивного соответствия
- Запросы об условиях обслуживания
- Запросы правовой документации
Экстренная поддержка
Экстренная поддержка
- Критические сбои системы
- Срочные проблемы безопасности
- Проблемы, чувствительные ко времени
Обучение и образование
Обучение и образование
- Запросы на обучение продукту
- Запросы документации
- Информация о вебинарах или семинарах
Интеграция и API
Интеграция и API
- Помощь в интеграции
- Вопросы использования API
- Запросы совместимости с третьими сторонами
Установите критерии успеха
Работайте с вашей командой поддержки, чтобы определить четкие критерии успеха с измеримыми показателями, пороговыми значениями и целями. Вот некоторые стандартные критерии и показатели при использовании LLM для маршрутизации заявок поддержки:Согласованность классификации
Согласованность классификации
Скорость адаптации
Скорость адаптации
Многоязычная обработка
Многоязычная обработка
Обработка крайних случаев
Обработка крайних случаев
Смягчение предвзятости
Смягчение предвзятости
Эффективность промпта
Эффективность промпта
Оценка объяснимости
Оценка объяснимости
Точность маршрутизации
Точность маршрутизации
Время до назначения
Время до назначения
Частота перенаправления
Частота перенаправления
Частота разрешения при первом контакте
Частота разрешения при первом контакте
Среднее время обработки
Среднее время обработки
Оценки удовлетворенности клиентов
Оценки удовлетворенности клиентов
Частота эскалации
Частота эскалации
Производительность агента
Производительность агента
Частота отклонения самообслуживания
Частота отклонения самообслуживания
Стоимость на заявку
Стоимость на заявку
Выберите правильную модель Claude
Выбор модели зависит от компромиссов между стоимостью, точностью и временем отклика. Многие клиенты обнаружили, чтоclaude-3-5-haiku-20241022 является идеальной моделью для маршрутизации заявок, поскольку это самая быстрая и наиболее экономически эффективная модель в семействе Claude 3, при этом все еще обеспечивающая отличные результаты. Если ваша проблема классификации требует глубокой экспертизы в предметной области или большого объема категорий намерений сложного рассуждения, вы можете выбрать более крупную модель Sonnet.
Создайте сильный промпт
Маршрутизация заявок - это тип задачи классификации. Claude анализирует содержимое заявки поддержки и классифицирует ее в предопределенные категории на основе типа проблемы, срочности, требуемой экспертизы или других соответствующих факторов. Давайте напишем промпт классификации заявок. Наш первоначальный промпт должен содержать содержимое пользовательского запроса и возвращать как рассуждение, так и намерение.- Мы используем f-строки Python для создания шаблона промпта, позволяя вставлять
ticket_contentsв теги<request>. - Мы даем Claude четко определенную роль как системы классификации, которая тщательно анализирует содержимое заявки для определения основного намерения и потребностей клиента.
- Мы инструктируем Claude о правильном форматировании вывода, в данном случае предоставлять свое рассуждение и анализ внутри тегов
<reasoning>, за которыми следует соответствующая метка классификации внутри тегов<intent>. - Мы указываем действительные категории намерений: “Support, Feedback, Complaint”, “Order Tracking” и “Refund/Exchange”.
- Мы включаем несколько примеров (также известных как few-shot prompting) для иллюстрации того, как должен быть отформатирован вывод, что улучшает точность и согласованность.
Разверните ваш промпт
Трудно знать, насколько хорошо работает ваш промпт, не развернув его в тестовой производственной среде и не проведя оценки. Давайте построим структуру развертывания. Начните с определения сигнатуры метода для обертывания нашего вызова Claude. Мы возьмем метод, который уже начали писать, который имеетticket_contents в качестве входных данных, и теперь вернем кортеж reasoning и intent в качестве вывода. Если у вас есть существующая автоматизация, использующая традиционное машинное обучение, вам захочется следовать этой сигнатуре метода вместо этого.
- Импортирует библиотеку Anthropic и создает экземпляр клиента, используя ваш API-ключ.
- Определяет функцию
classify_support_request, которая принимает строкуticket_contents. - Отправляет
ticket_contentsв Claude для классификации, используяclassification_prompt - Возвращает
reasoningиintentмодели, извлеченные из ответа.
stream=False (по умолчанию).
Оцените ваш промпт
Промптинг часто требует тестирования и оптимизации, чтобы быть готовым к производству. Чтобы определить готовность вашего решения, оцените производительность на основе критериев успеха и пороговых значений, которые вы установили ранее. Для проведения вашей оценки вам понадобятся тестовые случаи для ее запуска. Остальная часть этого руководства предполагает, что вы уже разработали ваши тестовые случаи.Создайте функцию оценки
Наш пример оценки для этого руководства измеряет производительность Claude по трем ключевым метрикам:- Точность
- Стоимость на классификацию
- Мы добавили
actual_intentиз наших тестовых случаев в методclassify_support_requestи настроили сравнение для оценки того, соответствует ли классификация намерения Claude нашей золотой классификации намерения. - Мы извлекли статистику использования для API-вызова для расчета стоимости на основе использованных входных и выходных токенов
Запустите вашу оценку
Правильная оценка требует четких пороговых значений и показателей для определения того, что является хорошим результатом. Скрипт выше даст нам значения времени выполнения для точности, времени отклика и стоимости на классификацию, но нам все еще нужны четко установленные пороговые значения. Например:- Точность: 95% (из 100 тестов)
- Стоимость на классификацию: 50% снижение в среднем (по 100 тестам) от текущего метода маршрутизации
Улучшите производительность
В сложных сценариях может быть полезно рассмотреть дополнительные стратегии для улучшения производительности помимо стандартных техник инженерии промптов и стратегий реализации ограждений. Вот некоторые распространенные сценарии:Используйте таксономическую иерархию для случаев с 20+ категориями намерений
По мере роста количества классов также расширяется количество требуемых примеров, потенциально делая промпт громоздким. В качестве альтернативы вы можете рассмотреть реализацию иерархической системы классификации, используя смесь классификаторов.- Организуйте ваши намерения в структуру таксономического дерева.
- Создайте серию классификаторов на каждом уровне дерева, обеспечивая каскадный подход маршрутизации.

- Плюсы - большая нюансировка и точность: Вы можете создать разные промпты для каждого родительского пути, позволяя более целевую и контекстно-специфическую классификацию. Это может привести к улучшенной точности и более нюансированной обработке запросов клиентов.
- Минусы - увеличенная задержка: Имейте в виду, что множественные классификаторы могут привести к увеличенной задержке, и мы рекомендуем реализовать этот подход с нашей самой быстрой моделью, Haiku.
Используйте векторные базы данных и поиск по сходству для обработки сильно варьирующихся заявок
Несмотря на то, что предоставление примеров является наиболее эффективным способом улучшения производительности, если запросы поддержки сильно варьируются, может быть трудно включить достаточно примеров в один промпт. В этом сценарии вы могли бы использовать векторную базу данных для поиска по сходству из набора данных примеров и извлечения наиболее релевантных примеров для данного запроса. Этот подход, подробно описанный в нашем рецепте классификации, показал улучшение производительности с 71% точности до 93% точности.Специально учитывайте ожидаемые крайние случаи
Вот некоторые сценарии, где Claude может неправильно классифицировать заявки (могут быть другие, уникальные для вашей ситуации). В этих сценариях рассмотрите предоставление явных инструкций или примеров в промпте того, как Claude должен обрабатывать крайний случай:Клиенты делают неявные запросы
Клиенты делают неявные запросы
- Решение: Предоставьте Claude некоторые реальные примеры клиентов таких запросов, вместе с тем, каково основное намерение. Вы можете получить еще лучшие результаты, если включите обоснование классификации для особенно нюансированных намерений заявок, чтобы Claude мог лучше обобщить логику на другие заявки.
Claude приоритизирует эмоции над намерением
Claude приоритизирует эмоции над намерением
- Решение: Предоставьте Claude указания о том, когда приоритизировать настроение клиента или нет. Это может быть что-то простое, как “Игнорируйте все эмоции клиентов. Сосредоточьтесь только на анализе намерения запроса клиента и какую информацию клиент может запрашивать.”
Множественные проблемы вызывают путаницу в приоритизации проблем
Множественные проблемы вызывают путаницу в приоритизации проблем
- Решение: Уточните приоритизацию намерений, чтобы Claude мог лучше ранжировать извлеченные намерения и идентифицировать основную проблему.
Интегрируйте Claude в ваш больший рабочий процесс поддержки
Правильная интеграция требует, чтобы вы приняли некоторые решения относительно того, как ваш скрипт маршрутизации заявок на основе Claude вписывается в архитектуру вашей большей системы маршрутизации заявок. Есть два способа, которыми вы могли бы это сделать:- На основе push: Система заявок поддержки, которую вы используете (например, Zendesk), запускает ваш код, отправляя событие webhook в ваш сервис маршрутизации, который затем классифицирует намерение и направляет его.
- Этот подход более масштабируем в веб-среде, но требует от вас предоставления публичной конечной точки.
- На основе pull: Ваш код извлекает последние заявки на основе заданного расписания и направляет их во время извлечения.
- Этот подход легче реализовать, но может делать ненужные вызовы к системе заявок поддержки, когда частота извлечения слишком высока, или может быть чрезмерно медленным, когда частота извлечения слишком низка.