Definir si usar Claude para el enrutamiento de tickets
Aquí hay algunos indicadores clave de que deberías usar un LLM como Claude en lugar de enfoques tradicionales de ML para tu tarea de clasificación:Tienes datos de entrenamiento etiquetados limitados disponibles
Tienes datos de entrenamiento etiquetados limitados disponibles
Tus categorías de clasificación probablemente cambiarán o evolucionarán con el tiempo
Tus categorías de clasificación probablemente cambiarán o evolucionarán con el tiempo
Necesitas manejar entradas de texto complejas y no estructuradas
Necesitas manejar entradas de texto complejas y no estructuradas
Tus reglas de clasificación se basan en comprensión semántica
Tus reglas de clasificación se basan en comprensión semántica
Requieres razonamiento interpretable para las decisiones de clasificación
Requieres razonamiento interpretable para las decisiones de clasificación
Quieres manejar casos extremos y tickets ambiguos de manera más efectiva
Quieres manejar casos extremos y tickets ambiguos de manera más efectiva
Necesitas soporte multilingüe sin mantener modelos separados
Necesitas soporte multilingüe sin mantener modelos separados
Construir y desplegar tu flujo de trabajo de soporte LLM
Entender tu enfoque de soporte actual
Antes de sumergirte en la automatización, es crucial entender tu sistema de tickets existente. Comienza investigando cómo tu equipo de soporte maneja actualmente el enrutamiento de tickets. Considera preguntas como:- ¿Qué criterios se usan para determinar qué SLA/oferta de servicio se aplica?
- ¿Se usa el enrutamiento de tickets para determinar a qué nivel de soporte o especialista de producto va un ticket?
- ¿Hay alguna regla automatizada o flujos de trabajo ya en su lugar? ¿En qué casos fallan?
- ¿Cómo se manejan los casos extremos o tickets ambiguos?
- ¿Cómo prioriza el equipo los tickets?
Definir categorías de intención del usuario
Una lista bien definida de categorías de intención del usuario es crucial para la clasificación precisa de tickets de soporte con Claude. La capacidad de Claude para enrutar tickets efectivamente dentro de tu sistema es directamente proporcional a qué tan bien definidas están las categorías de tu sistema. Aquí hay algunas categorías de intención del usuario de ejemplo y subcategorías.Problema técnico
Problema técnico
- Problema de hardware
- Error de software
- Problema de compatibilidad
- Problema de rendimiento
Gestión de cuenta
Gestión de cuenta
- Restablecimiento de contraseña
- Problemas de acceso a la cuenta
- Consultas de facturación
- Cambios de suscripción
Información del producto
Información del producto
- Consultas de características
- Preguntas de compatibilidad del producto
- Información de precios
- Consultas de disponibilidad
Orientación del usuario
Orientación del usuario
- Preguntas de cómo hacer
- Asistencia de uso de características
- Consejos de mejores prácticas
- Orientación de solución de problemas
Retroalimentación
Retroalimentación
- Reportes de errores
- Solicitudes de características
- Retroalimentación general o sugerencias
- Quejas
Relacionado con pedidos
Relacionado con pedidos
- Consultas de estado de pedido
- Información de envío
- Devoluciones e intercambios
- Modificaciones de pedido
Solicitud de servicio
Solicitud de servicio
- Asistencia de instalación
- Solicitudes de actualización
- Programación de mantenimiento
- Cancelación de servicio
Preocupaciones de seguridad
Preocupaciones de seguridad
- Consultas de privacidad de datos
- Reportes de actividad sospechosa
- Asistencia de características de seguridad
Cumplimiento y legal
Cumplimiento y legal
- Preguntas de cumplimiento regulatorio
- Consultas de términos de servicio
- Solicitudes de documentación legal
Soporte de emergencia
Soporte de emergencia
- Fallas críticas del sistema
- Problemas urgentes de seguridad
- Problemas sensibles al tiempo
Entrenamiento y educación
Entrenamiento y educación
- Solicitudes de entrenamiento del producto
- Consultas de documentación
- Información de seminarios web o talleres
Integración y API
Integración y API
- Asistencia de integración
- Preguntas de uso de API
- Consultas de compatibilidad de terceros
Establecer criterios de éxito
Trabaja con tu equipo de soporte para definir criterios de éxito claros con puntos de referencia medibles, umbrales y objetivos. Aquí hay algunos criterios estándar y puntos de referencia al usar LLMs para el enrutamiento de tickets de soporte:Consistencia de clasificación
Consistencia de clasificación
Velocidad de adaptación
Velocidad de adaptación
Manejo multilingüe
Manejo multilingüe
Manejo de casos extremos
Manejo de casos extremos
Mitigación de sesgo
Mitigación de sesgo
Eficiencia del prompt
Eficiencia del prompt
Puntuación de explicabilidad
Puntuación de explicabilidad
Precisión de enrutamiento
Precisión de enrutamiento
Tiempo hasta asignación
Tiempo hasta asignación
Tasa de reenrutamiento
Tasa de reenrutamiento
Tasa de resolución en primer contacto
Tasa de resolución en primer contacto
Tiempo promedio de manejo
Tiempo promedio de manejo
Puntuaciones de satisfacción del cliente
Puntuaciones de satisfacción del cliente
Tasa de escalación
Tasa de escalación
Productividad del agente
Productividad del agente
Tasa de deflexión de autoservicio
Tasa de deflexión de autoservicio
Costo por ticket
Costo por ticket
Elegir el modelo Claude correcto
La elección del modelo depende de las compensaciones entre costo, precisión y tiempo de respuesta. Muchos clientes han encontrado queclaude-3-5-haiku-20241022 es un modelo ideal para el enrutamiento de tickets, ya que es el modelo más rápido y costo-efectivo en la familia Claude 3 mientras aún entrega excelentes resultados. Si tu problema de clasificación requiere experiencia profunda en la materia o un gran volumen de categorías de intención con razonamiento complejo, puedes optar por el modelo Sonnet más grande.
Construir un prompt sólido
El enrutamiento de tickets es un tipo de tarea de clasificación. Claude analiza el contenido de un ticket de soporte y lo clasifica en categorías predefinidas basadas en el tipo de problema, urgencia, experiencia requerida u otros factores relevantes. Escribamos un prompt de clasificación de tickets. Nuestro prompt inicial debería contener los contenidos de la solicitud del usuario y devolver tanto el razonamiento como la intención.- Usamos f-strings de Python para crear la plantilla del prompt, permitiendo que el
ticket_contentssea insertado en las etiquetas<request>. - Le damos a Claude un rol claramente definido como un sistema de clasificación que analiza cuidadosamente el contenido del ticket para determinar la intención central y necesidades del cliente.
- Instruimos a Claude sobre el formato de salida apropiado, en este caso para proporcionar su razonamiento y análisis dentro de etiquetas
<reasoning>, seguido por la etiqueta de clasificación apropiada dentro de etiquetas<intent>. - Especificamos las categorías de intención válidas: “Soporte, Retroalimentación, Queja”, “Seguimiento de Pedido” y “Reembolso/Intercambio”.
- Incluimos algunos ejemplos (también conocido como prompting de pocos ejemplos) para ilustrar cómo debería estar formateada la salida, lo que mejora la precisión y consistencia.
Desplegar tu prompt
Es difícil saber qué tan bien funciona tu prompt sin desplegarlo en un entorno de producción de prueba y ejecutar evaluaciones. Construyamos la estructura de despliegue. Comienza definiendo la firma del método para envolver nuestra llamada a Claude. Tomaremos el método que ya hemos comenzado a escribir, que tieneticket_contents como entrada, y ahora devolver una tupla de reasoning e intent como salida. Si tienes una automatización existente usando ML tradicional, querrás seguir esa firma de método en su lugar.
- Importa la biblioteca Anthropic y crea una instancia del cliente usando tu clave API.
- Define una función
classify_support_requestque toma una cadenaticket_contents. - Envía el
ticket_contentsa Claude para clasificación usando elclassification_prompt - Devuelve el
reasoningeintentdel modelo extraídos de la respuesta.
stream=False (el predeterminado).
Evaluar tu prompt
El prompting a menudo requiere pruebas y optimización para que esté listo para producción. Para determinar la preparación de tu solución, evalúa el rendimiento basado en los criterios de éxito y umbrales que estableciste anteriormente. Para ejecutar tu evaluación, necesitarás casos de prueba para ejecutarla. El resto de esta guía asume que ya has desarrollado tus casos de prueba.Construir una función de evaluación
Nuestra evaluación de ejemplo para esta guía mide el rendimiento de Claude a lo largo de tres métricas clave:- Precisión
- Costo por clasificación
- Agregamos el
actual_intentde nuestros casos de prueba al métodoclassify_support_requesty configuramos una comparación para evaluar si la clasificación de intención de Claude coincide con nuestra clasificación de intención dorada. - Extrajimos estadísticas de uso para la llamada API para calcular el costo basado en tokens de entrada y salida usados
Ejecutar tu evaluación
Una evaluación apropiada requiere umbrales y puntos de referencia claros para determinar qué es un buen resultado. El script anterior nos dará los valores de tiempo de ejecución para precisión, tiempo de respuesta y costo por clasificación, pero aún necesitaríamos umbrales claramente establecidos. Por ejemplo:- Precisión: 95% (de 100 pruebas)
- Costo por clasificación: 50% de reducción en promedio (a través de 100 pruebas) del método de enrutamiento actual
Mejorar el rendimiento
En escenarios complejos, puede ser útil considerar estrategias adicionales para mejorar el rendimiento más allá de las técnicas estándar de ingeniería de prompts y estrategias de implementación de barreras de seguridad. Aquí hay algunos escenarios comunes:Usar una jerarquía taxonómica para casos con 20+ categorías de intención
A medida que el número de clases crece, el número de ejemplos requeridos también se expande, potencialmente haciendo el prompt difícil de manejar. Como alternativa, puedes considerar implementar un sistema de clasificación jerárquico usando una mezcla de clasificadores.- Organiza tus intenciones en una estructura de árbol taxonómico.
- Crea una serie de clasificadores en cada nivel del árbol, habilitando un enfoque de enrutamiento en cascada.

- Pros - mayor matiz y precisión: Puedes crear diferentes prompts para cada ruta padre, permitiendo clasificación más dirigida y específica al contexto. Esto puede llevar a precisión mejorada y manejo más matizado de solicitudes de clientes.
- Contras - latencia aumentada: Ten en cuenta que múltiples clasificadores pueden llevar a latencia aumentada, y recomendamos implementar este enfoque con nuestro modelo más rápido, Haiku.
Usar bases de datos vectoriales y búsqueda de similitud de recuperación para manejar tickets altamente variables
A pesar de que proporcionar ejemplos es la forma más efectiva de mejorar el rendimiento, si las solicitudes de soporte son altamente variables, puede ser difícil incluir suficientes ejemplos en un solo prompt. En este escenario, podrías emplear una base de datos vectorial para hacer búsquedas de similitud de un conjunto de datos de ejemplos y recuperar los ejemplos más relevantes para una consulta dada. Este enfoque, delineado en detalle en nuestra receta de clasificación, ha demostrado mejorar el rendimiento del 71% de precisión al 93% de precisión.Considerar específicamente casos extremos esperados
Aquí hay algunos escenarios donde Claude puede clasificar mal los tickets (puede haber otros que son únicos a tu situación). En estos escenarios, considera proporcionar instrucciones explícitas o ejemplos en el prompt de cómo Claude debería manejar el caso extremo:Los clientes hacen solicitudes implícitas
Los clientes hacen solicitudes implícitas
- Solución: Proporciona a Claude algunos ejemplos reales de clientes de estos tipos de solicitudes, junto con cuál es la intención subyacente. Puedes obtener resultados aún mejores si incluyes una justificación de clasificación para intenciones de tickets particularmente matizadas, para que Claude pueda generalizar mejor la lógica a otros tickets.
Claude prioriza la emoción sobre la intención
Claude prioriza la emoción sobre la intención
- Solución: Proporciona a Claude direcciones sobre cuándo priorizar el sentimiento del cliente o no. Puede ser algo tan simple como “Ignora todas las emociones del cliente. Enfócate solo en analizar la intención de la solicitud del cliente y qué información el cliente podría estar pidiendo.”
Múltiples problemas causan confusión de priorización de problemas
Múltiples problemas causan confusión de priorización de problemas
- Solución: Clarifica la priorización de intenciones para que Claude pueda clasificar mejor las intenciones extraídas e identificar la preocupación principal.
Integrar Claude en tu flujo de trabajo de soporte mayor
La integración apropiada requiere que tomes algunas decisiones respecto a cómo tu script de enrutamiento de tickets basado en Claude encaja en la arquitectura de tu sistema de enrutamiento de tickets mayor. Hay dos formas en que podrías hacer esto:- Basado en push: El sistema de tickets de soporte que estás usando (ej. Zendesk) activa tu código enviando un evento webhook a tu servicio de enrutamiento, que luego clasifica la intención y la enruta.
- Este enfoque es más escalable web, pero necesita que expongas un endpoint público.
- Basado en pull: Tu código extrae los últimos tickets basado en un horario dado y los enruta en el momento de extracción.
- Este enfoque es más fácil de implementar pero podría hacer llamadas innecesarias al sistema de tickets de soporte cuando la frecuencia de extracción es demasiado alta o podría ser excesivamente lento cuando la frecuencia de extracción es demasiado baja.