Prácticas recomendadas para mejorar el agente personalizado

El rendimiento de un agente depende de tres cosas: el modelo en el que se ejecuta, cómo están configurados sus disparadores y su alcance, y cómo se han escrito las instrucciones. Si ajustas cualquiera de estos factores, tu agente puede ser más fiable, coherente y rentable.

En esta guía explicamos cómo:

• Elegir un modelo adecuado para la tarea

• Controlar los disparadores y el alcance de tu agente

• Dejar que tu agente te ayude a depurarse y optimizarse a sí mismo

Product Scout es un agente personalizado que se ha diseñado para responder a preguntas internas sobre los productos. Su función es ayudar a los compañeros de equipo a obtener respuestas rápidas y precisas, como «¿Se puede hacer una exportación en bloque con la función X?», extrayéndolas de documentos y conversaciones anteriores.

Actualmente, Product Scout se activa con cada mensaje de un canal de Slack, busca contexto en todo el espacio de trabajo y se ejecuta en el modelo más potente disponible. Funciona, pero hay tres cosas que saltan a la vista: las respuestas no siempre son coherentes, el agente se ejecuta con más frecuencia de la necesaria y hay margen para reducir los costes. Lo usaremos a lo largo de esta guía para mostrar cómo se lleva a cabo cada ajuste en la práctica.

Con Notion, puedes elegir el modelo en el que quieres que se ejecute tu agente personalizado. Este factor es uno de los que más afectan al coste. El objetivo no es escoger el modelo más potente disponible, sino encontrar el que te ofrezca de manera constante unos resultados acordes con tus exigencias de calidad.

Al elegir un modelo, pasa el cursor sobre cada opción del selector para comparar la velocidad, la inteligencia y el coste.

Aquí tienes un marco general:

• Auto permite que Notion seleccione el mejor modelo para cada solicitud. Es la opción predeterminada que se recomienda para la mayoría de los agentes.

• Los modelos ligeros son ideales para flujos de trabajo repetitivos y de menor riesgo, como redactar borradores rutinarios, realizar tareas sencillas de derivación y triaje o generar contenido estructurado. Son una buena opción cuando la velocidad, la coherencia y la rentabilidad son más importantes que el razonamiento complejo.

• Los modelos potentes (por ejemplo, Opus) son ideales para tareas que requieran una redacción con más matices, un razonamiento complejo o una alta precisión, pero consumen más créditos por ejecución.

Prueba varios modelos para ver cuál cumple de manera constante con tus exigencias de calidad. Si la calidad de los resultados disminuye cuanto más compleja sea la tarea, siempre puedes pasarte a un modelo más potente.

Inicialmente, Product Scout se ejecutaba en el modelo más potente disponible, pero su tarea principal (encontrar documentos relevantes y resumirlos) no necesita de un razonamiento complejo. Al cambiar a un modelo ligero, se redujeron los costes sin perder calidad.

Los disparadores y el alcance de un agente funcionan conjuntamente. Los disparadores controlan cuándo se ejecuta el agente. El alcance controla lo que lee. Si uno de los dos es demasiado general, consumirás créditos en ejecuciones que producen resultados confusos o irrelevantes.

Un buen disparador debe ser lo bastante frecuente como para resultar útil y lo bastante específico como para ejecutarse solo cuando sea necesario. Tu agente consume créditos cada vez que se activa, aunque no realice ninguna acción. Utiliza el disparador en los momentos en los que realmente se necesite su ayuda.

Cuando se configuró Product Scout, se activaba con todos los mensajes del canal #preguntas-productos, incluidas las respuestas, las reacciones y los «¡gracias!». En consecuencia, se consumían créditos en ejecuciones que no producían nada útil.

Lo primero es definir cuándo debe intervenir el agente:

• ¿Qué preguntas debe responder este agente? Define un pequeño conjunto de tipos de preguntas que entren dentro de su alcance, y escribe algunos ejemplos.

• ¿Qué debería ignorar? Las reacciones, los «gracias», la charla general y los mensajes que no tengan que ver con el tema no deberían activar una ejecución.

Una vez definidos los límites, ajusta los disparadores en consecuencia. Por ejemplo, puedes limitar el disparador a las menciones con @, filtrar por palabras clave o hacer que se active con un cambio de propiedad determinado, en lugar de con cada modificación.

Al cambiar el disparador de Product Scout a las menciones con @, solo se ejecuta cuando alguien le haga una pregunta de verdad.

Tu agente lee todos los textos a los que le des acceso. Si el alcance es muy amplio, tendrá que revisar mucha información irrelevante y los resultados serán de peor calidad.

Product Scout buscaba en todo el espacio de trabajo y en todas las herramientas conectadas: páginas de marketing, documentos de Recursos Humanos, notas de reuniones antiguas y meses de conversaciones en canales de Slack no relacionados. Ninguno de estos lugares contenía respuestas sobre los productos, pero el agente los leía igualmente. En consecuencia, los resultados incluían información irrelevante y las respuestas eran menos coherentes.

Te explicamos cómo plantearte el alcance de tu agente:

• Empieza por los lugares donde realmente están las respuestas: si tu agente responde a preguntas sobre productos, conéctalo a los documentos sobre los productos y a los canales de Slack pertinentes, no a todo el espacio de trabajo ni a todas las herramientas conectadas.

• No añadas contexto «por si acaso»: cada página, base de datos o canal adicional significa que el agente tendrá más contenido que analizar. Elimina todo aquello que no suela contener respuesta útiles.

• Si el agente sigue abarcando demasiados temas no relacionados, divídelo en dos agentes especializados: un agente que se ocupe de preguntas sobre productos y sobre facturación está haciendo dos trabajos. Obtendrás mejores resultados si lo divides en dos agentes con alcances más reducidos.

Al limitar el alcance de Product Scout a la base de datos sobre lanzamientos de productos y al historial del canal #preguntas-productos de Slack, el agente tuvo una idea más clara de dónde buscar. Las respuestas se volvieron más coherentes porque el agente tenía que revisar menos información irrelevante.

No hace falta dar con las instrucciones correctas a la primera. La forma más rápida de mejorarlas es mostrarle a tu agente personalizado algunos resultados «malos» y pedirle que te ayude a reescribirlos.

Aquí tienes un flujo de trabajo sencillo:

• Reúne de 3 a 5 ejemplos reales en los que la respuesta del agente fuera demasiado larga, se desviara del tema o mostrara una confianza excesiva.

• Pregúntale al agente cuál ha sido el problema: ¿el alcance era demasiado amplio? ¿Las reglas sobre cuándo responder no están claras?

• Pídele que proponga unas instrucciones mejoradas que añadan tipos de preguntas que entren dentro del alcance, reglas sobre cuándo «no responder» o una plantilla de respuesta.

• Pon a prueba las nuevas instrucciones con los mismos ejemplos y conserva el cambio más pequeño que solucione el problema.

Por ejemplo, puedes pegar una respuesta en la que Product Scout extrajera información de un documento de Recursos Humanos no relacionado y decirle: «Esta respuesta hacía referencia a una página que no tenía nada que ver con el lanzamiento de los productos. ¿Cómo actualizo tus instrucciones para evitar que esto suceda?». El agente podría sugerirte que añadas un límite como «Haz referencia únicamente a páginas de la base de datos sobre lanzamientos de productos».

Cada ronda de comentarios te ayuda a detectar qué falta, y las instrucciones se van volviendo más precisas a medida que avanzas.

Las instrucciones originales de Product Scout eran muy generales: «Responde a las preguntas sobre los productos utilizando el contenido del espacio de trabajo». Tras unas cuantas rondas de pruebas y comentarios, se volvieron mucho más precisas: «Responde utilizando las especificaciones de los productos y el historial de Slack. Si la respuesta no está en nuestros documentos, dilo. Las respuestas deben ocupar un máximo de 3 párrafos».

Antes de poner el agente a disposición de tu equipo, pruébalo haciendo clic en Ejecutar agente en la parte superior de la página de configuración. Hazle el tipo de preguntas que tu equipo le haría realmente y observa cómo responde.

Para ver cómo funcionan estas prácticas con un agente diferente, echa un vistazo a este tutorial:

Los mejores agentes personalizados son los que se van perfeccionando con el tiempo. Cada pequeño ajuste se va a acumulando, y, en poco tiempo, tendrás un agente más fiable, coherente y rentable.