Prácticas recomendadas para mejorar tu Agente personalizado

El rendimiento de tu agente depende de tres cosas: el modelo en el que se ejecuta, cómo están configurados sus activadores y su alcance, y cómo están escritas sus instrucciones. Modificar cualquiera de estos aspectos puede hacer que tu agente sea más confiable, más consistente y más rentable.

En esta guía, te explicamos cómo:

• Elegir un modelo que se ajuste a la tarea

• Controlar los activadores y el alcance de tu agente

• Dejar que tu agente te ayude a depurar y optimizarse a sí mismo

Product Scout es un agente personalizado creado para responder preguntas internas sobre el producto. Su trabajo es ayudar a los compañeros de equipo a obtener respuestas rápidas y precisas, como “¿La función X admite exportaciones masivas?”, a partir de la documentación y de conversaciones anteriores.

En este momento, Product Scout se activa con cada mensaje que se envía a un canal de Slack, busca contexto en todo el espacio de trabajo y funciona con el modelo más potente disponible. Funciona, pero hay tres cosas que llaman la atención: las respuestas no siempre son coherentes, se ejecuta con más frecuencia de la necesaria y hay margen para reducir costos. Lo usaremos a lo largo de esta guía para mostrar cómo se aplica cada ajuste en la práctica.

Notion te permite elegir en qué modelo se ejecuta tu agente personalizado, y esa elección es uno de los factores que más influyen en el costo. El objetivo no es elegir el modelo más potente disponible. Se trata de encontrar el modelo que te ofrezca resultados consistentes que cumplan con tus estándares de calidad.

Al seleccionar un modelo, pasa el cursor por encima de cada opción en el selector de modelos para comparar la velocidad, la inteligencia y el costo.

Aquí tienes un marco general:

• Auto permite a Notion seleccionar el mejor modelo para cada solicitud. Esta es la configuración predeterminada recomendada para la mayoría de los agentes.

• Los modelos ligeros son ideales para flujos de trabajo repetitivos y de menor riesgo, como la redacción de rutina, el enrutamiento y la clasificación simples o la generación de contenido estructurado. Son una buena opción cuando la velocidad, la consistencia y la rentabilidad son más importantes que el razonamiento complejo.

• Los modelos potentes (por ejemplo, Opus) son los más adecuados para tareas que requieren una redacción con matices, un razonamiento complejo o una alta precisión, pero consumen más créditos por ejecución.

Prueba varios modelos diferentes para ver cuál cumple siempre con tus estándares de calidad. Si la calidad de los resultados disminuye a medida que la tarea se vuelve más compleja, siempre puedes cambiar a un modelo más potente.

Product Scout se ejecutaba inicialmente en el modelo más potente disponible. Pero su tarea principal, que consiste en encontrar documentos relevantes y resumirlos, no requiere un razonamiento complejo. Cambiar a un modelo ligero redujo los costos sin perder la calidad.

Los activadores y el alcance de tu agente funcionan juntos. Los activadores controlan cuándo se ejecuta. El alcance controla qué lee. Si cualquiera de los dos es demasiado amplio, gastarás créditos en ejecuciones que producen resultados poco precisos o irrelevantes.

Un buen activador se ejecuta con la frecuencia suficiente para ser útil y es lo suficientemente específico como para que solo se ejecute cuando sea necesario. Cada vez que se activa tu agente, consume créditos, aunque no se realice ninguna acción. Orienta la activación del agente a los momentos en los que realmente se necesita su ayuda.

En la configuración de Product Scout, se activaba con cada mensaje en #product-questions, incluidas las respuestas, las reacciones y los “¡gracias!”. Eso significaba gastar créditos en ejecuciones que no producían nada útil.

Comienza por definir cuándo debe intervenir tu agente:

• ¿Qué preguntas debería responder este agente? Define el pequeño conjunto de tipos de preguntas dentro del alcance y escribe algunos ejemplos.

• ¿Qué debería ignorar? Las reacciones, los “gracias”, la charla general y los mensajes fuera de tema no deberían activar una ejecución.

Una vez que hayas definido esos límites, ajusta tus activadores para que coincidan. Por ejemplo, limita tu activador a las @menciones, filtra por palabras clave o activa el proceso cuando cambie una propiedad específica, en lugar de cada vez que se realice una edición.

Cambiar el activador de Product Scout a @menciones significa que solo se ejecuta cuando alguien le hace una pregunta.

Tu agente lee todo a lo que le das acceso. Si ese alcance es amplio, analiza mucha información irrelevante y la calidad de los resultados se ve afectada.

Product Scout buscaba en todo el espacio de trabajo y en todas sus herramientas conectadas: páginas de marketing, documentos de RR. HH., notas de reuniones antiguas y meses de historial de Slack de canales no relacionados. Ninguna de ellas contenía respuestas sobre el producto, pero el agente las estaba leyendo de todos modos. Eso significaba resultados poco precisos y respuestas menos consistentes.

Te explicamos cómo pensar en el alcance para tu propio agente:

• Comienza por dónde están realmente las respuestas: Si tu agente responde preguntas sobre productos, conéctalo a tus documentos de productos y a los canales de Slack relevantes, no a todo tu espacio de trabajo ni a todas las herramientas conectadas.

• No agregues contexto “por si acaso”: Cada página, base de datos o canal adicional es más contenido que tu agente debe revisar. Si no tiene respuestas útiles con frecuencia, elimínalo.

• Si tu agente aún cubre demasiados temas no relacionados, divídelo en dos agentes especializados: Un agente que maneja tanto preguntas sobre productos como consultas de facturación está haciendo dos trabajos. Dos agentes independientes con ámbitos de aplicación específicos te darán mejores resultados en cada caso.

Limitar el alcance de Product Scout solo a la base de datos de Lanzamientos de productos y al historial de #product-questions en Slack le dio al agente una idea más clara de dónde buscar. Las respuestas fueron más consistentes porque el agente tuvo que lidiar con menos información irrelevante.

No hace falta que las instrucciones te salgan bien a la primera. La forma más rápida de mejorarlas es mostrarle a tu agente personalizado algunos resultados “malos” y pedirle que te ayude a reescribirlos.

Aquí tienes un flujo de trabajo simple:

• Reúne de 3 a 5 ejemplos reales en los que la respuesta del agente fue demasiado larga, se desvió del tema o sonó demasiado segura.

• Pregúntale al agente qué salió mal: ¿El alcance era demasiado amplio? ¿Las reglas sobre cuándo responder no son claras?

• Pídele que proponga instrucciones mejoradas que agreguen tipos de preguntas dentro del alcance, reglas de “no responder” o una plantilla de respuesta.

• Prueba las nuevas instrucciones en los mismos ejemplos y mantén el cambio más pequeño que resuelva el problema.

Por ejemplo, puedes pegar una respuesta en la que Product Scout incorporó información de un documento de RR. HH. no relacionado y decirle: “Esta respuesta hacía referencia a una página fuera de Lanzamientos de productos. ¿Cómo debo actualizar tus instrucciones para evitar esto?” El agente podría sugerir agregar un límite como “Solo páginas de referencia en la base de datos de Lanzamientos de productos”.

Cada ronda de comentarios te ayuda a detectar lo que falta, y las instrucciones se vuelven más precisas a medida que avanzas.

Las instrucciones originales de Product Scout eran amplias: “Responde preguntas sobre el producto utilizando el contenido del espacio de trabajo”. Después de algunas rondas de pruebas y comentarios, se volvieron mucho más precisas: “Responde utilizando las Especificaciones del producto y el historial de Slack. Si la respuesta no está en nuestra documentación, dilo. Limita las respuestas a un máximo de 3 párrafos”.

Antes de implementar el agente para tu equipo, pruébalo tú mismo haciendo clic en Ejecutar agente en la parte superior de la página de configuración. Hazle el tipo de preguntas que tu equipo realmente haría y observa cómo responde.

Para ver cómo se ven estas prácticas con un agente diferente, mira este tutorial:

Los mejores agentes personalizados se van perfeccionando con el tiempo. Cada pequeño ajuste se acumula y, en poco tiempo, tendrás un agente más confiable, más consistente y más rentable.