Meilleures pratiques pour améliorer votre agent personnalisé

Les performances de votre agent reposent sur trois éléments : le modèle sur lequel il s’exécute, la configuration de ses déclencheurs et de son périmètre, et la rédaction de ses instructions. L’ajustement de l’un de ces éléments peut rendre votre agent plus fiable, plus cohérent et plus rentable.

Ce guide explique comment :

• Choisir un modèle adapté à la tâche

• Contrôler les déclencheurs et le périmètre de votre agent

• Laisser votre agent vous aider à le déboguer et l’optimiser

Product Scout est un agent personnalisé conçu pour répondre aux questions internes sur les produits. Son rôle est d’aider les membres de l’équipe à obtenir des réponses rapides et fiables, comme « La fonctionnalité X prend-elle en charge les exportations en masse ? », en s’appuyant sur les documents et les conversations passées.

Actuellement, Product Scout se déclenche à chaque message dans un canal Slack, cherche du contexte dans l’intégralité de l’espace de travail et s’exécute sur le modèle le plus puissant disponible. Cela fonctionne, mais trois points ressortent : les réponses ne sont pas toujours cohérentes, l’agent s’exécute plus souvent que nécessaire et les coûts pourraient être réduits. Nous l’utiliserons tout au long de ce guide pour montrer comment chaque ajustement se traduit dans la pratique.

Notion vous permet de choisir le modèle sur lequel votre agent personnalisé s’exécute, et ce choix est l’un des principaux facteurs qui influent sur le coût. L’objectif n’est pas de choisir le modèle le plus puissant disponible. Il s’agit de trouver le modèle qui vous donne systématiquement des résultats conformes à vos critères de qualité.

Lorsque vous sélectionnez un modèle, survolez chaque option dans le sélecteur de modèle pour comparer la vitesse, l’intelligence et le coût.

Voici un cadre général :

• Le mode Auto permet à Notion de sélectionner le meilleur modèle pour chaque requête. Il s’agit de la valeur par défaut recommandée pour la plupart des agents.

• Les modèles légers conviennent bien aux flux de travail répétitifs et à faible enjeu, comme la rédaction courante, le routage et le tri simples ou la génération de contenu structuré. Ils conviennent lorsque la vitesse, la cohérence et la rentabilité comptent davantage que le raisonnement complexe.

• Les modèles puissants (par exemple, Opus) sont les plus adaptés aux tâches qui nécessitent une rédaction nuancée, un raisonnement complexe ou une grande précision, mais ils utilisent plus de crédits par exécution.

Testez plusieurs modèles pour voir lequel répond systématiquement à vos critères de qualité. Si la qualité du résultat diminue à mesure que la tâche devient plus complexe, vous pouvez toujours passer à un modèle plus puissant.

Product Scout s’exécutait à l’origine sur le modèle le plus puissant disponible. Mais sa tâche principale, qui consiste à trouver des documents pertinents et à les résumer, ne nécessite pas de raisonnement complexe. Le passage à un modèle léger a permis de réduire les coûts sans perte de qualité.

Les déclencheurs et le périmètre de votre agent fonctionnent ensemble. Les déclencheurs déterminent quand il s’exécute. Le périmètre détermine ce qu’il consulte. Si l’un ou l’autre est trop large, vous consommerez des crédits pour des exécutions qui produiront des résultats parasites ou non pertinents.

Un bon déclencheur est suffisamment fréquent pour être utile et suffisamment spécifique pour ne s’exécuter qu’en cas de besoin. Chaque fois que votre agent se déclenche, il consomme des crédits, même si aucune action n’est effectuée. Concentrez votre déclencheur sur les moments où l’aide de l’agent est réellement nécessaire.

Dans la configuration de Product Scout, il se déclenchait à chaque message dans #produit-questions, y compris les réponses, les réactions et les « merci ! » Cela engendrait la consommation de crédits pour des exécutions qui ne produisaient rien d’utile.

Commencez par définir quand votre agent doit intervenir :

• À quelles questions cet agent doit-il répondre ? Définissez les quelques types de questions concernés et notez quelques exemples.

• Que doit-il ignorer ? Les réactions, les « merci », les discussions informelles et les messages hors sujet ne doivent pas déclencher d’exécution.

Une fois ces limites définies, ajustez vos déclencheurs en conséquence. Par exemple, limitez votre déclencheur aux mentions @, filtrez par mots-clés ou déclenchez-le sur une modification de propriété spécifique plutôt que sur chaque modification.

En basculant le déclencheur de Product Scout sur les mentions@, l’agent ne s’exécute que lorsque quelqu’un lui pose réellement une question.

Votre agent consulte tout ce à quoi vous lui donnez accès. Si ce périmètre est trop large, l’agent parcourt de nombreuses informations non pertinentes et la qualité des résultats en pâtit.

Product Scout cherchait dans l’intégralité de l’espace de travail et dans tous ses outils connectés : pages marketing, documents RH, anciennes notes de réunion et des mois d’historique Slack provenant de canaux sans rapport. Aucun de ces éléments ne contient de réponses sur les produits, mais l’agent les consultait quand même. Résultat : des réponses plus parasites et moins cohérentes.

Voici comment réfléchir au périmètre de votre propre agent :

• Commencez par identifier où se trouvent réellement les réponses : Si votre agent répond à des questions sur les produits, connectez-le à vos documents produits et aux canaux Slack pertinents, et non à l’ensemble de votre espace de travail et à tous les outils connectés.

• N’ajoutez pas de contexte « au cas où » : chaque page, base de données ou canal supplémentaire représente davantage de contenu que votre agent doit parcourir. Si une source ne contient pas régulièrement de réponses utiles, retirez-la.

• Si votre agent couvre encore trop de sujets sans rapport, divisez-le en deux agents spécialisés : Un agent qui traite à la fois les questions sur les produits et les demandes de facturation remplit deux rôles. Deux agents distincts avec des périmètres restreints vous donneront de meilleurs résultats chacun.

En limitant le périmètre de Product Scout à la base de données Lancement de produits et à l’historique Slack de #product-questions, l’agent a su plus clairement où chercher. Les réponses sont devenues plus cohérentes, car l’agent avait moins de contenu parasite à parcourir.

Vous n’avez pas besoin de rédiger des instructions parfaites du premier coup. Le moyen le plus rapide de les améliorer est de montrer à votre agent personnalisé quelques « mauvais » résultats et de lui demander de vous aider à les réécrire.

Voici un processus simple :

• Recueillez 3 à 5 exemples réels où la réponse de l’agent était trop longue, hors sujet ou trop assurée.

• Demandez à l’agent ce qui n’a pas fonctionné : le périmètre était-il trop large ? Les règles qui définissent quand répondre sont-elles floues ?

• Demandez-lui de proposer des instructions améliorées qui ajoutent des types de questions concernés, des règles « ne pas répondre » ou un modèle de réponse.

• Testez les nouvelles instructions sur les mêmes exemples et ne conservez que le changement minimal qui résout le problème.

Par exemple, vous pouvez coller une réponse générée par Product Scout et tirée d’un document RH sans rapport, et lui dire : « Cette réponse faisait référence à une page en dehors de Lancement de produits. Comment dois-je mettre à jour tes instructions pour éviter cela ? » L’agent pourrait suggérer d’ajouter une règle comme « Ne faire référence qu’aux pages de la base de données Lancement de produits ».

Chaque cycle de retours vous aide à repérer ce qui manque, et les instructions gagnent en précision au fur et à mesure.

Les instructions initiales de Product Scout étaient générales : « Réponds aux questions sur les produits à l’aide du contenu de l’espace de travail. » Après quelques cycles de tests et de retours, elles sont devenues beaucoup plus précises : « Réponds en utilisant les spécifications de produit et l’historique Slack. Si la réponse ne figure pas dans nos documents, dis-le. Limite tes réponses à 3 paragraphes maximum. »

Avant de déployer votre agent auprès de votre équipe, testez-le vous-même en cliquant sur Exécuter l’agent en haut de votre page de paramètres. Posez-lui le type de questions que votre équipe poserait réellement et observez ses réponses.

Pour voir comment appliquer ces meilleures pratiques à un autre agent, regardez cette présentation :

Les meilleurs agents personnalisés se façonnent au fil du temps. Chaque petit ajustement compte, et en peu de temps, vous disposez d’un agent plus fiable, plus cohérent et plus rentable.